Métricas que importan: indicadores clave de desempeño sectorial. México Evalúa, 2013


Métricas que importan: indicadores clave de desempeño sectorial.
México Evalúa, 2013.
Un sistema de métricas clave de desempeño se orienta a promover, presentar y reportar el avance en
términos de las grandes prioridades del país derivadas del sistema nacional de planeación (Ley de
Planeación y Art. 26 de la Constitución). Este documento es un mecanismo que puede servir de
insumo bajo este marco normativo para monitorear el avance al desarrollo.
La mayor parte de las economías desarrolladas que utiliza el enfoque a resultados en su sistema de
planeación, utiliza herramientas de monitoreo y evaluación (M&E) para:
1) mejorar la efectividad del gasto;
2) avanzar consistentemente en el cumplimiento de los grandes objetivos del país, y;
3) promover gobiernos enfocados a resultados.
México requiere mantenerse a la vanguardia en mecanismos de monitoreo y evaluación de la
actividad pública enfocados a resultados y avanzar en una visión orientada a medir resultados e
impacto y de sus grandes acciones a nivel sectorial.
La propuesta aquí planteada se centra en atender la preocupación de mantener una desconexión
entre el nivel de acciones y su resultados. Es decir entre un nivel primario de planeación y la
ejecución de políticas y programas que derivan de éstas metas estratégicas.
Sin un enfoque a resultados nuestro gobierno podrá seguir recibiendo recursos crecientes de gasto
sin que ello garantice obtener avances, resultados e impacto en lo que importa para el desarrollo del
país.
El sistema de monitoreo y evaluación métricas que importan de México Evalúa ofrece tableros de
control a nivel sectorial con métricas clave que derivan de la experiencia internacional y la opinión de
expertos. Es un como elemento estratégico que ayuda a la toma de decisiones de la autoridad. Un
sistema de monitoreo y evaluación con este enfoque genera confianza y certidumbre sobre el
quehacer público ya que informa a los ciudadanos los resultados de las acciones de gobierno en
términos de fines.
El documento, Métricas que importan: insumos para la planeación nacional, presenta una
metodología de selección de indicadores técnicamente sólida y replicable que nos dirige a observar
1
métricas relevantes. Este sistema utiliza los indicadores que existen y los contrasta y fortalece con las
mejores prácticas internacionales, haciendo un ejercicio de refinación con la intervención de expertos
y autoridades en cada tema.
Este sistema se centra en hacer visibles las grandes prioridades y metas del Plan Nacional, ayudando
a mantener vivo el mensaje del Plan como guía al desarrollo de
los planes sectoriales y prioritarios y transversales de mediano y largo plazo.
Los principales atributos de estos indicadores clave de desempeño sectorial que aquí se presentan
son su sencillez y solidez. Las métricas propuestas han sido también pensadas para que puedan ser
trasladadas, replicadas y monitoreadas a nivel estatal.
Este sistema puede transparentar el desempeño gubernamental y señalar a los responsables de
ejecutar las políticas y alcanzar o no los objetivos planteados ayuda a transitar de una noción de
apertura y transparencia a una de rendición de cuentas y responsabilidad efectiva.
Con esta propuesta México Evalúa busca fortalecer una cultura de evaluación, ofreciendo a la
autoridad un esquema sencillo de monitoreo y permitir al ciudadano observar si México avanza como
se requiere. El sistema puede ser administrado de forma independiente o conjunta con nuestros
gobiernos. Lo importante es garantizar que la información sea siempre pública y de libre acceso.
Cuando seamos capaces de identificar resultados, avances y rezagos en las grandes metas,
estaremos en posibilidad de avanzar un mecanismo para construir una idea de nación que se
sustente con datos y evidencia los resultados de sus acciones y el uso eficiente de recursos públicos.
Importancia de los indicadores de desempeño en los sistemas de M&E
Es necesario recalcar que un punto clave en el desarrollo de sistemas de monitoreo y evaluación de
desempeño son los indicadores que lo componen. Aún cuando los indicadores existan en suficiencia,
estos deben contar con requisitos mínimos que aseguren verificar su calidad y pertinencia para el fin
que persigue el instrumento o herramienta.
Es evidente la disponibilidad de una gran diversidad y multiplicidad de indicadores en diversas áreas.
Contar con una gran cantidad de indicadores lejos de ser una importante ventaja puede ser también
una limitante de consideración para los sistemas eficientes de M&E. Puede, por ejemplo, ser nocivo y
distorsionador el observar métricas inadecuadas o erróneas para atender un problema, ya sea por
2
que no atiende a sus causas y áreas de mejora o a lo mejor puede promover incentivos perversos o
afectaciones secundarias al medir resultados y dar recomendaciones con base en una medición
inapropiada (negative spillovers).
Observamos que las tecnologías disponibles facilitan la tendencia a desarrollar demasiados
indicadores creando sistemas de monitoreo costosos, poco prácticos y muy probablemente utilizados
de forma sub-óptima. Por ello es prioritario invertir tiempo en trabajar para construir escenarios que
evalúen opciones de selección de los mejores indicadores. Cuando se realiza un trabajo adecuado de
selección es posible diferenciar los indicadores que son esenciales de aquellos que son indicadores
deseables, pero no esenciales.
Considerando diversos parámetros para el desarrollo de sistemas de M&E, podemos definir a los
indicadores de desempeño como los instrumentos que permiten medir los insumos, procesos,
resultados y productos de los proyectos, programas o estrategias de desarrollo. Cuando están
respaldados por buenos sistemas de recopilación de datos, análisis e información, los indicadores
permiten a los tomadores de decisión seguir los progresos, demostrar los resultados y adoptar
medidas correctivas para mejorar la prestación de servicios o resultados de programas.
Por tanto éstas métricas se pueden utilizar para fijar objetivos de desempeño y evaluar los progresos
en su consecución de metas, o bien para identificar los posibles problemas mediante un sistema de
1
alerta temprana para poder adoptar medidas correctivas .
Por ello es de gran utilidad generar lineamientos que sustenten las herramientas de M&E reflejando la
realidad del contexto nacional y tengan como fin de sustentar una selección de indicadores basada en
experiencias relevantes. Analizando los objetivos y realidades operativas, así como atendiendo
recomendaciones de expertos para identificar las métricas y prácticas exitosas en las materias que se
quiera evaluar.
Observamos frecuentemente que los indicadores de desempeño son utilizados como factor decisivo
para determinar la asignación de factores (recursos físicos y humanos) cuando son sólo son un medio
eficaz para cuantificar los progresos conseguidos en el logro de los objetivos, y permiten facilitar
1
En Matthew D. McCubbins and Thomas Schwartz, Congressional Oversight Overlooked: Police Patrols versus Fire Alarms,
University of Texas at Austin, se apunta que los sistemas de alerta temprana son una versión del concepto de alarmas contra
incendios (fire alarms), descrito como aquellos sistemas de alerta que se incorporan dentro de un programa o política y son en
realidad un sistema costo-eficiente de monitoreo de políticas públicas.
3
establecer puntos comparativos de referencia entre las diferentes unidades y poblaciones a lo largo
del tiempo.
Las preferencias más recientes se inclinan hacia aquellos indicadores que pueden cuantificarse con
los datos disponibles. Indicadores simples y bien acotados. Un ejemplo de ello son los indicadores
clave de desempeño (KPIs) que son métricas (financieras o no financieras) utilizadas para cuantificar
objetivos que reflejan el rendimiento de una organización y que generalmente se compilan como parte
de un proceso de planeación estratégica. Estos son indicadores mínimos para asegurar la eficiencia y
eficacia de procesos observables y el cumplimiento de sus fines últimos.
La importancia de los indicadores clave
El uso de indicadores clave de desempeño conlleva ventajas como asentar una base comparable y
objetiva para medir el desempeño y proveer evidencia para la toma de decisiones. Los indicadores
clave, por su cantidad y sencillez son también un buen vehículo para realizar benchmarking y facilitar
el entendimiento de un programa por parte de donantes y financiadores, así como para otros agentes
externos que requieren información sencilla y oportuna.
No es sencillo transmitir la utilidad de los indicadores clave a la parte operativa de los procesos de
gestión, debido a que su perspectiva es más amplia y no se enfoca en tareas operativas, ni procesos.
Su enfoque esta en observar resultados en términos agregados y proveer información acotada sobre
una problemática particular de acuerdo con su evolución en el tiempo. Sin embargo, a pesar de no
dar respuestas operativas, los indicadores clave son convierten en insumo valiosos para trabajos de
autoridades hacendarias, el Congreso, así como para aproximar a ciudadanos a evaluar las
actividades y resultados de sus gobiernos. Además, estos indicadores se han convertido en un
standard para integrarlos a bases de datos de organismos internacionales y realizar comparativos
entre naciones.
Los indicadores clave de desempeño son también frecuentemente utilizados para generar paneles de
control sobre actividades diversas que deben ser observadas medidas y comunicadas en un solo
reporte. Estos indicadores clave de desempeño también se utilizan para integrar la inteligencia de una
agencia gubernamental que puede anticipar alguna vulnerabilidad u oportunidad que requiera una
intervención inmediata. Un ejemplo en ámbito de observación sectorial es la labor de las oficinas de
presidencia o del ejecutivo, como la OMB de la Casa Blanca donde a través de un sistema de análisis
4
2
a nivel de sector y agencia se informa la conformación de los nuevos presupuestos , o bien un
mecanismo de alcance transversal como lo tiene Australia donde las directrices de desempeño que
emanan del ejecutivo son de observancia general.
Este enfoque que promueve la observación de métricas clave de desempeño es útil al construir un
mecanismo que sintetice la información útil, dentro del cúmulo de información disponible. Su
estructura sin embargo debe ser cuidadosamente estructurada para integrar indicadores relevantes
mediante rigurosos métodos de selección. La selección de indicadores relevantes contempla un
análisis acucioso realizado por los expertos en las temáticas específicas. Los estudiosos en temáticas,
como salud o educación, son quienes a través del tiempo se han familiarizado con las métricas
existentes y aquellas reconocidas a nivel internacional que son parámetro y referencia en términos de
su efectividad.
Hoy día hay ineficiencias en las mediciones que buscan proveer mejoras a las políticas públicas. Esto
debido a que “ya sea por que los esfuerzos no se enfocan en observar la métrica adecuada, o no se
estructura su observación con el rigor que se requiere para generar evidencia precisa”, terminamos
3
por escoger métricas erróneas para medir resultados .
Por otra parte, la definición de indicadores para por una discusión entre los actores relevantes,
requiere partir de un intercambio constructivo que discierne el entendimiento del uso que se dará a
los indicadores en términos de toma de decisiones relativas a la gestión. Se debe resaltar que los
sistemas dependen en buena medida de estadísticas oficiales fidedignas, consistentes, relevantes y
oportunas para sentar las bases al desarrollo de un buen modelo de monitoreo y evaluación.
Las métricas que importan serán utilizadas para monitorear los avances de la Administración en el
sexenio 2013-2018. Son un paso para construir un sistema de observación de desempeño orientado
a resultados e insumo para un sistema nacional de indicadores.
La visión de indicadores estratégicos se trasladó a al desarrollo de planes sectoriales que sean la
conexión para el reporte de avances y resultados. Ya que hoy existe una desconexión funcional entre
el nivel estratégico de planeación y el nivel operativo de monitoreo de la gestión. Es decir, que el nivel
de planeación donde se establecen las metas mas importantes (primarias), disminuyendo la
importancia relativa a reportar en términos de indicadores y metas de gestión a nivel programático
presupuestal.
2
Hablamos del reporte sobre traslapes, ajustes y eliminaciones del gasto ( Office of Management and Budget). 2012.
3
Annual Letter from Bill Gates 2013. Bill & Melinda Gates Foundation.
5
Es por ello que esta propuesta busca desarrollar un sistema que pueda monitorear de manera
prioritaria resultados en términos de impacto. Permitiendo alcanzar hitos en el camino a cumplir
metas de largo plazo con visión al desarrollo.
Este enfoque en resultados para el desarrollo puede servir para identificar las métricas relevantes a
observar, desarrollando para ello información e indicadores existentes que cuenten con un enfoque a
resultados. México Evalúa ha dado un primer paso en este sentido.
Nuestro objetivo es ofrecer al modelo de planeación y sistema de indicadores que promueve, un
insumo sólido que asegure la observación de los avances de esta nueva Administración en cuanto al
cumplimiento de sus metas. Nuestra propuesta es generar paneles de métricas con indicadores
clave de desempeño sectorial que mantengan vivo y vigentes las directrices de los Planes Nacionales
de Desarrollo.
Nos interesa que éstas métricas se observen, pero sobre todo buscamos se promueva un avance
consistente y positivo de las mismas a través del tiempo.
Metodología para integración de indicadores
La metodología para el desarrollo de este sistema de indicadores estuvo integrada por dos
componentes. Primero, se siguió puntualmente la propuesta del Grupo de Evaluación Independiente
del Banco Mundial, a través del manual How to Build M&E Systems to Support Better Government
(Mackay 2007) y Ten Steps to a Results-based Monitoring and Evaluation System (World Bank). En
resumen, estos insumos integran experiencias de buenas prácticas en sistemas de evaluación
mediante diversos estudios comparativos. Al mismo tiempo, incluyen guías para el diagnóstico,
ejemplos de evaluaciones fundamentales y materiales didácticos para comprender herramientas de
monitoreo y evaluación, entre otros.
Los indicadores fueron integrados y codificados en una base de datos y clasificados de acuerdo a
distintas categorías que permiten identificar su origen, propósito y finalidad, entre otros. A través de
dicha metodología, fue posible elegir los componentes para el sistema de indicadores clave de
desempeño (Key Performance Indicators, KPIs), cuya finalidad radica en plantear, monitorear y
6
evaluar si las políticas públicas o las prácticas de la administración pública federal cumplen, o no,
4
satisfactoriamente sus objetivos anuales o sexenales .
Finalmente, con la ayuda de un grupo de expertos en los temas propuestos para esta primera fase,
se seleccionó una batería mínima de indicadores clave con recomendaciones, sugerencias y
contribuciones de cada uno de nuestros expertos. Esta lista genera un panel de control (dashboard)
ilustrativo y dinámico que dará seguimiento a la evolución del desempeño de los KPIs en el sexenio
2012-2018.
Como mecanismos de refinación, se definieron cinco pilares para la clasificación de los indicadores
del PbR-SED e internacionales permite incluir dimensiones adicionales para su análisis y verificar así
su relación con cada uno de los objetivos sectoriales. Es pertinente mencionar que estas dimensiones
son en general compartidas por académicos y expertos ya que provienen de la práctica internacional.
i)
Equidad: Justifica la igualdad de oportunidades a partir de la implementación e impacto
de los diversos programas federales.
ii)
Acceso/Cobertura: Extensión territorial y cantidad de beneficiarios que abarcan los
programas federales.
4
Como base del sistema, se utilizó la metodología propuesta por la unidad Independent Evaluation Group (IEG) del Banco
Mundial.
7
iii)
Desempeño: Cumplimiento de obligaciones y objetivos inherentes a cada uno de los
programas, así como su dedicación y ejecución de actividades.
iv)
Calidad: Permiten juzgar el valor ex ante y ex post en el mejoramiento de las
condiciones de los programas federales.
v)
Satisfacción: Basados, principalmente, en encuestas de satisfacción de los beneficiarios
en cuanto a su relación con los programas federales.
También es posible hacer una agrupación que responda a las prioridades del Gobierno Federal
planeadas en su Plan Nacional de Desarrollo (2013-2018).
I. México en Paz
II. México Incluyente
III. México con Educación de Calidad
IV. México Próspero
V. México con Responsabilidad Global
Los paneles de métricas clave son una guía de indicadores estratégicos que deben pueden parte los
instrumentos de planeación nacional, así como de un sistema de indicadores:
De manera instrumental se espera que se consideren este tipo de indicadores clave desde el Plan
Nacional y sean considerados en planes sectoriales, especiales y presupuestales. Solamente así, se
podrá tener la certeza de que en la gestión pública la autoridad mantienen una visión a resultados.
Fuente: Métricas que importan: indicadores clave de desempeño sectorial. México Evalúa.
2013.
8