Metodología para la Construcción de Indicadores

Ministerio de Hacienda de Costa Rica
Instituto Latinoamericano y del Caribe
de Planificación Económica y Social (ILPES)
DIRECCIÓN GENERAL DE PRESUPUESTO NACIONAL
PLANIFICACIÓN ESTRATÉGICA Y CONSTRUCCIÓN DE INDICADORES
EN EL SECTOR PÚBLICO DE COSTA RICA”
“Metodología para la Construcción de Indicadores”
Roberto Jiménez M.
Consultor ILPES / CEPAL
Indicadores de Desempeño
Es una herramienta que entrega información cuantitativa
respecto del logro o resultado en la entrega de productos
(bienes o servicios) generados por la institución, cubriendo
aspectos cuantitativos o cualitativos
¿Para qué sirve esta información?
TOMAR DECISIONES
Indicadores de Desempeño
“Que indica o sirve para indicar”
Latín = “Indicare” = Mostrar o significar algo, con indicios y
señales
39,5
¿Indica algo?
¿Puedo tomar alguna decisión?
39,5 grados celsius
La temperatura de mi hijo
¡¡¡ AL MÉDICO !!!
PRESUPUESTO
Recursos
Bienes y Servicios
Usuarios
(ámbito de producto)
(ámbito de resultados:
Intermedio - final)
PRESUPUESTO
Producción (Q)
Presupuesto ($)
Insumos /
Procesos
-Cobertura
-Focalización
Resultados
-Oportunidad
(desde punto de vista
de los usuarios)
-Ciertas características
-Costos
-Etc.
Indicadores ámbito
de proceso
Indicadores ámbito
de producto
Indicadores ámbito
de resultado
-Programas de trabajo
-Eficacia
-Intermedio
-Programación
-Eficiencia
-Ejecución de recursos
-Economía
-Calidad
-Final
ATENCIÓN DE SALUD
Proceso productivo
Alimentación
Productos
Consultas
Atención médica
Controles
Insumos
Y
Recursos
Vacunación
Resultados
SECTOR PUBLICO
Objetivos Gubernamentales
Ministerios
Ministerios
Ministerios
Servicios
Ministerios
Servicios
División
Dpto.
Servicios
División
División
Dpto.
SECTOR PUBLICO
Agregación
de mediciones
Objetivos Gubernamentales
Ministerios
O
B
J
E
T
I
V
O
S
Ministerios
Ministerios
Servicios
Servicios
División
Dpto.
Operacionalización
de objetivos
Ministerios
Servicios
División
División
Dpto.
I
N
D
I
C
A
D
O
R
E
S
ÁMBITOS DE MEDICIÓN
• Procesos productivos:
Actividades vinculadas con la ejecución o forma en que el trabajo es
realizado para elaborar los productos (bienes y/o servicios):
9 procedimientos de compra
9 licitaciones
9 procesos tecnológicos
9 administración financiera
9 etc.
- Porcentaje de ejecución del presupuesto
- Porcentaje de compras de insumos efectuadas dentro del tiempo
programado
ÁMBITOS DE MEDICIÓN
• Productos:
Bienes y/o servicios producidos o entregados a los usuarios.
Primer resultado de la acción de un servicio o acción pública
Es el efecto más inmediato que tiene la población beneficiaria
- Porcentaje de familias sin vivienda que reciben aportes del Estado
- Tiempo promedio de entrega de subsidios para la vivienda
- Metros de cuadrados construidos promedio por vivienda entregada
ÁMBITOS DE MEDICIÓN
• Resultados
intermedios:
Cambios en el comportamiento, estado, actitud o certificación de los
beneficiarios una vez que han recibido los bienes o servicios de una
institución.
La entrega de los bienes y servicios supone que conduce a la obtención de
los resultados finales
Es una aproximación a los resultados finales
- % de líneas aéreas que cumplen las normas de mantenimiento
ÁMBITOS DE MEDICIÓN
•
• Resultados finales (impacto):
Mejoramiento significativo, y en algunos casos perdurable en el tiempo, en
alguna de las condiciones o características de la población una vez que han
recibido los bienes o servicios de una institución.
Es el beneficio de mediano y largo plazo obtenido por la población atendida.
ÁMBITOS DE MEDICIÓN
•
• Resultados finales (impacto):
Complejidad de medir Impacto o Resultado Final:
Un programas público contribuye a alcanzar un fin (resultado final) se
complementa con la acción de otros programas
¿Cómo identificar el Impacto de nuestro programa?
El impacto no se produce inmediatamente, es difícil medirlo con un
indicador (mejoramiento de la calidad de vida), por lo general no se dispone
de información de punto de partida (línea base)
- Tasa de accidentes de aviación
DIMENSIONES DEL DESEMPEÑO
• Eficacia:
Grado de cumplimiento de los objetivos planteados.
En qué medida la institución está cumpliendo con sus objetivos
No considera necesariamente los recursos asignados para ello
- Cumplimiento de la normativa aeronáutica
DIMENSIONES DEL DESEMPEÑO
• Eficiencia:
Relación entre la producción física de un producto y los insumos o
recursos que se utilizaron para alcanzar ese nivel de producto.
Alcanzar un cierto nivel de producción utilizando el mínimo de
recursos posibles.
Aproximaciones a este concepto:
9 productividad media de los distintos factores de producción (nivel
de actividad y recursos utilizados)
9 costos de producción (costos medios, costos unitarios gastos
administrativos en relación al gasto total)
DIMENSIONES DEL DESEMPEÑO
•Economía:
Capacidad de una institución para generar y movilizar
adecuadamente los recursos financieros
- Ingresos propios generados
- Ejecución presupuestaria
DIMENSIONES DEL DESEMPEÑO
• Calidad
(eficacia):
Capacidad para responder en forma rápida y adecuada a sus
usuarios.
Evalúa atributos del producto entregado por la institución.
- Grado de satisfacción de usuarios
- Tiempo de respuesta a requerimientos de usuarios
ÁMBITOS DE MEDICIÓN
PROCESO
D
I
M
E
N
S
I
O
N
E
S
EFICACIA
EFICIENCIA
ECONOMÍA
CALIDAD
PRODUCTO
RESULTADO
5. Matriz de indicadores
PROCESO
EFICACIA
EFICIENCIA
ECONOMIA
CALIDAD
PRODUCTO
RESULTADO
INTERMEDIO
RESULTADO
FINAL
10 PASOS PARA CONSTRUIR INDICADORES:
1. Establecer las Definiciones Estratégicas
2. Establecer los Aspectos Relevantes a medir
3. Formular los Indicadores
4. Validar los Indicadores
5. Recopilar la Información
6. Establecer metas y periodicidad de medición
7. Establecer la Fuente de Información
8. Establecer Supuestos
9. Evaluar los Resultados
10. Informar los Resultados y la Evaluación
Paso 1: Establecer las Definiciones Estratégicas
Las Definiciones Estratégicas son el referente para la medición
del desempeño
Cimientos de un sistema de información de gestión
•Misión
•Objetivos estratégicos
•Productos
Paso 2: Establecer los Aspectos Relevantes a medir
De las Definiciones Estratégicas extraer los aspectos relevantes
que deben ser medidos para una institución.
LISTA DE ASPECTOS RELEVANTES
¡¡ SUBRAYAR ¡¡
Misión:
Contribuir a mejorar la calidad de vida de los costarricenses y la
competitividad del país, facilitando la movilización de personas
y mercancías por tierra, aire y mar, en forma segura, rápida,
agradable y a un justo precio
Ministerio de Obras Públicas y Transportes
Misión:
Contribuir a mejorar la calidad de vida de los costarricenses y la
competitividad del país, facilitando la movilización de personas
y mercancías por tierra, aire y mar, en forma segura, rápida,
agradable y a un justo precio.
Ministerio de Obras Públicas y Transportes
Objetivos Estratégicos:
Planificar, coordinar, dirigir, controlar y fiscalizar las acciones
del Sector Transporte, a fin que éste responda a las
necesidades del país
Ministerio de Obras Públicas y Transportes
Objetivos Estratégicos:
Lograr que los sistemas y servicios de Transporte sean
eficientes y seguros, en términos económicos, ambientales y
sociales.
Ministerio de Obras Públicas y Transportes
Productos:
Regular y controlar el transporte y el tránsito aéreo
Ministerio de Obras Públicas y Transportes
Productos:
Regular y controlar el transporte y el tránsito aéreo
Ministerio de Obras Públicas y Transportes
LISTA DE ASPECTOS RELEVANTES
Calidad de vida de la población
Competitividad del país
Seguridad del transporte
Rapidez del transporte
Precio del transporte
Eficiencia del transporte
Efectos ambientales del transporte
Efectos sociales del transporte
Regulación del transporte
Fiscalización del transporte
Paso 3: Formular los Indicadores
Para cada aspecto relevante se deben definir los indicadores
más relevantes
AGREGAR 1 COLUMNA AL CUADRO ANTERIOR
¡¡¡ PROPONER INDICADORES ¡¡¡
Aspectos Relevantes
Indicadores
Calidad de vida de la población
•Tasa de desempleo
•Variación en las remuneraciones
•Tasa de incidencia de enfermedades
Competitividad del país
•Tasa de variación de exportaciones
Seguridad del transporte
•Porcentaje de accidentes de transporte
Rapidez del transporte
•Tasa de variación en los tiempos de viaje
Precio del transporte
•Costo promedio de viaje por pasajero
•Costo de promedio de transporte de carga
Eficiencia del transporte
•Pasajeros promedio mensual transportados
Efectos ambientales del transporte
•% de días del año que superan norma de contaminación
Efectos sociales del transporte
•% de zonas aisladas que adquieren conectividad
Regulación del transporte
•% de normas transporte aéreo actualizadas según norma
internacional
Fiscalización del transporte
•% de líneas aéreas que no cumplen normas
•% de líneas aéreas refiscalizadas que reinciden en
incumplimiento
Para cada indicador relevante propuesto se debe definir la
fórmula de cálculo
AGREGAR OTRA COLUMNA AL CUADRO ANTERIOR
¡¡¡ CONSTRUIR FÓRMULAS ¡¡¡
Aspectos
Relevantes
Indicadores
Fórmulas
Calidad de vida de la población
•Tasa de desempleo
•Variación en las remuneraciones
•Tasa de incidencia de enfermedades
•(Total desempleados / total fuerza de trabajo)*100
•((Índice remuneraciones t / Índice remuneraciones t-1)-1)*100
•(Número personas enfermas / 100.000 habitantes)*100
Competitividad del país
•Tasa de variación de exportaciones
•((Total exportaciones t / Total exportaciones t-1)-1)*100
Seguridad del transporte
•Porcentaje de accidentes de transporte
•(Total de accidentes / Total de viajes)*100
Rapidez del transporte
•Tasa de variación en los tiempos de viaje
•((Tiempo promedio de viaje t / Tiempo promedio de viaje t-1)1)*100
Precio del transporte
•Costo promedio de viaje por pasajero
•Costo de promedio de transporte de carga
•Total costo de operación transporte de pasajeros / Total
pasajeros transportados
•Total pago por transporte de carga / Total toneladas
transportadas
Eficiencia del transporte
•Pasajeros promedio mensual transportados
•Total pasajeros transportados en el año / 12
Efectos ambientales del transporte
•% de días del año que superan norma de contaminación
•(Total días sobre norma / 365)*100
Efectos sociales del transporte
•% de zonas aisladas que adquieren conectividad
•(Total zonas aisladas conectadas / Total zonas aisladas)*100
Regulación del transporte
•% de normas transporte aéreo actualizadas según norma
internacional
•(Total normas actualizadas / Total normas vigentes)*100
Fiscalización del transporte
•% de líneas aéreas que no cumplen normas
•% de líneas aéreas refiscalizadas que reinciden en
incumplimiento
•(Total líneas aéreas que no cumplen normas / Total líneas
fiscalizadas)*100
•(Total líneas refiscalizadas que no cumplen normas / Total
líneas refiscalizadas)*100
Paso 4: Validar los Indicadores
Cada indicador propuesto debe ser validado técnicamente
Criterios de Validación:
• Por la importancia de la variable medida para mejorar el desempeño
a partir de la evaluación
• Por la disponibilidad de datos que tengo
• Por la capacidad de controlar el desempeño
• Indicadores que permitan medir continuamente (año a año) variables
relevantes en el cumplimiento de la misión y de interés para la
ciudadanía
Evitar indicadores que generen incentivos
perversos
“Aumento en los porcentajes de recaudación por multas a
contribuyentes evasores”
Puede incentivarse a destinar mayores recursos de los necesarios a las
acciones de fiscalización en áreas donde las multas sean más
onerosas; desestimando otros que tienen mayor importancia desde el
punto de vista de la economía, la competencia, la seguridad para los
usuarios, calidad de los productos, etc.
Evitar indicadores que generen incentivos
perversos
“Porcentaje de detenciones por delitos”
Puede incentivarse una acción represiva no acorde con la situación
delictiva, o destinar recursos extras para la represión del delito, dejando
otras acciones preventivas, etc)
Evitar indicadores que generen incentivos
perversos
Disminución de tiempos de respuestas, sin llevar asociado una meta de
calidad del producto entregado.
Número de fallos judiciales en un tiempo X., puede implicar que el juicio
no se ajuste a derecho, que los fallos sean inapropiados, generando
problemas de seguridad, reincidencia, etc)
INDICADORES VALIDADOS
Aspectos
Relevantes
Indicadores
Fórmulas
Calidad de vida de la población
•Tasa de desempleo
•Variación en las remuneraciones
•Tasa de incidencia de enfermedades
•(Total desempleados / total fuerza de trabajo)*100
•((Índice remuneraciones t / Índice remuneraciones t-1)-1)*100
•(Número personas enfermas / 100.000 habitantes)*100
Competitividad del país
•Tasa de variación de exportaciones
•((Total exportaciones t / Total exportaciones t-1)-1)*100
Seguridad del transporte
•Porcentaje de accidentes de transporte
•(Total de accidentes / Total de viajes)*100
Rapidez del transporte
•Tasa de variación en los tiempos de viaje
•((Tiempo promedio de viaje t / Tiempo promedio de viaje t-1)1)*100
Precio del transporte
•Costo promedio de viaje por pasajero
•Costo de promedio de transporte de carga
•Total costo de operación transporte de pasajeros / Total
pasajeros transportados
•Total pago por transporte de carga / Total toneladas
transportadas
Eficiencia del transporte
•Pasajeros promedio mensual transportados
•Total pasajeros transportados en el año / 12
Efectos ambientales del transporte
•% de días del año que superan norma de contaminación
•(Total días sobre norma / 365)*100
Efectos sociales del transporte
•% de zonas aisladas que adquieren conectividad
•(Total zonas aisladas conectadas / Total zonas aisladas)*100
Regulación del transporte
•% de normas transporte aéreo actualizadas según norma
internacional
•(Total normas actualizadas / Total normas vigentes)*100
Fiscalización del transporte
•% de líneas aéreas que no cumplen normas
•% de líneas aéreas refiscalizadas que reinciden en
incumplimiento
•(Total líneas aéreas que no cumplen normas / Total líneas
fiscalizadas)*100
•(Total líneas refiscalizadas que no cumplen normas / Total
líneas refiscalizadas)*100
Paso 5: Recopilar la Información
•Información contable-presupuestaria
•Estadísticas de producción física, cargas de trabajo del
personal
•Encuestas, estudios especiales
•Benchmarking, etc.
¿Está disponible la información en mi institución?
Sí
Puedo medir
No
¿Está en otra institución?
Sí
Solicitar
No
Diseñar medición futura
Paso 6: Establecer metas y periodicidad de medición
Sentido de la Medición:
•Ascendente
•Descendente
¿Qué es mejor como desempeño institucional?
Meta = resultado esperado al final de un periodo
•Desempeño histórico
•Estándar
•Objetivos definidos
•Desempeño instituciones similares, procesos o programas
Paso 7: Establecer la Fuente de Información
Para verificar el cumplimiento de las metas (auditoria)
•Registros de la institución
•Estadísticas oficiales
•Encuestas (externas)
Paso 8: Establecer Supuestos
Factores externos no controlables por la institución:
•Tipo de cambio
•Ingresos esperados
•Tarifas
•Nivel de demanda de los ciudadanos
•Aprobación de procesos por entes externos
•Flujo de recursos internacionales
Comprometo X meta siempre y cuando se cumplan los
siguientes supuestos:
•Tipo de cambio no aumente más de 10%
•La solicitudes de tramitación no aumenten más de 15%
•Que Contraloría apruebe las bases de licitación en un plazo no
superior a 60 días hábiles
Paso 9: Evaluar los Resultados
•Valor real alcanzado al final del periodo v/s meta
•No cumplimientos y sobrecumplimientos
•Análisis de las causas de los resultados
•Recomendaciones
•Compromisos
•Plazos
•Responsables
•Programa de seguimiento de compromisos
Paso 10: Informar los Resultados y la Evaluación
•Resultados de la institución
•Evaluación del cumplimiento
•Relevancia de los resultados
•Relación con los recursos presupuestarios
•Efectos de los resultados
•Recomendaciones
Ministerio de Hacienda de Costa Rica
Instituto Latinoamericano y del Caribe
de Planificación Económica y Social (ILPES)
DIRECCIÓN GENERAL DE PRESUPUESTO NACIONAL
PLANIFICACIÓN ESTRATÉGICA Y CONSTRUCCIÓN DE INDICADORES
EN EL SECTOR PÚBLICO DE COSTA RICA”
“Metodología para la Construcción de Indicadores”
Roberto Jiménez M.
Consultor ILPES / CEPAL