Guía Construcción Indicadores

Universidad Nacional
Autónoma de México
UNAM
Guía Metodológica para la
Construcción de
Indicadores de
Desempeño
Secretaría Técnica del
Consejo de Planeación
Dirección General de Planeación
Grupo Técnico de Responsables de
Estadística y Planeación Institucional
8
○
○
○
○
○
○
○
○
○
El análisis cualitativo se utiliza para comprender los
procesos sociales, el por qué y cómo ha aparecido la
situación que los indicadores permiten medir, y cómo esta
situación puede ser modificada en el futuro. Es necesario
realizar un análisis cualitativo que le permita al usuario
determinar por qué se obtiene un resultado en particular
y si ese resultado es bueno o malo.
Aceptación
Aceptación institucional.
Justificable
Ü
Justificable con relación a su costo-beneficio.
Válido
Ü
Válido. Correspondencia entre la información que
suministra el indicador y el fenómeno objeto de análisis.
Ü
Confiable. Deben medir lo mismo en diferentes contextos
y en diferentes momentos.
Ü
Fácil de interpretar. A fin de facilitar su uso aún en el
caso de no expertos en el área específica.
○
○
○
○
○
○
○
○
Establecer claramente el contexto en el que se
seleccionan los indicadores y para qué, es decir, que
exista consistencia entre los indicadores y los objetivos
que se quiere alcanzar con su uso. Es importante que
exista alto grado de consenso entre los involucrados en la
selección y validación de los indicadores.
○
○
Fácil de interpretar
○
○
Confiable
8. Validar los indicadores
○
Libre de sesgo
○
Libre de sesgo estadístico o personal.
Ü
Verificable
○
Ü
Relevante
Determinar la meta ideal o estándar a alcanzar para cada
indicador, es decir, el valor o rango numérico necesario
para decir que se ha logrado el cumplimiento del objetivo.
Las metas pueden ser retadoras y alcanzables.
○
Verificable. Que se pueden comprobar mediante
información confiable.
○
Ü
7. Establecer metas para los indicadores
○
Relevante o útil para la toma de decisiones.
○
Ü
○
¿Cuáles son las características de un indicador?
6. Verificar que las dimensiones de evaluación estén
consideradas
○
○
sistema
○
el funcionamiento de un
○
elaborar un juicio sobre
○
estadístico que permite
○
Un indicador es un dato
Los indicadores como su nombre lo dice "indican" la
existencia de algún fenómeno que puede ser educativo,
ambiental, económico, social, etc. En general un indicador es
un dato estadístico aunque no cualquier dato estadístico es
un indicador, es decir, solo aquellas estadísticas que pueden
dar una visión integral y que permiten elaborar un juicio
sobre el funcionamiento de un sistema o un proceso
educativo serían indicadores.
○
○
¿Qué es un indicador?
"... es esencial que una institución centre su atención en
su misión y objetivos y que, en consecuencia, los
indicadores de desempeño sean aquellos que se
consideren más apropiados a estos propósitos."2
Total de reportes atendidos / Total de reportes
recibidos *100
○
○
Total de convenios establecidos / Total de convenios
programados *100
○
Ejemplos:
objetivo, un juicio contra
el cual comparar, por lo
que tienen un carácter
○
○
○
○
○
○
○
○
○
○
2
Ball, R y R. Wilkinson (1994) citado en Carrión Carranza, Carmen.
○
○
relación a la calidad de la docencia. Ponencia presentada el IV
○
○
Una revisión del significado de los indicadores de desempeño en
Encuentro Internacional de Responsables de Estadística en
Educación Superior, UNAM, México, septiembre, 1998.
○
○
○
2
○
○
○
Cuando el indicador muestre una diferencia en cierta
dirección esto significará que la situación es mejor,
mientras que si muestra una diferencia en el sentido
opuesto significará que la situación es menos favorable.
○
○
relativo
A diferencia de los indicadores simples, los indicadores de
desempeño necesitan un punto de referencia, por ejemplo
un estándar, un objetivo, un juicio contra el cual comparar,
por lo que tienen un carácter relativo. Con el fin de evitar
una posible ambigüedad los indicadores de desempeño
deberán tener la siguiente propiedad:
○
ejemplo un estándar, un
○
punto de referencia, por
○
desempeño necesitan un
○
Los indicadores de
Un indicador simple, generalmente, se expresa en forma de
estadísticas absolutas e intentan dar una descripción
imparcial de una situación o proceso. La matrícula
institucional es un ejemplo de indicador simple porque
provee una descripción neutral.
○
¿Qué es indicador de desempeño?
○
○
dependencia
○
que opera la entidad o
○
procesos clave con los
Informan sobre los procesos clave con los que opera la
entidad o dependencia.
○
Informan sobre los
○
○
¿Qué es indicador de gestión?
○
○
○
○
La validación se considera un proceso continuo en el que
la definición de los indicadores se va perfeccionando a la
luz de la experiencia adquirida.
7
○
○
○
○
○
○
○
○
○
○
Ø Descripción de variables. Texto que explica claramente
○
○
○
○
○
○
○
○
○
○
○
○
Conocer y entender la visión, misión, objetivos y programas
estratégicos de la institución, entidad o dependencia.
programas
objetivos y
○
○
○
Visión, misión,
estratégicos
¿Qué es un sistema de indicadores?
○
○
○
○
○
○
○
○
○
Para integrar un sistema de indicadores no se requiere de
muchos indicadores, sino de aquellos que en conjunto
puedan dar una buena idea acerca de todo el sistema o
proceso educativo a que se refiera. Resumiendo deben ser
pocos, de calidad y significativos.
Los sistemas de indicadores deben construirse en forma
fragmentada, de tal manera que cada nivel de organización
administrativa tenga su sistema completo de indicadores,
derivado de otro sistema mayor e integrador del sistema
menor.
Aquellos que en
conjunto puedan dar
una buena idea acerca
de todo el sistema
Se han venido utilizando con tres fines:
○
○
¿Para qué utilizar indicadores en el sistema de
educación superior?
a) En el contexto de procesos de evaluación. La institución
selecciona los indicadores con el fin de crear insumos y
marcos de referencia para la discusión acerca de la
calidad, eficiencia y efectividad.
En el contexto de
procesos de evaluación
EFICIENCIA. Optimización de los recursos humanos, financieros,
○
materiales y tecnológicos utilizados para la obtención de los
○
1
○
○
○
○
○
○
la variable.
○
y responsable de la información.
○
Ø Información requerida. Identificando variables, fuente
○
Ø Frecuencia de cálculo
○
○
Ø Fórmula de cálculo
○
Ø Nombre
¿Qué aspectos relevantes deben tomarse en
cuenta para construir indicadores de desempeño?
○
○
Para cada uno de los FCE identificados determinar la
mejor manera de medir su cumplimiento, es decir,
construir el indicador enfocándose en la medición de
resultados y no hacia la descripción de procesos o
actividades intermedias. Para cada indicador elaborar:
○
Elaborar los indicadores con un enfoque participativo,
buscando la intervención de los diferentes involucrados
y de expertos en el área.
○
5. Elaborar una definición preliminar de los indicadores para
cada uno de los FCE identificados
Los indicadores de desempeño miden el logro de los
objetivos de programas o actividades que reflejan el
cumplimiento de la misión y las metas de la institución;
miden el costo, la calidad, pertinencia y efectos del servicio;
verifican que los recursos se utilicen con eficiencia y eficacia;
proporcionan información del rumbo institucional, los logros
y la velocidad y avance de los resultados. Los indicadores de
desempeño se clasifican en: estratégicos, de proyectos, de
gestión, de servicio.
○
○
Para identificar los FCE es necesario responder a la
pregunta ¿Qué cosas deberían ocurrir como resultado
para considerar que se ha tenido éxito en el logro del
objetivo? La pregunta no tiene que ver con lo que se
tiene que hacer para lograr los resultados, sino a los
resultados mismos que deben ocurrir para considerar
que se ha tenido éxito en el logro del objetivo. Los FCE
expresan resultados finales no los resultados
intermedios.
○
Involucrar a los directamente responsables y a expertos
en el área.
Por ejemplo, si a una institución se le solicita incrementar su
matrícula en 4% cada año, el porcentaje de cambio en la
matrícula sería un indicador de desempeño, porque contiene
un punto de referencia o meta contra el cual se puede
comparar su desempeño.
○
4. Definir los factores críticos de éxito (FCE)
○
○
3. Consensar las dimensiones1 que se desea considerar:
eficiencia, eficacia, efectividad, calidad, distribucción
presupuestal, recursos humanos, impacto, etc.
○
○
2. Conocer, entender e identificar los objetivos, los
programas estratégicos o las actividades clave de la
institución.
○
utilizan recursos óptimamente en el logro de objetivos irrelevantes.
En el marco de rendición
de cuentas
En el contexto de
modelos de
financiamiento
c) En el contexto de modelos de financiamiento que ligan la
asignación de recursos al logro de determinados
objetivos.
○
○
○
6
○
○
○
integrando la eficacia y la eficiencia.
○
EFECTIVIDAD. Generación sistemática de resultados consistentes
○
○
socio-económica de los resultados (objetivos predefinidos).
○
de los objetivos globales; relevancia, pertinencia, validez o utilidad
○
EFICACIA. Contribución de los resultados obtenidos al cumplimiento
○
noción resulta particularmente práctica ya que frecuentemente se
○
○
resultados previstos (logro de los objetivos predefinidos). Esta
b) En el marco de rendición de cuentas. Las instituciones
utilizan sistemas de indicadores de rendimiento que
expresan el grado de cumplimiento institucional de
objetivos preestablecidos. El proceso de rendición de
cuentas informa a los interesados, internos y externos,
acerca del logro en la ejecución de sus planes
estratégicos y de los recursos empleados.
3
¿Cómo construir indicadores de desempeño?
Para construir indicadores de desempeño se recomienda el siguiente procedimiento:
1. Establecer un marco conceptual o modelo teórico.
El marco conceptual que se propone es el Enfoque de Sistemas
En este contexto los indicadores se clasifican en indicadores de insumo, proceso, salida y resultados.
(QIRTXHGH6LVWHPDV
3URFHVR
(QWUDGD
Establecer un marco
conceptual o modelo
3URFHVR
6DOLGD
9DORU
HVSHUDGR
Elaborar una definición
RV
XUV
5HF
preliminar de los
teórico
indicadores
Conocer, entender e
Verificar que las
identificar los
objetivos
Consensar las
dimensiones
Definir los factores
(ILFLHQFLD
(YDO~DQ OD UHODFLyQ HQWUH
ORV UHFXUVRV \ VX JUDGR GH
DSURYHFKDPLHQWR SRU SDUWH
GH ORV SURFHVRV R
DFWLYLGDGHVGHOVLVWHPD
(IHFWLYLGDG
(ILFDFLD
dimensiones de
(YDO~DQODUHODFLyQHQWUH
ODVDOLGDGHOVLVWHPD\HO
UHVXOWDGR HVSHUDGR GHO
VLVWHPD
consideradas
6RQ HO UHVXOWDGR GHO ORJUR
GHODHILFLHQFLD\ODHILFDFLD
evaluación estén
Establecer metas para
los indicadores
Validar los indicadores
críticos de éxito
Indicadores de insumo. Tienen que ver con los recursos humanos y financieros, empleados por las IES. Se pueden agrupar
en "características" del alumnado, del profesorado, de los recursos financieros, etc. Para cada caso el término características se
refiere a la disponibilidad del recurso, su naturaleza, la calidad y cantidad utilizada. Ejemplos: porcentaje de alumnos de tiempo
completo, proporción de gasto de sistema de educación superior con relación al total del gasto público, porcentaje de recursos
propios en relación con el total de recursos; porcentaje de profesoras, porcentaje de personal académico con estudios de
posgrado; etc.
Indicadores de proceso. Se refieren a los medios a través de los cuales los insumos se transforman en salidas. Describe la
intensidad o la productividad de los recursos utilizados, así como el esfuerzo administrativo aplicado a los insumos y el
funcionamiento de la organización. Ejemplos: número de alumnos por aula; proporción alumnos/profesor; proporción
profesores titulares respecto de los auxiliares; grado de avance del alumno en la carrera; costo por alumno; etc.
Indicadores de salida. Referidos a los efectos directos e inmediatos del proceso educativo. Incluyen desde efectos como el
nivel de aprendizaje alcanzado por el alumno, hasta cuestiones relacionadas con la equidad. Ejemplos: proporción de
egresados respecto del primer ingreso; proporción de egresados pertenecientes a familias de menores ingresos; proporción de
egresados de las carreras técnicas sobre el total de egresados; etc.
Indicadores de resultado del proceso educativo. Estos indicadores hacen referencia a la interacción entre las salidas del
proceso educativo y el entorno social. Aquí se incluyen los efectos de la educación sobre el nivel de ingresos individuales a lo
largo de la vida, el puesto de trabajo, el nivel de consumo, la satisfacción laboral, etc. Ejemplos: relación entre el año de
egreso y el año de obtención del primer empleo; proporción de egresados universitarios respecto de la población desempleada;
proporción de egresados que se encuentran desempleados; distribución de la población según nivel educativo y nivel de
ingreso; etc.
4
5