Principales factores que explican el limitado uso

PRINCIPALES FACTORES QUE EXPLICAN EL USO
INSTRUMENTAL DE LA EVALUACIÓN EXTERNA DE
PROGRAMAS PRESUPUESTARIOS FEDERALES EN MÉXICO,
PERIODO 2007-2013: ANÁLISIS DE RESULTADOS
AU TO R A : J AQ U E L I N E E S P E R A N Z A M E Z A U R Í A S
N OV I E M B R E , 2 0 1 5
D O C U M E N TO P R E L I M I N A R ,
P O R FAVO R N O C I TA R .
1. ARGUMENTO CENTRAL:
Pregunta
Hipótesis
¿Cuáles son los principales factores
que
explican
el
instrumental
de
externa
de
presupuestarios
limitado
la
•
uso
Los factores humanos y organizacionales son los que mayormente se relacionan con el limitado
uso instrumental de la evaluación externa, ya que tanto las características personales de
evaluación
evaluadores externos y de los usuarios de la evaluación, las características organizacionales
programas
propician mala comunicación, falta de compromiso e interés hacia la evaluación, la no
federales
en
internalización de la evaluación externa y que los programas no puedan llevar a cabo los
México?
cambios propuestos.
•
¿Cómo se interrelacionen dichos
factores para explicar el limitado
uso de la evaluación externa?
Los factores normativos, de la calidad y políticos se relacionan en menor medida el limitado uso
instrumental de la evaluación externa, ya que aunque los funcionarios públicos no cumplan
con la normatividad, pese a que se acepten evaluaciones de mala calidad o no se apoye la
evaluación externa dentro de las dependencias y entidades, no existen sanciones para los
funcionarios públicos que pudieran afectar el uso de la misma.
2. MARCO TEÓRICO
Neo-Institucionalismo
Teoría de la evaluación
Factores que afectan el uso
Organizacional
Meyer y Rowan en Powell y
Dimaggio (1999)
Alkin, Dailak y White (1979);
Alkin y Asociados (1985);
Hofstetter y Alkin (2003); Alkin
y Christie (2004); Patton (2008,
2012)
Aspectos que promueven el uso
La evaluación como mito
institucionalizado
Läubli y Mayne (2014),
Cejudo, G. (2011) en Cejudo
y Maldonado (2011)
3. METODOLOGÍA
Se diseñó un Censo a usuarios que participan en los procesos de
evaluación externa de 399 programas federales evaluados entre
2007y 2013.
Se diseñó y envió un Cuestionario, vía internet, a 661 funcionarios de
29 Dependencias y Entidades, y se obtuvieron 200 respuestas, de
237programas, de 22 dependencias federales.
Se elaboró base de datos en SPSS para la sistematización y el análisis
de las relaciones entre variables.
4. ACTORES INVOLUCRADOS EN EL PROCESO
DE LA EVALUACIÓN EXTERNA
Fuente: Läubli y Mayne (2014, p.23)
5. MODELO ANALÍTICO:
Y= F (f1, f2, f3, f4, f5)
Donde:
Y= Limitado uso instrumental de la evaluación externa
f1= Factores humanos
f2= Factores organizacionales
f3= Factores normativos
f4= Factores políticos
f5=Factores de la calidad
Variable dependiente
Limitado uso instrumental 
de la evaluación externa

Variables de control
Tipo de usuario
Variables independientes
Factores normativos, de la
calidad,
organizacionales,
Niveles jerárquicos de los
políticos y humanos
funcionarios

Modalidad del programa
evaluado

Número de evaluaciones
participadas
6. ANÁLISIS DE RESULTADOS
 Variables de control: Tipo de usuario, nivel jerárquico, modalidad del programa, evaluaciones
participadas
Las variables “tipo de
usuario” y “nivel
jerárquico” son las que
más ayudaron a
relacionar mejor el
comportamiento de
algunas variables
Las variables
“modalidad del
programa” y
“evaluaciones
participadas” no
ayudaron a establecer
vínculos o diferencias
entre las variables.
6. ANÁLISIS DE RESULTADOS
 Variable dependiente: limitado uso instrumental de la evaluación externa
Indicadores
1.
2.
3.
% de recomendaciones
que se seleccionan como
ASM
% de ASM que se
concluyen
ASM que se consideran
adecuados
Apoyo/Rechazo a las hipótesis
• Se corrobora la hipótesis de que el uso de la evaluación externa,
medido por estos tres indicadores, es limitado.
 La media de selección de recomendaciones como ASM es
del 50.1%.
 Pese a que más del 60% de los funcionarios señalan que se
concluyen del 75.01 al 100% de los ASM, la media de
dicho indicador es del 72%, lo cual indicaría un nivel “medio
alto”.
 Asimismo, datos del CONEVAL, del mes de marzo del 2015,
indican que el nivel de cumplimiento de los ASM
comprometidos es del 66%, lo que indicaría un nivel “medio
alto" de cumplimiento promedio de los ASM concluidos al
100%.
6. ANÁLISIS DE RESULTADOS
 Variables independientes: Factores normativos, de la calidad, organizacionales, humanos y
políticos.
• Factores normativos
Indicadores
1.
2.
Contribución del marco
normativo
Obstáculos al
cumplimiento
1. Uso de los mismos
términos de
referencia
2. Preocupación por
tiempos y plazos
3. Mala comunicación
entre actores
Apoyo/Rechazo a las hipótesis
•
Se apoya la hipótesis de que los factores normativos explican en menor
medida el limitado uso de la evaluación externa, aunque la razón de
incumplimiento no es la ausencia de sanciones.
• Solamente se tuvo congruencia con 1 indicador de la variable
dependiente, ya que los funcionarios señalaron mayormente que se
seleccionan menos del 75% de las recomendaciones que se
transforman en ASM”.
• Pese a que en general los funcionarios tienen opinión negativa
sobre el marco normativo, éstos señalaron mayormente que se
cumplen más del 75% de los ASM y los ASM se consideran “muy y
extremadamente adecuados”.
6. ANÁLISIS DE RESULTADOS
• Factores de la calidad de la evaluación
Indicadores
1.
2.
3.
4.
Apoyo/Rechazo a las hipótesis
Relevancia de
 No se podría apoyar ni rechazar la hipótesis sobre los factores de la calidad.
las
• El indicador de claridad, parece no tener importancia en la selección de los
recomendaciones
recomendaciones como ASM, ya que aunque los funcionarios opinaron
emitidas por los
mayormente que las recomendaciones son “muy y siempre relevantes y claras”
evaluadores
el porcentaje de funcionarios que señaló seleccionar más del 75% de las
externos
recomendaciones como ASM fue menor.
Claridad,
• Los indicadores de relevancia, precisión y factibilidad de las recomendaciones
Precisión,
emitidas por los evaluadores externos tienen mayor importancia al seleccionar
las recomendaciones que se transformarán en ASM a ser cumplidos.
Factibilidad.
• En general, pareciera que los indicadores de la calidad de la evaluación no
tienen relevancia en el cumplimiento de los ASM y en si éstos se consideran
adecuados, sino en el % de recomendaciones que se transforman en ASM.
6. ANÁLISIS DE RESULTADOS
• Factores organizacionales
Indicadores
1.
Generación
de
conocimientos
y habilidades
Cultura de la
evaluación
2.
Control legal
de la
evaluación
3.
Control
presupuestal
Apoyo/Rechazo a las hipótesis
•
Se apoya parcialmente la hipótesis de que los factores organizacionales se relacionan en mayor
medida con el uso limitado de la evaluación externa, ya que aunque pareciera que los
funcionarios tienen internalizado el proceso de la evaluación, éstos manifiestan no tener la
capacidad para realizar los cambios propuestos por la evaluación e identifican arreglos
institucionales que limitan su libertad de actuación en los programas.
•
•
•
Destaca que la mitad de los funcionarios señala que se han generado "poco, ligeramente o
nada" conocimientos y habilidades en las UR’s de los programas, debido a que mayormente
se realizan evaluaciones de gabinete, solo el 2% del periodo han sido de impacto o de
procesos.
En general, los funcionarios señalan no contar con la capacidad para realizar los cambios
propuestos por la evaluación externa, sin embargo perciben que se concluyen más del 75%
de los ASM y que éstos son “muy y extremadamente adecuados”
Más de la mitad de funcionarios manifiesta no contar con la capacidad de decisión para
realizar los cambios de la evaluación externa, sin embargo manifiestan realizar la selección
e implementación de ASM.
6. ANÁLISIS DE RESULTADOS
• Factores humanos o personales
• Características del usuario de la evaluación y del evaluador externo
Indicadores
1. Tiempo laborando en cargo actual
2. Tiempo realizando actividades de
evaluación externa
3. Opinión sobre la necesidad de la
evaluación
4. Predisposición a la evaluación (cambio de
opinión hacia la evaluación externa)
5. Estilo profesional de los usuarios (Sentido
del cambio de la opinión de la evaluación
externa)
6. Incremento de las cargas de trabajo
7. Promoción del uso de la evaluación
8. Involucramiento de los usuarios de la
evaluación
9. Relación con los usuarios de la evaluación
10. Credibilidad del evaluador externo
Apoyo/Rechazo a las hipótesis
•
•
•
•
No se podría apoyar ni rechazar la hipótesis sobre los factores humanos.
Por un lado, los usuarios de la evaluación opinan que la evaluación
externa es muy necesaria para mejorar el desempeño de los programas,
que tienen mayor experiencia en la actividad de evaluación, pero que es
una carga de trabajo,
Por el otro, los funcionarios señalan que los evaluadores externos tienen
mala comunicación con los usuarios, no están comprometidos con el uso de
la evaluación, pero realizan un trabajo imparcial y/o independiente,
En la mayoría de los casos los funcionarios señalan que se seleccionan
menos del 75% de las recomendaciones como ASM y que se concluyen
más del 75% de los ASM y que éstos son “muy y extremadamente
adecuados”.
6. ANÁLISIS DE RESULTADOS
 Factores políticos
Indicadores
1. Apoyo del Titular
de la
Dependencia y
Entidad y del
responsable de la
UR
2. Participación en
reuniones de
evaluación
externa
3. Importancia para
la sociedad
mexicana y los
Legisladores
Apoyo/Rechazo a las hipótesis
•
•
No se podría apoyar ni rechazar la hipótesis sobre los factores políticos.
Pese a que los datos del Cuestionario dan cuenta de que los funcionarios perciben que se
cuenta con el apoyo de la sociedad mexicana y de los Legisladores en la tarea de evaluar, el
hecho de que sea atendida mayormente por niveles jerárquicos “medios” parece denotar que
para los titulares de las dependencias y entidades y para los titulares de las UR’s de los
programas. esta actividad no es una prioridad.
• El 73.9% de los funcionarios manifestó que a las reuniones de informes finales de la
evaluación externa, asisten funcionarios de niveles jerárquicos medios
• Una de las posibles razones de esta tendencia es que para las dependencias y entidades
federales la evaluación externa es “un trámite burocrático más que cumplir con las
dependencias coordinadoras (CONEVAL, SHCP, y SFP)”, que afecta el trabajo sustancial de
las Unidades Responsables de los programas presupuestarios, por lo que es atendida por
niveles jerárquicos “medios”.
• Esta afirmación se confirma con el hecho de que un 40 % de funcionarios consideran como
un segundo obstáculo al cumplimiento de los ASM, “la preocupación por cumplir con los
tiempos y formas establecidos por las dependencias coordinadoras”.
7.
CONCLUSIONES PRELIMINARES
1. A partir de los resultados obtenidos, pareciera que la evaluación externa es una actividad
mayormente atendida por niveles jerárquicos “medios”, en las dependencias y entidades,
funcionarios con que en muchos casos tienen limitada capacidad de decisión.
•
Alrededor del 60% de los funcionarios que asisten a las reuniones de informes finales de
evaluación externa son de niveles jerárquicos medios (Director y Subdirector de área, Jefe de
Departamento u homólogo).
•
Alrededor del 90% de los Aspectos Susceptibles de Mejora (ASM) seleccionados son de tipo
“específico e institucional” cuya solución implica al área responsable del programa o a otras
´reas dentro de las dependencias y entidades.
•
Pese a que son los funcionarios de niveles “medios” los que mayormente seleccionan los ASM,
en su implementación se enfrentan a un conjunto de obstáculos institucionales que limitan su
cumplimiento al 100%
2. En México, la actividad de evaluación externa está más consolidada en programas de desarrollo
social, por la participación del CONEVAL, en programas presupuestarios no sociales se percibe una
menor cultura de la evaluación externa.
7.
3.
CONCLUSIONES PRELIMINARES
Pareciera ser que, por un lado, la selección de las recomendaciones como ASM y por el otro, el
cumplimiento de los ASM y los ASM que se consideran adecuados, responden a lógicas diferentes,
ya que aunque los tres indicadores pudieran denotar un nivel de uso de la evaluación externa,
éstos indicadores no están relacionados entre sí.
•
Una de las posibles razones es que en el indicador “% de las recomendaciones que se
seleccionan como ASM” los funcionarios perciben que están evaluando el desempeño de los
evaluadores externos, y en el caso de los indicadores “% de ASM que se cumplen el 100% y
los ASM que se consideran adecuados” los funcionarios perciben que se está evaluando su
desempeño personal.