Evaluación Ex - Post Procesos e impactos

CURSO INTERNACIONAL
EVALUACIÓN DE LA GESTIÓN Y DE PROGRAMAS
PÚBLICOS
Santiago de Chile, 1 al 12 de septiembre de 2008
EVALUACIÓN EX - POST
Procesos e impactos
Andrés Fernández
División de Desarrollo Social
1
Presentación
La evaluación ex-post corresponde a la verificación del grado de logro de
objetivos y metas formulados en el programa o proyecto.
Una mirada un poco más amplia que sólo impacto.
Es necesario un enfoque integral de la gestión para comprender las
relaciones entre diseño, ejecución, monitoreo y evaluación.
El propósito central del enfoque es la maximización del impacto y por lo
tanto de la rentabilidad de la inversión social (desde la evaluación ex –
ante).
2
El enfoque integral de la gestión social
PROCESOS
Insumos
Actividades
Productos
Impactos
Efectos
DISEÑO
Relación a nivel de metas
Plan de producción
Objetivos y
metas de
producto
Objetivos y
metas de
impacto
3
A
continuación
relacionar
algunos
objetivos
de
ejemplos
impacto
y
para
sus
indicadores, con objetivos de producto y sus
indicadores
4
Objetivos de Impacto
Indicadores de Impacto
Bajar la incidencia de morbilidad
infantil a la media nacional (15o/oo)
• Puntos de disminución en Incidencia
de morbilidad infantil
Bajar la incidencia de mortalidad
infantil en un 50%.
• % de variación de la incidencia de
mortalidad infantil
Disminuir en un 70% la brecha de
nivel educacional existente entre la
región norte y el promedio nacional.
• % de variación en resultados de
prueba nacional de medición de
calidad educativa
• % de disminución de tasa de
repetición
• % de disminución de tasa de
deserción escolar
Bajar el desempleo de la PEA rural
juvenil en 10 puntos porcentuales.
• Puntos de disminución en la tasa de
desempleo
5
Objetivos de Producto
Indicadores de Producto
Madres e hijos bajo control médico pre
y post natal
• Cantidad de madres bajo control
• Cantidad de hijos bajo control
Niños vacunados
• Cantidad de niños vacunados
Madres capacitadas en prevención de
deshidratación infantil
• Cantidad de madres capacitadas
Alumnos educados con nuevas
tecnologías pedagógicas
• Cantidad de alumnos educados con
nuevas tecnologías pedagógicas
Alumnos de escasos recursos becados • Cantidad de alumnos becados
Jóvenes rurales capacitados en
producción agropecuaria
• Cantidad de jóvenes rurales
capacitados en producción
agropecuaria
Jóvenes microempresarios rurales con
acceso a créditos subsidiados
• Cantidad de jóvenes
microempresarios rurales con crédito
subsidiado
Jóvenes con contratos formalizados
• Cantidad de jóvenes con contratos
formalizados
6
Principales razones de fracaso
Factores internos
• Errores de diagnóstico (tamaño del problema, análisis causal, etc.).
• Inadecuado diseño (procesos y organización).
• Incumplimiento de las metas de producto.
• Errores de focalización.
• Desajustes financieros (costos, flujo de caja, etc.).
• Interacción entre algunos de los anteriores.
Factores externos
• Incumplimiento de supuestos.
• Cambios imprevistos de contexto.
7
Flujo básico de información en el ciclo de la gestión social
Alimentación
Diagnóstico
Evaluación
ex ante
Formulación
Retroalimentación
Inversión
Programación
Operación
Evaluación
Ex post
Monitoreo y
control de
procesos
8
Definición
La evaluación ex - post consiste en la medición o sistematización y
explicación de los resultados acumulados de:
Cobertura
Focalización
Eficacia
Eficiencia
Efectos
Impacto
Relación costo / impacto
… para lo cual se utilizan datos reales a diferencia de la evaluación ex-ante
que utiliza las estimaciones disponibles.
=> Estrecha relación con el sistema de monitoreo.
9
Monitoreo y control de procesos
El propósito central del monitoreo y control de procesos es velar por el
cumplimiento de la(s) meta(s) de impacto. En términos generales, consiste
en el examen periódico de los procesos utilizando un sistema de
indicadores especialmente diseñado para alertar acerca de desviaciones
respecto de lo programado.
Esta función está centrada en la fase de operación y, particularmente en
sus procesos clave, no obstante que la inversión en activos fijos, en el
caso que un proyecto la contemple, también debe ser monitoreada.
10
Monitoreo y control de procesos
El sistema de indicadores, abarcando tanto las “salidas” como las
actividades críticas de cada proceso, debe proveer de información
respecto de cantidad, calidad, tiempo y costo.
El desafío está en conjugar dos principios:
1.
minimizar el riesgo en el proceso decisorio.
2.
maximizar la eficiencia en la recolección de información.
11
Principales indicadores
Cobertura
Este indicador hace referencia a la relación entre beneficiarios y población
objetivo.
Cobertura =
Cantidad d e benefici arios
*100
Tamaño de la poblaci ón objetiv o
BT
Cb =
* 100
PO
Cn
B PO
=
* 100
PO
12
Principales indicadores
Focalización
Los indicadores de focalización buscan conocer en qué medida la
población objetivo es o no la beneficiaria del proyecto.
El grado de
focalización (F), permite conocer en qué medida los productos (bienes o
servicios) son recibidos sólo por aquellas personas o entidades
pertenecientes a la población objetivo, es decir, mide el acierto de
inclusión.
B PO
F =
* 100
BT
13
Cobertura y focalización
Pertenecen
a la PO
No pertenecen
a la PO
Población
atendida
Acierto de inclusión
(a)
Error de inclusión
(b)
Población
no atendida
Error de exclusión
(c)
Acierto de exclusión
(d)
a+c
Cobertura bruta (CB) =
Cobertura neta (CN) =
a+b
c+d
b+d
(a + b) / (a + c)
(a) / (a + c)
Cuando sólo existen aciertos, esto es, ambos errores son iguales a “0”, la
focalización es totalmente correcta. Entonces: CB = CN = 100%.
14
Principales indicadores
Eficacia : corresponde a la relación entre la cantidad de bienes o servicios
que produce y distribuye el proyecto durante su operación y lo estimado en
la programación, independientemente de los costos.
A=
IF
GC
Donde,
IF corresponde al “índice físico” y
GC al “grado de cumplimento”.
Producción generada
Indice Físico =
Producción programada
Grado de cumplimien to =
Tiempo real
Tiempo programado
IF =
L
M
GC =
Tr
Tp
Si A = 1, el proyecto es eficaz (la eficacia es de 100%)
Si A < 1, el proyecto es menos eficaz que lo programado (inferior al 100%)
Si A > 1, el proyecto es más eficaz que lo programado (superior al 100%)
15
Principales indicadores
Eficiencia : corresponde a relación entre los productos generados y los
recursos utilizados en la producción. Relaciona los costos programados,
con los costos reales, el volumen de producción y el tiempo (reales y
programados).
B=
L * C p * Tp
M * Cr *Tr
B = A*
C
p
C
r
Donde (Cp ) son los costos programados y (Cr ) los costos reales.
B = 1, la producción es eficiente (costos reales por producto iguales a los
programados)
B > 1, el proyecto es más eficiente que lo programado
B < 1, el proyecto es menos eficiente que lo programado
16
Principales indicadores
Calidad : corresponde a la relación entre el estándar del producto real y el
estándar programado. Éste se establece a partir de criterios normativos, lo
observado en otro proyecto similar o en función del promedio para un
conjunto de proyectos.
q
Q =
S
Donde, “q” es el nivel de calidad del producto entregado y “s” es el estándar
de comparación.
Si Q = 1, la calidad observada es igual al estándar o a la media; si Q > 1 la
calidad del producto es superior; si Q < 1, entonces es inferior.
17
Principales indicadores
Respecto de la calidad cabe advertir que, independientemente del
cumplimiento o no del estándar, existe lo que se denomina calidad
percibida por los beneficiarios. Ésta incidirá de manera significativa en
el uso del producto y, consecuentemente, en el logro de la meta de
impacto.
Si la calidad se califica negativamente, los beneficiarios rechazarán el
producto.
Por otra parte, cabe señalar también que ésta depende de las
expectativas: mientras menor sea ésta, más positiva será la percepción
de calidad.
18
A continuación un ejemplo de diagrama de
procesos y su relación con objetivos de
impacto y poblaciones objetivo:
El caso del Plan de Mejoramiento Alimentario
y Nutricional de Antioquia
19
20
21
Diagrama
Proceso: Recuperación de niños con desnutrición aguda
Detección de niños con
desnutrición aguda
NO
NO
Lista de espera
por cupo
¿Moderada o
Severa?
SI
¿Existe
cupo?
SI
Ingreso a CRN y
tratamiento clínico
Eventual derivación y
tratamiento en clínica
Santa Ana
Recuperación nutricional
ambulatoria
Seguimiento
Niños con desnutrición aguda
recuperados
22
Indicadores de monitoreo
Proceso: Recuperación de niños con desnutrición aguda
Detección de niños con desnutrición aguda
Eficacia
Cobertura y Focalización
Tasa de abandono
Tratamiento clínico
Tasa de derivación
Eficacia
Eficiencia
Tasa de abandono
Seguimiento
Eficacia
Cobertura y Focalización
Recuperación ambulatoria
Tasa de abandono
Eficacia
23
Evaluación de impacto
La evaluación de impacto utiliza la lógica del método experimental, no
constituyendo propiamente un “experimento”. La única excepción puede
ser el caso de ciertos proyectos que tienen el carácter de “piloto” siempre
que en su diseño esto haya sido considerado.
La verificación del impacto se realiza mediante la medición y comparación
del estado "inicial" (línea de base) que presentaba la población objetivo y
la situación existente después de un tiempo de operación del proyecto
(línea de comparación), eliminando (o tratando de minimizar) la incidencia
de factores externos que también pudieran estar contribuyendo a la
“explicación” del cambio.
Los modelos para medir efectos e impactos son los mismos, sólo cambian
los indicadores utilizados.
24
Los diseños de investigación
•
Experimentales
•
No experimentales
Según la
intervención del
investigador
•
Pre experimentales
Experimentales
Cuasi experimentales
Transversales
Según el número de
mediciones
•
•
•
•
Longitudinales
•
•
•
Cohortes
Panel
Tendencia
25
Diseños experimentales
Definición
Diversidad de
complejidad
Por experimento se entiende aquel método que permite
estudiar el efecto que tiene, sobre una o más variables
dependientes (Y), la manipulación de una o más
variables independientes (X).
Posibilidades de
manipular el ambiente
Posibilidades de
controlar el ambiente
Administrar el estímulo
experimental (X)
Aislar factores
intervinientes
Controlar los factores intervinientes afecta la validez de los resultados y
las conclusiones.
26
Validez de los diseños experimentales
Interna
Externa
Los resultados se “explican” por el
proyecto y no por otros factores no
controlados.
Alude a la representatividad de los
resultados obtenidos. Es decir, las
posibilidades de generalización que
éstos tienen.
En el análisis de los impactos lo más relevante es la validez interna.
La validez externa adquiere relevancia cuando alimenta decisiones de
replicación o de ampliación, como en el caso de los proyectos piloto, sin
embargo habrá que precaverse del “efecto macetero”.
27
Principales factores que atentan contra la validez interna
1. Historia: acontecimientos externos a los sujetos ocurridos entre las
mediciones.
2. Maduración: sucesos propios de los sujetos que intervienen por el
sólo hecho del paso del tiempo entre las dos mediciones.
3. Administración de pruebas: efecto de una aplicación de prueba sobre
los resultados de otra posterior.
4. Instrumentación: cambio de instrumentos u observadores entre las
dos mediciones.
5. Mortalidad: efecto sobre los resultados por la pérdida de sujetos
entre las mediciones.
28
Diseño experimental clásico
R
R
Yb1
Yc1
X
Yb2
Yc2
La magnitud en que difieran los cambios producidos en el grupo con
b
b
proyecto (Y 1 - Y 2), en cada objetivo de impacto, respecto a los del grupo
c
c
sin proyecto (Y 1 - Y 2), será una medida del impacto del proyecto en dicho
objetivo.
29
Diseño experimental clásico
b
1
Si, (Y
b
- Y 2) es resultado de cambios endógenos y exógenos
Si, (Yc1 - Yc2) es resultado sólo de cambios exógenos
Entonces (Yb1 - Yb2) - (Yc1 - Yc2) es una medida del impacto neto del
proyecto.
Si la aleatorización es “perfecta”, entonces (Yb1 = Yc1) , por lo tanto para
conocer la magnitud del impacto bastaría con la comparación post. Sin
embargo, esto no permite conocer la magnitud de efectos exógenos y se
pierde información que enriquece el análisis evaluativo empobreciendo, a
la vez, la retroalimentación para tomar decisiones de reprogramación o
replicación.
30
Diseño experimental clásico
El diseño experimental clásico constituye una forma vigorosa de
identificar los cambios producidos por un proyecto. Sin embargo, su
aplicación se dificulta porque requiere la selección aleatoria de los
integrantes de cada uno de los grupos en la línea de base (LB).
Otro obstáculo son las dificultades éticas que derivan de aplicar el
proyecto a sólo una parte de la población objetivo (el grupo experimental)
para poder medir el impacto, excluyendo a otros que legítimamente
requieren de la atención que el mismo brinda.
31
Diseños pre experimentales
Diseño antes - después de un solo grupo
Yb1
X
Yb2
No permite eliminar el efecto del contexto y, por tanto, tampoco es
posible determinar en qué medida los cambios registrados son
imputables al proyecto.
32
Diseños pre experimentales
Diseño de comparación con grupo equivalente
X
Yb2
------------Yc2
Es posible aumentar la validez procurando que los dos grupos sean
lo más parecidos posible en todas las variables externas al proyecto
que pudieran incidir en el impacto. Sin embargo, la ausencia de LB
no permite medir su magnitud.
33
Diseños cuasi experimentales
Diseño antes – después con grupo de control “equivalente”
Yb1
Yc1
X
Yb2
Yc2
Se comparan grupos “naturales”
equivalencia por muestreo aleatorio.
pero
que
no
poseen
34
Diseños cuasi experimentales
Diseño de series cronológicas
Yb1 Yb2 Yb3 Yb4
X
Yb5 Yb6 Yb7 Yb8
Si se dispone una serie mediciones para los indicadores pertinentes, tanto
antes como después de la ejecución del proyecto, es posible hacer un
análisis de series temporales. La formas que adopta la curva que
representa la serie es utilizada para estimar la magnitud del impacto.
En términos estrictos, con este modelo no es posible aislar los efectos
atribuibles al proyecto. Es el clásico problema de establecer causalidad sin
disponer de instrumentos que controlen los diferentes tipos de variables
que la afectan.
Es posible mejorar la estimación incorporando una serie cronológica para
“grupo equivalente”.
35
Curvas de efecto en diseños cuasi experimentales
F
Y
E
D
C
B
A
X
t
36
Complementos a los diseños cuasi experimentales
Aunque los diseños experimentales se consideran el método óptimo para
estimar el impacto de los programas sociales, ellos son difíciles de
implementar.
1. Conseguir la aleatorización puede ser difícil por aspectos políticos o
éticos ya que supone no entregar los productos a personas que
cumplen con la definición de población objetivo.
2. Durante la intervención las personas asignadas a los grupos de control
podrían cambiar ciertas características que los identifican, afectando la
validez interna. Normalmente no es posible aplicar la condición de
“doble ciego”.
3. En muchas ocasiones la evaluación se diseña con el programa en
operación lo que dificulta optar por un diseño experimental debiendo
recurrirse a los diseños cuasi experimentales.
37
Complementos a los diseños cuasi experimentales
Como hemos visto, un elemento importante en la evaluación de impacto es
la construcción de un escenario contrafactual. Esto es, por medio de
métodos estadísticos, construir una situación hipotética en la cual
hubiesen estado los beneficiarios en caso de que el programa no se
hubiese implementado.
Lo habitual, en el campo de los programas sociales, es recurrir a
mecanismos que propendan a lograr una deseada igualdad de medias
entre los atributos de los integrantes de ambos grupos.
El diseño denominado antes – después con grupo de control “equivalente”
ha sido perfeccionado con la aplicación de modelos estadísticos, por
medio de los cuales es posible “parear” sujetos empleando un set de
atributos similares.
38
Muestreo, precisión y significación estadística
El nivel de precisión de una estimación de parámetros o el nivel de
significación logrado en un prueba de hipótesis está directamente
relacionado con el error de muestreo o error estándar y éste, a su vez
depende del tamaño de la muestra y de su diseño.
39
Evaluación costo / impacto
Relación costo / impacto
El último componente de la evaluación ex-post es calcular el costo por
unidad de impacto real (CUIr), dividiendo los costos reales (Cr) por los
impactos alcanzados Ir.
CUI r =
Cr
Ir
Para hacer un análisis intra-proyecto, se comparan los resultados con las
estimaciones realizadas durante la evaluación ex-ante. Esto permite medir
el grado en que dichas estimaciones se adecuaron a la realidad y las
razones de las diferencias encontradas .
40
CURSO INTERNACIONAL
EVALUACIÓN DE LA GESTIÓN Y DE PROGRAMAS
PÚBLICOS
Santiago de Chile, 1 al 12 de septiembre de 2008
EVALUACIÓN EX - POST
Procesos e impactos
Andrés Fernández
División de Desarrollo Social
41