Evaluación de programas y proyectos sociales

Evaluación de programas y
proyectos sociales
Introducción
Rodrigo Martínez
División de Desarrollo Social
Noviembre, 2005
1
Políticas programas y proyectos sociales
Un proyecto social es la unidad mínima de asignación de recursos, que a través
de un conjunto integrado de procesos y actividades pretende transformar una
parcela de la realidad (disminuir o eliminar un déficit, o solucionar un problema).
Un programa social es un conjunto de proyectos que persiguen los mismos
objetivos, que pueden diferenciarse por trabajar con poblaciones diferentes y/o
utilizar distintas estrategias de intervención.
La política social es un conjunto de programas que pretenden alcanzar los
mismos fines. Da las orientaciones sobre qué problemas sociales priorizar y
define las principales vías y/o límites para la intervención que la política plantea.
POLITICA SOCIAL
PROGRAMA 1
PROYECTO 1.1
PROYECTO 1.2
PROGRAMA 2
PROYECTO 2.1
PROYECTO 2.2
2
Problemas, objetivos e impactos
Los problemas sociales se definen como carencias o déficits existentes en un
grupo poblacional determinado. Constituyen una brecha entre lo deseado (por la
sociedad) y la realidad. Le dan el sentido a los proyectos sociales.
El impacto de un proyecto o programa social es la magnitud cuantitativa del
cambio en el problema de la población objetivo, como resultado de la entrega de
productos (bienes o servicios) a la misma. Es el valor agregado del proyecto.
Impacto
Lineal
Discreta
Crecimiento Decreciente
0
Inversión
Nula-Positiva-Negativa
3
El proceso productivo de la gestión social
Insumos + Actividades/Procesos = Productos
Impactos
Efectos
MONITOREO
EVALUACION
4
Etapas en el ciclo de un proyecto
IDEA
¿Continúa?
No
Sí
PERFIL
¿Sigue?
No
Sí
PREINVERSION
Espera
ó
Rechazo
PREFACTIBILIDAD
¿Aprueba?
No
Sí
FACTIBILIDAD
Sí, operar
¿Aprueba?
No
Sí, invertir
DISEÑO
INVERSION
EJECUCION
MARCHA BLANCA
OPERACION
OPERACION PLENA
5
Ciclo de Vida del Proyecto y Tipos de Evaluación
Estado
Preinversión
Inversión
Operación
Diagnóstico y
Formulación
SA
Evaluación Ex-Ante
Tipo de
Evaluación
SD
Seguimiento
Evaluación Ex-Post
Físico-Financiero
l Monitoreo Análisis de
Focalización
Eficacia
Eficiencia
l Evaluación de Impacto
6
Ideas iniciales sobre evaluación
Qué significa evaluar?
ü
ü
ü
ü
ü
Priorizar alternativas
Seleccionar una opción
Definir escenarios
Analizar resultados
Tomar decisiones
La evaluación es una actividad cotidiana. Todos evaluamos siempre.
Qué se necesita para evaluar?
Ø
Ø
Ø
Ø
Ø
Alternativas
Criterios de análisis
Patrones de comparación
Indicadores
Métodos e instrumentos
El modelo de evaluación
se debe definir antes de
formular los proyectos
Formulación y evaluación son dos caras de una misma moneda.
7
Metodologías de evaluación
Los distintos enfoques:
Criterio
“Tradición”
Diagnosticar una situación
Educación, Salud
Psicología
Logro de objetivos
sustantivos (Impacto)
Educación, Salud,
Ciencias Sociales
Logro de objetivos y metas
operativas (Productividad)
Administración
Presupuesto y ejecución
financiera
Contabilidad
Costos y beneficios
Economía
Evaluar significa distintas cosas según la tradición8
Metodologías de evaluación de proyectos
ACB
ACM
Costos
Insumos +
Actividades/Procesos
Beneficios
Productos
Impacto
ACI
Para estimar todos los beneficios es preciso estimar los impactos
9
Metodologías de evaluación de proyectos
Términos de
Comparación
Población
considerada en el
análisis
Estado en que se
aplica
Análisis Costo
Beneficio (ACB)
Costos y Beneficios
(expresados en
unidades monetarias)
La sociedad en
conjunto (sin importar
quién asume los
costos y quién recibe
los beneficios).
Evaluación ex-ante
Criterio de decisión Mayor valor en la
relación entre
beneficios y costos
monetarios
Requisitos
Estimar los costos,
los impactos y los
beneficios
económicos de éstos
Alcance
Compara todo tipo de
proyectos y
programas
Análisis Mínimo
costo (ACM)
Costos
Análisis Costo
Impacto (ACI)
Costos de producción
e impacto alcanzado
La sociedad en su
conjunto
La población objetivo
fijada según los
objetivos del proyecto
Evaluación ex-ante
Evaluaciones ex-ante
y ex-post
Menor costo
Menor valor en la
relación entre los
costos y el impacto
Estimar los costos
Estimar los costos y
los impactos
Compara todo tipo
de proyectos y
programas
Sólo compara
proyectos y
programas con
iguales objetivos
Cuál es el método más adecuado?
10
Evaluación de programas y
proyectos sociales
La Evaluación Ex-Ante
Rodrigo Martínez
División de Desarrollo Social
Noviembre, 2005
11
La Evaluación Ex - Ante
Objetivo: Decidir cuál o cuáles proyectos implementar
Momento: Al terminar la formulación, en la preinversión, antes de la
implementación
Fundamentos: Estimaciones, no certezas
Desafío: Identificar el momento adecuado para la decisión,
compensando la incertidumbre con los costos
100
90
80
70
60
50
40
30
20
10
0
a
Ide
ad
d
i
l
i
ctib
a
f
Pre
ad
d
i
l
i
tib
Fac
Co
sto
Inc
ert
idu
mb
re
12
Indicadores de evaluación Ex - Ante
ACB:
Relación Beneficio Costo
Valor Actualizado Neto (VAN)
Tasa interna de Retorno (TIR)
(Análisis privado y público/socio-económico)
Pero, cómo monetarizar los impactos?
ACM:
Valor Actualizado de Costos (VAC)
Costo Anual Equivalente (CAE)
Costo por Beneficiario
Costo por Unidad de Producto (CUP)
Y, cómo garantizar que se resuelve el problema?
ACI:
Costo por Unidad de Impacto (CUI)
Pero, cómo comparar programas con objetivos distintos?
13
Requisitos de la Evaluación Ex - Ante
1. Objetivos de impacto claros
2. Indicadores uniformes
3. Igual población objetivo
4. Criterios de formulación iguales para todos
5. Línea de Base del o los problemas
6. Análisis de Oferta y Demanda
7. Análisis de costos
8. Estimaciones de impactos
9. Horizonte de comparación único
En la evaluación Ex – Ante se estima,
en la evaluación Ex – Post se verifica
14
Evaluación Ex – Ante y tipos de proyectos
Tipo de proyecto
Modelo de evaluación
Un gran proyecto con uno o
más objetivos y con distintas
alternativas de intervención
Análisis Costo-Impacto de
alternativas
Varios proyectos distintos
que compiten por recursos
(concurso)
Análisis Multicriterio
15
Evaluación de programas y
proyectos sociales
Análisis Costo-Impacto Ex-Ante
Rodrigo Martínez
División de Desarrollo Social
Noviembre, 2005
16
Análisis Costo-Impacto de alternativas
Tipo de proyecto
Modelo de evaluación
Un gran proyecto con uno o
más objetivos y con distintas
alternativas de intervención
Análisis Costo-Impacto de
alternativas
Varios proyectos distintos
que compiten por recursos
(concurso)
Análisis Multicriterio
17
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
1.
Análisis de la Eficiencia
a.
b.
Estimar los costos (Capital, Mantenimiento, Operación y Usuarios)
Elaborar un flujo de costos
18
ITEM
0
Ejemplo:
Flujo de costos
de proyecto de
Atención Primaria
de Salud
Alternativa No 3:
“Equipamiento, y
educación
preventiva en las
comunidades”
COSTOS DE CAPITAL
Terreno actual
Subtotal Terreno
Construcción Actual
Subtotal Construcción
Equipamiento
Ambulancia
Subtotal Equipamiento
1
2
3
4
PERIODOS
5
6
7
8
9
12,500
12,500
45,000
45,000
-12,500
-12,500
-35,001
-35,001
17,200
17,200
Subtotal 74,700
COSTOS DE MANTENIMIENTO
Mantenimiento terreno actual
Mantenimiento construcción Actual
Mantenimiento Ambulancia
Subtotal
COSTOS DIRECTOS
Insumos Directos
Fármacos
Otros insumos
Luz, agua, gas
Combustible
Insumos Curso
Taller
Materiales
Subtotal Insumos Directos
Personal Directos
Enfermera
Paramédico
Auxiliar de Enfermería
Chofer
Monitores
Médico visitante
Subtotal Personal Directos
Subtotal
COSTOS INDIRECTOS
Administración
Insumos Administración
Subtotal
COSTOS DE USUARIOS
Traslado
Horas por consulta
Subtotal
COSTOS TOTALES
74,700
10
10,320
10,320
10,320
-6,880
-6,880
-54,381
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
375
1,350
516
2,241
135,000
90,000
5,472
2,364
500
2,500
750
236,586
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
135,000
90,000
5,472
2,364
750
233,586
750
233,586
750
233,586
750
233,586
750
233,586
750
233,586
750
233,586
750
233,586
750
233,586
19,800
13,200
9,900
3,600
10,000
5,400
61,900
298,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
19,800
13,200
9,900
3,600
10,000
5,400
61,900
295,486
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
16,800
4,200
21,000
74,250
81,000
155,250
476,977
74,250
81,000
155,250
473,977
74,250
81,000
155,250
473,977
74,250
81,000
155,250
473,977
74,250
81,000
155,250
484,297
74,250
81,000
155,250
473,977
74,250
81,000
155,250
473,977
74,250
81,000
155,250
473,977
74,250
81,000
155,250
345,847
74,250
81,000
155,250
419,596
19
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
1.
Análisis de la Eficiencia
a.
b.
c.
Estimar los costos (Capital, Mantenimiento, Operación y Usuarios)
Elaborar un flujo de costos
Actualizar los costos (VP) y estimar anualidades (A)
n
Fi
VP = I 0 + ∑
n
(
1
+
i
)
i =1
A = VP * 1-(1+ii )(-n)
Costo total
actualizado
VP en US$
Costo total
anual
CTA en US$
1. Optimización y educación en consultorio
2.616.165
463.02
2. Optimización, ampliación, equipamiento,
personal y educación en consultorio
3.348.731
592.672
Alternativa
3. Optimización, equipamiento y educación
preventiva en comunidades
20
2.750.887
486.863
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
1.
Análisis de la Eficiencia
a.
b.
c.
d.
Estimar los costos (Capital, Mantenimiento, Operación y Usuarios)
Elaborar un flujo de costos
Actualizar los costos (VP) y estimar anualidades (A)
Estimar los costos unitarios (CUP)
CTA
CUP =
SAP
SAP 1
SAP 2
CUP 1
CUP 2
Atenciones
Personas
educadas
Atenciones
(US$)
Personas educadas
(US$)
1. Optimización y educación en consultorio
45
870
9.9
21.8
2. Optimización, ampliación, equipamiento,
personal y educación en consultorio
54.504
1
10.6
15,7
Alternativa
3. Optimización, equipamiento y educación
preventiva en comunidades
21
45
2.5
10.3
9,6
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
1.
Análisis de la Eficiencia
a.
b.
c.
d.
e.
Estimar los costos (Capital, Mantenimiento, Operación y Usuarios)
Elaborar un flujo de costos
Actualizar los costos (VP) y estimar anualidades (A)
Estimar los costos unitarios (CUP)
Elaborar una matríz de costos
ALTERNATIVAS
CAT
CAC
CAE
CAK
CAM
CAOD
CAOI
CAO
CAAU
CTA
SAP 1
SAP 2
CUP 1
CUP 2
1. Optimización y educación
en el consultorio
1.500
5.970
0
7.470
1.725
277.200
18.000
295.200
158.625
463.020
45.000
870
9,9
21,8
2. Optimización, ampliación,
equipamiento, personal y
educación en el consultorio
2.100
8.888
14.442
25.430
3.860
353.256
18.000
371.256
192.127
592.672
54.504
1.000
10.6
15,7
3. Optimización,
equipamiento y educación
preventiva en las
comunidades
1.500
5.970
4.943
12.412
2.241
295.960
21.000
316.960
155.250
486.863
45.000
2.500
10.3
22
9,6
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
2.
Estimación de los impactos
a. Estimar el impacto promedio de cada alternativa en cada objetivo
(según la matriz lógica)
b. Asignar un ponderador de importancia a cada objetivo de impacto
c. Estimar el Impacto Total Ponderado (ITP)
ITP = OB1 p1 + OB2 p2 + OB3 p3 + .... + OBn pn
n
ITP = ∑ OBi pi
i =1
23
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
2.
Estimación de los impactos
a. Estimar el impacto promedio de cada alternativa en cada objetivo
(según la matriz lógica)
b. Asignar un ponderador de importancia a cada objetivo de impacto
c. Estimar el Impacto Total Ponderado (ITP)
d. Elaborar una matriz de impactos de las alternativas
IMPACTO (%)
IMPACTO PONDERADO (%)
ALTERNATIVAS
OB 1
OB 2
OB 3
OB 4
OB 1
OB 2
OB 3
OB 4
1. Optimización y educación en el
consultorio
20.0
15.0
12.0
12.0
8.6
3.2
2.6
1.7
16.1
2. Optimización, ampliación,
equipamiento, personal y educación en
el consultorio
30.0
15.0
20.0
17.0
12.9
3.2
4.3
2.4
22.8
3. Optimización, equipamiento y
educación preventiva en las
comunidades
35.0
12.0
15.0
20.0
15.0
2.6
3.2
2.8
23.6
p = 0.43 p = 0.21 p = 0.21 p = 0.14
ITP
24
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
3.
Relación costos - impactos
a. Elaborar una matriz de costo-impactos de las alternativas
COSTOS (US$)
ALTERNATIVAS
IMPACTO (%)
CTA
CUP1
CUP 2
OB 1
OB 2
OB 3
OB 4
ITP
1. Optimización y educación en
el consultorio
463,020
9.9
21.8
2.0
1.5
1.2
1.2
1.6
2. Optimización, ampliación,
equipamiento, personal y
educación en el consultorio
592,672
10.6
15.7
3.0
1.5
2.0
1.7
2.3
3. Optimización, equipamiento y
educación preventiva en las
comunidades
486,863
10.3
9,6
3.5
1.2
1.5
2.0
2.4
25
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
3.
Relación costos - impactos
a. Elaborar una matriz de costo-impactos de las alternativas
b. Estimar las relaciones de Costo por Unidad de Impacto (CUI) por
cada objetivo y ponderado.
CUI ij =
CTAi
( OBij * 100 )
COSTOS POR UNIDAD DE IMPACTO (US$ / %)
ALTERNATIVAS
1. Optimización y educación en el
consultorio
2. Optimización, ampliación,
equipamiento, personal y educación
en el consultorio
3. Optimización, equipamiento y
educación preventiva en las
comunidades
CUI
CUI 2
CUI 3
CUI 4
231.51
308.68
385.85
385.85
197.557
395.115
296.336
348.631
1
26
139.104
405.719
324.575
205.879
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
3.
Relación costos - impactos
a. Elaborar una matriz de costo-impactos de las alternativas
b. Estimar las relaciones de Costo por Unidad de Impacto (CUI) por
cada objetivo y ponderado.
CUI A i =
CTAi
( ITPi * 100 )
ALTERNATIVAS
CTA
ITP
CUI A
1. Optimización y educación en el consultorio
2. Optimización, ampliación, equipamiento,
personal y educación en el consultorio
3. Optimización, equipamiento y educación
preventiva en las comunidades
463,020
1.6
287,997
592,672
2.3
260,012
27
486,863
2.4
205,879
Análisis Costo-Impacto de alternativas
Seleccionar según la mejor relación de costo por
unidad de impacto (CUI)
Tareas:
3.
Relación costos - impactos
a. Elaborar una matriz de costo-impactos de las alternativas
b. Estimar las relaciones de Costo por Unidad de Impacto (CUI) por
cada objetivo y ponderado
c. Ordenar de menor a mayor
d. Seleccionar la alternativa de menor CUIA
ALTERNATIVAS
CTA
ITP
CUI A
ORDEN
1. Optimización y educación en el consultorio
2. Optimización, ampliación, equipamiento,
personal y educación en el consultorio
3. Optimización, equipamiento y educación
preventiva en las comunidades
463,020
1.6
287,997
3
592,672
2.3
260,012
2
486,863
2.4
205,879
1
28
Evaluación de programas y
proyectos sociales
El Análisis Multicriterio
Rodrigo Martínez
División de Desarrollo Social
Noviembre, 2005
29
El Análisis Multicriterio
Cuando se evalúan proyectos pequeños con destinatarios y/u
objetivos de impacto diferentes se utiliza un índice sumatorio
ponderado a fin de priorizar los proyectos a través de un conjunto de
criterios complementarios (Índice Multicriterio).
Para calcular el valor del Índice Multicriterio (IM) en cada proyecto se
utiliza la fórmula siguiente:
n
IM = ∑
j =1
Cj pj
r
* 100
Donde, Ci = puntaje del criterio j (social, técnico, económico, institucional, etc.)
pj = peso o importancia del criterio j (van de 0 a 1, tal que Σpj = 1)
r = rango de medición de los criterios (límite superior de la escala
menos límite inferior)
30
Cada criterio (Cj) incluido en el IM es un subíndice que agrupa variables e
indicadores, con la siguiente estructura:
Indicadores:
I111, I112, I113,…
Variable 11
(60%)
Criterio 1
Indicadores:
I121, I122,, I123, ,…
Variable 12
(40%)
Indicadores:
I221, I212 , I223,…
Variable21
(50%)
(50%)
Criterio 2
(30%)
Indicadores:
I221, I222, I223,…
Variable 22
(50%)
Indicadores:
I311, I312, I313,…
Variable 31
(65%)
INDICE
Criterio 3
(20%)
Indicadores:
I321, I322, I323,…
Variable 32
(35%)
31
Los pasos a seguir para la definición y cálculo del IM, son:
a) Definir los criterios (cj) que conforman el índice. Los criterios mínimos son:
Ø Social: relevancia, vulnerabilidad de la población objetivo, cobertura exante, impacto.
Ø Técnico: pertinencia, coherencia (externa e interna), eficacia, cobertura
ex-post.
Ø Económico: costos totales, eficiencia, beneficios.
Ø Institucional: capacidad técnica, situación financiera y trayectoria del
organismo ejecutor, participación comunitaria.
Dependiendo de los requerimientos específicos del programa, es posible
sumar otros criterios como el cumplimiento de normas e impactos ambientales.
32
Si se utilizan sólo los criterios mínimos, el cálculo del IM se convierte en:
Sps + Tpt + Epe + Ipi
IM = ∑
*100
r
Donde, S = puntaje del criterio social
T = puntaje del criterio técnico
E = puntaje del criterio económico
I = puntaje del criterio institucional
ps, pt, p e y pI = peso de cada uno de los criterios (con valores entre 0 y 1,
tal que ps+pt+p e+pi =1).
r = rango de la escala de puntajes de los criterios
33
b) Definir la importancia (pj) que tiene cada criterio en el índice.
Esta puede ser distinta entre programas, pero las dimensiones social y
técnica deben tener una mayor importancia relativa, dado que la primera
justifica la realización del proyecto y la segunda define su logro potencial.
Existen dos formas para definir los valores (pj) (también aplicables a las
importancias relativas de las variables dentro de los criterios - pij).:
♦ En el caso que exista un principio de acuerdo en el equipo a cargo de la
formulación y evaluación ex-ante, es aplicable el método Delfi.
♦ Cuando hay posiciones difíciles de consensuar, con prioridades diferentes
entre los miembros del equipo, se deberá utilizar una matriz de
jerarquización de criterios. El procedimiento es el siguiente:
34
1. Distribuir a cada miembro del equipo una matriz cuadrada con todos los
criterios listados, tanto en filas como en columnas.
2. Solicitar a cada uno de los participantes que determine si el criterio
indicado en la primera fila (social) es más, o menos, importante que cada
uno de los demás, asignando un punto en cada columna en que la
respuesta es afirmativa. Repetir el procedimiento con los demás criterios.
3. Sumar todas las matrices, poniendo en cada casillero los puntajes
asignados por cada integrante del equipo y calcular el subtotal de cada fila,
sumando los casilleros correspondientes.
4. Calcular el total de la tabla, que es la suma de todos los puntajes
subtotales. Resulta de la siguiente fórmula:
5. Calcular el peso relativo, dividiendo el subtotal de cada fila por el total de
la matriz acumulada.
35
Ejemplo: En un Fondo de Inversión Social (FIS), se han considerado cuatro
criterios: social, técnico, económico e institucional. El equipo que trabaja
en jerarquizar los criterios de evaluación está integrado por cinco personas.
Sus respuestas muestran que:
ü el criterio social es considerado por 4 personas superior al técnico y
por todos respecto a los otros dos criterios;
ü el criterio técnico, 1 opina que es más importante que el social, 3 lo
consideran superior al económico y 4 al institucional;
ü el económico, para 2 es más importante que el institucional y para
otros 2 lo es respecto al técnico
ü del institucional, 1 lo sobrepone al técnico y 3 al económico.
La matriz resultante es:
Criterio
Social
Social
Técnico
Técnico
Económico
Institucional
Total
Peso
4
5
5
14
0.47
3
4
8
0.27
2
4
0.13
4
0.13
30
1.00
1
Económico
2
Institucional
1
Total
3
36
c)
Definir las variables que integran cada criterio y su peso.
A cada criterio se le asocian las variables que le otorgan sentido
analítico.
Cada una aporta un aspecto relevante (y complementario) con distinto
peso específico. Cada el criterio (de igual manera que el IM) está
compuesto por un índice ponderado de variables.
nj
Cj = ∑
vij pij
i =1
rj
*100
Donde, Ci = puntaje del criterio j (social, técnico, económico, institucional, etc.)
Vij = variable i del criterio j
pij = peso o importancia de la variable i en el criterio j (entre 0 y 1; Σpi = 1)
rj = rango de medición de las variables que componen el criterio j
Entre las variables que debieran incluirse en los criterios mínimos se tienen:
37
.Social: grado de relevancia de problema (según la prioridad asignada por la
población objetivo y la línea de base); grado de carencialidad-vulnerabilidad
de la PO (pobreza, acceso a servicios sociales); grado de cobertura actual
(déficit de oferta de bienes y servicios previos a la implementación del
proyecto); impacto que se espera lograr con el proyecto.
.Técnico: pertinencia (grado de adecuación del proyecto a sus objetivos y a la
población meta); coherencia externa (entre el diseño del proyecto y las
políticas institucionales); coherencia interna de la matriz lógica del proyecto
(entre los insumos y las metas de actividades, productos, efectos e
impacto); incremento de cobertura - eficacia (metas de producción de
bienes y servicios).
.Económico: costos totales (con valores presente y anualidades, desglosados
en un presupuesto); eficiencia (CUP); beneficios (externalidades positivas
para la población objetivo u otros beneficiarios legítimos).
.Institucional: capacidad para lograr las metas propuestas (del organismo
ejecutor y del equipo específico adscrito al proyecto); situación financiera
del organismo ejecutor (capital, endeudamiento); trayectoria (experiencia y
grado de éxito en proyectos anteriores); participación de la población
objetivo (grado de involucramiento en la operación del proyecto).
38
c) Cacular el peso (pij) de cada variable en cada criterio. Se utiliza el mismo
procedimiento que para la definición de la importancia de los criterios (pj).
Siguiendo con el ejemplo, los pesos de cada variable, dentro de los
criterios, utilizando la Matriz de Jerarquización son:
Criterio
Social
Relevancia
Carancialidad
Cobertura
Impacto
Total
Peso
4
2
9
0.300
3
2
7
0.233
3
0.100
11
0.367
30
1.000
Eficacia
Total
Peso
s/proyecto
Relevancia
3
Carencialidad
2
Cobertura
s/proyecto
1
2
Impacto
3
3
5
Total
Criterio
Técnico
Pertinencia
Pertinencia
Coherencia
Coherencia
interna
externa
1
4
3
8
0.267
4
4
12
0.40
3
5
0.167
5
0.167
30
1.000
Coherencia
interna
4
Coherencia
externa
1
1
Eficacia
2
1
Total
2
39
Criterio
Económico
Costos totales
Costos totales
Eficiencia
Eficiencia
Beneficios
Total
Peso
3
5
8
0.533
4
6
0.400
1
0.067
15
1.000
2
Beneficios
1
Total
Criterio
Institucional
Capacidad
Capacidad
Trayectoria
2
Participación
2
Total
Trayectoria
Participación
Total
Peso
3
3
6
0.400
3
5
0.333
4
0.267
15
1.000
2
40
d) Operacionalizar las variables a través de indicadores.
Requiere que antes de la formulación se especifiquen los instrumentos de
medición, metas esperadas y estándares de comparación.
Para agrupar los distintos indicadores en variables, éstas en criterios y luego
conformar el IM, deben fijarse los rangos de medición (0-100, 0-7, 0-4, etc.)
para todos por igual. Esto puede requerir la transformación de los indicadores
originales.
⇒ Para variables simples:
Homogeneizar la escala en términos de proporciones. Por ejemplo, la
carencialidad general se puede medir como porcentaje de la población
afectada que se encuentra bajo la línea de pobreza.
Si no hay información previa, hay que calificar a los proyectos según las
variables:
Categoría
Puntaje
Supera los estándares solicitados
4
Cumple adecuadamente con los estándares
3
Cumple los estándares con reparos menores
2
Requiere modificaciones importantes
1
No cumple con los estándares mínimos
0
41
⇒ Para variables complejas:
Utilizar una escala, tipo Likert, donde un conjunto de
complementarios tratan de cubrir todos los aspectos relevantes.
ítems
Los ítems deben ser relevantes, complementarios y tener una asociación
positiva, siguiendo una misma tendencia. De lo contrario, se genera un
resultado no confiable.
El puntaje de los proyectos en cada ítem, variable y criterio tiene como
función diferenciarlos. Los aspectos que no discriminan pueden sacarse
del análisis pues nada aportan a la decisión final.
Para la puntuación de los ítems hay dos alternativas:
♦ Dicotómica
♦ Ordinal
42
Ejemplo: Siguiendo con el caso del FIS, los datos que son:
Impacto: Disminución relativa de la pobreza. El proyecto impacta en 4 puntos
porcentuales. Sobre una LB de 32% de pobreza, es un 12.5% relativo.
Coherencia interna: Escala sumatoria de ítems dicotómicos (sí – no). Los
ítems considerados son:
Ø los insumos son suficientes para la realización de las actividades;
Ø el personal es idóneo para dar cuenta de las actividades;
Ø las actividades se adecuan a los productos que se deben entregar;
Ø los objetivos de producto son complementarios;
Ø los productos permiten dar cuenta del problema;
Ø las metas de producción permiten lograr el impacto deseado.
Si 4 de los 6 ítems son correctos (el puntaje es 4/6 o 66.67%).
Eficiencia: Se compara con los estándares y se le asigna puntajes de 0 a 4. Si
el proyecto “cumple adecuadamente los estándares”, tiene una puntuación de
3 (3/4 = 75.0%)
Trayectoria: En una escala de 0 a 4 puntos, se califica como que “supera los
estándares solicitados”, por lo que recibe 4 puntos (4/4 = 100%).
43
Criterio
Variable
Puntaje
pij
Social
Impacto
12.5
0.367
0.47
2.16
Relevancia
85.0
0.3
0.47
11.99
0.233
0.47
10.95
Carencialidad
Técnico
Económico
Institucional
Total
Cobertura s/proyecto
55.0
0.1
0.47
2.59
Coherencia interna
66.7
0.4
0.27
7.20
Pertinencia
85.0
0.267
0.27
6.13
Coherencia externa
65.0
0.167
0.27
2.93
Eficacia
85.0
0.167
0.27
3.83
Eficiencia
75.0
0.4
0.13
3.90
Costos totales
75.0
0.533
0.13
5.20
Beneficios
55.0
0.067
0.13
0.48
Trayectoria
100.0
0.333
0.13
4.33
Capacidad
100.0
0.4
0.13
5.20
0.267
0.13
2.95
69.83
Participación
TOTAL
100.0
Pj
85.0
44
e)
Priorizar proyectos con puntajes mínimos.
Definir si alguno requiere la definición de un valor mínimo, bajo el cual no se
debe aprobar un proyecto. Esto a nivel de indicadores como de variables,
criterios o IM.
Para la selección definitiva (de los proyectos) sólo priorizar los que cumplan
con todos los estándares.
Para el criterio social se debe establecer una meta mínima derivada de los
objetivos de impacto del programa.
En el ejemplo:
•
puntajes mínimos para el impacto (bajar la pobreza al menos 3.2 puntos
porcentuales, 10% relativo),
•
la eficiencia (puntaje no inferior a 3 sobre 5, 30%) y
•
para el IM (valor no inferior a 50 puntos).
45
f) Seleccionar los proyectos.
Para decidir qué proyectos de un concurso deberían ser aprobados, se debe:
Ø listar todos los proyectos que cumplan con los puntajes mínimos,
ordenándolos de mayor a menor puntaje en el IM;
Ø indicar el costo total de cada uno;
Ø calcular el costo acumulado de los proyectos, en forma descendente
Ø seleccionar a todos los proyectos cuyo costo acumulado esté dentro del
límite de financiamiento definido por el presupuesto.
En el ejemplo:
• De los entre los 30 proyectos presentados, sólo 20 superan los
estándares mínimos.
• El proyecto del ejemplo (No. 19) tiene un IM = 69.83, que lo ubica en 8o
lugar.
• El costo total del proyecto No.19 asciende a 122 unidades monetarias.
• Considerando un presupuesto de 1.000 unidades monetarias, éste sería el
último de los proyectos seleccionados.
46
Proyecto
No.
Orden
No.
Puntaje
IM
Costo
Proyecto
Costo
acumulado
Selección
30
1
90.50
155
155
1
15
12
23
2
27
9
19
2
3
4
5
6
7
8
88.90
80.52
76.50
75.26
75.00
73.55
69.83
145
110
115
125
132
95
122
300
410
525
650
782
877
999
1
1
1
1
1
1
1
20
1
17
8
24
6
4
21
5
13
16
28
9
10
11
12
13
14
15
16
17
18
19
20
68.50
67.80
65.30
64.02
62.12
60.21
59.10
58.45
58.03
57.10
55.09
50.33
110
145
133
127
80
110
105
97
112
103
145
117
1109
1254
1387
1514
1594
1704
1809
1906
2018
2121
2266
2383
0
0
0
0
0
0
0
0
0
0
0
0 47
Evaluación de programas y
proyectos sociales
La Evaluación Ex-Post
Rodrigo Martínez
División de Desarrollo Social
Noviembre, 2005
48
La Evaluación Ex-Post
Verificar el grado de logro de objetivos y metas
formulados en el proyecto.
Consiste en la sistematización y explicación de los resultados
acumulados a la fecha de la evaluación, en base a los siguientes
indicadores:
ü
ü
ü
ü
ü
ü
ü
Cobertura
Focalización
Eficacia
Eficiencia
Efectos
Impacto
Relación costos / impacto
La evaluación ex – post incluye a la evaluación de impactos
y al monitoreo
49
Oportunidad de evaluación
La evaluación ex – post se deber hacer cuando se estima debieran
haberse logrado los impactos y/o efectos esperados, según la
formulación.
Lo anterior puede ser durante la operación o al término de ésta.
Reprogramar la operación (“intermedia”)
Propósitos
Retroalimentar nuevos proyectos
50
Tareas:
1. Calcular los costos
a.
b.
c.
d.
Confeccionar un flujo de costos. Tomando como base los datos de la
formulación y programación, se ajustan los valores con la información real. Se
deben incluir tanto los ítems ya ejecutados como los que ocurrirán entre el
momento de la evaluación y el horizonte del proyecto.
Actualizar los costos a la fecha de análisis, considerarando la fecha de
evaluación como punto de referencia.
Anualizar los costos.
Construir la matriz de costos reales (incluyendo CTA, SAP, CUP).
2. Medir los impactos logrados
Resultan de comparar la línea de base con la línea de comparación.
Esto es, comparar el estado "inicial" de la población objetivo con el estado existente
después de un tiempo de operación del proyecto, controlando la incidencia de
factores externos que pudieran contribuir a la “explicación” del cambio.
3. Calcular la relación costo / impacto
Cr
CUI r = I
r
51
Diseños para medir los impactos
Según la
intervención del
investigador
•
Experimentales
•
No experimentales
•
Transversales
Según el número
de mediciones
•
Longitudinales
•
•
•
Pre-experimentales
Experimentales
Cuasi-experimentales
•
•
•
Cohortes
Panel
Tendencia
52
Diseños experimentales
Definición
Por experimento se entiende aquel método que
permite estudiar el efecto que tiene, sobre una o más
variables dependientes (Y), la manipulación de una o
más variables independientes (X).
Diversidad de
complejidad
Posibilidades de manipular
el ambiente
Administrar el “estímulo
experimental” (proyecto)
Posibilidades de controlar
el ambiente
Aislar factores intervinientes
Diseño experimental clásico
p
p
–
Y
1
0) es
c
c
Si, (Y 0 – Y 1) es
p
p
c
(Y 1 – Y 0) - (Y 0 –
Si, (Y
A:
Yp0
A:
Yc0
X
Yp1
Yc1
resultado de cambios endógenos y exógenos, y
resultado sólo de cambios exógenos, entonces:
c
Y 1) es una medida del impacto neto del proyecto.
53
Diseños pre-experimentales
Diseño antes - después
de un solo grupo
Yp0
X
Yp1
Diseño de comparación
con grupo equivalente
X
Yp1
------------Yc1
No permite eliminar el efecto del contexto y,
por tanto, tampoco es posible determinar en
qué medida los cambios registrados son
imputables al proyecto.
Es posible aumentar la validez procurando
que los dos grupos sean lo más parecido
posible en todas las variables externas al
proyecto que pudieran incidir en el impacto.
Sin embargo, la ausencia de LB no permite
medir su magnitud.
54
Diseños cuasi - experimentales
Diseño antes – después con grupo de comparación “equivalente”
Yp1
Yc1
X
Se comparan grupos “naturales” pero
que no poseen equivalencia por
muestreo.
Complementariamente se puede hacer
un pareo de casos (gemelos - matching)
Yp2
Yc2
Diseño de series cronológicas
Yp-3 Yp-2 Yp-1 Yp0
X
Yp1 Yp2 Yp3 Yp4
Si se dispone una serie mediciones para los indicadores
pertinentes, tanto antes como después de la ejecución del
proyecto, es posible hacer un análisis de series temporales. La
formas que adopta la curva que representa la serie es utilizada
para estimar la magnitud del impacto que el proyecto produjo. 55
Resultados potenciales
Y
t-3
t-2
t-1
t0
X
t1
t2
t3
t4
t
56