LA EVALUACIÓN

LA EVALUACIÓN
Logroño, 4 de Junio de 2011
Lara González y Monika Mena
1. El concepto de evaluación:
diferentes propuestas
1
¿?
...
¿La evaluación…?
¿Qué entendemos por
evaluación?
…
VEAMOS VUESTRAS PROPUESTAS
La evaluación es un proceso
Entendemos la evaluación como una actividad
programada de reflexión sobre la acción, basada
en procedimientos sistemáticos de recolección,
análisis e interpretación de información, con la
finalidad de emitir juicios valorativos y
fundamentados y comunicables sobre las
actividades, resultados e impactos, y formular
recomendaciones para tomar decisiones que
permitan ajustar la presente acción y mejorar la
acción futura.
Basado en Nirenberg, O. y otras (2000): Evaluar para la transformación. Innovaciones
en la evaluación de programas y proyectos sociales. Ediciones Paidós, Buenos Aires.
2
El Concepto de evaluación “oficial”
“La evaluación es una función que consiste en hacer una
apreciación, tan sistemática y objetiva como sea posible,
sobre un proyecto en curso o acabado, un programa o un
conjunto de líneas de acción, su concepción, su realización y
sus resultados. Se trata de determinar la pertinencia de
los objetivos y su grado de realización, la eficiencia en
cuanto a su desarrollo, la eficacia, el impacto y la
viabilidad. Una evaluación debe proporcionar unas
intervenciones creíbles y útiles, que permitan integrar las
enseñanzas sacadas en los mecanismos de elaboración de
las decisiones, tanto de los países de acogida como de los
donantes”.
Fuente: Comité de ayuda al Desarrollo - OCDE : “Manual de la ayuda al desarrollo. Principios del CAD para una
ayuda eficaz”. Mundi Prensa. Madrid. 1995. Pág. 178
Tipologías de evaluación
SEGÚN LOS
AGENTES:
1.
2.
3.
4.
5.
Interna
Autoevaluación
Externa
Mixta
Participativa o
Integrada
3
Tipologías de evaluación
SEGÚN EL OBJETO:
1. De procesos (sistematización)
2. De resultados
3. De efectos y cambios (impacto)
SEGÚN PATTON (1990):
1.
Formativa
2.
Sumativa
Tipologías de evaluación
SEGÚN EL MOMENTO:
1. Evaluación previa (Línea de base o diagnóstico)
2. Evaluación ex ante (diseño)
3. Evaluación simultánea o durante
4. Evaluación final
5. Evaluación ex - post
4
2. Las funciones de la evaluación...
¿ Para que sirve todo
esto?
Tres funciones clásicas de la evaluación
EVALUACIÓN
INFORMACIÓN
CONTROL
APOYO A LA GESTIÓN
APRENDIZAJE
FUTURAS ACCIONES
5
Más utilidades...
Desarrollo de
capacidades
Gestión del cambio
Transparencia,
Rendición de cuentas
Según ELOLA y Toranzos (2000):
- Función simbólica
- Función política
- Función de conocimiento
- función de mejoramiento
- Función de desarrollo de
capacidades
MEJORAR
Crecimiento como organizaciones
II PARTE
¿ Cómo se pone en marcha una
evaluación ex – post?
ITINERARIO
6
D E C IS IÓ N D E
EVALU AR
P L A N IF IC A C IÓ N D E L A E V A L U A C IÓ N
L O S T E R M IN O S D E R E F E R E N C I A ( T o R )
R E C O G ID A D E
IN F O R M A C IÓ N
(T R A B A J O D E C A M P O )
IN F O R M E
S o c ia liz a c ió n
F u e n te : E la b o r a c ió n p r o p ia
Itinerario evaluación ex – post de
1.DECISIÓN DE EVALUAR
2. ELABORACIÓN PARTICIPATIVA DEL PLAN
Creación del equipo de trabajo
Consulta aportes equipo de trabajo
Aprobación de plan de trabajo
Elaboración de las categorías e instrumentos para recoger
información
3. TRABAJO DE CAMPO (Equipo)
- Recogida de la información
- Análisis de la información
4. Elaboración participativa del informe finalSOCIALIZACION
7
Esquema de TDR y/o
PLAN DE EVALUACIÓN
PREGUNTAS
1- ¿Por qué?
2.-¿Para qué?
3.-¿Para quién?
4.-¿Quiénes?
5.-¿Desde
dónde?
6.-¿Qué?
7.-¿Cómo?
8.-¿Cuándo?
9.-¿Cuánto?
APARTADOS
Antecedentes y justificación
Objetivos y resultados
Clientes/ Sujetos-as
Agentes
Modelo (criterios)
Áreas a evaluar (categorías)
Metodología
Cronograma
Presupuesto
Hay tres debates clave:
Quien realiza la evaluación
Que modelo la enfoca (criterios y
categorías)
Que herramientas utilizamos para
recoger la información
8
Los agentes de la evaluación
pueden ser...
Internos
Externos
Mixtos
Involucrados
59 segundos
Considerar las ventajas y desventajas según 5
CRITERIOS
1. Lo objetivo frente a lo subjetivo
2. El papel de la población beneficiaria
3. La metodología utilizada
4. Los costes
5. Veracidad, fiabilidad y validez
Fuente: Lara González (Manual de evaluación Págs., 83- 88)
9
2º debate:
¿que modelo utilizamos?
La evaluación del EML
Propone un modelo tridimensional:
EFICIENCIA
Logro de objetivos
Logro de Resultados
INSUMOS PRODUCTOS
OBJETIVO OBJETIVO
ESPECÍFICO GENERAL
Medio ambiente
Dimensión de Genero
EFICACIA
Factores tecnológicos
Efectos del proyecto
IMPACTO
Aspectos financieros
Dirección y utilidad del proyecto
Aspectos institucionales
PERTINENCIA
La sostenibilidad del proyecto en el largo plazo
Políticas de apoyo
VIABILIDAD
Aspectos socioculturales
Componentes de evaluación
Factores de
desarrollo
Jerarquía de objetivos
Fuente:IUDC- UCM, Cedeal NORAD: “Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y,
gestores. Madrid. 1997. Pág 31.
10
Criterios claves para la evaluación ex – post desde la
propuesta de la OCDE
Eficacia
En qué medida se han alcanzado o se esperan
alcanzar los objetivos propuestos.
Eficiencia
Hasta que punto los resultados alcanzados
derivan de una buena utilización de los
recursos .
CRITERIOS
DE
Pertinencia La adecuación de los resultados y los objetivos
de la intervención al contexto en que se
realiza. Valoración de la utilidad del proyecto
EVALUACIÓN
Estimación de la capacidad de continuación de
las acciones de manera autónoma.
Sostenibilidad
Impacto
Sumatoria de todos los efectos que la acción ha
tenido sobre el medio y los cambios que ha
generado en el largo plazo (económico, técnico,
social, cultural, político, ecológico, relaciones de
género, etc.)
Fuente: Lara González (Manual de evaluación Págs., 17)
Lo importante es concretar esos criterios en
categorías analíticas (preguntas clave)
CRITERIO DE
EVALUACIÓN
CATEGORÍA
(VARIABLE)
Indicador
Item
Instrumento
EFICACIA
Cobertura,
EFICIENCIA
PERTINENCIA
(adecuación)
SOSTENIBILIDAD
Conectividad
Coherencia
IMPACTO
11
Concretando el trabajo de campo
LOS INSTRUMENTOS- HERRAMIENTAS
Pueden ser:
Primarias y Secundarias
Cuantitativas y Cualitativas
Fuente: Lara González (Manual de evaluación)
Tabla: Instrumentos básicos para la evaluación
DE CARÁCTER SECUNDARIO
Análisis documental:
- documentos internos de la organización
- documentos del proyecto o intervención
- otros documentos complementarios
DE CARÁCTER PRIMARIO
Cuantitativas
(estructuradas)
Cualitativas
(semi- estructuradas)
Encuesta oral
Medición directa (escalas)
Auto- rellenado
Entrevista a informantes clave
Taller grupal
Observación directa
Elaboración propia basada en la bibliografía.
12
Fuentes de documentación secundaria que no debemos olvidar si ponemos en marcha
una evaluación de impacto de genero
Documentos internos de la
organización
Documentos del proyecto y
su seguimiento
Plan estratégico de la organización o
su departamento responsable
(en su defecto, objetivos y líneas de
acción institucionales)
Diagnóstico o línea de base
Documentos externos
complementarios
Mapas, gráficos, fotos de la zona
Planes de acción operativa anual
(en su defecto planes de trabajo anual
de la organización)
Estudios de viabilidad previa
Estudios gubernamentales
(estadísticas, censos, etc.)
Organigrama y tareas
Formulación del proyecto
Estudios de historias de vida del
barrio, zona o grupo determinado
Protocolos propios
Planes de trabajo del equipo
Sistematizaciones de otras
experiencias similares
Plan de capacitación
Memorias institucionales
Informes de seguimiento (avance de
indicadores, resultados)
Balances económicos, auditorias
Documentación ligada al seguimiento
(actas de reuniones, diarios de
campo, entrevistas, talleres, censos
de asistencia a talleres, planillas de
recibido de materiales, etc.)
…
...
Investigaciones sobre la situación
de desigualdad entre hombres y
mujeres realizado por otra entidad
Otras investigaciones ligadas a
nuestra intervención (salud,
educación, empleo, etc.)
Acuerdos, estudios o políticas
gubernamentales nacionales o
locales
Planes gubernamentales locales,
acuerdos de alcaldías, etc.
...
Fuente: Elaboración propia.
Dos herramientas claves para la evaluación:
LA ENTREVISTA
LA
OBSERVACIÓN
Fuente: Lara González (Manual de evaluación)
13
Entrevistas grupales y observación directa durante el trabajo
de campo de la evaluación
Entrevista
grupal
Observaciones
directas
Entrevistas grupales y observación directa durante el trabajo
de campo de la evaluación
Entrevista
grupal
Observaciones
directas
14
Claves para elegir los instrumentos
Verificar si los datos ya existen
Determinar si los datos a recoger están
accesibles y no son confidenciales
Identificar quién va a administrar la
herramienta
Identificar quién la va a interpretar y saca
las conclusiones.
Determinar el cuándo, en base a la realidad
de la población involucrada
Fuente: Basado en PROJECTSTAR (2004): Americorps program applicant.
Ferformance measuremente toolkit Corporation for National and Community
Service, USA.
Proceso para crear la herramienta
Equipo
debate
Plan de
trabajo
Define criterios de
evaluación
generizados:
Eficacia, eficiencia,
pertinencia,
sostenibilidad e
impacto
Construye y
consensua
categorías para
cada criterio o
componente de
evaluación
Agrupa las
categorías que van
dirigidas a un mismo
grupo: organización
de mujeres: líder del
comité de agua,
alcaldía…cada una
requiere unas
preguntas distintas
Diseña la herramienta
necesaria para recoger
la información de ese
grupo desde esas
categorías previamente
definidas y
consensuadas en el
equipo de evaluación
Valida el
instrumento
RECOGE LA INFORMACIÓN
ANALIZA LA INFORMACIÓN
desde las categorías definidas y las
herramientas del análisis de género
(apartado 3 del manual)
15
GRACIAS…
16