Manual Zabalza

MÉTODO Y GUÍA PARA LA EVALUACIÓN DE PROYECTOS DE
COOPERACIÓN AL DESARROLLO
Míchel Sabalza
febrero 2007
1
ÍNDICE
1. INTRODUCCIÓN ................................................................................................ 1
1.1 Objetivos de la evaluación .......................................................................... 1
1.2 Diferencia entre seguimiento y evaluación ................................................ 3
1.3 Definición de evaluación .............................................................................. 5
1.4 Alcance de la evaluación.............................................................................. 5
2. MÉTODO ............................................................................................................ 6
2.1 La evaluación en la Gestión del Ciclo del Proyecto .................................. 8
2.1.1 Eficacia ..................................................................................................... 9
2.1.2 Eficiencia ............................................................................................... 12
2.1.3 Pertinencia ............................................................................................. 14
2.1.4 Impacto .................................................................................................. 16
2.1.5 Viabilidad ............................................................................................... 18
2.1.6 Sostenibilidad ........................................................................................ 20
2.1.7 Resumen del método ............................................................................ 22
2.2 Tipos de evaluación ................................................................................... 23
2.2.1 Según quién la realice .......................................................................... 23
2.2.2 Según el momento ................................................................................ 24
2.3 Recogida de información .......................................................................... 24
2.4 Indicadores de base ................................................................................... 26
3. GUÍA ................................................................................................................. 28
3.1 Términos de referencia .............................................................................. 28
3.2 Plan de trabajo ............................................................................................ 29
3.3 Estudio de documentación y preparación de la visita ............................ 30
3.4 Trabajo de campo ....................................................................................... 31
3.5 Análisis de la información y trabajo de campo ....................................... 31
3.6 Redacción del informe................................................................................ 32
3.7 Aplicación de la información .................................................................... 33
Anexo: Recursos en Internet y bibliografía ................................................... 34
2
Este trabajo está dividido en tres partes:
1. Introducción. Donde se sitúa la función de la evaluación y el tratamiento que le
daremos a lo largo de todo el documento.
2. Método. Exposición de los aspectos metodológicos que nos ayudarán a realizar
una evaluación.
3. Guía. Desde un enfoque práctico se describen brevemente los siete pasos que
integran el proceso de evaluación completo.
1. INTRODUCCIÓN
En este documento se aborda la actividad de evaluación de proyectos de cooperación
al desarrollo desde una perspectiva eminentemente práctica. El objetivo es que quien
lo lea pueda saber al menos cómo iniciar un trabajo de evaluación y darle continuidad
hasta la redacción del informe final. Además, los contenidos de este trabajo se han
preparado pensando en proyectos de tipo medio, aquellos que cuentan con un
presupuesto que se sitúa en torno a los 150.000 euros. Proyectos con menor
presupuesto (por ejemplo 20.000 euros), también podrían ser evaluados con las
técnicas que se explicarán, pero tal vez esas herramientas sean algo
desproporcionadas para ese tipo de intervenciones sencillas, como pudiera ser por
ejemplo la construcción de 6 viviendas para personas afectadas por un terremoto. En
el otro extremo, la evaluación de complejos programas de cooperación necesitaría
tratar temas adicionales a los que aquí se presentan, como por ejemplo otros métodos
de recogida de información o, para algunos casos, análisis financiero.
Por lo tanto en este artículo no se encuentra ninguna referencia a los aspectos
teóricos de la evaluación como, por ejemplo, su concepción desde principios del siglo
XX y su evolución hasta nuestros días. Para tratar la evaluación desde este punto de
vista más teórico se darán algunas referencias bibliográficas y direcciones de Internet
donde se puede encontrar abundante material de acceso libre.
1.1 OBJETIVO DE LA EVALUACIÓN Y SU PAPEL EN EL CICLO DEL PROYECTO
Una vez definido el enfoque de la evaluación que vamos a tratar, planteamos el objetivo
que persigue la actividad de evaluación, que no es otro que aprender para mejorar
nuestro trabajo en el futuro. No consideramos otras finalidades, por lo tanto todas las
actividades que se organicen y se lleven a cabo en el transcurso de una evaluación
deben estar orientadas a aprender, y de ese aprendizaje extraeremos conclusiones que
servirán para formular propuestas que servirán para mejorar tanto el desarrollo futuro del
proyecto evaluado (si es que va a tener continuidad), como la identificación y
planificación de nuevos proyectos. Además, de la suma de un conjunto de evaluaciones
se pueden extraer conclusiones y propuestas orientadas a definir la programación de las
entidades públicas o privadas especializadas en la cooperación al desarrollo. De modo
que la evaluación puede incidir en la mejora de aspectos muy puntuales de un proyecto
concreto, y también contribuir a dar contenido a una política general de cooperación, con
lo que queda evidenciada la importancia de esta etapa en el ciclo del proyecto.
A pesar de ello, si considerásemos un hipotético reparto de esfuerzos entre la
planificación, su formulación, el seguimiento y la evaluación de proyectos, veríamos que
la mayor parte se concentra en la formulación y el seguimiento. Y esto es así por dos
razones muy sencillas. Para el caso de la formulación tenemos que nuestro proyecto va
a competir con otros en una convocatoria pública de ayudas, y que las decisiones sobre
la financiación se tomarán en base a la información que presentemos. Es natural por lo
tanto que se dedique mucho tiempo a presentar bien esa información. En lo que respecta
al seguimiento de un proyecto ya aprobado, sabemos que sobre todo se va a
3
inspeccionar con detalle la justificación del gasto. Esto también es lógico porque a fin de
cuentas las administraciones que financian proyectos con dinero público se ven a su vez
presionadas por el correspondiente órgano de fiscalización interna (la Intervención), y esa
presión se traslada a las ONGs. Así que a esta parte también hay que dedicarle una
cantidad de tiempo considerable.
Sin embargo no es tan frecuente la exigencia de que se apliquen métodos para la
planificación (se puede establecer como condición por parte de la administración
donante pero esto es muy difícil de comprobar); e igualmente, pocas son las entidades
que fomentan la evaluación de los proyectos o una parte de ellos. Esto queda a criterio
de las ONGs aunque afortunadamente cada vez se dedica más atención a estas dos
fases del proyecto; pero por la situación comentada el hecho es que la mayor parte de los
esfuerzos se dedican, en términos generales y salvo excepciones, a la formulación y al
seguimiento.
Analizado desde otro punto de vista, podríamos destacar la asimetría que existe entre la
presencia de especialistas para la valoración de formularios y también para la inspección
fiscal en la mayoría de administraciones que tienen programas de cooperación, y la
ausencia de instancias especializadas en promover la calidad de los proyectos.
Partiendo de estas consideraciones nos centramos en la evaluación de proyectos, cuya
práctica ha mejorado considerablemente las políticas, los programas y los proyectos de
cooperación en los últimos años. Esta mejora surge del debate en torno a los contenidos
de las evaluaciones realizadas y cabe atribuirles, por ejemplo, la importancia que hoy se
da las dinámicas participativas, la incorporación del enfoque de género, la necesidad de
distinguir con claridad entre lo que es asistencialismo y desarrollo, la conveniencia de
combinar la profesionalización de la cooperación con el voluntariado, y un largo etcétera.
Aunque tal vez no lo percibamos de manera directa, buena parte de las mejoras en la
práctica de la cooperación tienen su origen en la realización de evaluaciones con carácter
sistemático, y en este punto hay que reconocer el positivo papel que ha desempeñado la
Comisión Europea promoviendo, tanto en el pasado como en la actualidad, la realización
de evaluaciones de manera regular a través de sus unidades especializadas. En esta
dirección http://ec.europa.eu/europeaid/evaluation/index.htm se encuentra abundante
información sobre evaluaciones ya realizadas así como cuestiones de metodología y de
enfoque.
Pero tal vez el eslabón más débil en las fases del ciclo del proyecto sea el que vincula la
evaluación con la programación y con la identificación.
El ciclo del proyecto
Programación
Planificación
Evaluación
Ejecución
Formulación
Financiación
4
Es el más débil porque a lo largo del ciclo del proyecto, cada etapa toma elementos de la
primera de manera sistemática, es decir adoptando un método. Por ejemplo, la
“planificación” define una lógica de intervención que es incorporada de manera literal en
la “formulación”; un calendario y unos indicadores que serán útiles para la “ejecución y
seguimiento del proyecto”; y unos insumos que vinculados con la lógica de intervención
nos servirán para establecer áreas de análisis en la evaluación (esto lo veremos más
adelante). Sin embargo en esta etapa, en evaluación, termina esa cadena de relaciones,
es decir no hay método para incorporar las recomendaciones finales de la evaluación a la
programación o a la planificación de nuevos proyectos. El que esto se haga o no,
depende fundamentalmente de la voluntad, de la actitud más o menos receptiva de las
personas responsables de programar o de identificar. Tal vez no pueda ser de otro modo
porque (seguro que afortunadamente) los procesos de aprendizaje relacionados con los
proyectos de cooperación no se pueden someter a una mecánica tan rigurosa como sí lo
permiten otras fases del ciclo del proyecto.
Precisamente esta “debilidad metodológica” es la que tiene que llevarnos a prestar
especial atención a la evaluación dentro del ciclo del proyecto, de lo contrario podríamos
tener cierta tendencia a relegarla a segunda fila en la medida que no se revele como un
elemento especialmente útil, bien porque no las promovemos o bien porque no hacemos
mucho caso de las propuestas que se incluyen en todas las evaluaciones.
1.2 DIFERENCIA ENTRE SEGUIMIENTO Y EVALUACIÓN
Es frecuente la expresión “seguimiento y evaluación” incluyendo ambos conceptos, lo
que tal vez pueda inducir a cierta confusión al identificarlos como sinónimos o al menos
como términos muy parecidos. Sin embargo hay una diferencia notable entre ambos.
Como ya hemos dicho el objetivo principal (tal vez único) de la evaluación es aprender
para establecer conclusiones y de éstas derivar unas propuestas. Pero ese aprendizaje
no está sujeto a un proceso unívoco en el sentido de que si analizamos tal o cual
situación llegaremos a unas conclusiones determinadas y no a otras. Muy al contrario,
esas conclusiones dependerán de las valoraciones que hagan las personas que realicen
la evaluación, y no sería raro que distintas personas lleguen a diferentes conclusiones
sobre la calidad de un mismo proyecto. Por lo tanto en toda evaluación subyace un
componente subjetivo que se deriva del tipo de valoraciones que hagamos.
Por otro lado, el seguimiento se puede referir a tres situaciones diferentes:
-
-
-
Seguimiento administrativo. El que realizan instituciones donantes y ONGs
desde la oficina. Consiste en analizar los informes de avance que se van
enviando desde el lugar de ejecución del proyecto y de comprobar que la
justificación del gasto se realiza correctamente.
Seguimiento sobre el terreno. El que realizan instituciones donantes y ONGs
(las que solicitan subvención directamente a esas instituciones) visitando los
proyectos que apoyan. En este caso se trata de comprobar in situ los resultados
que se han alcanzado, entrevistarse con las personas vinculadas al proyecto y,
en algunos casos, auditar las cuentas del proyecto.
Seguimiento de ejecución. El que realizan las ONGs locales1 (las que están
llevando a cabo directamente el proyecto en el país receptor de la ayuda) de
manera regular (semanal o mensual). Se trata de que dichas ONGs verifiquen el
1
En adelante cuando hablemos de ONG nos referimos a la entidad que
presenta la solicitud a la entidad financiadora (la organización de
Europa) y ONG local es la que realiza el proyecto directamente sobre
el terreno.
5
cumplimiento de los indicadores establecidos y adoptar las correcciones
oportunas si fuera pertinente.
En los tres casos, y muy especialmente en los dos primeros, el objetivo es comprobar
que las cosas se están haciendo como se había planificado inicialmente, es decir la
función del seguimiento es sobre todo constatar y no tanto valorar. En el gráfico siguiente
se ilustra esta diferencia.
Diferencia entre seguimiento y evaluación
Evaluación
VALORAR
Seguimiento
CONSTATAR
En el eje de abscisas se representa el “grado de constatación” de un hecho: gasto
realizado, escuela construida, producción mensual..., mientras que en el de ordenadas
se representa el “grado de valoración” de esos mismos hechos.
El seguimiento administrativo impide realizar cualquier valoración porque nuestra
fuente de información son documentos escritos que no podemos contrastar con otras
fuentes de información. Y el seguimiento sobre el terreno se suele caracterizar por el
escaso periodo de tiempo que se dedica a las visitas, por lo que nuevamente es difícil
hacer valoraciones por la falta de tiempo para profundizar en los temas analizados y
para contrastar versiones.
Caso diferente es el de la evaluación, donde lo característico es la valoración sobre la
idoneidad del gasto realizado, de la escuela construida, del tipo de producción
elegido... Lógicamente para valorar estos temas primero hay que conocer con detalle
qué es lo que se ha hecho, de ahí que en evaluación también tenemos que
“constatar”. Pero la diferencia es que en evaluación ese es el punto de partida,
mientras que en el seguimiento es el punto de llegada.
Por otro lado, en el gráfico se ha dibujado una delgada línea que separa el
seguimiento de la evaluación. En la realidad esa línea no es tan delgada y sobre todo
es mucho más difusa. Es decir no hay un límite claro que señale qué es seguimiento y
qué es evaluación, sin embargo cuánto más nos acercamos a los extremos de la
escala de valoración, mejor definida está la diferencia entre ambos conceptos.
6
1.3 DEFINICIÓN DE EVALUACIÓN
Existen numerosas definiciones de evaluación, pero la que tiene más reconocimiento a
nivel internacional y en el ámbito de la cooperación es la que propuso hace ya algunos
años el Comité de Ayuda al Desarrollo de la OCDE:
“La evaluación es una función que consiste en hacer una
apreciación tan sistemática y objetiva como sea posible sobre un
proyecto en curso o acabado, un programa o un conjunto de líneas
de acción, su concepción, su realización y sus resultados. Se trata
de determinar la pertinencia de los objetivos y su grado de
realización, la eficiencia en cuanto al desarrollo, la eficacia, el
impacto y la viabilidad. Una evaluación debe proporcionar
informaciones creíbles y útiles, que permitan integrar las
enseñanzas obtenidas en los mecanismos de toma de decisiones,
tanto de los países de acogida como de los donantes”.
Organización de Cooperación y Desarrollo Económico (1995), Manual de la ayuda al
desarrollo: principios del CAD para una ayuda eficaz. OCDE – Ediciones Mundi-Prensa.
Madrid.
Lógicamente, se comprenderá mejor el sentido de esta completa definición tras la
lectura de este artículo, pero merece la pena llamar la atención sobre los siguientes
aspectos:
-
-
Se trata de una apreciación..., por lo tanto se destaca desde el principio el
carácter valorativo del trabajo
Que debe ser sistemática, lo que significa que debemos dotarnos de un
método concreto que habrá que definir con detalle ante cada evaluación.
Y también debe ser objetiva, en realidad dice “tan sistemática y objetiva como
sea posible” . Nuevamente se destaca la función valorativa de la evaluación.
En la definición se deja un margen a la subjetividad, lo que no significa que
podamos opinar a partir de intuiciones, sino que nuestras afirmaciones (con el
grado de subjetividad que se desee) se deben apoyar en información y en una
manera de interpretarla que sea transparente, y por lo tanto en el informe final
habrá que incluir en anexo la metodología de trabajo seguida. Esto hará
creíbles las evaluaciones.
Y por último deben ser útiles para integrar las enseñanzas obtenidas en los
mecanismos de toma de decisiones. Esto, como comentábamos más arriba,
posiblemente sea lo más difícil de todo el proceso de evaluación.
1.4 ALCANCE DE LA EVALUACIÓN
De manera muy esquemática podemos resumir los elementos básicos que están
presentes en todos los proyectos evaluados en el cuadro de la página siguiente leído
de abajo arriba.
Los tres cuadros de la izquierda representan el esquema del proyecto a evaluar y que
más adelante completaremos. Esta sencilla representación propone que en todos los
proyectos se planifican una serie de actividades (que requieren financiación, personas
trabajando, equipos...) para alcanzar ciertos objetivos. Y estos objetivos tendrán unos
7
efectos positivos, aunque también pueden ser negativos, sobre la población objetivo
del proyecto.
..tendrá algún efecto en la
comunidad.
Tendrá un efecto no
previsto fuera o dentro
de la comunidad.
..alcanzar algún objetivo que..
Acciones planificadas para...
Otras acciones no relacionadas con el proyecto que
influirán en él.
Este es un ámbito de evaluación que podemos llamar “interno” porque se centra
únicamente en las actividades planificadas por el proyecto para una población
concreta. No estamos mirando más allá del propio proyecto.
Ampliando esta perspectiva tenemos los dos cuadros de la columna derecha que
representan el “contexto” en el que se realiza el proyecto. Y en esta visión tan
simplificada que propone este esquema se contemplan dos posibles interacciones
entre contexto y proyecto. Por una parte, otras actividades que se realizan o hechos
que ocurren en el entorno y que afectan al proyecto, por ejemplo impidiendo que se
alcancen los objetivos, o en sentido contrario facilitando su consecución de manera
más o menos encubierta o explícita. Y por otra parte, los efectos que puede tener el
proyecto más allá de su estricto ámbito de intervención, por ejemplo generando
contaminación que afecta a otras comunidades o haciendo más atractiva para la
inversión foránea una amplia zona alrededor del proyecto.
Bien, pues antes de realizar cualquier evaluación es importante situar el proyecto en
su contexto y definir qué tipo de evaluación realizaremos, es decir, hasta dónde llegan
los ámbitos de interés para la evaluación. Lógicamente si sólo van a ser objeto de
atención los aspectos más estrictamente vinculados al proyecto, entonces estaremos
ante una evaluación mucho más sencilla que si nos fijamos metas más ambiciosas,
considerando tanto la influencia en el proyecto de cuestiones externas a él como las
consecuencias del proyecto fuera de él. En este caso deberíamos tener en cuenta que
necesitaremos mucho tiempo para realizar la evaluación y seguramente un equipo de
trabajo integrado por varias personas y de carácter multidisciplinar. Ambos factores,
tiempo y personas, hacen aumentar los costes de la evaluación. En este sentido es
importante que dichos costes guarden una relación proporcionada con el presupuesto
total del proyecto que se evaluará, por esta razón, y también porque sencillamente la
posibilidad o voluntad de gasto tiene un límite, es importante determinar qué tipo de
evaluación realizaremos en cuanto a su alcance.
2. MÉTODO
La definición de evaluación explicada más arriba decía: “...hacer una apreciación tan
sistemática... como sea posible sobre un proyecto...”. La palabra “sistemática” la
interpretamos en el sentido de método, es decir, de proponer un esquema de análisis
que establezca diferentes elementos de interés para ese análisis y seguir el guión de
8
dicho esquema en el proceso de evaluación. Obviamente no se trata de adoptar una
actitud hermética a todo lo que no esté en el guión previo, más bien al contrario las
buenas evaluaciones son las que se hacen aplicando de manera flexible y abierta el
método definido. Lo que propone el método es un cuerpo central de análisis que
tendremos que adaptar a cada situación concreta, tanto variando el peso específico de
cada parte de ese método en el conjunto de la evaluación, como incorporando
elementos de análisis que no se había contemplado inicialmente.
En términos muy generales puede haber dos enfoques en una evaluación que
responden a dos objetos de evaluación. Cuando decimos “objeto” nos referimos a la
cuestión central que será finalmente, una vez realizado el estudio completo, el objeto
de nuestras conclusiones y recomendaciones. Esos dos tipos de objetos los podemos
definir o bien referidos a 1) los procesos ocurridos en el interior del grupo que realizó el
proyecto, o 2) todo lo que tiene que ver con el logro de los objetivos planificados
incluyendo su impacto tanto hacia fuera como hacia dentro.
En el primer caso nos interesa sobre todo cómo ha afectado el desarrollo del proyecto
a las personas que han participado en él desde el punto de vista de la modificación de
sus relaciones, de la organización de los trabajos, de los procesos generados, de lo
que han aprendido... Es un tipo de evaluación con unas características tan
determinadas que nadie le llama evaluación, sino “sistematización de experiencias”.
Es una expresión ya acuñada de manera diferenciada porque efectivamente constituye
un dominio de experiencia con rasgos propios. Sin embargo tiene similitudes con la
evaluación pues, en definitiva, en ambos casos se trata de procesos de análisis en los
que se integra la relación entre distintas variables, y que terminan con una serie de
conclusiones. Por lo tanto es pertinente que cualquier persona que se dedique a la
evaluación de proyectos conozca la sistematización de experiencias; o al menos que
conozca su existencia. Una definición de sistematización es la siguiente:
“La sistematización es aquella interpretación crítica de una o varias
experiencias que, a partir de su ordenamiento y reconstrucción,
descubre o explicita la lógica del proceso vivido, los factores que
han intervenido en dicho proceso, cómo se han relacionado entre sí,
y por qué lo han hecho de ese modo”.
Oscar Jara (1998), “Para sistematizar experiencias”. Ed. Alforja. San José.
Sin embargo en este artículo vamos a centrar la atención en el segundo enfoque por lo
que, para un conocimiento más a fondo de la sistematización de experiencias
recomendamos la lectura del artículo publicado en la siguiente página web
http://www.ucm.es/info/IUDC/revista/redc4/carmona.pdf donde se explica cómo se hizo
un trabajo de sistematización en un proyecto concreto (por cierto que en ese artículo
también se incluye una crítica, aunque superficial, al método que explicaremos). En
http://www.alforja.or.cr/sistem/sistemat_verger.pdf se encuentra un artículo de carácter
introductorio a la sistematización de experiencias pero con un enfoque más teórico que
el presentado en la anterior dirección. Finalmente, una página que se actualiza
frecuentemente y donde se pueden encontrar numerosos trabajos y artículos
relacionados con la sistematización es http://www.alforja.or.cr/sistem/biblio.html.
9
2.1 LA EVALUACIÓN EN LA GESTIÓN DEL CICLO DEL PROYECTO
La Gestión del Ciclo del Proyecto, GCP2, es el método adoptado por la Comisión
Europea para la gestión de los proyectos de cooperación que apoya. La más conocida
de las etapas que integran ese ciclo es la del Enfoque del Marco Lógico, EML,
diseñada para la planificación de proyectos, y que incluye la Matriz de Planificación del
Proyecto, MPP, donde se encuentran los elementos centrales de la acción planificada.
Antes que nada hay que señalar que para comprender cabalmente el método de
evaluación que explicaremos más adelante, es necesario conocer el significado de las
distintas partes que se incluyen en la MPP, por lo que si no es este el caso sería
conveniente detener la lectura de este trabajo y repasar el EML en alguno de los
numerosos manuales que existen.
La MPP siempre tiene 4 columnas y 4 filas, además de un apartado para señalar las
“condiciones previas”.
Esquema de la Matriz de Planificación del Proyecto
LÓGICA DE
INTERVENCIÓN
INDICADORES
FUENTES DE
VERIFICACIÓN
HIPÓTESIS
Objetivos Generales
Objetivo Específico
Resultados
Actividades
Recursos
Costes
Condiciones previas
Como vemos, hay 6 cuadros sombreados para destacarlos del resto porque la
información contenida en cada uno de ellos es la que se utiliza para establecer el
método de evaluación basado en la GCP. Se parte de establecer distintas relaciones
entre esos 6 elementos para llegar a determinar áreas de análisis en la evaluación que
se aplicarán sistemáticamente.
Reproducimos el cuadro de la
página 6 en donde se habían
presentado de manera muy
esquemática los elementos que
intervienen en un proyecto y
que, por lo tanto serán de
interés para la evaluación.
...tendrá un efecto en la
comunidad.
Tendrá un efecto no previsto fuera o dentro de la
comunidad.
..alcanzar algún objetivo que
Hay una vinculación clara entre
Acciones planificadas para...
ese cuadro y la MPP, lo que
hace ésta última es desarrollar
algunos de los conceptos incluidos en el esquema.
Otras acciones no
relacionadas con el
proyecto
2
Más conocido en la literatura internacional por su siglas en inglés:
PCM, Project Cycle Management.
10
Las “acciones planificadas” son las Actividades, pero en la MPP se señala que para
poder hacerlas necesitaremos unos Insumos en forma de recursos (personas,
vehículos, edificios para administración...) que tendrán unos costes monetarios. Y
además, esas actividades una vez concluidas nos habrán llevado al logro de unos
Resultados (parcelas con sistemas de riego, gente capacitada...). Es decir en la MPP
se amplia considerablemente el concepto de “acciones planificadas” aportando más
información para poder definir un método de evaluación.
En lo que se refiere al “objetivo” del cuadro (“algún objetivo”), en la MPP se habla de
dos tipos de objetivos el Específico y los Generales. El Objetivo Específico es el que
se deriva de manera inmediata tras la consecución de los resultados, podría ser por
ejemplo un aumento en la productividad de los campos cultivados. Y los Objetivos
Generales, que se derivan a su vez del Objetivo Específico, podrían ser un aumento
en los ingresos de las familias, una mejora de la alimentación, etc.
Y, como veremos enseguida, hasta aquí es a donde llega la utilidad, es decir el
aprovechamiento, del EML para definir la metodología de evaluación de la GCP. Esta
metodología incorpora otras consideraciones además de las citadas: insumos,
actividades, resultados y objetivos; pero esas otras consideraciones no parten de lo
que está definido en la MPP sino de otras cuestiones que están fuera de dicha Matriz.
Y esas cuestiones se refieren a los dos cuadros del esquema básico reproducido
anteriormente que no están incluidos en la MPP. Es decir, que ocurre con las “otras
acciones no relacionadas con el proyecto” que interfieren en él; y con los efectos del
proyecto “fuera de la comunidad”. Ninguno de estos aspectos se contempla en la
MPP, sin embargo sí se consideran en la metodología de evaluación de la GCP, y esta
es una de sus contribuciones a la disciplina de la evaluación de proyectos de
cooperación.
Vamos a ver los criterios de evaluación, es decir los temas en los que debemos
centrar la atención en nuestro trabajo de investigación, que propone el Comité de
Ayuda al Desarrollo y que han sido integrados en la metodología de la GCP. Estos
criterios son: 1) Eficacia, 2) Eficiencia, 3)Pertinencia, 4) Impacto, y 5) Viabilidad –
Sostenibilidad3.
2.1.1 Eficacia del proyecto
Cualquier medio que dispongamos para alcanzar unos objetivos es eficaz si consigue
dichos objetivos. Podríamos decir en este caso que no importa tanto el contenido de
los medios planificados en el proyecto sino el logro de los fines. Si se consiguen los
objetivos planificados entonces podríamos afirmar que el proyecto ha sido eficaz.
Idénticas consideraciones cabría hacer sobre los resultados: si se han conseguido
entonces se puede afirmar que el proyecto ha sido eficaz. Por lo tanto el criterio de
“Eficacia” considera los Resultados de la MPP con el Objetivo Específico (OE)
también incluido en ella. Esto es lo que se propone en la metodología, pero parece
razonable incluir también los Objetivos Generales, siempre que tengan asociados
indicadores objetivamente verificables.
3
A lo largo de la exposición que sigue se plantean algunas
reinterpretaciones de los citados criterios, por lo tanto se hacen
afirmaciones que pueden diferir de las que se encuentran en la mayoría
de los manuales editados para divulgar la evaluación. Sin embargo,
cuando esto ocurra se señalará claramente para que quien lo desee
pueda contrastar la interpretación que se hace en este documento de
algunos criterios, con lo que se afirma en la mayoría de los manuales.
11
Así que la persona que realiza la evaluación del proyecto debería considerar, en
primer lugar, el grado de consecución de los objetivos y resultados planteados
inicialmente. Para ello acudiríamos a los indicadores de la MPP, y a partir de ahí
podríamos comenzar a considerar la eficacia del proyecto. Este es un punto
importante porque en no poca literatura sobre evaluación se considera a los
indicadores de la MPP como el elemento central en el trabajo de evaluación. Sin
embargo lo cierto es que esos indicadores son simplemente el punto de partida de la
evaluación. Es decir, lo primero que hay que hacer es verificar el grado de
cumplimiento de los indicadores planificados. Pero esto es simplemente constatar un
hecho, lo cual como hemos dicho anteriormente pertenece al ámbito del seguimiento
más que al de la evaluación. Lo característico de la evaluación es “la valoración” y
aquí, en el criterio de la eficacia, hay que valorar dos tipos de cuestiones.
1. ¿Por qué ha habido variaciones importantes en los indicadores? En el caso de
que no las haya habido no es tan relevante preguntarse por el motivo por el
que los indicadores se alcanzaron. Es decir, desde el punto de vista de la
Eficacia, indagaciones en el sentido que apunta la pregunta normalmente sólo
devolverán informaciones de interés en el caso de que nos encontremos ante
desviaciones significativas.
2. Pero tan importante como esa pregunta, y en todos los casos, es decir
independientemente del grado de cumplimiento de objetivos, es valorar hasta
qué punto el logro del OE es efectivamente consecuencia de los Resultados.
Es decir se trata de saber si la consecución del OE se explica al 100% por la
existencia de los resultados planificados, o si han podido ocurrir circunstancias
en el entorno y ajenas a los contenidos del proyecto que expliquen en cierta
proporción el OE4.
Para ayudarnos de forma visual con la
explicación sobre la “Eficacia” utilizaremos
el gráfico que se reproduce en la página
siguiente y que es simplemente un desarrollo, una ampliación, del expuesto en la
página anterior y que sigue el esquema
propuesto por el EML (leído de abajo
arriba):
Se han sombreado los cuadros “Resultados”, “Objetivo Específico” y “Objetivos
Generales” para destacar que son estas
tres partes del proyecto planificado las
que interesan en la evaluación sobre la
Eficacia del proyecto, y no las otras dos:
insumos y actividades.
Por lo tanto, como punto de partida, hay
que centrar el análisis en el nivel de
consecución de resultados y de objetivos.
Esto significa que el trabajo de evaluación
comienza por una actividad de seguimiento: constatar en qué grado se han cumpli-
Objetivos Generales.
Objetivo Específico que
contribuye al logro de
unos...
Otras acciones no
relacionadas con
el proyecto
Resultados que nos
llevarán a conseguir un...
Actividades con las que
conseguimos unos...
Partimos de unos
Insumos (personas,
bienes y dinero) que son
necesarios para realizar
unas...
4
Esta es una interpretación del criterio Eficacia. En la gran mayoría
de la literatura existente dicho criterio se refiere únicamente al
grado de consecución del OE y de los resultados.
12
dos los indicadores de los dos componentes mencionados. En el caso de que haya
desviaciones significativas entre los indicadores planificados y los conseguidos,
lógicamente habrá que indagar por los motivos de esa divergencia, lo que nos podría
llevar a explicaciones que tienen que ver con las actividades (mal organizadas, por
ejemplo) o con los insumos (insuficientes, también por ejemplo), lo cual se relaciona
con el criterio de la Eficiencia, como veremos enseguida.
Es decir, el análisis por criterios (Eficacia, Eficiencia, Pertinencia...) no implica
considerarlos como puntos de análisis estancos, como parcelas sin conexión con los
demás criterios, al contrario: cada pregunta, cada línea de análisis que planteamos en
la evaluación nos lleva a relacionar todos los componentes de la lógica de
intervención, haciendo paulatinamente más complicado el análisis. Lo que propone
este método es hacer preguntas de manera sistemática en relación a esos criterios
para poder construir al final un juicio sobre el proyecto evaluado, aunque ese juicio,
compuesto por una serie de conclusiones y apreciaciones, no se estructure
necesariamente en función de los criterios que propone el CAD.
Además, en el esquema se ha intercalado un recuadro entre resultados y OE: “Otras
acciones no relacionadas con el proyecto”. Porque como decíamos, no sólo se trata de
constatar el grado de cumplimiento de los indicadores, también hay que asegurar que
los resultados, y sólo ellos, son la causa del OE. Esta es una cuestión verdaderamente
complicada de determinar, porque al tratarse de acciones ajenas al proyecto no está
identificado previamente su origen, y la variedad de puntos de análisis puede ser
bastante grande.
En los dos cuadros de la derecha se
incluyen los indicadores planificados para
un Objetivo Específico que es consecuencia de 3 resultados.
Supongamos que una persona va a evaluar este proyecto después de 6 meses de
concluido. Como decimos, lo primero que
hay que hacer es analizar la Eficacia; y
dentro de este criterio comprobar el grado
de consecución de los indicadores.
Supongamos también que esa persona
encuentra que todos los indicadores se
han conseguido al 100%. Entonces lo
siguiente que tendría que hacer es verificar la relación de causalidad entre resultados y OE. ¿Por dónde empezar a investigar? Lamentablemente para esto no hay
método, en este punto se trata de preguntar a entidades sanitarias locales, a enseñantes o, de manera muy principal, a las
madres que normalmente son las que se
responsabilizan en mayor grado de la
salud de sus hijos e hijas.
OG1: Reducido el absentismo escolar
OG2: Reducida la tasa de mortalidad de
menores de 5 años.
OE: Reducida en un 10% la incidencia
de enfermedades gastrointestinales en la
población menor de 10 años después de
12 meses de iniciado el proyecto
Se han instalado fuentes
públicas
R.1: 400 escolares participan en las
campañas de sensibilización sobre
higiene realizadas en los 6 primeros
meses de ejecución del proyecto.
R.2: Instaladas 80 letrinas en otros
tantos hogares a lo largo de 10 meses.
R.3: 160 madres y padres participan en
1 taller de capacitación sobre higiene de
er
15 horas de duración en el 1 mes.
A título de ejemplo citamos tres casos que explicarían el logro del OE sin que éste
tenga ninguna relación de causa – efecto con los resultados planificados.
13
-
La incidencia de enfermedades gastrointestinales es cíclica y coincide con los
periodos de emigración temporal de las madres en épocas de cosecha.
Con fondos de un proyecto Estatal se han instalado fuentes públicas para el
abastecimiento de agua.
La persona responsable del centro de salud es nueva y está llevando por su
cuenta un trabajo orientado a reducir ese tipo de enfermedades.
Y podría haber muchas otras situaciones, que explicasen la desconexión entre OE y
Resultados a pesar de las apariencias en sentido contrario. En esos tres casos
mencionados la situación es positiva ya que ayudan al logro del OE, pero también
podría ser al contrario. Si no se ha alcanzado dicho Objetivo puede ser porque los
Resultados estaban mal planificados, es decir por causas internas, o también porque a
pesar de estar correctamente identificados esos Resultados ocurrió algo externo que
lo impidió. Pero en este caso, puede ser que la información sobre esas circunstancias
sí esté dentro la Matriz de Planificación en la columna de las Hipótesis, o aunque no
estuviera allí sería más evidente identificar el hecho que ha impedido llegar al OE o a
no conseguir los resultados. Por ejemplo, porque no se consideró en su momento la
compatibilidad entre el horario del taller y las cargas de trabajo de las mujeres, lo que
les impidió asistir a las clases y luego poner en práctica las medidas sobre higiene.
2.1.2 Eficiencia del proyecto
La Eficiencia es una apreciación sobre la adecuación que existe entre unos resultados
y los medios dispuestos para conseguirlos. Un proyecto será más eficiente cuando,
comparado con otro, consigue más o mejores resultados utilizando los mismos
insumos. Por lo tanto la Eficiencia vincula insumos y resultados, aunque haciendo una
interpretación más amplia también se pueden integrar en el análisis de este criterio las
actividades.
Tiene sentido hacerlo así porque la Eficiencia, en el sentido intuitivo del término,
también se refiere a la manera de organizar las actividades, del tiempo que se dedica a ellas, de la manera de asignar
responsables para su realización... Por lo
tanto en el cuadro adjunto hemos destacado los tres niveles más básicos de la
Matriz de Planificación: Insumos (personas, bienes y dinero), Actividades y Resultados.
Las preguntas de partida que hay que
hacer en relación a la Eficacia son muy
sencillas: 1) ¿Podríamos haber utilizado
menos recursos para realizar las mismas
actividades?, 2) ¿Podríamos haber organizado mejor las actividades para llegar a
los mismos resultados?
Objetivos Generales.
Objetivo Específico que
contribuye al logro de
unos...
Resultados que nos
llevarán a conseguir un...
Actividades con las que
conseguimos unos...
Partimos de unos
Insumos (personas,
bienes y dinero) que son
necesarios para realizar
unas...
Para encontrar respuestas con suficiente
contenido como para emitir un juicio de
valor sobre este criterio, podemos plantearnos esas preguntas en dos direcciones:
hacia el interior del proyecto, por un lado, y hacia el exterior por otro lado.
14
En el primer caso no es necesario establecer comparaciones con otros proyectos, sólo
nos fijamos en los componentes del proyecto evaluado. Por ejemplo la compra de un
camión con una capacidad de carga de 20 toneladas, cuando la máxima producción
prevista incluso en proyecciones a 10 años vista es de 10 toneladas.
Cuestión muy diferente es cuando para analizar la Eficiencia de un proyecto tenemos
que establecer algún tipo de comparación con otro u otros proyectos. Por ejemplo, en
el caso de la construcción de viviendas si nos dicen que el costo unitario ha sido de
3.000 € o de 5.000 €, en principio, no podemos decir nada. Sólo cuando comparemos
un número suficientemente grande de proyectos de vivienda en lugares con similares
características podremos llegar a determinar si esas cantidades son ajustadas o no. Y
aun así lo tendríamos que hacer con mucha cautela porque es imposible que en dos
proyectos se den todas las condiciones necesarias para que sean efectivamente
comparables. Siempre se presentará alguna circunstancia, algún matiz, que impida
hacer esas comparaciones con el suficiente rigor.
En el caso que estamos siguiendo como
ejemplo para apoyar las explicaciones de
los criterios de evaluación, tenemos
desarrollados de manera un tanto esquemática los tres componentes de la Matriz
del Planificación que relacionamos para
analizar el criterio de la Eficiencia.
Siguiendo lo apuntado más arriba, hacemos preguntas en primer lugar hacia el interior, es decir hacia lo que está planificado por el proyecto. Una cuestión de este
tipo sería: ¿Es mejor la autoconstrucción
que la contratación de mano de obra no
cualificada? Esto es algo que tiene que
ver con una decisión tomada en la
planificación del proyecto, por eso decimos que es de carácter interior.
En el otro sentido, habría que preguntarse
si el precio de los materiales de construcción es adecuado, o si el precio final de
cada letrina lo es también. En este caso
habría que comparar los costos unitarios
con los mismos costos registrados en un
proyecto similar. Pero como decíamos, en
el caso de que hubiese diferencias notables habría que tener mucha cautela antes
de establecer las conclusiones, ya que el
precio de los materiales puede variar en
función de los gastos de transporte, o el
precio del metro cuadrado de excavación
puede ser diferente en función de las
características del suelo.
Por otra parte, la Eficiencia es un criterio
que se puede analizar desde el punto de
vista económico; es decir de la comparación entre los costes –sobre todo moneta-
R.1: 400 escolares participan en las
campañas de sensibilización sobre
higiene realizadas en los 6 primeros
meses de ejecución del proyecto.
R.2: Instaladas 80 letrinas en otros
tantos hogares a lo largo de 10 meses.
R.3: 160 madres y padres participan en
1 taller de capacitación sobre higiene de
15 horas de duración en el 1er mes.
A.1.1: Establecer acuerdos de
colaboración con las 3 escuelas.
A.1.2: Capacitar al profesorado para que
lleve a cabo la campaña.
A.1.3: Comprar los materiales que se
utilizarán en la campaña.
A.1.4: Realizar el seguimiento desde el
proyecto para garantizar que se hacen
las actividades programadas.
A.2.1: Comprar los materiales de
construcción.
A.2.2: Alquilar equipo para la
excavación.
A.2.3: Capacitar a las familias para la
construcción de las letrinas.
A.2.4: Organizar los grupos de trabajo
para la autoconstrucción.
A.2.5: Capacitar a las familias sobre el
uso de las letrinas.
A.3.1: Organizar las jornadas en las que
se realizará el taller.
A.3.2: Editar los materiales didácticos
que servirán de apoyo.
A.3.3: Preparar cuestiones logísticas
(medios, local, refrigerios...)
INSUMOS
1 Coordinadora
1 Facilitadora
Materiales didácticos
Materiales const.
Alquiler equipos
Alquiler locales
Funcionamiento
TOTAL
COSTE (€)
10.000
8.000
500
35.000
3.000
200
1.600
58.300
15
rios, pero también valorizados- con los beneficios –casi nunca expresables en
términos monetarios. Es lo que se denomina Análisis Coste Efectividad y Análisis
Coste Utilidad. Estos tipos de análisis no están muy extendidos en la evaluación de
proyectos de cooperación, y sin duda que si se desarrollasen podrían aportar
información útil, desde otro punto de vista diferente al habitual.
2.1.3 Pertinencia del proyecto
En la 22ª edición del Diccionario de la Real Academia se define la palabra pertinente,
en su segunda acepción, como algo que viene a propósito. Y nos podemos preguntar:
a propósito de qué. Y la respuesta, en relación al criterio Pertinencia del método que
estamos exponiendo, es a propósito de todo lo que está en el entorno del proyecto. La
respuesta es demasiado amplia pero es que el análisis de la Pertinencia de un
proyecto puede alcanzar a muy diversos ámbitos, desde lo más pequeño y cercano
hasta lo más macro.
Antes de seguir explicando el concepto de
Pertinencia conviene aclarar que en todos
los manuales de evaluación se vincula el
análisis de la Pertinencia con Objetivos
Generales, Objetivo Específico y Resultados. Pero en el cuadro adjunto sólo se
destaca el OE por los motivos que explicaremos más adelante.
Objetivos Generales.
Objetivo Específico que
contribuye al logro de
unos...
Resultados que nos
La Pertinencia, por lo tanto, es una valorallevarán a conseguir un...
ción sobre lo adecuado del enfoque
adoptado por el proyecto en relación al
contexto en el que se realiza. No sería
Actividades con las que
pertinente, por ejemplo, un proyecto
conseguimos unos...
orientado al cultivo de alguna variedad
agrícola para exportación, cuando existe
una política gubernamental explícita que
Partimos de unos
se orienta hacia la producción para
Insumos (personas,
consumo interno con el objetivo de paliar
bienes y dinero) que son
el desabastecimiento de los mercados.
necesarios para realizar
unas...
Esta sería una consideración sobre la Pertinencia de un proyecto desde una perspectiva macro, atendiendo al contexto de
una política nacional. Pero también se puede abordar desde un punto de vista micro,
atendiendo a la realidad más cercana y cotidiana de las comunidades. Este nivel de
análisis es mucho más importante que el macro para la gran mayoría de los proyectos
que realizan las ONGs, porque dichos proyectos normalmente no tienen la
envergadura suficiente como para influir, ni en sentido positivo ni en sentido negativo,
en las políticas nacionales. En la evaluación de ese tipo de proyectos es más relevante
considerar la Pertinencia en relación al entorno próximo, ya que lo que interesa es
saber en qué medida interacciona el proyecto con las relaciones de grupo, con los
cultivos de la comunidad, con el fortalecimiento de organizaciones..., cuestiones todas
ellas que están en el ámbito de influencia del proyecto. Todo lo demás, la política
regional, los acuerdos de comercio exterior, el presupuesto nacional de gasto... son
cuestiones que discurren sin verse afectadas por el proyecto en cuestión. Por este
motivo el análisis de la Pertinencia, en el caso de los proyectos de mediana
evergadura, hay que ponerlo en relación con el ámbito en el que influye de manera
más o menos significativa.
16
En el ejemplo que vamos siguiendo a lo
OE: Reducida en un 10% la incidencia
largo de este escrito, el Objetivo Específide enfermedades gastrointestinales en la
co es el del recuadro. Y la pregunta que
población menor de 10 años después de
12 meses de iniciado el proyecto
nos debemos hacer es si era este el mejor de los proyectos posibles. Si el proyecto se planificó según el Enfoque del Marco Lógico, entonces se habría determinado
este OE en la etapa de “Análisis de Estrategias”. Ante diferentes opciones de trabajo,
por ejemplo escolarización, atención sanitaria, nutrición de menores, se optó por la
prevención sanitaria y esto se habría hecho atendiendo a las distintas variables que el
equipo de planificación consideró oportuno integrar en ese análisis de estrategias. En
el trabajo de evaluación, el análisis de la Pertinencia consiste en contrastar si esa es la
mejor decisión o por el contrario había otras alternativas mejores o que simplemente
plantean alguna duda razonable sobre su elección.
Decíamos antes que en los manuales que explican esta metodología de evaluación se
relacionan siempre los Objetivos Generales, el Objetivo Específico y los Resultados de
la Matriz de Planificación del Proyecto en el análisis de la Pertinencia. De modo que en
realidad se deberían haber sombreado estos tres componentes y el ejemplo quedaría
como sigue.
Pero la propia mecánica de elaboración
de la Lógica de Intervención establece
que los objetivos generales son condiciones o estados de la realidad que se derivan del OE, y éste a su vez es consecuencia de los resultados. De modo que dicho
Objetivo actúa como nexo de unión entre
el nivel inferior de Resultados y el superior
de Objetivos Generales. Así que si nos
preguntamos por la Pertinencia del OE en
realidad también lo estamos haciendo por
la de los Objetivos Generales, ya que no
sería normal afirmar que estos Objetivos
no son pertinentes pero sí lo es el OE. Y
de la misma manera no parece muy
razonable decir que los Resultados no son
pertinentes y que sí lo es el OE. En este
caso se puede valorar si el conjunto de
resultados planificados es el mejor para
llegar al citado Objetivo, pero este tipo de
análisis pertenece al criterio de la Eficacia
como hemos explicado más arriba.
OG 1: Reducido el absentismo escolar
OG 2: Reducida la tasa de mortalidad de
menores de 5 años.
OE: Reducida en un 10% la incidencia
de enfermedades gastrointestinales en la
población menor de 10 años después de
12 meses de iniciado el proyecto
R.1: 400 escolares participan en las
campañas de sensibilización sobre
higiene realizadas en los 6 primeros
meses de ejecución del proyecto.
R.2: Instaladas 80 letrinas en otros
tantos hogares a lo largo de 10 meses.
R.3: 160 madres y padres participan en
1 taller de capacitación sobre higiene de
15 horas de duración en el 1er mes.
Por estos motivos, y para hacer más claro
el análisis de la evaluación (también la explicación del método), parece conveniente
centrarse en el Objetivo Específico que, a fin de cuentas, tiene que ver con la
estrategia del proyecto es decir con su enfoque, y en realidad, como decíamos al
principio, la Pertinencia es el análisis del enfoque adoptado por el proyecto en un
contexto determinado.
Aunque no hay un método preciso para llegar a determinar la Pertinencia de un
proyecto, es muy aconsejable preguntar repetidamente a grupos y personas en
situaciones de entrevista o en encuentros informales sobre cuáles consideran que son
los principales problemas de su comunidad. Y esto hacerlo por separado a hombres y
mujeres. Normalmente las respuestas son diferentes, porque las preocupaciones
17
están en temas distintos también. De este modo se podría llegar a establecer alguna
conclusión sobre la Pertinencia del proyecto, en el sentido de si responde a
inquietudes de la comunidad o sólo a una parte de ella.
2.1.4 Impacto
Normalmente el impacto de un proyecto se suele definir en relación a sus efectos
tanto si se han previsto como si no. Pero ese tipo de definiciones pueden dar lugar
a alguna confusión metodológica que, al igual que ocurría con el caso de la
Pertinencia, hagan un poco más borroso el análisis de la evaluación. En realidad sería
mejor fijarse únicamente en los efectos no previstos por el proyecto, ya que los que
sí lo estaban se encuentran definidos en la Matriz de Planificación del Proyecto, y por
lo tanto se trata sencillamente de constatar su cumplimiento: se han reducido las
enfermedades gastrointestinales, ha aumentado la asistencia a la escuela..., es decir
esto tiene que ver con la Eficacia tal como la hemos definido en el apartado
correspondiente.
Además, en los manuales que explican el método de evaluación se dice que para
aplicar este criterio hay que centrar la atención en el nivel superior de la Lógica de
Intervención: Objetivos Generales y Objetivo Específico, considerando los efectos que
se hayan podido derivar de su realización. Sin embargo es evidente que dichos
efectos también pueden ser consecuencia de los resultados y de las actividades.
Por este motivo hemos sombreado
esos cuatro componentes, ya que
son a los que debemos prestar
atención cuando evaluamos el impacto de un proyecto. Se podría
considerar que los insumos también podrían tener algún efecto no
previsto en la comunidad o fuera
de ella, pero esto, en el caso de los
proyectos medianos, suele ser más
infrecuente.
Objetivos Generales.
Objetivo Específico que
contribuye al logro de
unos...
Resultados que nos
llevarán a conseguir un...
Tendrán unos efectos no previstos
fuera o dentro de
la comunidad.
En cualquier caso, lo que siempre
Actividades con las que
ocurre es que el hecho de realizar
conseguimos unos...
un proyecto en una comunidad
tiene unas consecuencias no
previstas inicialmente; consecuenPartimos de unos
cias que pueden ser positivas o
Insumos (personas,
negativas, y que se pueden prebienes y dinero) que son
sentar con un grado de incidencia
necesarios para realizar
elevado o débil. El trabajo de
unas...
evaluación del Impacto consiste en
desvelar esas consecuencias y extraer conclusiones de ellas.
Posiblemente este criterio sea el más difícil de tratar en comparación con los otros
cuatro, ya que los efectos, al no estar previstos, puede que permanezcan ocultos y
resulte complicado evidenciarlos. Esto es cierto sobre todo si se trata de una
evaluación externa, en donde el grado de confianza entre comunidad y evaluador/a
casi nunca es óptimo, y además el tiempo suele ser escaso. No obstante, para valorar
el impacto del proyecto, además de otras líneas de análisis, hay que considerar
sistemáticamente el efecto que ha podido tener la realización de los componentes
mencionados en las mujeres y en los hombres. En este sentido, sea por omisión o por
18
acción, los proyectos nunca son neutrales y contribuyen a variar en un sentido o en
otro y en una proporción significativa o menor, las relaciones de género que existían
antes del inicio del proyecto. De ahí la importancia de investigar en este tema de
manera sistemática, junto a otras cuestiones que son más difíciles de establecer a
priori.
En el ejemplo que estamos siguiendo se podrían presentar los siguientes impactos,
considerados como efectos no previstos y tanto en un sentido positivo como negativo.
A nivel de Objetivos Generales:
OG 1: Reducido el absentismo escolar
- Disminuye la emigración.
OG 2: Reducida la tasa de mortalidad de
menores de 5 años.
- Las autoridades públicas estatales
asignan más presupuesto a la
escuela (al haber más estudiantes)
- Las madres disponen de más tiemOE: Reducida en un 10% la incidencia
po.
A nivel de Objetivo Específico:
- Aumenta el trabajo infantil.
- Se reduce el gasto en medicamentos.
A nivel de Resultados:
- Unas pocas familias en cuyos hogares no se instalaron letrinas por
falta de presupuesto se sienten
discriminadas y se ha generado un
conflicto nuevo en el conjunto de la
comunidad.
- Las mujeres se sienten menos valoradas que antes porque no han
podido asistir a todos los talleres
debido a sus horarios, y los hombres les han transmitido los conocimientos a ellas, reforzando su
papel de cuidadoras de la salud de
hijos e hijas.
A nivel de Actividades:
- Los grupos de trabajo se constituyen como organización estable
para hacer otros trabajos comunitarios.
- Hombres y mujeres aprenden albañilería a nivel básico, y los hombres encuentran trabajos esporádicos relacionados con este oficio en
comunidades próximas.
- El tiempo dedicado a realizar las
actividades ha interferido en los
trabajos productivos y en los de los
hogares.
de enfermedades gastrointestinales en la
población menor de 10 años después de
12 meses de iniciado el proyecto
R.1: 400 escolares participan en las
campañas de sensibilización sobre
higiene realizadas en los 6 primeros
meses de ejecución del proyecto.
R.2: Instaladas 80 letrinas en otros
tantos hogares a lo largo de 10 meses.
R.3: 160 madres y padres participan en
1 taller de capacitación sobre higiene de
15 horas de duración en el 1er mes.
A.1.1: Establecer acuerdos de
colaboración con las 3 escuelas.
A.1.2: Capacitar al profesorado para que
lleve a cabo la campaña.
A.1.3: Comprar los materiales que se
utilizarán en la campaña.
A.1.4: Realizar el seguimiento desde el
proyecto para garantizar que se hacen
las actividades programadas.
A.2.1: Comprar los materiales de
construcción.
A.2.2: Alquilar equipo para la
excavación.
A.2.3: Capacitar a las familias para la
construcción de las letrinas.
A.2.4: Organizar los grupos de trabajo
para la autoconstrucción.
A.2.5: Capacitar a las familias sobre el
uso de las letrinas.
A.3.1: Organizar las jornadas en las que
se realizará el taller.
A.3.2: Editar los materiales didácticos
que servirán de apoyo.
A.3.3: Preparar cuestiones logísticas
(medios, local, refrigerios...)
19
En fin, la relación de impactos puede ser muy amplia, y sobre todo variada en los
temas a los que se refiere. La dificultad de esta parte del análisis en la evaluación
consiste en revelar esos temas y calibrar su grado de incidencia en la comunidad.
2.1.5 Viabilidad
También en este criterio se presenta alguna confusión acerca del contenido al que se
refiere la palabra viabilidad, ya que se usa indistintamente junto con la palabra
sostenibilidad. De hecho, en las definiciones que se dan en algunos manuales se
habla de viabilidad pero cuando se explica su contenido se está hablando en realidad
de sostenibilidad, y viceversa.
Para aclarar este punto recurrimos nuevamente al diccionario y encontramos
(interpretando las definiciones) que viabilidad5 se refiere a la factibilidad de hacer algo
con los medios dispuestos para ello, mientras que sostenibilidad es la capacidad para
mantener un resultado sin ayuda externa. Se trata por lo tanto de conceptos muy
distintos que de manera inexplicable se suelen asociar en la mayoría de los textos
sobre evaluación.
En la evaluación, el criterio de Viabilidad
consiste en la valoración de la relación,
apropiada o no, que existe entre:
1. Los insumos planificados para
hacer un conjunto de actividades.
¿Se han considerado adecuadamente las necesidades de personal
para hacer todas las actividades
planificadas?, ¿Se ha presupuestado el dinero suficiente para hacer
frente a todos los gastos que generarán las actividades?, ¿Tenemos
los medios (vehículos, ordenadores para administración, oficinas...) necesarios para que las
actividades se realicen con normalidad.
2. Las actividades planificadas para
alcanzar unos resultados.
3. El conjunto de resultados que
deben ser suficientes para alcanzar el Objetivo Específico.
4. Y éste para contribuir al logro de
los Objetivos Generales.
Objetivos Generales.
Objetivo Específico que
contribuye al logro de unos...
Resultados que nos llevarán
a conseguir un...
Actividades con las que
conseguimos unos...
Partimos de unos Insumos
(personas, bienes y dinero)
que son necesarios para
realizar unas...
Si se observa alguna deficiencia en esa relación entonces el proyecto no será viable
en el sentido de que será imposible o bien iniciar el proyecto, o bien alcanzar los
indicadores de resultados y objetivos.
En este sentido es importante destacar que hay diferencias importantes entre una
evaluación ex ante y otra ex post para considerar el criterio de Viabilidad. En el
primero, cuando se hace una evaluación del proyecto planificado antes de ponerlo en
5
Excluyendo el concepto de viabilidad financiera que se refiere a la
rentabilidad de una inversión.
20
marcha, el análisis de la Viabilidad es de suma importancia, posiblemente el criterio
más relevante de todos los que se consideran. Porque de la evaluación se obtendrá
información sobre la posibilidad de
OG 1: Reducido el absentismo escolar
comenzar a realizar el proyecto tal como
OG 2: Reducida la tasa de mortalidad de
menores de 5 años.
está planificado, es decir si con los
insumos previstos tenemos seguridad de
que no habrá problemas para hacer las
actividades. Y esto es útil para la organiOE: Reducida en un 10% la incidencia
zación encargada de ponerlo en marcha
de enfermedades gastrointestinales en la
en el futuro inmediato. Otra cosa es si las
población menor de 10 años después de
actividades nos conducirán a los resulta12 meses de iniciado el proyecto
dos y éstos a los objetivos, porque al
tratarse de una evaluación ex ante eso
ocurrirá, o no, mucho tiempo después, y
R.1: 400 escolares participan en las
cuanto más lejos vamos hacia el futuro
campañas de sensibilización sobre
más difícil es predecir lo que ocurrirá, y
higiene realizadas en los 6 primeros
por lo tanto las propuestas de quien
meses de ejecución del proyecto.
R.2: Instaladas 80 letrinas en otros
evalúa el proyecto serán más cuestionatantos hogares a lo largo de 10 meses.
bles o más inconsistentes. Sin embargo la
R.3: 160 madres y padres participan en
vinculación entre insumos y actividades es
1 taller de capacitación sobre higiene de
er
algo mucho más inmediato, por eso es
15 horas de duración en el 1 mes.
recomendable hacer una evaluación ex
ante, y además externa para evitar la
subjetividad, considerando la viabilidad
A.1.1: Establecer acuerdos de
(factibilidad) de que con los insumos planicolaboración con las 3 escuelas.
A.1.2: Capacitar al profesorado para que
ficados se puedan hacer las actividades
lleve a cabo la campaña.
programadas.
Esta manera de interpretar el concepto de
Viabilidad sugiere una relación muy directa con el de Eficiencia. En éste último
decíamos que un proyecto será tanto más
eficiente cuando con menos insumos
consiga los mismos resultados. Y en el
criterio de Viabilidad estamos diciendo
que hay que analizar la posibilidad de
hacer unas actividades, que conducirán a
unos resultados, con determinados insumos. Hay una relación evidente porque,
en parte, se mezclan en ambas definiciones los mismos componentes de la Lógica
de Intervención: Resultados, Actividades e
Insumos. La diferencia entre ambos conceptos se entiende mejor si los consideramos como dos caras de la misma moneda. En el caso de la Eficiencia valoramos
sobre todo la actitud de ahorro, es decir
que en la planificación del proyecto no se
presupueste por encima de las necesidades; mientras que en el caso de la
Viabilidad valoramos lo contrario, que no
se queden cortos al identificar todos los
medios necesarios para hacer unas
actividades.
A.1.3: Comprar los materiales que se
utilizarán en la campaña.
A.1.4: Realizar el seguimiento desde el
proyecto para garantizar que se hacen
las actividades programadas.
A.2.1: Comprar los materiales de
construcción.
A.2.2: Alquilar equipo para la
excavación.
A.2.3: Capacitar a las familias para la
construcción de las letrinas.
A.2.4: Organizar los grupos de trabajo
para la autoconstrucción.
A.2.5: Capacitar a las familias sobre el
uso de las letrinas.
A.3.1: Organizar las jornadas en las que
se realizará el taller.
A.3.2: Editar los materiales didácticos
que servirán de apoyo.
A.3.3: Preparar cuestiones logísticas
(medios, local, refrigerios...)
INSUMOS
1 Coordinadora
1 Facilitadora
Materiales didácticos
Materiales const.
Alquiler equipos
Alquiler locales
Funcionamiento
TOTAL
COSTE (€)
10.000
8.000
500
35.000
3.000
200
1.600
58.300
21
Se podría entonces interpretar que alguno de los dos criterios sobra porque cada uno
de ellos es simplemente una valoración positiva o negativa del otro. Pero no es así,
tiene sentido mantener ambos criterios diferenciados porque en el caso de la
Viabilidad se considera la secuencia completa de la Lógica de Intervención, mientras
que en el de la Eficiencia sólo se consideran Insumos, Actividades y Resultados. Para
aclarar aún más la diferencia entre ambos criterios, consideremos, atendiendo a lo
explicado, que un proyecto puede ser Viable y no Eficiente, y al revés, puede ser
Eficiente pero no Viable.
Para el caso del ejemplo que estamos siguiendo, sería oportuno preguntarse por
ejemplo, en relación a la Viabilidad, si con tan solo dos personas (1 coordinadora y 1
facilitadora) es suficiente para garantizar la realización de los 12 tipos de actividades
previstas en la Matriz de Planificación. Este tipo de preguntas, como ya hemos
señalado, resultan especialmente oportunas en las evaluaciones ex ante.
Y tendríamos que seguir hacia arriba cuestionando si el conjunto de esas 12
actividades programadas parecen suficientes para alcanzar los 3 resultados
identificados que, en caso de conseguirlos, nos llevarán al Objetivo Específico y de
éste se derivarán los dos Objetivos Generales definidos en la Matriz de Planificación
del Proyecto.
2.1.6 Sostenibilidad
Ya hemos comentado la diferencia entre los conceptos de viabilidad y sostenibilidad,
por lo que parece oportuno separarlos e incluir la Sostenibilidad como un sexto criterio
de análisis en la evaluación de proyectos de cooperación, aunque se debe tener en
cuenta que esto no se hace así en ningún manual de evaluación: sólo hay cinco
criterios y se termina con el de Viabilidad.
En este caso no se puede seguir el mismo esquema de análisis propuesto por el
método explicado en las páginas precedentes, relacionando ese esquema de análisis
con unos u otros componentes de la Matriz de Planificación del Proyecto. Y esto es así
porque el método de planificación basado en el Enfoque del Marco Lógico no tiene en
cuenta ningún aspecto relacionado con la sostenibilidad del proyecto planificado. En
ese método se tratan cuestiones que tienen que ver con los objetivos, las estrategias,
los indicadores..., pero nada relacionado con las previsiones adoptadas para la
sostenibilidad del Objetivo Específico. Esta cuestión no la contempla el método
mencionado, por lo que hay que tratarla fuera de él; fuera de lo que está escrito en la
Matriz de Planificación del Proyecto.
Y en este tema cada sector de actividad requiere un tipo de análisis diferente: no es lo
mismo, por ejemplo, valorar la sostenibilidad de una explotación ganadera que la de
un proyecto que pretende la rehabilitación de un centro urbano declarado patrimonio
de la humanidad. En la cooperación al desarrollo se presentan propuestas tan
diferentes que es imposible establecer tan siquiera una pauta de mínimos para el
análisis de la sostenibilidad.
Y además, hay otros casos en los que no tiene sentido preguntarse por la
sostenibilidad, a diferencia de lo que ocurre con los otros cinco criterios que sí se
pueden considerar de manera sistemática en todos los proyectos, independientemente
del sector al que pertenezcan. Por ejemplo ¿Tiene sentido preguntar por la
sostenibilidad de un proyecto de alfabetización? Este es un trabajo que simplemente
se hace, hay unas personas que aprenden a leer y a escribir, aquí termina el objetivo
del proyecto y es muy poco relevante en una evaluación indagar sobre el
22
sostenimiento del objetivo; es decir sobre las posibilidades de que esas personas
sigan sabiendo leer y escribir en el futuro sin ayuda externa. No tiene ningún sentido.
Básicamente, la sostenibilidad se debe analizar en todos los proyectos que han
previsto un Objetivo Específico para cuyo mantenimiento se necesitan unos ingresos
monetarios, y en este sentido es muy importante considerar la fuente de esos
ingresos.
El caso más evidente es el de los proyectos productivos, que consisten en una
inversión para crear una empresa que pretende vender un producto o un servicio. Pero
también se debe aplicar en el caso de, por ejemplo, una escuela que se quiere abrir y
que naturalmente tendrá unos gastos anuales de funcionamiento, o el de un sistema
de abastecimiento de agua que necesitará un mantenimiento.
Como hemos mencionado la casuística es muy amplia y en cada caso la sostenibilidad
se deberá tratar de manera diferente. No obstante, el CAD ha identificado seis áreas
de interés que pueden explicar en muchos casos la sostenibilidad de los proyectos. Se
les llama Factores de Desarrollo y son los siguientes:
-
-
-
-
-
Políticas de apoyo de entidades públicas o privadas que están en el entorno
del proyecto y en las que nos podemos apoyar para mejorar las posibilidades
de sostenibilidad de nuestra acción. Esas entidades pueden ser, por ejemplo,
delegaciones ministeriales en el departamento, otras ONGs que trabajan en
sectores similares al de nuestro proyecto, etc.
Aspectos institucionales. Todos los proyectos implican un aumento de las
capacidades de gestión de las comunidades y organizaciones que están
llevando a cabo el proyecto. En este punto se trata de analizar si se han
previsto adecuadamente las necesidades de personal, su cualificación, su
capacidad de trabajo... para asumir las nuevas responsabilidades que se
derivan de la implementación del proyecto.
Sostenibilidad económica, entendida de manera amplia, no sólo como un
análisis de la rentabilidad de una inversión, sino como la estimación de los
ingresos que serán necesarios para hacer frente a los gastos de operación.
Factores tecnológicos. Una definición de tecnología aplicada a los proyectos
de cooperación es: “La tecnología significa el conocimiento sistemático
aplicado a la elaboración de un producto, a la utilización de un proceso o la
realización de un servicio, así como las técnicas administrativas y de
mercadotecnia involucradas”6. Es una definición muy amplia que sugiere que la
tecnología se refiere a distintos ámbitos, producción, procesos de trabajo,
administración... En este punto se trata de analizar la adecuación de las
tecnologías transferidas con el proyecto a las capacidades y costumbres y de
la población local.
Aspectos socioculturales. Una cuestión muy importante que debe tener en
cuenta la persona que evalúa, es el carácter artificial que tienen todos los
proyectos de cooperación. Artificial en el sentido de que, normalmente, se
promueve un proceso de desarrollo en un entorno en el que no hay recursos
financieros propios para ponerlo en marcha. Es como una isla que busca la
prosperidad en un entorno de pobreza. Y esto puede resultar, aunque parezca
paradójico, muy agresivo para los equilibrios culturales, sociales y, en general,
de relación comunitaria que se han ido construyendo a lo largo de décadas. En
ocasiones, la fractura de esos equilibrios está en el origen del fracaso de
proyectos.
6
Knut Samset “Evaluación de proyectos de ayuda al desarrollo”. Ed.
IUDC y CEDEAL. Madrid 1997.
23
-
Medio ambiente. En realidad los proyectos de tipo medio tienen pocas
posibilidades de afectar al medio ambiente, y mucho menos de hacerlo hasta
tal punto que impidan su propio desarrollo, es decir su sostenibilidad. Sin
embargo siempre es importante considerar este factor porque normalmente las
comunidades con las que se coopera están en medios físicos pobres, frágiles y
castigados por la sobre explotación de recursos naturales que llevan a cabo
grandes empresas. Por este motivo es conveniente considerar en la evaluación
cuestiones como el uso del agua que hace la comunidad, el abastecimiento de
combustible para cocinar, las prácticas productivas...
2.1.7 Resumen del método
En resumen, el método de evaluación explicado desde 2.1.1 hasta 2.1.6 parte de la
consideración de unas áreas de análisis: los componentes de la Matriz de Planificación
del Proyecto, en relación con 6 temas de análisis que resultan de vincular de diferente
manera esas áreas.
ÁREAS DE ANÁLISIS EN LA MPP
1. Insumos
2. Actividades
3. Resultados
4. Objetivo Específico
5. Objetivos Generales
TEMAS DE ANÁLISIS
a) Eficacia
b) Eficiencia
c) Pertinencia
d) Impacto
e) Viabilidad
f) Sostenibilidad
Y esto se vincula de la siguiente manera:
a) Eficacia
b) Eficiencia
c) Pertinencia
d) Impacto
e) Viabilidad
f) Sostenibilidad
3. Resultados
4. Objetivo Específico
5. Objetivos Generales
1. Insumos
2. Actividades
3. Resultados
4. Objetivo Específico
2. Actividades
3. Resultados
4. Objetivo Específico
5. Objetivos Generales
1. Insumos
2. Actividades
3. Resultados
4. Objetivo Específico
5. Objetivos Generales
El análisis está fuera de los
componentes incluidos en
la Matriz de Planificación
del Proyecto. Se consideran
los 6 factores de desarrollo.
En definitiva, hasta aquí se han expuesto los criterios de evaluación asumidos
internacionalmente, aunque se ha hecho interpretándolos de manera no plenamente
coincidente con lo que se afirma en la mayoría de los manuales sobre el tema. Esto no
es tan relevante, lo verdaderamente importante es, por una parte, lograr resumir en los
24
cinco criterios del CAD todo lo que puede ocurrir en relación a un proyecto, desde un
nivel muy pequeño a otro muy general, y desde el entorno más próximo hasta su
influencia más remota. Esto es lo importante porque permite conocer una realidad
compleja a través de un método sencillo articulado en torno a unos pocos elementos
del proyecto.
Y en segundo lugar, otra cuestión importante es comprender el significado de lo que
quiere decir cada uno de los criterios. No es tan relevante si hablamos de 5, 4 ó 6
criterios, lo que debemos saber es qué tipo de análisis se realiza en cada uno de ellos;
es decir cuál es el objetivo y el procedimiento relativo a cada criterio.
Antes de entrar en la parte práctica de la evaluación, conviene tratar tres temas que
también pueden considerarse como aspectos metodológicos. Son: 1) los tipos de
evaluación, 2) la recogida de información y 3) la definición de indicadores de base para
la evaluación.
2.2 TIPOS DE EVALUACIÓN
Entre las diversas clasificaciones que se pueden hacer sobre los tipos de evaluación
hay dos que de manera especial conviene conocer porque según estemos en un tipo u
otro, las características de la evaluación serán diferentes. Esa clasificación es según
quien realice la evaluación y según el momento en el que se haga.
2.2.1 Según quien la realice
-
Interna. En este caso las personas que han estado llevando a cabo
directamente el proyecto son quienes hacen el análisis de lo realizado a través
de los criterios explicados más arriba, y de acuerdo al plan de trabajo que esas
mismas personas diseñen. Tiene una gran ventaja, y es que los resultados de
la evaluación, sus conclusiones y propuestas, serán interiorizados por la
comunidad y por lo tanto su aplicación será mucho más fácil.
En este tipo de evaluaciones se suelen señalar también inconvenientes, como
por ejemplo que llevan mucho tiempo y que las personas no tienen porqué
tener un conocimiento detallado del método, por lo que podrían encontrar
dificultades para desarrollar el proceso de evaluación con fluidez. Sin embargo,
el mayor inconveniente sea posiblemente el de la subjetividad. Al participar
como analizadores/as y ser al mismo tiempo objeto del análisis, sería normal
que algunas valoraciones o apreciaciones se hiciesen con ciertos sesgos
derivados tanto de la tendencia a excluir la autocrítica, como del temor a
ofender a parte de la comunidad (una parte que por ejemplo no se esforzó lo
suficiente) lo que traería un conflicto.
-
Externa. La evaluación externa es normalmente encargada por la entidad que
financia el proyecto (ONG o administración pública) a una persona con
experiencia probada en el campo de la evaluación y en el sector al que
pertenece el proyecto. El aspecto más positivo es que el trabajo se hará en un
plazo de tiempo acotado y por lo tanto la entidad que lo encarga sabe que
tendrá el informe en una fecha; y además ese trabajo se hará de acuerdo a un
formato estándar que permite comparar diferentes evaluaciones así como
facilitar su aplicación.
Por el contrario, el inconveniente es justamente el reverso del argumento
positivo descrito para el anterior tipo de evaluación: es difícil que la comunidad
25
asimile las conclusiones y propuestas que formula una persona que ha estado
durante unas semanas haciendo una investigación.
En las páginas que siguen todos los aspectos que se tratan se hacen pensando
en este tipo de evaluaciones externas.
-
Mixta. En este caso participa una persona ajena a la comunidad y lo hace
como experta en la metodología de evaluación, mientras que esa comunidad
actúa como agente que realiza la evaluación. La función de la experta no es
tanto hacer la investigación sino conducirla, facilitar el proceso de análisis
realizado por la comunidad cubriendo todas las etapas de la metodología. Al
igual que en el caso de la evaluación interna, hacer una evaluación mixta lleva
mucho tiempo y esto puede ser un inconveniente porque el costo de la persona
contratada puede ser de tal magnitud que no guarde relación con el monto total
del proyecto evaluado.
2.2.2 Según el momento
-
Ex ante. La evaluación se realiza una vez planificado el proyecto y antes de
comenzar su ejecución. Lógicamente en este momento será más importante el
análisis de unos criterios que de otros. Por ejemplo el de Impacto apenas
puede ser valorado, ya que esos impactos se producirán mucho tiempo
después y será difícil hacer consideraciones sobre él. Por el contrario, la
Viabilidad es un criterio de análisis central en una evaluación ex ante por los
motivos que ya se han explicado con detalle en el apartado 2.1.5. De modo que
quien haga la evaluación tendrá que definir, de acuerdo al momento en que
nos encontramos, cuáles son los objetivos del trabajo y a partir de él hacer el
plan de trabajo.
-
Intermedia. La evaluación se realiza a mitad de la ejecución del proyecto.
Normalmente esto se hace en el caso de proyectos grandes con un número
importante de componentes en marcha y relacionados entre sí. Pasado un
tiempo tras el inicio del proyecto, cuando ya se está desarrollando plenamente,
conviene hacer un alto para observar y valorar a través de la evaluación el
rumbo que va tomando el proyecto, los problemas que se presentan, las
desviaciones que aparecen..., y en el caso de que sea oportuno tomar las
medidas necesarias para reconducir el proyecto.
-
Final. La evaluación se realiza una vez concluido el proyecto y
preferentemente después de transcurrido un tiempo, uno, dos o más años. En
esta situación, cuando los resultados ya han tenido la oportunidad de prestar
los bienes o servicios para los que fueron diseñados sin ayuda externa, de
manera autónoma, es cuando se está en mejores condiciones de hacer la
evaluación. Las cosas ya han ocurrido y como es natural es mucho más fácil
interpretar lo que ha pasado que predecir lo que ocurrirá. Y además, las
conclusiones que se pueden establecer son normalmente más sólidas,
aproximan con más seguridad a las explicaciones sobre los factores que están
en la base de los éxitos o fracasos del proyecto. Por esto podríamos decir que
la evaluación final cumple mejor el papel de aprendizaje que como hemos
dicho es lo central en el trabajo de evaluación.
2.3 RECOGIDA DE INFORMACIÓN
Las fuentes de información que utilicemos son las que van a dar contenido al informe
de evaluación; es muy obvio pero también muy importante tenerlo en cuenta. Ante
26
cada evaluación concreta, hay que determinar previamente cuáles serán nuestras
fuentes de información que básicamente se pueden referir a los siguientes tipos:
-
Documentación. Es la primera fuente de información para la evaluación y
consiste en la lectura de todos los documentos generados desde el inicio del
proyecto hasta el momento: formulario, estudios técnicos, informes de avance,
correspondencia, etc. Además, una vez se esté realizando el trabajo en el
terreno, esa documentación se irá completando con la que suministren las
personas y grupos con las que nos entrevistamos.
-
Informantes clave. Son personas que por su posición en la comunidad o en
relación a ella cuentan con información cualitativa sobre las condiciones
generales en las que se desenvuelven las condiciones de vida comunitaria.
Pueden ser líderes, representantes políticos, una autoridad local religiosa... Lo
más conveniente es que las primeras actividades consistan en entrevistas
individuales con informantes clave, porque son quienes aportarán una visión de
conjunto que ayudará a mejorar el plan de trabajo que ya se había realizado
antes de visitar el terreno.
Además, entre los informantes clave también se encuentran las personas de un
nivel más técnico que pueden aportar información cuantitativa sobre aspectos
concretos del proyecto. Son, por ejemplo, las personas que ocupan cargos
como responsable de la asistencia técnica, responsable de formación, etc.
-
Entrevistas de grupo. Se trata de reuniones con varias personas que se
seleccionan por diversos criterios como su localización geográfica, ser el
equipo que gestiona el conjunto del proyecto, ser el equipo que gestiona el
centro de salud, ser una asociación, etc.
-
Entrevistas con grupos focales. Los grupos focales tienen de particular que
están constituidos por personas con intereses comunes y diferenciados de los
del resto de la comunidad. Por ejemplo, en un lugar donde la actividad
económica se basa en el turismo, la pesca y la agricultura, cada una de estas
tres actividades tendrá asociada un grupo focal diferente. No tienen porqué ser
necesariamente visiones encontradas sobre el papel que desempeña el
proyecto evaluado, pero sí serán distintas en la medida que cada grupo hará
una valoración del proyecto en relación a lo que más le interesa. Por lo tanto
las informaciones que se obtengan de los grupos focales nunca serán
representativas del conjunto de la comunidad.
En los proyectos de cooperación de tipo medio, no siempre existen grupos
focales, por lo que el trabajo de quien evalúa consistirá en tratar de determinar
si existen haciéndolo sin forzar demasiado las cosas. Y la mejor prueba para
comprobar que tiene sentido un grupo focal identificado es preguntarnos por el
tipo de información que nos aportará, diferenciado de la información que
podríamos obtener con otros grupos no focales, es decir generalistas.
-
Observación directa de los resultados conseguidos y en general de cualquier
materialización que sea observable. Es conveniente realizar todas las visitas
necesarias inmediatamente después de la entrevista con informantes clave
porque en las posteriores entrevistas la persona que hace la evaluación tendrá
una idea más precisa sobre las cuestiones en las que indagar.
Además, se suelen incluir en los manuales otras fuentes de información como las
encuestas, los organismos de información estadística, la observación participante, las
27
dinámicas de grupo etc. Pero en la realidad, en los proyectos de tipo medio que son
evaluados de forma externa, estas fuentes de información no son tan importantes o
simplemente no son accesibles, bien porque su coste no lo justifica, bien porque la
información no está estrictamente vinculada a la comunidad donde se hace la
evaluación y por tanto los datos no serán de utilidad para el análisis concreto del
proyecto evaluado, o bien porque no hay tiempo para utilizar (aplicar) esas fuentes de
información.
Pero lo más importante, una vez solventado el aspecto técnico de las fuentes de
información, es considerar si garantizamos que dicha información revelará los
intereses, las visiones y las preocupaciones sentidas por ambos sexos, o son
principalmente representativas del sexo dominante, el masculino. Para ello, la persona
que evalúa tiene que considerar cómo afectan, o pueden hacerlo, las distintas
cuestiones investigadas a las relaciones de género en la comunidad.
2.4 INDICADORES DE BASE
Tras leer toda la documentación existente y, también, después de mantener las
primeras entrevistas con informantes clave, es conveniente que quien vaya a hacer la
evaluación se plantee algunas hipótesis sobre los aspectos centrales que ayudarán a
explicar las claves del éxito o fracaso del proyecto. Esto ayudará a guiar el trabajo
focalizando la investigación en dichas hipótesis que, naturalmente, puede que vayan
perdiendo consistencia en el proceso de recogida de información y se vean sustituidas
por otras hipótesis de base, o por el contrario que se vayan confirmando.
Esas hipótesis se pueden plantear en forma de indicadores7, en relación a los criterios
de evaluación del CAD, por ejemplo: el proyecto ha sido muy eficiente; ha tenido un
impacto negativo al aumentar la carga de trabajo de la población; ha dado respuesta al
problema más sentido por la comunidad y por lo tanto es pertinente; ha contribuido a
consolidar las relaciones de poder y subordinación entre hombres y mujeres, y por lo
tanto ha tenido un impacto negativo...
Para el proyecto que estamos siguiendo como caso práctico relacionado con la
reducción de enfermedades gastrointestinales en la población infantil, esos
indicadores se podrían formular de la siguiente manera:
1. “El proyecto ha sido muy eficiente”. Indicador 1: el coste de instalación de
cada letrina no supera los 500 euros. Indicador 2: el coste por hora de docencia
para madres y padres se ajusta al estándar del país (esto nos obligaría a
averiguar cuál es ese estándar).
2. “El proyecto ha tenido un impacto negativo al aumentar la carga de trabajo de
la población”. Indicador: la población ha abandonado algunas de sus tareas
productivas y los ingresos han caído en cierta proporción.
3. “El proyecto ha dado respuesta al problema más sentido por la comunidad y
por lo tanto es pertinente”. Indicador: en distintas entrevistas con grupos de
hombres y mujeres al menos el 80% de asistentes señalan como central el
problema solucionado.
4. “El proyecto ha contribuido a consolidar las relaciones... ha tenido un impacto
negativo”. Indicador: verificar el grado de participación de las mujeres en las
7
Hablamos indistintamente de hipótesis o indicador. La primera es
cuando resulta difícil cuantificar objetivamente las afirmaciones; el
segundo cuando nuestra hipótesis se podrá contrastar de forma numérica
con datos objetivos.
28
actividades de capacitación y el papel (activo o transmisor de conocimientos)
que han adoptado los hombres.
5. Se podría incluir otro indicador sin hipótesis previa y relacionado con la
sostenibilidad. Por ejemplo, Indicador: todas las letrinas se están utilizando
adecuadamente porque las familias aplican los conocimientos adquiridos.
En definitiva, es conveniente que quien vaya a realizar la evaluación no acuda al
terreno “en blanco”, como una máquina procesadora de información, es mejor partir de
algunos presupuestos previos, como los descritos, identificando también las fuentes de
información que se utilizarán para verificar su cumplimiento porque esto ayuda al
trabajo de investigación. Naturalmente que esta actitud debe ser ajena a cualquier tipo
de prejuicio subjetivo que busque por encima de todo confirmar que quien ha
formulado la hipótesis tiene la razón, al contrario, tiene que estar sometida en todos
los casos a la confrontación de los datos obtenidos para verificar o desechar la
hipótesis planteada.
Por otro lado, desde un punto de vista más sistemático, siempre se reproducen en los
manuales los tipos de indicadores que podemos elaborar y que son los siguientes:
A) Indicadores Directos: son los que miden directamente el resultado u
objetivo que se está evaluando. Además, los indicadores directos
pueden ser:
- Cuantitativos: si se pueden cuantificar. Este sería el caso de los
indicadores citados como ejemplo para la pertinencia, la eficiencia, el
impacto en la producción y la sostenibilidad.
- Cualitativos: su comprobación se apoya en opiniones expresadas por
personas o grupos de ellas. Sería el caso del impacto en las
relaciones de género. En este punto conviene destacar que la
diferencia entre lo cuantitativo y lo cualitativo estriba únicamente en
que en el primer caso la fuente de información es un conjunto de datos
mientras que en el segundo la fuente de información es una opinión. Y
conviene destacarlo porque los indicadores cualitativos en todos los
casos se terminan por cuantificar, haciendo afirmaciones del tipo: el
80% de la población percibe que...
B) Indicadores Indirectos: se utilizan cuando no se pueden establecer
indicadores directos y parten del supuesto de que lo que se mide
guarda alguna relación más o menos estrecha con el resultado u
objetivo que se está evaluando. Y al igual que los directos, ésos pueden
ser:
- Cuantitativos: si se pueden cuantificar. Si no hubiese ningún registro
de incidencia de enfermedades en la comunidad, un indicador
indirecto cuantitativo sería el porcentaje de asistencia a clase en
relación a la situación que se daba antes de hacer el proyecto. En este
caso se supone que hay una relación entre lo que queremos medir
realmente (la tasa de morbilidad de cierta enfermedad) y lo que
medimos (la asistencia a clase).
- Cualitativos: tienen idéntica interpretación que en el caso de los
indicadores directos. Si además de no haber ningún registro de
enfermedades, tampoco lo hubiese de asistencia a clase, habría que
preguntar a, por ejemplo las madres, si perciben que tienen más
tiempo libre como consecuencia de la mejora de la salud de sus hijos
e hijas.
29
Lógicamente siempre será mejor un indicador directo que uno indirecto, y
normalmente será mejor uno cuantitativo que otro cualitativo. Además, la
comprobación de estos últimos suele ser más costosa que la de los directos, porque si
queremos que dicha comprobación tenga un mínimo de fiabilidad tendremos que
recurrir a la selección de una muestra lo suficientemente grande y representativa, con
lo cual necesitaremos más tiempo y también algún conocimiento sobre elaboración e
interpretación de encuestas.
Para finalizar este capítulo 2, de todo lo que aquí se ha tratado se puede encontrar
abundante información en la siguiente página del Ministerio de Asuntos Exteriores y de
Cooperación: http://www.mae.es/es/MenuPpal/Cooperacion+Internacional/Evaluacion/
En esta dirección están disponibles de forma gratuita los dos libros donde se explica la
metodología de evaluación de la Cooperación Española y que incluye los criterios de
evaluación explicados, junto con otro libro para incorporar el enfoque de género en la
planificación de proyectos. Además, también se encuentran los informes de 21
evaluaciones encargadas por la Dirección General de Planificación y Evaluación de
Políticas de Desarrollo dependiente de la SECI.
Otra página de interés es http://www.ucm.es/info/IUDC/guia/UnionEuropea.htm Es la
página del Instituto Universitario de Desarrollo y Cooperación de la Universidad
Complutense de Madrid. Tiene mucha información sobre enlaces con entidades
dedicadas a la evaluación y con evaluaciones ya realizadas.
3. GUÍA
Entramos en el último apartado del documento en donde vamos a explicar las distintas
etapas que cubre una evaluación. El objetivo es ofrecer una guía para el trabajo de
evaluación de modo que quien no esté familiarizado con esta disciplina pueda iniciarse
en su práctica con un mínimo de rigor.
Todas las evaluaciones constan de siete pasos que forman una secuencia lógica que
va desde el primer planteamiento: por qué queremos hacer una evaluación, hasta el
final en donde hay que buscar la manera de aplicar las recomendaciones de la
evaluación. Estos siete pasos son:
1.
2.
3.
4.
5.
6.
7.
Elaboración de los Términos de Referencia.
Plan de trabajo.
Estudio de documentación y preparación de la visita.
Trabajo de campo.
Análisis de la información y vuelta al trabajo de campo.
Redacción del informe.
Divulgación y aplicación de la información.
3.1 ELABORACIÓN DE LOS TÉRMINOS DE REFERENCIA
Los Términos de Referencia (TdR) de cualquier evaluación se incluyen en un
documento en donde se establecen los antecedentes, objetivos y otras cuestiones
más técnicas relacionadas con dicha evaluación. En el caso de una evaluación
externa, los TdR los elabora la entidad que la encarga: el Ministerio de Exteriores, la
Comunidad Autónoma, la ONG, etc. Por lo tanto, en principio, esta parte del trabajo es
ajena a quien va a realizar la evaluación. Y decimos en principio porque aunque la
evaluación la vaya a hacer una persona, por ejemplo de una ONG, de un proyecto que
ya conoce y quiere dedicar sus vacaciones a hacer esa evaluación, incluso en este
caso habría que redactar los TdR y sería su primera actividad.
30
Los TdR debería tener como mínimo la siguiente información:
1. Antecedentes explicando el motivo por el que la entidad que encarga la
evaluación tiene interés en realizarla. Pueden ser razones de tipo geográfico,
porque ya se lleva varios años apoyando proyectos en una zona; sectorial,
porque se quiere conocer el efecto de los proyectos productivos por ejemplo;
de enfoque, porque se quiere introducir una nueva línea transversal en el
programa de cooperación, etc.
2. Información resumida sobre los objetivos del proyecto que se evaluará, los
resultados y actividades realizadas hasta el momento. También es pertinente
hacer alguna alusión a otras cuestiones, como por ejemplo el enfoque
participativo del proyecto, su inserción en las políticas del entorno y, en fin,
cualquier información que ayude a comprender mejor el contenido y contexto
del proyecto.
3. Objetivos de la evaluación explicando en qué áreas de información está
especialmente interesada la entidad que encarga la evaluación. Normalmente
se incluyen los criterios de evaluación del CAD y en muchas ocasiones se
menciona expresamente en qué aspectos se habrá de centrar la evaluación,
como por ejemplo análisis de la gestión interna, mejora de la situación de los
DDHH en una zona, etc.
4. Metodología básica. En este apartado hay que señalar dos cuestiones: 1) qué
entrevistas y visitas como mínimo habrá que realizar, señalando cuánto tiempo
se dedicará al trabajo sobre el terreno y cuánto a otras labores; 2) qué perfil
mínimo debe requerir el equipo de evaluación, por ejemplo una persona con
experiencia mínima de 10 años en desarrollo local en África, o dos personas
con las características que mejor se adecuen al sector y tipo de proyecto que
se evaluará.
5. Resultados y plazos. Normalmente se presenta en los TdR el esquema
mínimo que deberá tener el informe de evaluación, en ocasiones se acota una
extensión máxima para dicho informe, y en todos los casos se dice cuál es la
fecha límite para entregarlo.
6. Presupuesto máximo para la realización de la evaluación.
En http://www.mae.es/es/MenuPpal/Cooperacion+Internacional/Evaluacion/ donde se
encuentran 21 evaluaciones publicadas que fueron encargadas en su momento por la
Secretaría de Estado para la Cooperación Internacional, se pueden ver los TdR de las
distintas evaluaciones que figuran siempre como anexo al informe final de la
evaluación.
3.2 PLAN DE TRABAJO
En el caso de las evaluaciones externas los TdR se publican en los boletines
correspondientes en forma de concurso público para que se presenten a él las
personas o consultoras que lo deseen. Estas entidades tienen que elaborar su plan de
trabajo y presentarlo como oferta al concurso, siendo los criterios más habituales de
baremación de esas ofertas: 1) la calidad técnica del plan de trabajo propuesto, 2) el
perfil de las personas que participarán en la evaluación y 3) la mejora económica
sobre el presupuesto máximo.
Pero insistimos en que el plan de trabajo también hay que hacerlo en el caso de que
se vaya a realizar una evaluación por iniciativa propia sin ninguna financiación externa.
El procedimiento para elaborarlo consiste en seguir las etapas que se describen hasta
el final de este documento, es decir desde el apartado 3.3 hasta el 3.7, y desarrollar
sus contenidos según las indicaciones mínimas que se dan en los TdR y siempre
31
tratando de mejorarlas. Además, por cada etapa hay que señalar el tiempo que se
dedicará a ella. En resumen el esquema del plan de trabajo de una evaluación puede
ser el siguiente:
1. Estudio de toda la documentación existente: documentos de identificación y
planificación, formulario, informes de avance y final, correspondencia, etc. En
este punto hay que hacer una prospección (con la ONG del proyecto evaluado
o con la entidad que encarga el trabajo) de qué cantidad de documentación
existe para hacernos una idea del tiempo que habrá que dedicar a esta parte.
Además, como mejora en relación a lo solicitado en los TdR, en este apartado
se puede incluir por ejemplo la elaboración de un cuestionario que será
enviado a la ONG local para tener información actualizada de la situación del
proyecto y también para preparar mejor la visita. Igualmente, en el caso de que
sea oportuno, también se pueden planificar entrevistas con la ONG que ha
financiado el proyecto antes de realizar la visita al terreno. (Se señala el
número de días que dedicaremos a esta fase de la evaluación).
2. Planificación de actividades sobre el terreno. Esta es la parte más
complicada en la elaboración del plan de trabajo, y sobre todo es la que
condicionará en mayor medida la calidad del informe de evaluación. Aquí se
trata de determinar: 1) con quién nos entrevistaremos y de qué forma lo
haremos. En este punto es conveniente recordar lo explicado más arriba sobre
la recogida de información identificando qué informantes clave hay en el
proyecto y su entorno, qué grupos, qué grupos focales... Además en este
apartado se pueden relacionar las informaciones que obtendremos de cada
persona o grupo con los distintos criterios de evaluación en los que se centrará
nuestro trabajo (de acuerdo a los TdR). Y 2) qué visitas realizaremos a
edificios, campos cultivados o cualquier otra realización tangible del proyecto.
Como se ha dicho más arriba, siempre que sea posible es conveniente realizar
estas visitas en los primeros días del trabajo de campo ya que nos ofrecen una
visión concreta que ayuda a contextualizar el conjunto de acciones que se han
llevado a cabo. (Se señala el número de días que dedicaremos a esta fase de
la evaluación).
3. Actividades de divulgación del informe que se realizarán una vez esté
concluido, como presentación pública, difusión a entidades especializadas, etc.
4. Estructura del informe. En el plan de trabajo se debería incluir un borrador del
enfoque que adoptará el proyecto, destacando lo que serán los puntos
centrales de análisis y vinculándolos con los criterios de evaluación del CAD.
Es conveniente incluso presentar un borrador del índice del informe. (Se señala
el número de días que se dedicarán a la redacción del informe).
5. Plazos de entrega del informe, presupuesto total por los trabajos que se
realizarán y perfil del equipo llevará a cabo la evaluación.
Como se ha dicho este es un esquema básico que se puede ajustar a las necesidades
de planificación de la mayoría de las evaluaciones, sin embargo no hay un formato
único ya que en cada caso se presentan circunstancias muy diferentes que obligan a
diseñar distintos planes. En cualquier caso, la recomendación es tomar como punto de
partida los TdR y seguir las distintas fases que hay en la evaluación para ir haciendo
propuestas de trabajo en cada una de esas fases.
3.3 ESTUDIO DE DOCUMENTACIÓN Y PREPARACIÓN DE LA VISITA
Ya se ha comentado en qué consiste esta actividad en el apartado anterior relativo a la
elaboración del plan de trabajo. Por lo tanto aquí sólo queda comentar brevemente
que es en estos días que se dedican a la lectura de documentos cuando hay que
empezar a plantearse hipótesis o indicadores, que se obtendrán sobre todo de la
32
diferencia entre lo planificado en el formulario del proyecto, y lo realizado que se
observa en los informes de seguimiento o final.
En este sentido una manera de adelantar el trabajo es elaborar un cuestionario con
preguntas que se relacionen con esas hipótesis o con otros temas que dejen claro a la
ONG local cuáles van a ser los aspectos centrales que se abordarán a lo largo de la
estancia sobre el terreno. Es importante tener en cuenta que sólo se deben hacer
preguntas, no afirmaciones, y que en ningún caso esas preguntas puedan sugerir que
quien las formula ya tiene una hipótesis. Esto no es ocultar información a la ONG local
sino simplemente actuar con la prudencia necesaria, ya que esas hipótesis se
formulan con un nivel de información que se basa sólo en documentos y por lo tanto
tienen que ser necesariamente débiles. Por ejemplo, si pensamos que ha habido una
participación escasa de las mujeres en las actividades de capacitación porque no hay
datos claros al respecto en los informes de seguimiento, una pregunta del cuestionario
podría ser ¿Cuántas personas, desagregadas por sexo, han participado en las
distintas sesiones de capacitación realizadas? Esta pregunta sería mejor que
¿Considera que ha sido suficiente la participación de las mujeres en las actividades de
capacitación? Esta pregunta es ambigua, deja margen a la interpretación y sobre todo
a no obtener una respuesta que aclare nuestras dudas. Y desde luego que en ningún
caso se debería preguntar ¿Por qué han quedado marginadas las mujeres de las
actividades de capacitación?
Por otra parte, al mismo tiempo que se va leyendo la documentación hay que ir
preparando la visita al terreno. En este sentido es muy conveniente remitir a la ONG
local el plan de trabajo aprobado para que tenga una idea clara de cuáles son los
objetivos del trabajo y de qué actividades concretas hay que organizar, además de
ampliarlas con otras propuestas que sugiera esa ONG. Acordar la agenda de trabajo
con todo detalle es una cuestión muy importante porque normalmente el periodo de
estancia en el país es breve y por lo tanto cualquier imprevisto puede afectar
negativamente a la recogida de información que nos servirá para elaborar el informe.
3.4 TRABAJO DE CAMPO
Sencillamente se trata de llevar a cabo la agenda de entrevistas y visitas acordada
previamente con la organización que ha realizado el proyecto que se evalúa.
3.5 ANÁLISIS DE LA INFORMACIÓN Y VUELTA AL TRABAJO DE CAMPO
Desde un punto de vista formal el trabajo de campo y el análisis de la información
obtenida son dos etapas diferentes. Pero en la realidad esto nunca es así. Según
vamos haciendo el trabajo, recogiendo datos, opiniones y visitando instalaciones nos
vamos haciendo ideas, en muchos casos subjetivas, que debemos ir contrastando
paulatinamente a lo largo de los días (pocos) que vamos a estar en el terreno.
Por lo tanto nunca se deben considerar como dos fases que se suceden, esto sería un
error porque si, como ocurre habitualmente, al analizar con detalle una información
nos surge un nuevo planteamiento no contrastado previamente, entonces no
podríamos corroborarlo porque ya habría finalizado la fase de trabajo de campo,
estaríamos ya de vuelta en nuestro país. La manera en como proceden todas las
personas que realizan evaluaciones es simultaneando ambas fases: analizando la
información obtenida y vuelta al trabajo de campo para ampliar nuestra información y
para contrastar las hipótesis que vamos planteando. Así, cuando termina nuestra visita
tenemos un conjunto de información, una serie de conclusiones y una idea bastante
precisa de lo que será el índice del informe de evaluación.
33
3.6 REDACCIÓN DEL INFORME
Existen numerosos formatos para los informes de evaluación, aunque raramente
alguno de ellos se acoplará de manera íntegra a los casos reales. Un esquema muy
básico que incluye los apartados que se encuentran en todos los informes de
evaluación es el siguiente:
0. Resumen. En unas pocas páginas resumir las actividades realizadas en el
trabajo de evaluación, las conclusiones a las que se ha llegado y las
recomendaciones que se proponen.
1. Antecedentes. Origen del proyecto evaluado y resumen de sus componentes
y enfoque. Contexto y metodología de trabajo que se ha seguido en la
evaluación.
2. Resultados. Descripción de lo constatado siguiendo un orden que puede ser el
de los criterios de evaluación del CAD, o el de los puntos en que se ha
centrado la investigación. No se trata simplemente de describir asépticamente
los indicadores que hemos comprobado en el trabajo de campo, sino que hay
que ir incorporando juicios de valor apoyados en todos los datos e información
que nos han servido para formular ese juicio.
3. Conclusiones que se derivan de los comentarios hechos en el apartado
anterior y que se refieren a los temas que a la persona que ha hecho la
evaluación le parecen relevantes. Nuevamente, las conclusiones se pueden
exponer agrupándolas en los criterios del CAD o no, adoptando el esquema
que nos parezca más adecuado para exponer esas conclusiones.
4. Recomendaciones. Se derivan inmediatamente de las conclusiones y deben
incluir alguna orientación sobre como aplicar estas recomendaciones.
5. Anexos. Normalmente son muy variados, pero siempre hay que incluir los
siguientes:
-
-
Metodología de trabajo. En el caso de que por un exceso de extensión no
se haya podido explicar el método seguido para establecer y cuantificar los
indicadores de evaluación en el apartado 1. “Antecedentes”, se debe incluir
en anexo y con todo detalle cómo se ha procedido para determinar los
indicadores que dan lugar a nuestras conclusiones.
Términos de Referencia de la evaluación.
Entrevistas y visitas realizadas.
Mapas de la zona.
Este es el esquema más básico que se puede proponer para un informe prototipo de
evaluación. A partir de aquí, según las características del proyecto, el contexto en el
que se ha realizado y todas las particularidades que se presentan en torno a él (y que
nunca se presentan de manera idéntica en otros proyectos) hay que ir ampliando el
índice del informe.
En la página http://ec.europa.eu/comm/europeaid/evaluation/index.htm se pueden
encontrar distintos modelos de informes. Igualmente, en la página ya mencionada
http://www.mae.es/es/MenuPpal/Cooperacion+Internacional/Evaluacion/ están los
informes de 21 evaluaciones donde se puede observar el esquema de informe que se
ha seguido en cada caso.
En cualquier caso, la idea es no constreñirse a ninguno de los modelos de informe que
se proponen en distintos manuales. Mas bien el asunto es que quien ha hecho la
evaluación quiere transmitir una serie de ideas y propuestas, y para ello debe adoptar
el esquema que mejor se adapte a ese fin de acuerdo a su experiencia.
34
3.7 APLICACIÓN DE LA EVALUACIÓN
La última etapa en el proceso de evaluación es considerar de qué manera se
incorporarán las recomendaciones del informe en el futuro: en nuevos proyectos y en
nuevas políticas de cooperación. Esta es la parte más importante de la evaluación
porque, como ya es reconocido, el trabajo de evaluación tiene su mayor valor en la
función de aprendizaje que desempeña para mejorar futuros proyectos o las políticas
de cooperación.
No se trata de una cuestión sencilla porque, al menos hasta el momento, no hay
metodología que guíe en la dirección de ese objetivo: la aplicabilidad. Esto más bien
depende de la voluntad política de las entidades que promueven la cooperación, pero
siempre debe estar presente en el equipo de evaluación de qué manera se puede
“empujar” para que las recomendaciones de los informes se discutan y sirvan para
mejorar los resultados de la cooperación al desarrollo.
Un solo informe de evaluación no puede tener un efecto significativo en el diseño de
otros proyectos o de nuevas políticas de cooperación, pero la suma de ellos, si es que
apuntan en la misma dirección, a medio plazo sí pueden influir en ese diseño.
Por lo tanto, no se puede esperar que las aportaciones de las evaluaciones realizadas
tengan un impacto importante e inmediato, sino que más bien son un conjunto de
evaluaciones las que pueden ir dejando un poso de ideas en las entidades que
promueven la cooperación y que terminen por mejorar sus políticas.
Por este motivo es importante que el equipo de evaluación proponga también alguna
medida concreta para contribuir, aunque sea en una medida muy pequeña y parcial, a
mejorar los efectos de la cooperación al desarrollo.
35
ANEXO
Recursos en Internet y bibliografía
36
Recursos en Internet y bibliografía
Las páginas web citadas en este documento son las siguientes:
http://www.ucm.es/info/IUDC/revista/redc4/carmona.pdf Se explica cómo se hizo un
trabajo de sistematización en un proyecto concreto, y se opone la “Sistematización” a
los criterios de evaluación del CAD.
http://www.alforja.or.cr/sistem/sistemat_verger.pdf Un artículo de carácter introductorio
a la sistematización de experiencias pero con un enfoque más teórico que el
presentado en la anterior dirección.
http://www.alforja.or.cr/sistem/biblio.html es una página que se actualiza
frecuentemente donde se pueden encontrar numerosos trabajos y artículos
relacionados con la sistematización de experiencias y que se pueden descargar
gratuitamente.
http://www.mae.es/es/MenuPpal/Cooperacion+Internacional/Evaluacion/ Aquí están
los libros sobre metodología de evaluación de la cooperación española y además los
informes de varias evaluaciones ya realizadas.
http://www.ucm.es/info/IUDC/guia/UnionEuropea.htm Tiene numerosos enlaces con
entidades especializadas en evaluación y también con informes realizados de
evaluación.
http://ec.europa.eu/europeaid/evaluation/index.htm Es la página de la Unidad de
Evaluación de la Oficina de Cooperación EuropeAid de la Comisión Europea. Tal vez
sea la más completa de todas las citadas anteriormente ya que se encuentra
abundante información sobre el conjunto de los aspectos que tienen que ver con la
evaluación. Los idiomas predominantes son el inglés y el francés.
Con respecto a la bibliografía destacamos 4 libros:
-
“Metodología de Evaluación de la Cooperación Española I”. Ministerio de
Asuntos Exteriores – Secretaria de Estado para la Cooperación Internacional y
para Iberoamérica. Madrid 2001. (signatura CDOC: M-2497)
En este libro se abordan con detalle tanto aspectos metodológicos de la
evaluación como cuestiones teóricas.
-
“Metodología de Evaluación de la Cooperación Española II”. Ministerio de
Asuntos Exteriores – Secretaria de Estado para la Cooperación Internacional y
para Iberoamérica. Madrid 2001. (signatura CDOC: M-3293)
Complementa al libro anterior centrándose en cuestiones concretas como
recogida de información, elaboración de indicadores, etc. Además dedica
algunas secciones a tratar la evaluación de la ayuda humanitaria, al enfoque de
género y a la evaluación de proyectos de microfinanzas.
-
Clara Murguialday y Norma Vázquez. “Un paso más: evaluación del impacto de
género”. Cooperacció. Barcelona 2005.
37
Un trabajo muy didáctico en el que se combinan las exposiciones teóricas con
numerosos ejemplos sobre la información que es relevante para las
evaluaciones.
-
Knut Samset. “Evaluación de proyectos de ayuda al desarrollo. Manual para
gestores y evaluadores”. IUDC – CEDEAL. Madrid 1997. (signatura CDOC M1184)
Este es uno de los primeros manuales conocidos en España sobre la
metodología de evaluación incluida en la GCP. A pesar de ser relativamente
antiguo sigue siendo recomendable por la claridad y concisión de sus
explicaciones.
38