1. El problema y la dificultad doble

8.
MONITOREO Y EVALUACIÓN
t p
u
La cuestión de los sistemas y procesos de monitoreo y evaluación de los
programas de apoyo a los ANE es crucial, tanto para la comprensión de
los efectos de las actividades del programa, tras su finalización, en el
dinamismo asociativo, como para la posibilidad de reorientar el programa
cuando está en marcha.
1. El problema y la dificultad doble
“No todo lo que cuenta puede ser contado, y no todo lo que se puede contar cuenta”
Albert Einstein
El problema actual se caracteriza por una dificultad doble: por un lado, los programas de apoyo a
los ANE tratan con dinámicas sociales que son muy difíciles de medir y por otro lado no hay historia
o la tradición de intervenciones anteriores de la Comunidad y experiencias de las que uno puede
tomar inspiración.
También hay que señalar que la adopción de la lógica del proyecto, y no la lógica de proceso, como
sería conveniente, por una buena parte de los programas de apoyo a los ANE en el marco del 9 º
FED implicó a menudo la utilización de sistemas de seguimiento (o monitoreo) y evaluación queno
eran en absoluto apropiados. Estos sistemas en rigor se basan en indicadores concebidos para
medir la pertinencia, la eficiencia, la eficacia, el impacto y la viabilidad de la actividad completa o
por emprender sin tener el actor en consideración.
Como tal, los programas de apoyo al Refuerzo de capacidades de los ANE en el Acuerdo de Cotonú,
deben basarse principalmente en el acompañamiento del actor en sus funciones, como la del
diálogo, que no tienen nada, o muy poco que ver con la finalización de la acción. En resumen, el
riesgo es siempre el de la adopción de la lógica típica del programa de micro-proyectos, incluso en el
monitoreo y la evaluación.
En realidad, la mayor dificultad de la evaluación de un proceso y no la de una acción, como la
capacitación de los ANE, es que sólo tiene sentido en el medio-largo plazo. Esto está en
conformidad con la necesidad del ejercicio de control y evaluación, lo que requiere una intervención
inmediata, a menudo durante la implementación de un programa.
Sin embargo, hay una serie de experiencias innovadoras en cuanto al seguimiento y evaluación
que merecen ser capitalizadas, especialmente debido a la complejidad del seguimiento de un
programa de Refuerzo de capacidades que ha demostrado ser un objeto extenso, complejo ,
orientado hacia la promoción de cambios profundos que van mucho más allá de los resultados
tangibles inmediatos. Uno puede referirse, por ejemplo, a la matriz del sistema utilizado por el CSF
en Etiopía para vincular los resultados esperados de los proyectos financiados con los resultados
globales previstas por el programa; a la base de datos de seguimiento desarrollada en Tanzania, que
permite una monitorización en tiempo real de los resultados del programa o al enfoque del
diagnóstico institucional de las organizaciones de beneficiarios (antes y después de la actividad)
utilizado por el CSCBP en Uganda, entre otros.
Los sistemas S & E creados bajo los programas en Tanzania y Etiopía
El Programa de Apoyo a los ANE en Tanzania ha desarrollado un sistema de seguimiento y
evaluación que une el marco lógico del programa a las actividades tanto en términos de las
actividades previstas como de las realizadas efectivamente. En consecuencia, para cada resultado
del programa, un completo sistema de seguimiento y evaluación se ha puesto en marcha para
evaluar el progreso de la implementación e identificar rápidamente todos los aspectos del enfoque
del programa que deben ser revisados. El sistema tiene por objetivo conservar las huellas y las
acciones de las actividades realizadas, para garantizar que el plan aprobado se cumpla, y recoge
algunos detalles como la ubicación de los diferentes eventos realizados, los temas tratados y el
número y tipos de agentes no estatales involucrados. Poco a poco, a medida que las acciones se
inicien y ultimen, a menudo por los consultores, la información presente en los informes se integra
en la base de datos del sistema de control.
El Programa de Apoyo a la Sociedad Civil en Etiopía (CSF) desarrolló, en el marco de su
sistema de S & E, una matriz específica de control para facilitar el establecimiento de vínculos
entre los resultados de cada proyecto financiado y los resultados del programa mundial. Cada
beneficiario deberá adjuntar la matriz a cada informe provisional presentado en el programa. Esto
constituye una fuente inigualable de información para el CSF, lo que le permite analizar el impacto
del programa en cuanto a ciertos resultados. Los 5 resultados del CSF se tradujeron por lo tanto
para la matriz en 8 temas de control: i) visibilidad, ii) inclusión de las OSC en la elaboración de la
política de desarrollo y el diálogo político, iii) inclusión de las OSC en la prestación de servicios, iv)
asociaciones entre el gobierno y las OSC en términos de derechos, v) sensibilización sobre los
Derechos, vi) creación de redes entre las OSC, vii) apropiación por las OSC de sus comunidades de
base y viii) sostenibilidad - para que cada contratista y sus socios deberán proporcionar
información.
El uso de herramientas innovadoras, como la Evaluación de Capacidad
Organizacional con el Programa CSCBP en Uganda
Un ejercicio preliminar de la evaluación de las capacidades se llevó a cabo para los primeros 33
beneficiarios de las subvenciones, así como para otros 16 que se retrasaron. Este ejercicio se
llevó a cabo por el OI, que utilizó la Herramienta de Evaluación de la Capacidad de Organización
para la que la UGP los había entrenado. Una segunda Herramienta fue implementada al final del
programa por un consultor externo.
- Esto permitió:
• Establecimiento de una comparación entre la capacidad estimada de la Herramienta 1 y las
estimadas en la Herramienta 2
• Identificación de los factores que favorecen o inhiben el progreso de cada organización
• Recomendar cambios específicos a fin de reforzar cada organización
• Actualización de las mejores metodologías a utilizar en el RC
POS
CONTRAS
• La Herramienta ha permitido a CSCBP
centrarse en las carencias y las necesidades
prioritarias de capacitación
• El esfuerzo en términos de Refuerzo de
capacidades preparó a los beneficiarios
convertirse en actores eficaces en la
implementación del CSCBP
• Los beneficiarios disfrutaron de la
Herramienta, ya que reveló las lagunas que de
otro modo no se hubieran identificado (por
ejemplo los problemas de la administración
interna y de gestión).
• La Herramienta fue usada por el OI y no está
claro si se ha tenido en cuenta y las prioridades
presentadas a todos los beneficiarios. La
principal preocupación emergió del hecho de
que los contratistas de servicios expusieron sus
debilidades de manera que los calificó para el
programa CSCBP, y se mostraron más tímidos
en cuanto a la revelación de otras deficiencias en
su nivel de capacidad institucional.
• Las necesidades específicas no se han tenido
debidamente en cuenta, en parte debido a las
limitaciones del OI, pero también debido a la
falta de control por parte del OI o por la UGP.
• Parte de la Herramienta fue usada durante la
implementación, y la oferta formativa llegó
demasiado tarde. Como tal, no fue usada
plenamente por los beneficiarios.
• Algunos cursos se centraron en los
procedimientos y las necesidades del CSCBP
(por ejemplo, la redacción de las convocatorias
de propuestas, la elaboración del marco lógico
de desarrollo que los beneficiarios no
necesitaron aplicar directamente en otras
situaciones).
• En algunos casos, la herramienta no permitió
que las necesidades de formación de las
respectivas organizaciones se considerasen en
detalle.
Los Indicadores de Impacto
Todos los sistemas de seguimiento y evaluación deben basarse en baterías eficientes de
indicadores de impacto a fin de identificar los cambios producidos por el programa. Como
tal, en un programa de apoyo a los ANE, la cuestión fundamental es entender, para tener una idea
de los éxitos del proyecto, lo que se supone que mida el indicador. Si bien el marco lógico, y más
precisamente en el nivel de los resultados previstos, puede orientar un ejercicio de evaluación la
dificultad sigue siendo la de resolver la contradicción de las mediciones inmediatas, lo que
no es la realización de una acción sino un proceso que necesita un perspectiva de medio y,
sobre todo, de largo plazo.
Como algo que se refiere a los cambios que están vinculados al dinamismo social, naturalmente muy
difícil de medir, el ejercicio de evaluación debe tener en cuenta los indicadores de impacto
que podrían ser pertinentes con los temas que son objeto de la intervención del programa,
a saber, el refuerzo de capacidades de los ANE.
En efecto, la medición del impacto de un programa de fortalecimiento de la capacidades de los ANE
empezando por los cambios producidos en el contexto social o político en el que estos agentes no
estatales operan asume el riesgo de ser un ejercicio inútil, 'teniendo en cuenta que es casi imposible
establecer el nexus de causalidad directa entre los insumos del programa y los beneficiarios no
estatales y entre los beneficiarios no estatales y la realidad social.
La paradoja sería unir a un programa, cuyo objetivo es la capacitación de los agentes no estatales a
fin de que puedan cumplir mejor su papel en lo que respecta al contexto socio-político, los cambios
que no tienen nada, o muy poco que ver con él, como para ejemplo, la reducción de los casos de la
pobreza, o la disminución de las repeticiones en la escuela o la mejora de las condiciones sanitarias
de las poblaciones.
Una vez que la investigación en este campo está aún en sus primeros pasos, un camino posible
para la experimentación se puede encontrar en la aplicación de indicadores de impacto
sobre los cambios institucionales y organizativos producidos dentro de las organizaciones
beneficiarias. Para ello, el factor tiempo es determinante, teniendo en cuenta que los cambios no
pueden ser medidos antes de 6-12 meses después del final del programa de apoyo. En este sentido,
es útil tomar las recientes experiencias de Burkina como ejemplo, en cuanto a su elaboración de un
sistema de indicadores de impacto junto con el marco lógico del programa.
A fin de hacer esto, es importante, tal como se señala en los Programas de Uganda, República
Democrática del Congo, Níger y Burkina Faso, llevar a cabo un diagnóstico institucional de la
organización beneficiaria, tanto antes como después de la prestación del apoyo.
Es importante subrayar el hecho de que en esta perspectiva, el interés no tiene por qué ser
exclusivamente centrado en los cambios producidos dentro de la organización, sino también en los
cambios que fueron programados. En este sentido, una organización que ha programado para la
revisión de su organización interna ser más eficientes en su acción es sin duda un elemento que
debe tenerse en cuenta en el ejercicio de evaluación, aunque los cambios no hayan tenido lugar
todavía.
Tomando en cuenta otros aspectos de un ejercicio de
evaluación
Es importante que el ejercicio de evaluación, así como las actividades de seguimiento y
evaluación, tenga en cuenta los aspectos que suelen escapar a un análisis y que pueden,
por el contrario, ofrecer indicaciones valiosos sobre el programa y sus efectos, tanto en
términos de las OSC como en términos del entorno en el que actúan.
Alteración de la lógica de la evaluación: cuando el fracaso se convierte en
éxito
No es raro que los programas de apoyo a los ANE tengan acciones consideradas fracasos cuando en
realidad son éxitos, tanto para el programa como para la organización beneficiaria. De hecho, el
curso de Refuerzo de capacidades, especialmente cuando afecta las organizaciones internas
fundamentales y cuestiones de liderazgo, no siempre es lineal. El progreso no se alcanza a menudo
hasta los debates internos relativamente tensos, hasta que las tensiones y los conflictos emerjan. En
resumen, el fortalecimiento de las organizaciones a veces no se logra hasta después de una
verdadera crisis.
Sin embargo, la cuestión sigue siendo la de la oportunidad, teniendo en cuenta que el resultado de la
evaluación depende del momento en que ésta se lleva a cabo. Si el ejercicio se lleva a cabo durante
la fase de discusión interna de la organización, se podría tener la tentación de ver el programa como
un fracaso, y no un éxito. En realidad, nunca se puede saber en el corto plazo si las acciones de
un programa de refuerzo han producido los resultados esperados o no.
En este caso, el análisis de la evaluación puede tener dos opciones: o bien considerar la medida
como un fracaso o tener en cuenta los resultados positivos obtenidos en el debate interno de las
organizaciones como un resultado directo del programa en sí.
Una vez más, la evaluación requiere tanto tiempo como sea posible pero, sobre todo, para hacer
frente a la dinámica y los procesos y no las acciones aisladas que corren el riesgo de ser mal
interpretadas y, como tales mal evaluadas. Una acción de refuerzo de las capacidades evaluada hoy
como un fracaso, por no se haber utilizado la financiación correspondiente del presupuesto del
Programa, por el contrario puede ser considerado, mañana, como una acción muy positiva, y un
éxito gracias a la dinámica desencadenada por el programa.
Teniendo en cuenta los “efectos inferidos” o los “efectos inesperados”
La cuestión de la dinámica desatada representa un desafío ulterior para la evaluación.
Efectivamente, un programa de apoyo a los ANE interviene en un contexto complejo en el que no se
puede dominar todas las implicaciones relacionadas con la dinámica social.
A veces hay efectos que no son considerados y, por contraste, resultan ser de gran importancia con
respecto a los objetivos de Refuerzo de capacidades de los ANE. Estos son efectos que se pueden
definir como “efectos inferidos” o “efectos inesperados”.
La capacitación de las OSC puede ser evaluada no sólo en términos de medio y largo plazo, sino
también asumiendo que la dinámica a veces producida en torno a la organización beneficiaria es
más interesante que la propia acción.
El acto del refuerzo de capacidades por lo tanto debe ser evaluado no sólo por los resultados
obtenidos, sino por la dinámica que puede poner en movimiento.
Puntos de referencia para más información
Referencias en los textos de la Comisión europea
Directrices para la Gestión del ciclo del Proyecto Volumen 1. Apoyar la implementación
efectiva de la ayuda exterior de la CE. Métodos de prestación de ayuda. Oficina de
Cooperación EuropeAid. Marzo de 2004.
Estudio de capitalización sobre los programas de los ANE de refuerzo de capacidades en el
marco del 9 º FED. Contrato de Servicio 2008/162532. Informe Final. Escrito por Mauricio
Floridi, Beatriz Sanz Corella y Stephano Verdecchia. IBF. Junio de 2009, § 6. Los sistemas y
procesos de Seguimiento y de Evaluación de un Programa.
La gestión de la Comisión de la participación de agentes no estatales en la cooperación al
desarrollo de la CE, junto con las respuestas de la Comisión. Informe Especial n ° 4/2009 (en
conformidad con el artículo 248 (4), subpárrafo segundo, CE). Tribunal de Cuentas
Evaluación del suministro de la ayuda a través de organizaciones de la sociedad civil de la CE.
Informe final. Contrato de Servicio para la Evaluación (sectorial y temática) de los Programas
y Políticas de la Comisión Europea en terceros países, en relación con el desarrollo social y
humano. Contrato número EVA/116-833. Redactado por un consorcio integrado por PARTICIP,
CIDEAL, Channel Research y South Research.
Otras referencias
Incident Map: http://www.idrc.ca/fr/
The Octagon System :
http://www2.sida.se/sida/jsp/sida.jsp?d=1306&a=5166&language=en_US
Impact Alliance: http://www.impactalliance.org/ev_en.php
PSO learning paths: http://www.pso.nl/en/content/learning-paths
INTRAC: http://www.intrac.org/pages/publications.html
Herramienta de Evaluación de la Capacidad de Organización (OCAT):
http://www.ngomanager.org/vansantarticle.htm
http://www.ngomanager.org/tools/OAT_July_2004.pdf