Descargue aquí la Metodología de la Cooperación Sur

METODOLOGÍA DE
EVALUACIÓN DE
LA COOPERACIÓN
SUR-SUR
Secretaría Técnica de
Cooperación Internacional
SECRETARÍA TÉCNICA DE COOPERACIÓN
INTERNACIONAL
Metodología de evaluación de la Cooperación Sur-Sur
Ricardo Patiño Aroca
Ministro de Relaciones Exteriores y Movilidad Humana
Gabriela Rosero Moncayo
Secretaria Técnica de Cooperación Internacional
Consejo Editorial
Gabriela Rosero Moncayo
Secretaria Técnica de Cooperación Internacional
Ivan Martínez Dobronsky
Coordinador Técnico de Cooperación Internacional
Autoría del Documento
Dirección de Seguimiento y Evaluación de la Cooperación
Internacional
Secretaría Técnica de Cooperación Internacional
Diseño, diagramación e impresión
Manthra Comunicación
ISBN: 978-9942-22-011-0.
Impreso en Quito - Ecuador 2016
Documento impreso en papel Earth Pact, 100% hecho en fibra de
caña de azúcar, libre de químicos blanqueadores
ÍNDICE DE CONTENIDOS
1. INTRODUCCIÓN 11
2. MARCO NORMATIVO 17
3. MARCO TEÓRICO 21
3.1. ¿Qué representa la CSS para el Ecuador?
21
3.2. ¿Qué significa evaluar la CSS?
22
3.3. ¿Por qué evaluar? Objetivos de la evaluación de la CSS
24
3.4. ¿Qué evaluar?25
3.5. ¿Qué principios debe cumplir la evaluación de la CSS?
26
3.6. ¿Quién hace qué?27
3.7. Diferencias entre la evaluación de la cooperación tradicional
y la evaluación de la CSS
28
4. MARCO METODOLÓGICO 31
4.1. Método de evaluación32
4.2. Técnicas de levantamiento de información
33
4.3. Fases o etapas de evaluación 34
4.4. Criterios de evaluación39
Pertinencia, coherencia y relevancia43
Eficacia 44
Eficiencia44
Sostenibilidad45
4.5. Herramientas e instrumentos técnicos
47
4.5.1. Análisis FODA47
4.5.2. Marco teórico de evaluación de impacto
48
4.5.3. Análisis de resultados y productos alcanzados
53
4.5.4. Análisis de complementariedad y apropiación
53
4.5.5. Análisis de sostenibilidad y replicabilidad
54
4.6. Equipo de trabajo requerido55
5. LECCIONES APRENDIDAS Y RETOS A FUTURO57
6. CONCLUSIONES61
7. BIBLIOGRAFÍA62
8. ANEXOS65
8.1. Ficha de evaluación de cooperación técnica
8.2. Modelo básico de informe de evaluación de la Cooperación
65
Sur-Sur
76
77
en el Ecuador, 2013-2015
78
8.3. Instructivo de seguimiento de la CSS
8.4. Experiencias piloto de gestión de evaluaciones de CSS
FIGURAS Y TABLAS
FIGURA 1. Componentes de la metodología de evaluación
FIGURA 2. Diferentes niveles para evaluación
FIGURA 3. Resumen de los principios de css para el Ecuador
FIGURA 4. Criterios estándar de evaluación
FIGURA 5. Criterios estándar de evaluación
FIGURA 6. Pertinencia, coherencia y relevancia
FIGURA 7. Eficacia
FIGURA 8. Eficencia
FIGURA 9. Sostenibilidad
FIGURA 10. Causalidad y resultados no previstos
FIGURA 11. Visión de la cadena generada por las
acciones de un proyecto
32
38
TABLA 1. TABLA 2. TABLA 3. 42
55
Criterios de evaluación de la CSS
Equipo mínimo requerido - Ecuador
Balance de gestión - evaluaciones CSS, (2013-2015)
39
40
41
43
44
45
46
47
49
79
LISTADO DE ACRÓNIMOS
ABC
AGCID
Agencia Brasileña de Cooperación
Agencia Chilena de Cooperación Internacional para el
Desarrollo
ALBA
Alianza Bolivariana para América
AOD
Ayuda Oficial al Desarrollo
APC
Agencia Presidencial de Cooperación de Colombia
ASA
Foro de cooperación América del Sur-África
AUCI
BRICS
CAN
CELAC
CINR
CSS
CSSCT
Agencia Uruguaya de Cooperación Internacional
Brasil, Rusia, India, China y Sudáfrica
Comunidad Andina de Naciones
Comunidad de Estados Latinoamericanos y Caribeños
Cooperación Internacional no Reembolsable
Cooperación Sur Sur
Conferencia de Alto Nivel de las Naciones Unidas sobre la
Cooperación Sur-Sur
COOTAD
Código Orgánico de Ordenamiento Territorial,
Atonomías y Descentralización
COPLAFIP
CTPD
ECOSOC
Código Orgánico de Planificación y Finanzas Públicas
Cooperación Técnica entre Países en Desarrollo
Consejo Económico y Social de la Organización de las
Naciones Unidas
DGCIN
Dirección General de Cooperación Internacional de
Argentina
DMECI
Dirección de Monitoreo y Evaluación de la SETECI
FODA
Fortalezas, Oportunidades, Debilidades y Amenazas
GADs
Gobiernos Autónomos Descentralizados
IBSA
India, Brasil y Sudáfrica.
MERCOSUR
Mercado Común del Sur
ONG
Organización No Gubernamental
ONU
Organización de las Naciones Unidas
PABA
PIFCSS
Plan de Acción de Buenos Aires
Programa Iberoamericano para el Fortalecimiento de la
Cooperación Sur-Sur
PNBV
RC
SECI
SEGIB
Plan Nacional para el Buen Vivir
Responsables de Cooperación
Sistema Ecuatoriano de Cooperación Internacional
Secretaría General Iberoamericana
SENPLADES
Secretaría Nacional de Planificación y Desarrollo
SETECI
Secretaría Técnica de Cooperación Internacional
SIGECI
Sistema de Información de la Cooperación Internacional
UNASUR
Unión de Naciones Suramericanas
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Introducción
www.cooperacioninternacional.gob.ec
1. INTRODUCCIÓN
1.1. Perspectiva Nacional
N
uestro país ha asumido, como parte de su política exterior, el fortalecimiento de la Cooperación Sur-Sur (CSS) como herramienta fundamental para la consecución de objetivos nacionales y regionales de desarrollo. El fortalecimiento de este tipo de cooperación, impulsado
especialmente por el Gobierno de la Revolución Ciudadana, ha tomado gran fuerza durante los últimos años y se ha convertido en un aporte del Sur para las relaciones internacionales, transformando
la idea de asistencialismo asimétrico en una de solidaridad, ética y horizontalidad.
Durante estos años también se ha experimentado un declive de la cooperación internacional tradicional, por la crisis económica que afecta al mundo y por el hecho de que algunos países, como el
nuestro, son catalogados como naciones de renta media por lo que no es prioritaria la asignación de
recursos financieros por parte de la cooperación internacional tradicional. Este contexto urgió a los
países a fortalecer formas de cooperación innovadoras y de mayor impacto –en este caso, intensificar
el relacionamiento Sur-Sur– para que los países en desarrollo intercambien experiencias, conocimientos, recursos y buenas prácticas logradas en el ejercicio cotidiano, principalmente en cuanto
a la gestión pública nacional, dirigido al aprendizaje mutuo entre países que comparten contextos
similares (Ayllón, 2013).
El Ecuador concibe la CSS como un proceso permanente de aprendizaje e intercambio de conocimientos y experiencias entre países amigos del Sur, los cuales persiguen objetivos comunes, como pares, que
procura la generación de capacidades para el logro de objetivos de desarrollo, y cuyos costos y beneficios
son compartidos equitativamente. Los principios que sostienen las intervenciones de este tipo de cooperación son: horizontalidad, consenso, equidad, respeto e intercambio ético.
12
11
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
La Comunidad de Estados Latinoamericanos y Caribeños (CELAC) y el Ecuador, como presidente
pro témpore (2015) de este mecanismo intergubernamental de diálogo y concertación política, impulsan, en conjunto con el resto de países de América Latina y el Caribe, la CSS como un camino
para acelerar el proceso de integración latinoamericana y como un agente movilizador de recursos
económicos y humanos desde el Sur y para el Sur.
espacios regionales. Se ha buscado contribuir a la discusión general en materia de
CSS y, con mucho agrado y gusto, se ha podido mostrar al mundo la capacidad intelectual y técnica del talento humano ecuatoriano, buscando contribuir a una sociedad del conocimiento a través de la generación de herramientas útiles para la gestión
permanente de la CSS.
Este camino se construye gracias a las acciones de CSS que se desarrollan desde cada país. Por eso,
conocer mejor y sistematizar las especificidades de este tipo de cooperación, mediante la creación de
indicadores que permitan identificarla, medirla, caracterizarla y evaluarla son fundamentales para
fortalecer su gestión y promover mejores resultados para el bienestar de los países que la implementan (PIFCSS, 2013).
Los procesos de evaluación han permitido también sustentar, validar, visualizar y reconocer la esencia de la CSS como intercambio ético y horizontal; nos ha permitido identificar su valor real a nivel cultural, político, económico y social y fortalecer el orgullo que se
siente al llevar a cabo procesos permanentes de asocio para el desarrollo y al afianzar los
lazos de amistad para alcanzar objetivos comunes.
Dichos indicadores fueron trabajados conceptualmente por las agencias y direcciones de cooperación internacional de los países de América Latina, en distintos espacios entre los que se destaca el
Programa Iberoamericano para el Fortalecimiento de la Cooperación Sur-Sur (PIFCSS), el cual, por
medio de talleres y el intercambio de experiencias, contribuyeron en las discusiones y consideraciones metodológicas que permiten a los países configurar herramientas técnicas útiles para la gestión
de la CSS. En este trabajo, se establece la necesidad e importancia de contar con instrumentos útiles
para la medición y creación de indicadores de la CSS, cuya finalidad sea visibilizar los efectos e impactos de sus intervenciones y brindar herramientas estratégicas para la planificación y las tomas de
decisiones futuras (PIFCSS, 2013).
De esta manera, la Secretaría Técnica de Cooperación Internacional (SETECI) ha documentado
su experiencia metodológica en la evaluación de la CSS, desde el punto de vista del receptor, así
como del proveedor. Con esta publicación, se busca contribuir con una sociedad del conocimiento
en materia de seguimiento, monitoreo y evaluación, por lo que se considera la base conceptual y
experimental y la experticia institucional desarrollada en los procesos de evaluación de la cooperación tradicional, aunque con un aterrizaje en las particularidades y características propias de la CSS.
Este esfuerzo está en consonancia con el compromiso de la SETECI de visibilizar y transparentar el
accionar de la cooperación internacional en el Ecuador y de generar información estratégica, oportuna y confiable sobre la cooperación internacional (Rosero, 2015). En la actualidad, se cuenta con
sistemas nacionales y regionales de información, actualizados y en línea, que permiten generar los
insumos necesarios para llevar a cabo los procesos de valoración y evaluación de la CSS y, así, alcanzar mejores resultados de desarrollo y maximizar el impacto de las intervenciones.
Introducción
www.cooperacioninternacional.gob.ec
Testimonio de Iván Martínez, Coordinador General Técnico de la SETECI
Para los funcionarios de la SETECI, los procesos de evaluación de la CSS han significado relevar la importancia que este tipo de cooperación tiene más allá de lo monetario
o financiero; releva la riqueza de un verdadero marco de aprendizaje mutuo y de consolidación de relaciones entre países hermanos. La evaluación permite visibilizar las
profundas dinámicas que ocurren entre dos países en calidad de socios y aliados más
allá de oferente-receptor, y permite poner en valor el proceso de intercambio de saberes
y conocimientos en beneficio de las instituciones y personas. Existen innumerables experiencias exitosas de CSS con alto impacto en los países y los procesos de evaluación
permiten conocerlas y potenciarlas, a la vez que refuerzan los ejercicios de transparencia y rendición de cuentas mutua entre países.
Testimonio de Cristina Fuentes, Directora de monitoreo y evaluación de la SETECI
La evaluación de la CSS ha implicado un trabajo conjunto entre los funcionarios de la
SETECI, agencias de cooperación y ejecutores, con el que se ha buscado, mediante un
trabajo ético y de respeto mutuo, levantar todas las experiencias referidas a los principios de horizontalidad, equidad, consenso, solidaridad e intercambio ético. Cabe decir
que la evaluación siempre será un proceso de enriquecimiento, pues deja lecciones que,
en un futuro, permitirán repetir las buenas acciones y perfeccionar las prácticas disminuidas a fin de alcanzar una integración regional con desarrollo equitativo.
Testimonio de Fredy Novillo, Analista de monitoreo y evaluación de la SETECI
1.2. Testimonios de experiencias institucionales
¿Qué ha significado, para los funcionarios de los SETECI, los procesos de evaluación de la CSS?
El proceso de evaluación como tal ha implicado transitar por un camino complejo y en
ciertos momentos incierto; ha implicado una fuerte reflexión interna sobre el trabajo y
una valoración de los resultados obtenidos. A partir de algunos debates y discusiones teóricas, metodológicas y técnicas se ha podido consolidar una metodología de evaluación
general, por lo que, hasta ahora, se ha convertido en un arte de generación de información estratégica para la toma de decisiones y la planificación.
La evaluación de la CSS ha formado parte integral del arte metodológica generada,
la cual ha sido compartida, con mucho orgullo y sin intereses particulares, en muchos
12
13
1.3. Testimonios regionales de evaluación de la CSS
¿Qué utilidad tiene para Colombia la evaluación y/o valoración de la CSS?
La legitimidad y pertinencia de la cooperación sur sur se basa en su enorme potencial
para generar contribuciones a los procesos de desarrollo de los países que participan
en ella. Estas contribuciones pueden ser visibilizadas de manera más efectiva en la
medida en que sustenten en evidencias obtenidas a través de procesos de evaluación.
Evaluar le permite a las instituciones hacer mejor las cosas y aprender de los errores,
cumpliendo su tarea de generar conocimientos para enfrentar retos complejos.
James Leaver, Formulación, Seguimiento y Evaluación de la Cooperación Sur-Sur
y Triangular, Agencia Presidencial de Cooperación Internacional de Colombia
www.cooperacioninternacional.gob.ec
¿Qué utilidad tiene para Uruguay la evaluación y/o valoración de la CSS?
Hay dos aspectos que señalarían la utilidad de hacer evaluación y valorización de la
CSS. Si bien se podría considerar por separado dado sus particularidades, en términos
generales, lo primero y más obvio es la importancia que significa tener registro, datos,
información para la planificación y estrategia de la CSS; esto en sí mismo (la sistematización de la CSS en todos sus aspectos) ya es muy útil y mejora un aspecto importante
de la CSS que está muy “devaluado” y es su verdadero aporte financiero. Por otro lado,
un aspecto muy importante de estos ejercicios, es lo que aporta al fortalecimiento y
consolidación del Sistema Nacional de Cooperación de los países. El centro de la evaluación de las acciones y su valorización apunta a los verdaderos actores de la CSS,
que son los sectores. Evaluando y dándole “valor” a sus intervenciones, contribuimos
al cambio cultural (“rol dual”), favoreciendo los compromisos políticos y fortaleciendo
la gestión corrigiendo errores y mejorando los procesos.
Introducción
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Felipe Ortiz de Taranco; Subdirector de la Agencia Uruguaya de
Cooperación Internacional (AUCI)
¿Qué utilidad tiene para El Salvador la evaluación y/o valoración de la Cooperación Sur-Sur?
La evaluación en la Cooperación Sur-Sur es necesaria, no solo por la implicancia que
esta tiene en el ciclo total de proyectos de cooperación técnica, sino en particular por
los elementos que pueden orientar al positivo desarrollo y ejecución de los compromisos que el país gestiona a nivel de la Cooperación para el Desarrollo. En ese marco, El
Salvador orienta el trabajo de evaluación hacia la revisión y balance conjunto con sus
Socios para el Desarrollo del grado de ejecución que se alcanza en un determinado
proyecto y/o Programa Bilateral de Cooperación, ya sea para verificar el cumplimiento
de los objetivos de desarrollo planteados, así como su corresponsabilidad y complementariedad a las apuestas del desarrollo nacional.
En lo relativo a la valorización de la Cooperación Sur-Sur, El Salvador ha venido
implementado un proceso denominado “Marco de Desempeño de la Cooperación
Sur-Sur y Triangular”, el cual incluye dentro de sus actividades la generación de
indicadores de medición y valorización de la Cooperación Sur-Sur, con el objetivo
de tener una mejor referenciación del grado de aporte que la Cooperación Sur-Sur
recibida u ofertada genera en las políticas públicas y/o esquemas de fortalecimiento
institucional de las instituciones participantes de estas dinámicas del desarrollo.
Edgar Huezo, Jefe del Departamento de Cooperación Bilateral Sur-Sur
del Ministerio de Relaciones Exteriores de El Salvador
14
15
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Marco Normativo
www.cooperacioninternacional.gob.ec
2. MARCO NORMATIVO
L
as competencias y facultades de ley otorgadas a la SETECI, en materia de seguimiento, monitoreo
y evaluación de las acciones, programas y proyectos de Cooperación Internacional No Reembolsable (CINR) ejecutadas en el Ecuador, incluyendo la CSS, se sustentan en los siguientes instrumentos legales vigentes en el país:
•
El Código Orgánico de Planificación y Finanzas Públicas (COPLAFIP), publicado en el Registro Oficial N° 306, del 22 de octubre de 2010, en el Artículo 69, establece
que: El registro obligatorio, con fines de información, de acciones, programas y proyectos de cooperación internacional ejecutados, se efectuará ante el organismo técnico
competente. Este organismo será responsable de realizar el monitoreo y evaluación de la
CINR y de implementar el sistema de información correspondiente (Asamblea Nacional
de la República del Ecuador, 2010: 28).
• El Artículo 6 del Decreto Ejecutivo No. 699, del 30 de octubre de 2007, publicado
en el Suplemento del Registro Oficial número 206, ratificado y complementado por los
Decretos Ejecutivos Nº 429, del 15 de julio de 2010, Nº 812, del 5 de julio de 2011,
Nº 16, del 4 de junio de 2013 y Nº 739, del 3 de agosto de 2015, en relación al Sistema
Ecuatoriano de Cooperación Internacional (SECI), señala que la SETECI, dentro de sus
funciones, debe:
d) Apoyar y asistir dentro de sus competencias y responsabilidades en los procesos de formulación, negociación, acceso, implementación, monitoreo y evaluación de programas y proyectos, que cuenten con financiamiento externo no
reembolsable. […]
16
17
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
g) Efectuar el monitoreo al desembolso de los recursos comprometidos, para el
logro de los resultados esperados; y, al desempeño de las entidades receptoras
de la Cooperación Internacional, e informar este proceso. […]
i) Organizar el acopio de conocimientos adquiridos a partir de las intervenciones
realizadas con recursos de la Cooperación Internacional.[…]
de un marco de acción cuyo objetivo consistía en facilitar, a los países en desarrollo, un
espacio que les permitiera no solo ser receptores, sino oferentes de cooperación.
•
El 12 de septiembre de 1978, 138 países se reunieron en Buenos Aires y adoptaron el
Plan de Acción para la promoción de la CTPD y resaltaron la necesidad de enfocarse
en el fortalecimiento de las capacidades nacionales planteando un nuevo esquema
para las acciones tradicionales de cooperación. El PABA conceptualiza la cooperación
técnica como: Una fuerza decisiva para iniciar, diseñar, organizar y fomentar la cooperación entre los países en desarrollo con el fin de que puedan crear, adquirir, adaptar,
transferir y compartir conocimientos y experiencias en beneficio mutuo, y para lograr la
autosuficiencia nacional y colectiva, lo cual es esencial para su desarrollo social y económico (SETECI, 2015).
•
La Declaración de Nairobi. En diciembre de 2009, en Nairobi, Kenia, se celebró la Conferencia de Alto Nivel de las Naciones Unidas sobre la Cooperación Sur-Sur (CSSCT), en
la cual se solicitó de manera expresa que se realizaran esfuerzos adicionales que respondieran a las expectativas de los Estados miembros respecto al apoyo a esta modalidad de
cooperación. En esta Conferencia, todos los actores involucrados reafirmaron los compromisos adoptados en 1978 y contemplados en el PABA, así como la continuidad del impulso
de la CSS.
Esta Declaración alienta a los países a que elaboren sistemas propios para evaluar la calidad y los efectos de los programas de cooperación Sur-Sur y cooperación triangular y
mejorar la recopilación de datos a nivel nacional con el fin de promover la cooperación
en la elaboración de metodologías y estadísticas con tal fin, según proceda, teniendo presentes los principios específicos y las características singulares de la cooperación Sur-Sur
l) Diseñar y ejecutar el sistema de rendición de cuentas de sus acciones de manera oportuna a los organismos de control, a la sociedad civil y otros actores, de
acuerdo con los mecanismos establecidos por la Función Ejecutiva.
(Presidencia de la República del Ecuador, 2007: 3-4)
Por otro lado, el Artículo 31 del Decreto 739, ratifica:
La Secretaría Técnica de Cooperación Internacional realizará el correspondiente
control y seguimiento de las labores de las ONG extranjeras en el Ecuador, con el
objeto de examinar sus actividades, según lo acordado en el Convenio Básico de
Funcionamiento, para asegurar el fiel cumplimiento de sus obligaciones.
La labor de las ONG extranjeras podría incluir, en algún momento, la gestión o apoyo de intervenciones relacionadas con la CSS, ya sea a través del financiamiento, triangulación o delegación de
recursos para la gestión de acciones, programas y/o proyectos. Por esta razón, se ha considerado
también el marco normativo que regula a las ONG por sí, en algún momento, se involucran en alguna actividad relacionada con la CSS.
•
Los Artículos 8 y 9 (Capítulo 2 del Modelo de Gestión, Sección I) de la Resolución
009 del Consejo Nacional de Competencias, de conformidad con lo establecido en
la Constitución de la República y el Código Orgánico de Organización Territorial, Autonomía y Descentralización (COOTAD), establece, en materia de gestión de la CINR,
incluyendo la CSS, que son competencias del Gobierno Central (en este caso, de la SETECI como ente público del Ejecutivo responsable de la gestión de la CINR en el país):
(A/RES/64/222, 2009: página 4).
•
Art. 8.- La Administración del sistema nacional de información de la CINR,
que incluya normativa para […] monitoreo y evaluación.
Art. 9.- Realizar evaluaciones periódicas a los programas y proyectos de
cooperación internacional en ejecución a nivel nacional y local […]; realizar
evaluaciones periódicas sobre el cumplimiento en la entrega de información
para mantenimiento y actualización del sistema nacional de información […];
definir y diseñar mecanismos de rendición de cuentas, transparencia y acceso a la
información, para medir los resultados de la gestión e impacto de la cooperación.
Adicionalmente al marco legal vigente en el Ecuador, en el ámbito de la CSS, existe un marco referencial a nivel internacional que se gesta como un compromiso entre países socios, el cual se plasma
en varios acuerdos derivados de foros de alto nivel:
•
18
El Plan de Acción de Buenos Aires (PABA) se configuró como un proyecto para
promover y realizar la Cooperación Técnica entre Países en Desarrollo (CTPD) dentro
Marco Normativo
www.cooperacioninternacional.gob.ec
El Foro sobre Cooperación para el Desarrollo de 2012. Uno de los ocho temas centrales del evento fue la CSS. En el debate, se señaló la complementariedad de esta modalidad
respecto a la Ayuda Oficial al Desarrollo (AOD), la necesidad de avanzar en el estudio de las
lecciones aprendidas para entender mejor la ventaja comparativa de la CSS, de mejorar la
coordinación, los mecanismos de evaluación y de fortalecer las instituciones proveedoras
de esta cooperación (Programa Iberoamericano para el Fortalecimiento de la Coordinación
Sur-Sur, 2014).
•
La Declaración de Addis Abeba. En julio de 2015, tuvo lugar la Tercera Conferencia
Internacional sobre la Financiación para el Desarrollo, en la ciudad de Addis Abeba,
Etiopía. La Declaración reconoce la importancia, las diferencias históricas y las particularidades de la Cooperación Sur-Sur y […] que ese tipo de cooperación se debe considerar
como una expresión de solidaridad y cooperación entre países, basada en experiencias y
objetivos comunes (ONU, 2014).
Expresa, a su vez, la conformidad con las disposiciones de la Declaración de Nairobi,
del año 2009, al destacar la contribución de la CSS en la erradicación de la pobreza y
el desarrollo sostenible, y alienta a los países en desarrollo a que intensifiquen voluntariamente sus esfuerzos para fortalecer esta cooperación y, así, mejorar la eficacia de sus
actividades (ONU, 2014).
19
Marco Teórico
www.cooperacioninternacional.gob.ec
3. MARCO TEÓRICO
3.1. ¿Qué representa la CSS para el Ecuador?
P
ara el Ecuador, la CSS es una forma distinta e innovadora de cooperación internacional, que
surge de la solidaridad y afinidad de los pueblos y países del sur, que permite compartir conocimientos y experiencias en un marco de colaboración y respeto a la autodeterminación
de los países, bajo principios de horizontalidad, consenso, equidad, respeto e intercambio ético.
El Ecuador concibe la CSS como un proceso de intercambio ético y aprendizaje mutuo y como un espacio estratégico para compartir conocimientos, experiencias y buenas prácticas, desarrollado entre
pares considerados como socios del desarrollo, que procura la generación de capacidades para lograr
objetivos comunes y cuyos costos y beneficios son equitativos.
La CSS en el Ecuador se concreta a través de varias modalidades, las cuales se describen a continuación:
•
CSS Bilateral. Se da entre dos países en desarrollo, en calidad de socios del desarrollo,
para el intercambio de conocimientos y experiencias. Este relacionamiento comprende
tanto países latinoamericanos y caribeños, como países asiáticos o africanos.
•
CSS Regional. Tiene como objetivo el desarrollo y/o integración de una región, para lo
cual participa un mínimo de tres países que consensuan un objetivo común. Ejemplos de
esta cooperación son las acciones enmarcadas en la Unión de Naciones Suramericanas
(UNASUR), CELAC, Alianza Bolivariana para América (ALBA), Foro de cooperación
América del Sur-África (ASA), Secretaría General Iberoamericana (SEGIB), Comunidad Andina de Naciones (CAN), Mercado Común del Sur (MERCOSUR), etc.
21
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
CSS Interregional. Se realiza entre diferentes regiones o en esquemas intercontinentales, como el caso de los BRICS o el G77 + China.
•
•
•
CSS Multilateral Global. Se realiza mediante acciones entre países en el marco de su
pertenencia a bloques u organismos multilaterales, como CEPAL, Consejo Económico
y Social de la Organización de las Naciones Unidas (ECOSOC), etc.
•
•
•
•
Evaluar la CSS implica un ejercicio de valoración de dos aspectos fundamentales: i) la relación paíspaís/país-organismo que se gesta en los compromisos establecidos en el marco de un acuerdo internacional en que se plasman las distintas modalidades antes señaladas, y ii) las intervenciones
llevadas a cabo mediante programas, proyectos o acciones, las cuales, a su vez, sirven para la toma
de decisiones futuras y la visibilización de los resultados y efectos de la cooperación (SETECI, 2015)
En cualquier caso, el proceso de evaluación es esencialmente un ejercicio de valoración centrado en
la comparación entre lo que ha sucedido y un patrón de deseabilidad. Su finalidad es emitir juicios
críticos y de valor fundamentados y verificados sobre los resultados, efectos, impactos, fortalezas,
debilidades, posibles oportunidades y amenazas, así como sobre aspectos a mejorar, profundizar y/o
fortalecer en el relacionamiento derivado de acuerdos internacionales de CSS.
Las principales fases de dichos acuerdos son: 1) prospección; 2) formulación; 3) evaluación ex-ante;
4) negociación a través de comisiones mixtas; 5) firma de acta de comisión mixta; 6) ejecución; 7)
seguimiento; 8) evaluación de medio término o monitoreo; 9) cierre de ejecución y 10) evaluación
final. Cada una debe ser definida y diferenciada claramente, para lo cual es necesario establecer metodologías y procesos técnicos claros para el logro de los objetivos, metas, resultados, efectos e impactos esperados del relacionamiento.
En el ámbito de la CSS, la evaluación tiene un carácter político, técnico y estratégico y, además, sirve
para la toma de decisiones. Sus objetivos son:
•
•
•
•
•
•
•
Potenciar las relaciones bilaterales entre países amigos.
Visibilizar el aprendizaje mutuo entre países.
Rendir cuentas bajo parámetros de corresponsabilidad, tanto en el país receptor como
en el país proveedor de la cooperación.
Identificar nuevas posibilidades de cooperación a través de la réplica de experiencias
exitosas.
Valorar los resultados, efectos e impactos generados de relacionamientos Sur-Sur.
Compartir experiencias en espacios regionales.
Identificar buenas prácticas de la gestión pública.
Para lograr esto, los programas bilaterales/regionales/interregionales/multilaterales, así como las intervenciones que lo conforman, deben contar con:
•
•
•
Convenios y actas de comisiones mixtas.
Informes de seguimiento por parte de los Responsables de Cooperación de los países.
Necesidades o requerimientos claramente identificados como prioritarios para los
países socios.
•
Líneas de base, de ser posible.
Documentos de proyectos, programas o acciones; en algunos casos, los términos de
referencia del intercambio de experiencias, pasantías, donaciones, etc.
Alcance, objetivos y metas realistas, medibles y verificables.
Detalle de actividades, indicadores y medios de verificación.
Información actualizada y suficiente.
Definición clara de los actores involucrados directa e indirectamente, así como sus
roles durante todo el ciclo del proyecto.
Documentación de respaldo.
Marco Teórico
•
3.2. ¿Qué significa evaluar la CSS?
22
www.cooperacioninternacional.gob.ec
Por último, es importante mencionar que evaluar la CSS implica un ejercicio conjunto entre los países
socios, liderado por las instancias rectoras o gestoras de la CINR, conocidas como Responsables
de Cooperación de cada país (RC), las cuales coordinan acciones a la interna de los países con los
ejecutores y beneficiarios de las intervenciones.
Tipos de evaluación
•
Según el momento de la evaluación:
Evaluación ex-ante de acciones, programas o proyectos. Análisis de la factibilidad, viabilidad
técnica, pertinencia, rentabilidad socio-económica y/o impacto de una intervención, previo
a su ejecución o financiamiento.
Evaluación ex-ante de la suscripción de un instrumento internacional de CSS. Análisis de la
factibilidad, necesidad, pertinencia, planificación y priorización de la posible suscripción de
un convenio, acta o acuerdo internacional de CSS; provee insumos técnicos para los procesos
de negociación de un instrumento internacional, y es un instrumento necesario para la toma
de decisiones.
Evaluación de medio término o monitoreo. Análisis y valoración de los avances, resultados
y/o efectos de un convenio, acta o acuerdo internacional en un momento dado durante
su gestión, implementación o ejecución. Implica la revisión de las intervenciones que se
deriven del instrumento internacional de CSS y genera insumos para modificar, incrementar,
reprogramar, replantear, profundizar o fortalecer las actividades, acciones, programas,
proyectos y/o compromisos considerados en un instrumento internacional de cooperación.
Evaluación ex-post de acciones, programas o proyectos. Identificación, medición y
valoración de los resultados, efectos y/o impactos de una acción, programa y/o proyecto, una
vez que haya finalizado su periodo de ejecución. Esta puede ser por resultados o de impacto.
Evaluación ex-post de instrumentos internacionales suscritos. Análisis del cumplimiento
de compromisos, obligaciones y actividades derivadas de un convenio, acta o acuerdo
internacional de CSS.
Evaluación por resultados. Se realiza inmediatamente después de que la intervención
concluya. Mide el cumplimiento de actividades, componentes y el logro de objetivos
planteados en un inicio. Este análisis permite obtener información de los alcances del
convenio, acta, acuerdo, acción, programa o proyecto en el corto plazo.
23
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
•
•
Analizar fortalezas y debilidades, así como externalidades derivadas de la ejecución de
los Programas de CSS entre países socios.
Generar recomendaciones de mejora y ajuste a los procesos involucrados en la ejecución
de la cooperación técnica entre países.
Complementar esfuerzos de gestión de programas/proyectos similares.
Evaluación a un Programa de CSS Bilateral. Evalúa la relación bilateral entre dos países
socios, así como las intervenciones que la conforman.
Para el Ecuador, el marco para la evaluación de la CINR, en general, y de la CSS, en particular, se
encuentra en el Plan Nacional para el Buen Vivir (PNBV), el cual determina los lineamientos para
el accionar de los distintos agentes del SECI que ejecutan acciones, programas o proyectos, a fin de
que su gestión responda efectivamente a las prioridades nacionales y alinea las agendas sectoriales y
territoriales.
Evaluación a un Programa de CSS Triangular. Evalúa los mecanismos de cooperación entre
tres países, considerando los distintos roles que cumplen durante el proceso: socio receptor;
primer socio oferente (donante financiero) y segundo socio oferente (ejecutor técnico)
(PIFCSS, página 3), así como las intervenciones que los conforman.
En este sentido, la sostenibilidad de las acciones, programas o proyectos debe anclarse en instituciones o entidades pertinentes, bajo un paraguas de políticas públicas sectoriales y territoriales de
mediano y largo plazo, que permitan canalizar esfuerzos conjuntos y lograr impactos duraderos para
la consolidación y fortalecimiento de la rectoría y apropiación nacional de la gestión del desarrollo.
Evaluación a un Programa de CSS en Bloque o Regional. Evalúa Programas en Bloque o
Regional de CSS, en los que intervenga el Ecuador.
El fin último de la evaluación es proveer insumos para retroalimentar, mejorar, consolidar y replicar
las buenas prácticas de la gestión pública y privada a favor del Buen Vivir o, en su defecto, identificar
malas prácticas que permitan ejecutar de mejor manera los procesos futuros.
•
Según el alcance de la CSS:
3.3. ¿Por qué evaluar? Objetivos de la evaluación de la CSS
Los procesos de evaluación de la CSS permiten:
• En cuanto al relacionamiento entre países:
•
•
•
•
Potenciar las relaciones bilaterales entre países socios.
Visibilizar el aprendizaje mutuo entre países.
Rendir cuentas de forma mutua, entre países socios.
Generar insumos técnicos para mejorar el relacionamiento entre los actores de los
Programas de Cooperación.
• Dar alertas oportunas para evitar inconvenientes o resolver problemas en la ejecución
de programas/proyectos.
• Generar información estratégica para una toma de decisiones adecuada y oportuna.
• Establecer estrategias de sostenibilidad de los resultados e impactos, para contribuir a
las prioridades de desarrollo y alcanzar el Buen Vivir, en el caso del Ecuador.
• Identificar intervenciones exitosas, protagonizadas por países socios, que permitan
incrementar la oferta de Cooperación Triangular.
• Generar un aprendizaje mutuo sobre el funcionamiento de las agencias de cooperación
que permita armonizar y optimizar futuros procesos y programas.
• En cuanto a los programas, proyectos y acciones enmarcadas en los acuerdos de CSS:
• Socializar acciones con los actores de la intervención y la ciudadanía en general.
• Transparentar la gestión de los agentes involucrados en la ejecución de un programa/
proyecto.
• Valorar los resultados, efectos e impactos de las intervenciones en una colectividad
específica o en un ámbito sectorial y/o territorial de acción.
24
•
Marco Teórico
Evaluación de impacto. Se realiza después de un periodo ampliado de tiempo, luego de dos
a cinco años de finalizada la intervención. Mide los efectos positivos y negativos, directos e
indirectos, en el ámbito de acción derivado de un instrumento internacional de CSS. Este
análisis permite obtener indicadores de cambio sostenido de una situación previa y una
posterior a la ejecución o implementación de un convenio, acta, acuerdo, acción, programa
o proyecto, en el mediano y largo plazo.
www.cooperacioninternacional.gob.ec
3.4.¿Qué evaluar?
En el Ecuador, son susceptibles a evaluación por resultados o de impacto todas las intervenciones de
CINR, en general, y de CSS, en particular, de conformidad con lo que establece el COPLAFIP y los
Decretos Ejecutivos N° 699 (2007), N° 429 (2010), N° 812 (2011), N° 16 (2013) y N°739 (2015).
En todos los casos, se identifica resultados y se analiza los efectos a partir de la medición de los aportes de la cooperación internacional a las prioridades de política pública del país y a las necesidades y
requerimientos de las entidades y organizaciones involucradas y/o la ciudadanía. Para esto se considera la teoría del ciclo de proyectos, es decir la lógica de medición del logro de objetivos, resultados,
componentes y actividades analizados a partir de indicadores cualitativos y cuantitativos y comprobados a partir de medios de verificación documental, testimonial o física.
En el caso particular de la metodología de evaluación de la CSS, el Ecuador ha adoptado los siguientes
principios, en los cuales debe enmarcarse toda intervención de CSS (Diccionario de Cooperación
Internacional: 161):
1. Horizontalidad. Más allá de las diferencias en los niveles de desarrollo relativo entre los
países, la cooperación y retroalimentación se establece de manera voluntaria, en búsquda de objetivos comunes y sin que ninguna de las partes ligue su participación a condiciones – SOCIOS.
2. Equidad. La CSS debe ejercerse de tal modo que sus beneficios se distribuyan de manera
equitativa entre todos los involucrados y aquello debe incluir una participación equilibrada de costos/gastos. – GASTOS COMPARTIDOS
3. Consenso. La ejecución de acciones debe estar amparada en acuerdos previos y una
aceptación mutua sin condiciones, en ámbitos de negociación común.
25
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
4. Respeto/solidaridad. La CSS representa un modelo de cooperación basado en el respeto
a la autodeterminación de los pueblos y a la no injerencia en asuntos internos de los
Estados, así como a las prioridades y a los sistemas nacionales, según una lógica de reciprocidad. De esta manera, se remplaza la idea de ayuda por una de solidaridad mutua.
5. Intercambio ético. La cooperación como intercambio ético implica un nuevo paradigma de cooperación enmarcado en un intercambio justo, equitativo y no condicionado
de conocimientos y experiencias, el cual pretende un aprendizaje mutuo, no desde las
limitaciones y carencias, sino desde las riquezas como seres humanos.
Considerando los principios de la CSS, la SETECI realiza un proceso de evaluación de instrumentos
internacionales de CSS (convenios, actas, acuerdos, etc.) y de las acciones, programas o proyectos
derivados de dichos instrumentos. Por lo tanto, dichos principios determinan los parámetros de
referencia para la definición de criterios de evaluación.
Evaluación País
de la Política
Pública
Evaluación
de la relación
bilateral/
triangular/
regional.
Evaluación
sectorial y
territorial de
intervenciones
•
•
•
•
•
•
Porcentaje de crecimiento de proyectos de oferta de CSS ejecutados.
Incremento en 70% del número de proyectos de oferta de CSS ejecutados.
Sistematización de buenas prácticas que puedan ser replicadas.
Evaluación del grado de financiamiento y operatividad efectiva de una
oferta de cooperación ecuatoriana.
Eficiencia en el uso del fondo de CSS.
Mecanismos de alimentación del fondo de CSS.
•
•
•
•
•
•
Revisión conjunta del cumplimiento de acuerdos, obligaciones, convenios.
Nivel de ejecución de acciones, programas y proyectos.
Análisis de los resultados y efectos de la relación bilateral.
Recomendaciones para el fortalecimiento de la relación bilateral.
Análisis costo-beneficio de la relación bilateral.
Análisis FODA de la relación bilateral.
•
Análisis temáticos específicos (Amazonía, Galápagos - sectores
estratégicos, refugio, movilidad humana).
Intercambios a nivel territorial y/o sectorial.
Dinámicas de gestión sectorial y/o territorial.
Análisis por resultados de las intervenciones.
Análisis de efectos y/o externalidades - impacto.
•
•
•
•
Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI.
3.5. ¿Qué principios debe cumplir la evaluación de la CSS?
Todo proceso de evaluación de la CSS debe ser:
• Estratégico a nivel político, para la toma de decisiones.
• Neutral e imparcial.
• Conjunto: no deviene de una demanda individual sino de la necesidad mutua de los
involucrados.
• De doble vía: se evalúa lo que se recibe y lo que se entrega, implica una autoevaluación.
26
•Transparente.
• Confiable: es un insumo válido para las partes involucradas.
• Objetivo, tanto a nivel cuantitativo como cualitativo.
• De alta calidad.
• Participativo e integral: considera a los responsables de cooperación de las partes
involucradas.
• Propositivo: genera consideraciones importantes.
• Eficiente en el uso de recursos y tiempo.
• Corresponsable: requiere asumir responsabilidades compartidas.
• Socializable: tanto en el país receptor como en el país proveedor de la cooperación.
• Práctico y proveedor de insumos, herramientas y/o soluciones.
Marco Teórico
www.cooperacioninternacional.gob.ec
Estos principios permiten una percepción ética, lógica, real y práctica de la realidad, minimizan los
sesgos del proceso de evaluación, especialmente en cuanto a la autoevaluación de un país como oferente de cooperación, y permite orientar adecuadamente las interpretaciones derivadas del análisis
realizado de forma conjunta.
3.6. ¿Quién hace qué?
La evaluación de convenios, actas, acuerdos y acciones, programas o proyectos de la CSS, según las
competencias que la ley ecuatoriana otorga, recae principalmente en el Gobierno Central, a través
de las entidades rectoras de política pública, ejecutores, entidades de control, agencias de regulación,
etc. Además, dicha ley también otorga competencias en el ámbito local a otros niveles de gobierno,
como los Gobiernos Autónomos Descentralizados (GAD), los cuales deben generar procesos de evaluación de impacto en el ámbito de sus competencias y circunscripciones territoriales.
En el caso específico de la evaluación de CSS, en el Ecuador se identifican los siguientes actores:
1. La SETECI. Es el RC en el Ecuador; cumple un doble rol: por una parte tiene la competencia de articular la identificación, formulación, negociación y acompañamiento
a la ejecución de los procesos que derivan en Programas de CSS oficiales (bilaterales,
triangulares, regionales). Por otra, es responsable de hacer un seguimiento, monitorar y
evaluar las acciones, programas, proyectos y convenios de CSS. Este doble rol debe estar
reflejado estructuralmente en distintas áreas, unidades y direcciones de la SETECI, para
garantizar un proceso transparente, independiente, objetivo y confiable. – ROL COORDINADOR Y EJECUTOR DE EVALUACIÓN
2. Las agencias o entidades responsables de la cooperación internacional de diferentes
países socios. Son la contraparte en la etapa de identificación, formulación, negociación, acompañamiento a la ejecución, seguimiento, monitoreo y evaluación de las intervenciones enmarcadas en los acuerdos de CSS establecidos. Cumplen el mismo rol dual
amparado en los principios de objetividad e independencia mencionados. Para esto, es
necesario que, en cada entidad de la contraparte, existan funcionarios o profesionales
parciales en cuanto a los procesos de negociación/implementación de los acuerdos, para
evitar sesgos de percepción. – ROL EJECUTOR DE EVALUACIÓN
3. Las entidades ejecutoras ecuatorianas. Son protagonistas de la CSS ya que implementan
acciones en el marco de las intervenciones acordadas entre socios. Su rol es técnico pero
al amparo del componente estratégico-político y la voluntad de las autoridades de su
27
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
4. Las entidades ejecutoras del país socio. Las entidades contraparte o ejecutoras en el país/
países socio/s son las que hacen posible el intercambio de experiencias y conocimientos
en un marco de compromiso. De igual forma, si bien su rol es principalmente técnico,
cuentan con el respaldo permanente de las autoridades y tomadores de decisiones. En algunos casos, son también los beneficiarios de los acuerdos de CSS. – ROL PROVEEDOR
DE INFORMACIÓN
5. Las entidades beneficiarias tanto ecuatorianas como del país socio. Son los actores que
hacen uso o son favorecidos/beneficiados por las actividades, resultados, efectos e impactos derivados de un acuerdo de CSS. En algunos casos son también ejecutores de los
acuerdos. – ROL PROVEEDOR DE INFORMACIÓN
Tanto las entidades ejecutoras ecuatorianas como las del país socio tienen un rol dual. Por una parte,
las personas o unidades responsables de la planificación/cooperación internacional/relaciones internacionales/CSS, cumplen el rol de puntos focales/contrapartes de la SETECI y de la agencia o RC
de cada país, durante las etapas de identificación, formulación, negociación y acompañamiento a la
ejecución. Por otra parte, el personal o unidades netamente técnicas, es decir, quienes se dedican exclusivamente a la ejecución de intervenciones, llevan a cabo las acciones y compromisos acordados.
Todos los involucrados deben articularse y coordinar acciones conjuntas con el fin de evitar doblar esfuerzos, tomando en cuenta que el monitoreo y evalución deben comprender la planificación,
negociación y el diseño de un convenio marco o específico que ampare la implementación de una
intervención.
3.7. Diferencias entre la evaluación de la cooperación tradicional y la
evaluación de la CSS
Si bien, tanto para la cooperación tradicional como para la CSS, la esencia metodológica de evaluación
es la misma, existen ciertas diferencias en el modo de gestión, de las que se destacan las siguientes:
#
Ítems
Cooperación tradicional
CSS
1
Tipo de análisis
Una sola vía: donante-receptor Doble vía: socio-socio
2
Tipo de medición
Cuantitativa y cualitativa
Principalmente cualitativa
3
Criterios de evaluación
Basados en los principios de
la AOD
Basados en los principios de
la CSS
4
Técnicas de evaluación
1. Investigación de campo
2. Grupos focales
3. Generación de cartografía
temática
4. Entrevistas/encuestas de
percepción
5. Comités técnicos
interinstitucionales:
cooperante + responsable CI
+ ejecutores
1. Entrevistas/encuestas de
percepción
2. Actas de evaluación de
medio término
3. Videoconferencias
4. Visitas bilaterales
5. Seguimiento bilateral por
oficiales de escritorio de los
países involucrados
5
Aplicación metodológica de la
evaluación utilizada
Del cooperante o del receptor
Consensuada entre socios
6
1. Financiera
Información disponible para la 2. Técnica
evaluación
3. Legal
4. Ambiental
1. Técnica
2. Legal
7
Enfoque de la evaluación
Socio-económico
Socio-político
8
Quién realiza la evaluación
Individual: cooperante o RC
Conjunta: socio + socio
(ambos pueden ser oferente y
receptor de cooperación)
9
Financiamiento de la
evaluación
Costos asumidos por el
cooperante o el RC
Costos compartidos
Alto
Bajo
10 Costo de la evaluación
11
Instrumentos técnicos de
referencia
Marco lógico de proyectos
Convenios/actas
12
Medios de verificación de la
evaluación
Documentos técnicos
Actas de evaluación
Solo en el Ecuador
En el país oferente y en el país
receptor
Beneficios tangibles
Beneficios tangibles e
intangibles
13 Socialización de la evaluación
14
Visualización de resultados y
efectos
Marco Teórico
institución para poner en marcha los compromisos establecidos en los acuerdos de
CSS. En algunos casos, son también los beneficiarios de los acuerdos de CSS. – ROL
PROVEEDOR DE INFORMACIÓN
www.cooperacioninternacional.gob.ec
Elaborado por: SETECI.
Los 14 ítems presentados en el cuadro anterior permiten observar, de forma general, la visión, enfoque, modos de gestión e instrumentos considerados en la cooperación tradicional y en la CSS;
sin embargo, algunas herramientas utilizadas en una u otra forma de cooperación pueden adaptarse
entre sí y complementarse técnica y metodológicamente.
28
29
Marco Metodológico
www.cooperacioninternacional.gob.ec
4. MARCO METODOLÓGICO
¿CÓMO EVALUAR?
P
ara definir la metodología de evaluación, es importante considerar aspectos normativos, administrativos, financieros y técnicos del trabajo. Asimismo, es necesario tomar en cuenta el
objetivo y alcance del análisis y los recursos disponibles, resaltando la importancia de que, en
la evaluación de la CSS, un país evalúa al otro y viceversa, en una dinámica de aprendizaje mutuo y
consenso en la toma de decisiones derivadas del análisis.
En este contexto, la SETECI ha establecido una metodología de evaluación general de la cooperación
internacional, la cual es aplicable tanto para la cooperación tradicional como para la CSS. Contempla
los siguientes componentes: 1) método de evaluación, 2) técnicas de levantamiento de información,
3) fases de evaluación, 4) criterios de evaluación, 5) herramientas e instrumentos técnicos y 6) definición del equipo de trabajo, tal como se muestra a continuación:
31
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Figura 1. Componentes de la metodología de evaluación
países están involucrados en un proceso de evaluación de doble vía, el método no experimental se
considera como el más adecuado para identificar los resultados, efectos e impactos de las intervenciones desde una óptica centrada en las relaciones entre países e instituciones.
Método de
evaluación
Debido a que este método arroja datos primordialmente cualitativos, se pensaría que los resultados
que arroja son subjetivos; sin embargo, para reducir los sesgos en el levantamiento de información, se
consideran las siguientes estrategias:
Definición del
equipo de trabajo
Técnicas de
levantamiento
Herramientas e
instrumentos
Fases de
evaluación
Criterios de
evaluación
Fuente: SETECI (2013). Elaborado por: IMD/DMECI/SETECI.
La figura anterior muestra los componentes de la metodología de evaluación, la cual, como se mencionó anteriormente difiere de la tradicional en cuanto a visión, enfoque, modos de gestión e instrumentos utilizados. Estos componentes constituyen los requerimientos mínimos de definición que
permiten ordenar y organizar el proceso de evaluación de la CSS, tanto a nivel documental como a
nivel de observación.
A continuación se describe cada componente de forma más detallada.
4.1. Método de evaluación
En el Ecuador, en los procesos de evaluación de la CSS, se aplica un método no experimental, el cual
busca comparar la situación de los involucrados antes y después de una intervención, por lo que mide
y valora sus resultados en el corto plazo, así como sus efectos y posibles impactos en el mediano/largo plazo. El método arroja principalmente datos cualitativos, aunque también brinda información
cuantitativa en función del nivel de documentación y evidencia empírica disponible (Salkind, 1999).
El método no experimental se aplica a partir del levantamiento de información de percepción de
todos los involucrados en la gestión de una intervención y de la observación directa por parte de un
equipo técnico conjunto definido entre socios. Por lo general, es multidisciplinario y es implementado por los RC, quienes definen de forma conjunta el mecanismo de análisis documental, el levantamiento de fichas técnicas y la generación de entrevistas con los involucrados.
Dada la naturaleza de la CSS, la cual se centra en las personas/instituciones y en el fortalecimiento de
sus capacidades a partir de la transferencia efectiva de conocimientos, y el hecho de que dos o más
32
•
Incluir, en todo convenio, acuerdo, acta o compromiso bilateral/triangular/regional de
CSS, cláusulas relativas a procesos de evaluación conjunta.
• Definir instrumentos técnicos de base que faciliten los procesos de evaluación de medio
término y final.
• Involucrar, desde el inicio del proceso, a los oficiales de escritorio responsables de la
relación bilateral de los países involucrados y utilizar, como insumos de base inicial para
el análisis, reportes permanentes de seguimiento bilateral o triangular.
• Entrevistar a los actores involucrados en las instituciones de ambos países, tanto de las
agencias de cooperación como de las entidades ejecutoras y beneficiarias (a nivel de
planificación/cooperación internacional y a nivel de ejecución/técnico).
• Contrastar las percepciones de actores con características e intereses similares y sustentar los criterios emitidos con documentación de respaldo.
• Generar espacios abiertos de debate en cuanto al Programa de CSS sus intervenciones.
• Conformar equipos técnicos multidisciplinarios.
• Fomentar la participación de los beneficiarios en los procesos de evaluación.
• Realizar entrevistas independientes sin la presencia de actores influyentes; es decir, conversatorios en los que no participen personas o entidades que induzcan a los entrevistados a dar respuestas o percepciones erróneas o favorables a los intereses particulares.
• Sustentar, con documentación técnica, todas las afirmaciones o aspectos observados.
• Consensuar una sola valoración técnica de los resultados y efectos de una intervención,
con la participación activa y equitativa de todos los técnicos que participaron en el proceso.
Marco Metodológico
www.cooperacioninternacional.gob.ec
Estas estrategias deben ser aplicadas por las unidades de evaluación, tanto del Ecuador como del/los
país/es socio/s, con el fin de minimizar cualquier sesgo o rasgo de subjetividad y presentar resultados
verificados y contrastados.
El rol de las unidades de evaluación en las agencias o de los RC debe ser en todo momento imparcial
y objetivo, ya que parte de los actores que serán entrevistados son de sus mismas instituciones y estoo
no puede desviar de ninguna forma la valoración neutral de la intervención.
4.2. Técnicas de levantamiento de información
Las técnicas son el conjunto de procedimientos y mecanismos para el levantamiento de información
primaria y secundaria relacionada con un Programa de CSS y las intervenciones que lo conforman.
Las técnicas de trabajo utilizadas y/o aplicadas por la SETECI en los procesos de evaluación de la
CSS, las mismas que en un marco de evaluación conjunta y consensuada, también se aplicarían por
los países socios, son:
•
•
Generación de Comités Técnicos de seguimiento, monitoreo y evaluación permanente
entre RC.
Reuniones periódicas de evaluación de medio término de los acuerdos.
33
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Análisis e investigación documental del programa/proyecto (convenios, agendas, documentos de proyecto, marcos lógicos, evaluaciones exante, intermedias y finales, publicaciones,
informes de cierre, reportes, actas, etc.).
• Entrevistas (beneficiarios, ejecutores, co-ejecutores, agencias o RC).
• Testimonios (historias de vida, experiencias), retroalimentación entre actores, lluvia de
ideas, grupos focales, opinión de expertos.
• Levantamiento de encuestas de opinión y evaluación.
• Visitas bilaterales que implican procesos de observación in situ, principalmente a nivel
institucional.
• Reportajes en audio, video y fotografía.
•Videoconferencias.
• Generación de redes interinstitucionales y ciudadanas para monitoreo y evaluación
de gestión.
Nº
Actividades
Detalle
1
Construcción conjunta de
la agenda/hoja de ruta de
evaluación
Se determinan los hitos y una hoja de ruta
conjunta.
2
Definición conjunta de objetivos
y alcance de la evaluación
Se establecen las razones por las que se va a
evaluar y hasta dónde evaluar.
3
Consenso sobre conceptos y
terminología del proceso de
evaluación
Se acuerdan los conceptos básicos de
evaluación
que se utilizarán en el marco del proceso
conjunto.
Además, esta información permite llegar a conclusiones y proponer recomendaciones sobre los mecanismos de relacionamiento en el marco de los Programas de CSS y las intervenciones que los
conforman. Asimismo, es útil para futuras tomas de decisiones, la sostenibilidad de acciones y la
corrección de falencias detectadas en el camino.
4
Definición conjunta de técnicas,
instrumentos y herramientas de
evaluación
Se revisan las posibles técnicas y herramientas
y se ajustan a las necesidades y requerimientos
particulares del proceso conjunto de
evaluación.
4.3. Fases o etapas de evaluación
5
Definición de los equipos de
trabajo
por país
Determinación de los funcionarios/as y roles,
en la unidad de evaluación de cada país.
El proceso de la evaluación de la CSS contempla cinco fases o etapas, las cuales deben ser llevadas a
cabo de forma conjunta entre los países socios, para garantizar la calidad de los hallazgos y resultados. Las fases son las siguientes:
6
Contacto con actores
Se informa a los actores sobre el proceso de
evaluación conjunta y solicitud de punto focal
y llenado de fichas para la posterior entrevista.
7
Definición de cronograma de
visitas para entrevistas
Se establecen los tiempos y la hoja de ruta de
la visita de campo.
Este conjunto de técnicas permite obtener información principalmente cualitativa, aunque, en ciertos casos, también se obtiene datos cuantitativos a partir de los indicadores definidos para cada intervención, todo lo cual servirá para el análisis posterior de los resultados, efectos e impactos, a partir
de una lógica de análisis de costo-beneficio y de costos de oportunidad.
1. Planificación de la evaluación.
2. Levantamiento y análisis de información documental o trabajo de gabinete.
3.Trabajo in situ con actores involucrados.
4. Elaboración del informe de evaluación.
5. Socialización del informe de evaluación.
34
1) Planificación de la evaluación (periodo de tiempo estimado: 2 semanas)
Marco Metodológico
•
www.cooperacioninternacional.gob.ec
35
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
www.cooperacioninternacional.gob.ec
4) Elaboración del informe de evaluación (periodo estimado: 2 semanas)
Nº
Nº
Actividades
1
Solicitud de documentación técnica a
las unidades que gestionan la CSS en las
Agencias de Cooperación, a los ejecutores,
subejecutores y otros involucrados.
2
Análisis de la documentación
técnica para la evaluación
Lectura y síntesis de información clave para
la evaluación.
Revisión de fichas técnicas de
evaluación
Revisión de la ficha completada por los
ejecutores, previa entrevista personal.
3) Trabajo in situ con actores involucrados y análisis de la información levantada (periodo estimado: 1 mes)
Nº
Actividades
1
Visitas para realizar las entrevistas de
evaluación y visitas bilaterales según
el financiamiento disponible
Visita técnica para llevar a cabo el trabajo
in situ y la entrevista de evaluación.
2
Intercambio de hallazgos y
retroalimentación sobre las
visitas, por lo general, a través de
videoconferencias
Reunión de retroalimentación entre
las unidades de evaluación, sobre los
hallazgos de las visitas y entrevistas
efectuadas.
Sistematización de fichas técnicas de
evaluación
Sistematización de la información
recopilada en las entrevistas de evaluación,
incluyendo lo enviado por cada actor y
los datos adicionales recopilados en cada
visita.
Análisis de la información levantada
Análisis de cada unidad de evaluación
y de toda la información disponible, en
base a los conceptos y criterios acordados
inicialmente.
3
4
36
Detalle
Detalle
Recolección de documentación
técnica para la evaluación
3
Actividades
Detalle
1
Elaboración del documento
técnico o informe de evaluación
Redacción del documento técnico o informe
de evaluación, de forma consensuada entre
ambos países. Esta fase implica que las partes
se pongan de acuerdo para dividirse el trabajo
de redacción y luego validarlo mutuamente
o para coordinar sesiones de trabajo
(videoconferencias) para hacerlo de forma
conjunta.
2
Generación de expediente
Ordenamiento y archivo de toda la
documentación recabada.
3
Presentación preliminar de
resultados entre unidades de
evaluación
Presentación en Power Point de los resultados
para los funcionarios técnicos de la unidades
de evaluación, tanto de la SETECI como de la
agencia de cooperación del país socio.
Marco Metodológico
2) Levantamiento y análisis de información documental o trabajo de gabinete (periodo estimado:
2 semanas)
5) Socialización del informe de evaluación (periodo estimado: 2 semanas)
Nº
Actividades
Detalle
1
Presentación
preliminar de
resultados entre
agencias de
cooperación
Presentación preliminar en Power Point de los resultados
de la evaluación entre agencias de cooperación para
receptar recomendaciones sobre el documento técnico.
2
Presentación
preliminar de
resultados ante
ejecutores y otros
actores involucrados
Presentación preliminar en Power Point de los resultados
ante ejecutores, subejecutores y otros involucrados para
receptar recomendaciones sobre el documento técnico.
3
Presentación final
de resultados ante
autoridades y actores
involucrados
Presentación final en Power Point de los resultados de la
evaluación ante autoridades y técnicos de las distintas
entidades involucradas: agencias de cooperación,
ejecutores, subejecutores y otros, que considera las
recomendaciones recibidas en las etapas anteriores de
socialización.
37
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
www.cooperacioninternacional.gob.ec
Considerando el tiempo estimado para cada etapa o fase, el periodo mínimo de gestión del proceso
de evaluación es de tres meses. Es necesario tomar en cuenta que es un proceso conjunto que, en ocasiones, presenta retrasos por factores exógenos, como calamidades imprevistas, cambio de autoridades o de prioridades en el periodo, rotación del personal técnico, presupuesto institucional limitado,
dificultades de acceso a la documentación del proyecto o al lugar de implementación, cambio de la
normativa específica o falta de apoyo institucional de las partes involucradas.
A manera de resumen, el proceso general de evaluación de la CSS se describe de la siguiente manera:
4.4. Criterios de evaluación
Para el Ecuador, la evaluación de la CSS parte de los principios señalados en el apartado 3.4 de este
documento. Se resumen en la siguiente figura.
Figura 3. Resumen de los principios de CSS para el Ecuador
Horizontalidad
Equidad
Figura 2. Diferentes niveles para evaluación
Concenso
Investigación
cualitativa
1.
Revisión de
información
4.
Contacto con
actores involucrados
7.
Análisis de
información
Respeto/
Solidaridad
•
Más allá de las diferencias en los niveles de desarrollo relativo entre países, la
colaboración se establece de manera voluntaria y sin que ninguna de las partes
ligue su participación al establecimiento de condiciones. Estatus de socios.
•
La CSS debe ejercerse de tal modo que sus beneficios y costos se distribuyan
de manera equitativa entre todos los participantes.
•
La ejecución de una acción de CSS debe someterse a consenso por parte de
los responsables de cada país, en marcos de negociación común, como las
comisiones mixtas o sus equivalentes.
•
La CSS representa un nuevo modelo de cooperación basado en el respeto
a la soberanía de los pueblos y a la no injerencia en asuntos internos de los
países socios, así como a las prioridades y a los sistemas nacionales, según
una lógica de reciprocidad.
•
Intercambio justo, equitativo y no condicionado, de conocimientos y
experiencias, que pretende el aprendizaje mutuo no desde las limitaciones y
carencias, sino desde la riqueza como seres humanos.
Marco Metodológico
Considerando el tiempo estimado para cada etapa o fase, el periodo mínimo de gestión del proceso
de evaluación es de tres meses. Es necesario tomar en cuenta que es un proceso conjunto que, en ocasiones, presenta retrasos por factores exógenos, como calamidades imprevistas, cambio de autoridades o de prioridades en el periodo, rotación del personal técnico, presupuesto institucional limitado,
dificultades de acceso a la documentación del proyecto o al lugar de implementación, cambio de la
normativa específica o falta de apoyo institucional de las partes involucradas.
Encuestas y análisis
involucrados
2.
Construción y
validación de la
ficha técnica
5.
Levantamiento de
información en
campo
8.
Informe de
resultados
Muestra no
probabilística,
casos diversos
Observación in situ
Intercambio
ético
Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI.
3.
Elaboración de la
agenda
6.
Tabulación de
información
9.
Socialización
A partir de los principios de CSS, se determinan los criterios básicos de medida que permiten analizar
el nivel de cumplimiento de dichos principios. A partir de la consideración de estos criterios básicos
se establecen preguntas guía que permiten definir los resultados, efectos e impactos en cuanto a la
horizontalidad, equidad, consenso, respeto, solidaridad e intercambio ético.
Después de la definición de criterios y parámetros de medida relativos a los principios de CSS analizados a partir de preguntas específicas, se aplican los criterios de evaluación estándar: eficacia, eficiencia, coherencia, pertinencia, relevancia e impacto, los cuales son transversales al análisis general
basado en los principios de CSS. Posteriormente, se realiza un análisis de las fortalezas, oportunidades, debilidades, amenazas (FODA) de la relación de CSS, tomando en cuenta los instrumentos
internacionales (acuerdos, actas, convenios) y los resultados/efectos considerados por los actores involucrados. Finalmente, se realiza un análisis costo-beneficio de la relación de CSS, considerando el
concepto de costo de oportunidad.
A continuación, se resume lo descrito anteriormente.
38
39
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Figura 4. Criterios estándar de evaluación
PRINCIPIO
Por otra parte, todo proceso de evaluación debe contener criterios a ser valorados, de forma que se
sistematicen los hallazgos y resultados de forma comprensible y clara. Para la SETECI, estos se basan
en los criterios estándar tradicionalmente aplicados para la evaluación externa, que son los siguientes.
CRITERIO
Figura 5. Criterios estándar de evaluación
Horizontalidad
Cooperación desligada asociatividad
Eficacia
(logro de resultados)
Proporcionalidad
financiamiento
Equidad
Equidad distribución de
beneficios
Replicabilidad
Pertinecia,
coherencia y
relevancia
(El programa/
proyecto responde a
las necesidades y/o
prioridades.)
Eficiencia
(consecusión de los
resultados al costo
más bajo posible)
Evaluación por
resultados
Marco Metodológico
www.cooperacioninternacional.gob.ec
Sostenibilidad
(Se mantuvieron los
resultados/efectos
después del retiro del
apoyo de cooperación
internacional.)
Consenso
Previsibilidad
Respeto/
Solidaridad
Causalidad
(Efectos significativos positivos o negativos
contemplados desde un inicio)
Resultados no previstos
(Efectos significativos positivos o negativos
no contemplados desde un inicio)
Complementariedad
Fuente: IICA, Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.
Intercambio ético
Transparencia - rendición cuentas - inclusivo
- socialización - aprendizaje e intercambio
Criterios Estándar De Evaluación: eficacia, eficiencia, coherencia pertinencia,
relevancia, impacto
Análisis Foda Transversal: utilización de parámetros de evaluación por fase del ciclo
de gestión de la CSS
Los criterios indicados en la Figura 3 recogen los elementos básicos y fundamentales que se deben valorar en un proceso de este tipo y no son ajenos a los principios de CSS para el Ecuador, antes señalados.
Adicionalmente, evaluar la CSS implica analizar otros criterios que, si bien están insertos de alguna
forma en los arriba enunciados, se revierten de especial importancia a la luz de principios tales como la
complementariedad, los costos compartidos y el aprendizaje mutuo.
Lo antes señalado se puede plasmar en el siguiente cuadro, que relaciona los principios de CSS para el
Ecuador con los criterios de evaluación:
Análisis Costo-Beneficio De La Relación Bilateral/Triangular/Regional
Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI
40
41
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
www.cooperacioninternacional.gob.ec
Principio
Criterio asociado
Parámetros guía para la medición de los criterios
1. Pertinencia/
relevancia/coherencia
socio-política y/o
económica
Horizontalidad
2. Asociatividad para el
desarrollo
3. Cooperación
desligada
•
•
•
•
•
•
•
Consenso/
respeto
1.
2.
3.
4.
5.
6.
7.
Complementariedad
Negociación común
Replicabilidad
Previsibilidad
Eficacia
Eficiencia
Sostenibilidad
•
•
•
•
•
•
•
•
Equidad/
intercambio
ético
1. Proporcionalidad de
financiamiento
2. Distribución
equitativa de
beneficios
3. Aprendizaje mutuo
4. Visibilización
conjunta
5. Transparencia
6. Rendición de
cuentas mutua
•
•
•
•
•
•
Objetivos de las acciones versus objetivos de los
involucrados objetivos comunes.
Niveles de condicionalidad de las acciones.
Nivel de colaboración conjunta y voluntaria.
Coherencia del diseño (lógica de intervención).
Nivel de iniciativa, compromiso y diálogo para
cooperar sin condicionamientos previos.
Consolidación de Relaciones Bilaterales/
Triangulares/Regionales.
Aporte de las actividades a las prioridades de los
involucrados.
Objetivos planificados versus objetivos logrados.
Uso de recursos de los objetivos planificados
versus uso de recursos de los objetivos logrados.
Objetivos logrados versus perspectivas de
continuidad de beneficios a futuro.
Toma de decisiones conjunta.
Planificación conjunta de actividades.
Consideración de aspectos culturales,
institucionales, legales y administrativos de las
partes involucradas.
Marcos de Negociación consensuados,
participativos e integrales, que consideren todas
las partes involucradas.
Equidad y proporcionalidad de aportes en costos
de implementación entre los involucrados y
costos compartidos, en consideración de las
posibilidades reales de cada involucrado.
Relación costo-beneficio equilibrado para las dos
partes.
Visualización de beneficios/costos tangibles e
intangibles, considerando efectos transversales
y/o externalidades positivas y negativas
derivadas de las actividades.
Beneficios compartidos y reconocidos por las
partes.
Grado de socialización de los resultados en los
países involucrados.
Grado de participación de los actores
involucrados en todas las fases del ciclo de
gestión.
Consideración de costos administrativos,
operativos o de gestión y los costos de
oportunidad derivados de la relación de CSS.
Pertinencia, coherencia y relevancia
El análisis de pertinencia, coherencia y relevancia de un programa o proyecto examina si sus objetivos, componentes, actividades y resultados son adecuados, congruentes y guardan relación directa
con las prioridades definidas por los involucrados, y si estas atienden las necesidades del área de intervención en armonía con la cultura, el entorno, las costumbres, los hábitos y las lógicas de gestión.
El análisis de estos criterios, por lo tanto, tiene dos dimensiones: una política y otra técnica. La primera tiene que ver con la decisión y definición competente de prioridades y la segunda, con el conjunto
de actividades, instrumentos, metodologías y conocimiento puestos a disposición de los decisores, y
que, de forma directa o indirecta, en mayor o menor medida, apoyan y constituyen la base de la toma
de decisiones y contribuyen a transformarlas en políticas, agendas, programas, proyectos y acciones.
En este sentido, el criterio de pertinencia, coherencia y relevancia tiene que ver con la correspondencia del programa o proyecto a la razón de ser de sus contrapartes, en las que se visualizan varias
dimensiones1 como:
• En la inserción en los objetivos y prioridades del país. Se evalúa la correspondencia y
convergencia con los objetivos, metas y políticas del PNBV, de las agendas sectoriales y
territoriales.
• En la inserción en los objetivos y prioridades de la contraparte. Se evalúa cuál es la contribución de un programa/proyecto de CINR y de los cooperantes al fortalecimiento de
capacidades de un actor o ámbito de acción sectorial y/o territorial en el país.
• En la importancia a los objetivos, prioridades y necesidades de los involucrados. Se evalúa las convergencias y divergencias en las expectativas y requerimientos de los involucrados. En este caso, se establece si el programa/proyecto es prioritario para el ámbito
o grupo de acción objetivo, si lo que se ofrece es suficiente para solventar el problema
identificado y si se justifica la intervención.
Lo que se busca en el análisis de pertinencia, coherencia y relevancia es valorar y medir el aporte de
los responsables de la ejecución y el grado de correspondencia de gestión (Guanziroli, Buainain y
Meirelles de Sousa, 2008).
Figura 6. Pertinencia, coherencia y relevancia
Validez de los objetivos en la etapa de evaluación
Criterios
Objetivo
general
Objetivos
específicos
¿Qué se debe contestar?
País Socio 1 País Socio 2 Beneficiario
¿Mantiene el proyecto su importancia
en el marco de política del actor?
¿Mantiene relación lógica?
Resultados
Inversión
Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.
Fuente: SETECI. Fecha: 29/10/2015. Elaborado por: SETECI.
1
42
Marco Metodológico
Tabla 1. Criterios de evaluación de la CSS a partir de los principios
Todas las dimensiones son importantes; sin embargo, cada actor priorizará una según el nivel de correspondencia.
43
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
El análisis de la eficacia valora y mide la consecución de los objetivos planteados de un programa/
proyecto, la magnitud o alcance y la calidad de los efectos de las acciones. Requiere el desarrollo de
un vínculo entre objetivos, resultados e indicadores.
En la productividad de las acciones realizadas. Análisis de los resultados y efectos obtenidos en relación con los recursos utilizados por el programa/proyecto durante un determinado periodo de tiempo, observando los aportes con respecto a los resultados obtenidos
(desde los gastos administrativos y operativos hasta la infraestructura fija y equipos) y si
los gastos de los recursos se justifican y fueron utilizados de la mejor manera posible.
En algunas ocasiones, no se cuenta con indicadores propios o directos de la intervención por lo que,
para llevar a cabo un proceso de evaluación, se debe utilizar indicadores relacionados o indirectos
(proxys), cuyo uso requiere análisis previos para confirmar la correlación entre un aspecto y otro.
Luego, se realiza un análisis de vinculación entre los objetivos e indicadores y los resultados.
Es necesario señalar que muchos de los resultados no son cuantificables en valor, como por ejemplo
las asistencias técnicas, la formación de talento humano y el intercambio de experiencias. En estos
casos, se utilizan nociones de costo de oportunidad para valorizar la intervención y se mide el aporte
a partir de un análisis costo-beneficio.
De esta manera, el objetivo es determinar el grado de alcance o avance del objetivo general y específico de la intervención, a partir del logro proporcional de sus resultados, tanto en calidad como en
alcance. Hay que tomar en cuenta que, por lo general, los programas/proyectos son de naturaleza
“híbrida” e incluyen objetivos totalmente diferentes. Por tanto, es fundamental contar con una línea
de base de referencia o crear un banco de datos o información relacionada con la intervención.
Figura 8. Eficencia
•
Eficacia
Figura 7. Eficacia
Grado en el que se ha logrado el objetivo del proyecto
por medio de los resultados del mismo
Criterios
¿Qué se debe contestar?
¿En qué grado contribuyeron los resultados
al logro de los objetivos del proyecto?
Resultados
Dimensión País Socio 1 País Socio 2 Beneficiario
Objetivos
específicos
Resultados
¿Se logró el objetivo del proyecto como se
esperaba?
Objetivos
específicos
Inversión
Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.
Eficiencia
Inversión
Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.
Sostenibilidad
Es el análisis de cómo se mantienen en el tiempo los efectos positivos de una intervención y cómo
estos se institucionalizan o se insertan en la gestión de procesos de los involucrados, donde se observa
el grado de empoderamiento, apropiación de resultados y los niveles de dependencia de los recursos
de la cooperación.
•
En los resultados. Se analiza en qué medida los resultados del programa/proyecto se mantienen luego de que este finalice o una vez que se hayan retirado los recursos externos.
•
En el aprendizaje. Se evalúa en qué medida los involucrados internalizaron la experiencia y fortalecieron sus capacidades para seguir adelante sin el apoyo de la cooperación
internacional (Guanziroli, Buainain, Meirelles de Sousa, 2008).
•
En el empoderamiento e institucionalidad del proyecto. Se evalúa de qué manera los
involucrados se apropian de manera positiva del programa/proyecto para seguir gestionando sus efectos positivos. Esto implica institucionalizar los procesos para que formen
parte del orgánico funcional de una entidad u organización; es decir, crear o gestionar
una unidad que se haga cargo de los procesos, resultados y efectos de la intervención.
Todo esto se asienta en dos dimensiones de eficiencia:
44
¿Se asignaron y utilizaron de manera oportuna las inversiones? ¿Fue apropiada la
calidad y cantidad de las inversiones?
Existen tres dimensiones de sostenibilidad a considerarse:
El análisis de la eficiencia se refiere a la valoración de la manera en que se utilizaron los recursos
para alcanzar los objetivos de la intervención. Un programa/proyecto es eficiente cuando alcanza el
objetivo planteado inicialmente al menor costo posible o con el menor uso posible de los recursos
disponibles.
•
¿Qué se debe contestar?
Objetivo
general
País Socio 1 País Socio 2 Beneficiario
Objetivo
general
La eficiencia con la cual la inversión se ha convertido
en resultados.
Marco Metodológico
www.cooperacioninternacional.gob.ec
En la implementación de la intervención. Análisis de los procesos por los cuales los
insumos, acciones, actividades y/o componentes se transforman en resultados; es
decir, la medida en que las expectativas y los compromisos –los objetivos establecidos
inicialmente– se cumplen de forma satisfactoria.
45
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
www.cooperacioninternacional.gob.ec
¿Qué se debe contestar?
Dimensión País Socio 1 País Socio 2 Beneficiario
¿Cuál fue el inconveniente que impidió
alcanzar los objetivos y qué resultado no
previsto se ha identificado?
Objetivo
general
Resultados
La continuidad en el futuro de los beneficios
derivados del proyecto
¿Qué se debe contestar?
Dimensión País Socio 1 País Socio 2 Beneficiario
Objetivos
específicos
Efectos positivos y negativos no previstos
inicialmente
Objetivos
específicos
Figura 9. Sostenibilidad
Objetivo
general
Figura 10. Causalidad y resultados no previstos
Marco Metodológico
Es importante considerar la diferencia entre sostenibilidad y sustentabilidad. Son conceptos diferentes que, en muchos casos, se relacionan como sinónimos. Sin embargo, tienen connotaciones distintas. La sostenibilidad hace referencia al mantenimiento en el tiempo de los resultados y/o efectos
de una acción, programa o proyecto; se relaciona con un micro ámbito de acción. Por otro lado, la
sustentabilidad tiene que ver con el mantenimiento en el tiempo de las condiciones socioeconómicas, ambientales, políticas y/o culturales de una sociedad; es decir, se refiere a la satisfacción de las
necesidades de las generaciones actuales sin sacrificar las capacidades y posibilidades de satisfacer
las de las generaciones futuras; se relaciona con un macro ámbito de acción.
¿Existen o se ha identificado los posibles
actores que reemplacen a quienes
gestionaron el programa/proyecto, con
al menos la misma capacidad técnica,
institucional/organizacional, presupuestal?
Inversión
Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.
4.5. Herramientas e instrumentos técnicos
Las herramientas e instrumentos técnicos son el conjunto de medios, procedimientos, formatos y
fichas técnicas que facilitan el levantamiento y análisis de información estratégica, específica y estandarizada.
Resultados
Inversión
Fuente: JICA. Fecha: 21/01/2010. Elaborado por: GS/DESE/SETECI.
Otros factores: causalidad y efectos no previstos
En este caso, se busca determinar cuáles son las diferentes causas que no permiten que se realice el
programa/proyecto como fue planificado y en qué magnitud las recomendaciones dadas en los procesos de monitoreo y/o evaluaciones intermedias son acogidas. Adicionalmente, se debe realizar un
análisis de los efectos positivos y negativos no previstos inicialmente o de aquellos efectos indirectos
que no forman parte objetiva de la intervención.
Para cumplir con el objetivo antes citado, la SETECI ha desarrollado la Ficha técnica de evaluación
de Cooperación Sur-Sur, la cual busca levantar información, principalmente cualitativa, sobre una
intervención de CSS, siendo la fuente de información la propia entidad técnica ejecutora y dentro de
ella todos los actores involucrados (autoridades, técnicos, usuarios finales, beneficiarios, etc.).
A continuación, se detallan los ejes de análisis de dicha ficha.
4.5.1. Análisis FODA
Para la evaluación de la cooperación técnica, la ficha técnica de evaluación es un documento que
permite resumir los aspectos generales de la gestión realizada durante el proceso de CSS, tanto del receptor como del oferente, independientemente de la modalidad de cooperación técnica. Como parte
de esta, el análisis FODA es una matriz apropiada para recopilar información y presentarla de manera
organizada durante la retroalimentación y para la mejora de los procesos.
El análisis FODA es una herramienta que busca establecer las fortalezas, oportunidades, debilidades y
amenazas encontradas durante la ejecución de una acción, proyecto u organización. Estos criterios permiten retroalimentar la información que se recopila y utilizarla en la planificación de acciones futuras.
Esta herramienta tiene una parte interna relacionada con las fortalezas y las debilidades de la organización, proyecto o actividad; es decir, con los aspectos sobre los que se tiene control en cuanto a
disponibilidad, como los recursos. La parte externa, en cambio, considera las oportunidades y amenazas que representa el entorno; es decir, las características del ambiente que determinan el éxito o
fracaso del logro de objetivos (Cervera, 2008).
46
47
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
•
•
Amenazas. Situaciones que se presentan en las instituciones donde se llevan a cabo intervenciones de CSS, y que afectan de manera negativa las posibilidades de lograr los
objetivos a largo plazo. Asimismo, son aquellas situaciones que arriesgan la continuidad
de los beneficios derivados de una intervención. El análisis de este criterio permite prever posibles sucesos desfavorables.
Oportunidades. Situaciones que se presentan en el entorno donde se ejecuta la actividad establecida en el marco de la CSS que favorecen el logro de los objetivos planteados,
de acuerdo a tiempo y propósitos, así como que se mantengan en el tiempo los beneficios procedentes de una intervención.
•
Debilidades. Características de la institución o de la actividad que constituyen obstáculos para el logro de los objetivos del proyecto, condiciones desfavorables en los países
socios de la CSS en comparación a su contraparte.
•
Fortalezas. Características de la institución que facilitan o favorecen el logro de los objetivos planificados. Los puntos fuertes se traducen en actividades, habilidades y aptitudes
que le proporcionan las capacidades necesarias para que el proyecto de CSS tenga acogida y sea replicado (Rodríguez, 1998).2
Dentro de la CSS, la estructura de la ficha de evaluación de cooperación técnica que utiliza SETECI
considera una división de acuerdo a las fases del ciclo del proyecto, para la primera parte de Fortalezas y Debilidades, que son: identificación, planificación, ejecución y seguimiento. En la segunda
parte, “Oportunidades y amenazas”, los aspectos que la conforman no obedecen a una clasificación,
ya que estos podrían ocurrir a futuro.
En cada parte, se ha propuesto algunos aspectos que se ha considerado pertinentes como directrices de
análisis en la evaluación de los proyectos. Cada uno, deberá ser identificado –como fortaleza, debilidad,
oportunidad o amenaza, segúan el caso– por la persona que llene la ficha. Adicionalmente, de acuerdo
a su percepción, deberá establecer el grado de importancia relativa y clasificarlos según esta sea alta (1),
media (2) o baja (3) (ver Anexos).
En cada aspecto propuesto, existe un espacio para escribir comentarios, lo que permite obtener información cualitativa adicional, que justifique la calificación establecida en la ficha, y otorgue elementos apropiados para realizar la evaluación del programa, así como la retroalimentación para un
continuo fortalecimiento del trabajo.
4.5.2. Marco teórico de evaluación de impacto
Evaluación de impacto
Se define a un proyecto como un conjunto de inversiones y acciones interrelacionadas y coordinadas
que tienen como fin, el cumplimiento de objetivos específicos referentes a la satisfacción de una necesidad o solución de un determinado problema dentro de un período de tiempo establecido. Estas
inversiones y acciones generan resultados o productos, los cuales pueden provocar efectos. (Castro,
R.; Marie, K., 1996: 106)
A los efectos se los define como los comportamientos o acontecimientos que, de una manera razonable, podría concluirse han sido influidos por alguna actividad del proyecto. El impacto, finalmente,
es el resultado de los efectos del proyecto, y generalmente está dado a nivel de objetivos y de mediano
plazo, y serán los que determinen el aporte del proyecto al incremento del bienestar3 (Castro y Marie,
1996:106).
Figura 11. Visión de la cadena generada por las acciones de un proyecto
Inversión
Acción
Resultado
Efecto
Marco Metodológico
Descripción de los criterios
www.cooperacioninternacional.gob.ec
Impacto
Fuente: Castro y Marie, 1996.
Otros autores consideran que la evaluación de impacto puede realizarse ex ante, mediante simulaciones de los efectos que tendría un proyecto, antes de que este entre en operación, con ello busca
establecer elementos de análisis previos a la intervención. (Navarro, King, Ortegón y Pacheco, 2006).
En cambio, denominan a la evaluación posterior a las acciones, como evaluación ex post, la cual se la
suele realizar al intermedio o al final de la operación de un proyecto, determinando si hubo cambios
en el bienestar de la población objetivo, y si su magnitud es atribuible a la intervención (Navarro et
al., 2006). En el presente manual de evaluación, cuando se mencione la evaluación de impacto nos
referiremos a la evaluación ex post.
La evaluación de impacto busca determinar la magnitud, efectividad, eficiencia y sostenibilidad de
los efectos generados por la intervención, y para ello será necesario caracterizar los impactos. (Navarro et al., 2006). En esta metodología propuesta para evaluar proyectos de cooperación internacional,
se considerará: los impactos sobre el nivel de bienestar, impactos directos sobre el consumo, e impactos sobre el uso de recursos (impacto indirecto sobre el consumo) (Castro y Marie, 1996). En cada
caso se denominará a los impactos positivos como beneficios, y a los impactos negativos como costos.
Costo de oportunidad
El costo de oportunidad de un recurso es el valor del siguiente mejor uso (oportunidad) que se podría
obtener de un bien, o sea, el valor de la alternativa sacrificada. El costo de oportunidad mide el “máximo” al que está renunciando un individuo cuando toma una decisión (Mankiw, 2012).
En la metodología para la evaluación de impacto de la CSS, se planteará un análisis costo – beneficio, en el que además de considerar los costos administrativos de ambas partes, se buscará medir el
costo de oportunidad de haber utilizado esos recursos en CSS, comparado con el escenario de haber
contratado esa misma actividad en el mercado de bienes y servicios privado, y con el escenario de no
haber invertido esos recursos en el proyecto de cooperación.
Como menciona Amartya Sen4 (2012), en el prólogo del libro El costo de la inacción: “Si el mundo
es excesivamente complaciente con no hacer cosas que son fáciles de realizar y que tienen grandes
beneficios, la razón no puede ser la dificultad de medir los beneficios de las acciones omitidas”.
Francisco Mejía (2012), evaluador del BID, señala la importancia de buscar metodologías para medir
el costo beneficio:
3
Los autores cuando se refieren a bienestar, lo consideran como socio-económico, es decir consideran como elementos que crean bienestar: el consumo actual y futuro de bienes, servicios y bienes meritorios (bienes de valor social,
los que permiten alcanzar estándares mínimos de bienestar social, como por ejemplo: la educación o la salud)
2
La descripción de los criterios del análisis FODA, tomados del libro de Rodríguez, han sido adaptados a la temática
de CSS.
48
4
Amartya Sen ganó el Premio Nobel de Economía en 1998. El Índice de Desarrollo Humano (IDH) del PNUD fue desarrollado en gran parte sobre las ideas desarrolladas en sus investigaciones.
49
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
donde se suele tratar superficialmente la complejidad de los beneficios perdidos por no haber hecho algo (costo de oportunidad), y la agrupación de beneficios y costos diversos para
llegar a una conclusión (mensurabilidad de beneficios).
Al no emprenderse algún proyecto, se abandonan sus beneficios potenciales. El análisis costo-beneficio es intrínsecamente un ejercicio de escoger alternativas a partir de las diversas
opciones, y una de ellas es no hacer nada. Pero aunque el costo de oportunidad no es el costo
de la inacción, sí es importante para entenderlo. Cuando no se hace nada, el sentido común
nos dice que no hay costos a ser incurridos ni beneficios a ser cosechados.
En el punto diez de la ficha de evaluación de cooperación técnica, de acuerdo a la modalidad de
cooperación: asistencia técnica de expertos, intercambio de experiencias, transferencia tecnológica
u otra, se establece el detalle de lo recibido o entregado por la institución que forma parte de la cooperación. Además, se determina el costo administrativo (para realizar documentos, metodologías,
manuales, talleres, cursos, seminarios, pasantías, etc.), y el costo de oportunidad, de acuerdo a la
metodología.
Análisis costo-beneficio
En el caso del análisis de proyectos de cooperación internacional, se debe utilizar una tasa social de
descuento, la cual considera los efectos de un proyecto en individuos de generaciones distintas. Es decir,
se analiza la distribución intergeneracional de la renta o el bienestar. Es posible que los costos de las actividades recaigan en una generación y los beneficios, en las generaciones futuras (Stiglitz, 2000).
Generalmente, en los proyectos de CSS los beneficios suelen ser limitados geográficamente. Es necesario considerar este criterio en el momento de sistematizar la información obtenida ya que, eventualmente, el procedimiento incluiría pesos distributivos sociales (Stiglitz, 2000).
En términos matemáticos, el análisis costo-beneficio se define de la siguiente manera:
CB =
Marco Metodológico
www.cooperacioninternacional.gob.ec
(∑ ni=1 Bt )
(∑ ni=1 Ct )
Variables:
CB = costo-beneficio
n
∑ Bt = sumatoria de beneficios sociales netos considerando sus tasas de descuento
(i=1)
La base del análisis costo beneficio, establece que un proyecto tiene impacto positivo si los beneficios
de los actores son mayores a sus costos, siempre y cuando, potencialmente los beneficios compensen
los costos a nivel agregado, es decir que el escenario con proyecto será mejor al escenario antes del
proyecto.
n
∑ Bt =
(i=1)
De acuerdo al Banco Mundial, este análisis no está relacionado estrictamente con la medición de
efectos, no obstante esta herramienta permite medir la eficiencia de los programas comparando
intervenciones alternativas sobre la base del costo de producir un resultado determinado, es decir
aumenta las implicaciones de la política de la evaluación (Baker, 2000), y por tanto aportaría mucho
si fuere considerado en el estudio.
Cuando se analiza proyectos sociales, la rentabilidad social tendrá dos elementos diferentes a los que
se considera en la rentabilidad privada. En primer lugar, al Estado le interesa generar efectos que
tengan consecuencias relativas al bienestar de la sociedad. Y como segundo criterio de importancia,
deberá considerar precios de mercado para su valoración, y en caso de que no existieran, deberá
considerarse otros métodos para estimar estos valores (Stiglitz, 2000).
La propuesta metodológica considerará una tasa de descuento (valor de descuento) cuando el proyecto tenga la información necesaria para poder establecerla. En la evaluación de proyectos privados,
al considerar ingresos y gastos futuros, se utiliza la tasa de interés (r) para equiparar a los valores
actuales. El factor de descuento es menor cuanto más tiempo se tarda en obtener el beneficio.
Tasa de
=
descuento
1
(1+r)
B1
B2
B3
Bn
+
+
+ ... +
(1+r)1
(1+r)2 (1+r)3
(1+r)n
n
∑ Ct = sumatoria de costos sociales netos considerando sus tasas de descuento
(i=1)
n
∑ Ct =
(i=1)
C1
C2
C3
Cn
+
+
+ ... +
(1+r)1
(1+r)2 (1+r)3
(1+r)n
Si CB > 1, el impacto será positivo. Implica que los beneficios superan a los costos.
Si CB < 1, el impacto será negativo. Es decir, los costos incurridos superan a los beneficios.
Si CB = 1, no habrá impacto. Los costos y beneficios son de igual magnitud.
En el primer caso, denotará que fue socialmente deseable la realización de la cooperación Sur-Sur, en
el segundo y tercer caso, la sociedad perdió esos recursos, y su costo de oportunidad es alto. Pues los
pudo haber invertido en otra actividad con mejor retorno social.
En el cálculo de los costos y beneficios netos, se incluirá al costo de oportunidad, donde se buscará
calcular el beneficio o costo que se hubiera generado si se hubiera usado esos recursos en otra actividad diferente a la realización del proyecto de CSS.
Dentro de los costos se considerarán todos los costos administrativos en que se incurre al realizar la
cooperación sur – sur, como por ejemplo: pasajes aéreos, traslados, subsistencias, alimentación, pago
de consultorías, pago de servicios, donaciones en especie.
50
51
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
•
•
•
Si la modalidad de la cooperación técnica fuera Fortalecimiento del Talento Huma-
no. Asesorías de expertos, prestación de servicios de consultoría, realización de
seminarios y conferencias, que apoye a la ejecución de proyectos.
El país A envía a dos funcionarios/as a capacitarse por un mes en el país B, con costos
reales de alrededor de $ 3 000, que contemplan pasajes, viáticos, hospedaje, lugar del
taller, materiales, entre otros. Costo administrativo de $ 3 000.
Para valorar el costo de oportunidad, deberá considerarse el uso del tiempo que al Estado le cuesta, es decir el salario que reciben los dos funcionarios. Si el primero tuviera un
salario mensual de $ 2.100 y el otro de $ 1.650, por los dos, el Estado está sacrificando $
3 750 de sus recursos invertidos en el trabajo de estos funcionarios. Este es un costo de
oportunidad, pues de este tiempo destinado a capacitarse, el siguiente mejor uso que
se le podía dar era que cumplan sus funciones habituales de trabajo, por lo que el Estado
deja de percibir su servicio laboral por ese lapso de tiempo, un beneficio no recibido
de $ 3 750.
•
Si se hubiera contratado la capacitación de manera privada en algún instituto de educación de otro país, por cada funcionario habría costado $ 2 000, en total $ 4 000 por los
dos funcionarios, incluidos hospedajes y pasajes aéreos. De manera que comparado con
los $ 3.000 gastados (ya considerados en los costos administrativos) habría existido un
ahorro de $ 1.000 para el estado en el costo de capacitar a dos funcionarios, versus el
costo actual. Que considerando la necesidad de capacitación, hubiera sido la siguiente
mejor opción (costo de oportunidad) para usar esos recursos. Es un costo no incu-
rrido de $ 1 000.
•
52
Por otro lado, al ser capacitados este par de funcionarios, ellos pueden replicar el conocimiento en su institución. Y si consideramos que entre los dos funcionarios, repliquen
la capacitación recibida, a 10 personas, cada 6 meses. En el año, 20 personas podrían
recibir el conocimiento que de la capacitación original. Si consideramos que el curso
contratado de manera privada (costo de oportunidad) cuesta $ 500 (sin viajes ni hospedaje), el Estado ahorraría $ 10 000, pues sería un costo no incurrido.
• Ahora, como se busca realizar un análisis costo beneficio, que acoja todo el conjunto
de oportunidades, buscando optimizar el uso de los recursos, deberá considerarse el
sacrificio de algunas opciones por conseguir otras, es decir, consideraremos los costos
de oportunidad. Mediante la premisa de que un beneficio no recibido es un costo,
y un costo no incurrido es un beneficio; el costo beneficio se calculará de la
siguiente manera:
n
∑ Bt =
(i=1)
n
∑ Ct =
(i=1)
1000
10000
+
(1+0)1
(1+0)2
Marco Metodológico
Un ejemplo sencillo del cálculo, sería:
www.cooperacioninternacional.gob.ec
3000
3750
+
=6750
(1+0)1
(1+0)2
n
CB=
∑ Bt
(i=1)
n
∑ Ct
+
11000
=1,63
6750
(i=1)
Como CB > 1, el impacto será positivo para el país A. Implica que los beneficios superan a los costos.
Con esta metodología se pretende realizar una medición de impacto que contemple el costo de oportunidad del uso de los recursos por parte de los países cooperantes, procurando superar la complejidad que implica medir los beneficios perdidos y la mensurabilidad de los mismos.
4.5.3. Análisis de resultados y productos alcanzados
El análisis de resultados y productos alcanzados en una intervención de CSS tiene que ver con el
criterio de eficacia e implica comparar lo planificado y lo efectivamente logrado. Para esto, lo ideal es
contar con indicadores o metas de gestión que permitan valorar este aspecto; sin embargo, de no ser
el caso, se debe indagar sobre la base del objetivo planteado, a nivel general, y sobre los objetivos, a
nivel específico.
• Para el cálculo del análisis costo beneficio, en primer lugar deberíamos establecer la
tasa de descuento (r), en este caso por ser un ejemplo que requiere sencillez, y por no
existir en los datos planteados la información necesaria para establecer los tiempos de
retorno ni el plazo, consideraremos que r = 0. De esta manera el denominador siempre
será 1, y solamente deberemos sumar los beneficios y restar los costos. En los casos de
CSS donde existiere la información necesaria para establecer una tasa de descuento, se
la incluirá en el cálculo.
La importancia de contar con todas las versiones del documento de diseño de la intervención permite
valorar los cambios que se han dado sobre la marcha, los cuales también representan un aspecto que
se debe analizar, ya que evidencian una falta de claridad al definir los objetivos e indicadores y se tuvo
que ir corrigiendo a medida que se avanzaba en la implementación.
• Si solo se consideraría los costos administrativos asumidos por el país A, el valor final del análisis costo-beneficio sería negativo, lo cual realmente no considera todos los
beneficios asociados.
4.5.4. Análisis de complementariedad y apropiación
Este análisis se realiza a partir de la información levantada por el ejecutor y validada con documentación de respaldo (informes, actas, oficios, etc.) en una escala de 0% a 100%.
La percepción de los actores involucrados sobre el nivel de complementariedad y apropiación de
cada intervención de CSS se mide en un baremo de 0 a 5, en el que 0 representa el valor más bajo y 5,
el más alto.
53
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
•
•
Complementariedad a las políticas públicas nacionales. Con el fin de medir el grado en
el que la intervención complementa políticas públicas de cada país, las entidades ejecutoras, conocedoras de las prioridades nacionales en el sector que corresponda, las cuales
son plasmadas en los documentos de planificación nacional, expresan su percepción.
En el caso del Ecuador, estas prioridades se concretan en el Plan Nacional de Desarrollo
o PNBV y en las estrategias nacionales que lo conforman.
Complementariedad a la planificación institucional. Se mide el grado en que la intervención complementa las prioridades de la institución ejecutora, lo cual necesariamente
se refleja en aspectos como la definición formal de un programa/proyecto/acción con
responsables identificados, la asignación de presupuesto para cumplir con los compromisos y actividades acordadas, la inclusión en el sistema de seguimiento y monitoreo
institucional. En otras palabras, el nivel de inserción de la intervención en la dinámica
de la institución permite valorarla como complementaria.
Apropiación. Es el grado de asimilación o incorporación de los beneficios o logros derivados de una intervención, que se traduce en el fortalecimiento de las capacidades profesionales de los involucrados o de las capacidades institucionales. Para esto, se miden
aspectos como la optimización del desempeño laboral, el incremento de la eficiencia en
los procesos institucionales, la formalización de mejoras en ámbitos relacionados con la
intervención y, en general, la institucionalización de los beneficios por medio de modelos
de gestión, procesos, manuales, metodologías, políticas internas, normativas, resoluciones, actas, comités, etc.
Este punto es especialmente importante a la luz de la problemática de rotación de personal en las
instituciones, cuyos efectos negativos deben minimizarse.
4.5.5. Análisis de sostenibilidad y replicabilidad
Para analizar la sostenibilidad de los beneficios derivados de las intervenciones de CSS, es importante contar con una base de posibles acciones o estrategias que coadyuven a este fin. A partir de la
experiencia de la Dirección de monitoreo y evaluación de la SETECI en años previos, se ha identificado estrategias relacionadas con la transferencia de conocimientos, el mejoramiento de procesos,
acciones de sistematización de experiencias, el aseguramiento de la continuidad por medio de una
inserción en los planes, equipos y presupuestos institucionales, las cuales son uno de los principales
mecanismos para sostener los beneficios de este tipo de intervención.
Todo lo anterior es viable en un contexto político favorable que fomente las relaciones bilaterales
entre dos o más países socios que decanta en un compromiso técnico que permite operativizar exitosamente cualquier acción de CSS.
experiencias que merezcan ser compartidas, para convertirse en una ventana de posibilidades para
exportar conocimiento en el marco de una cooperación solidaria.
4.6. Equipo de trabajo requerido
Para llevar a cabo el proceso de evaluación de la CSS, es necesario contar con un equipo técnico experimentado y multidisciplinario que forme parte de la unidad de monitoreo y evaluación, así como
el apoyo logístico y administrativo de las unidades de apoyo.
En base a la experiencia de trabajo de la SETECI en los últimos años, se ha identificado el equipo
mínimo requerido para la evaluación:
Marco Metodológico
•
www.cooperacioninternacional.gob.ec
Tabla 2. Equipo mínimo requerido - Ecuador
Equipo técnico
Coordinador
Perfil
Director/coordinador del
proceso de monitoreo y
evaluación
Analista
Analista de procesos de
monitoreo y evaluación
Apoyo logístico
Asistente de procesos de
monitoreo y evaluación
Función
Costo/día
Organizar y liderar la evaluación
$ 80
Levantamiento y análisis de
información, elaboración de
informes
Apoyo logístico en la
organización de las actividades
de evaluación a las entidades a
ser analizadas.
$ 48
$ 20
Fuente: SETECI, (2015). Elaborado por: CF/DMECI/SETECI.
En esta tabla, se observa que, para el Ecuador, el equipo mínimo requerido para un proceso de evaluación de la CSS es de dos personas a nivel técnico (de la unidad responsable de Monitoreo y Evaluación) y 1 a nivel logístico para organización de las actividades.
Por otra parte, el equipo del país socio puede o no ser equivalente al del Ecuador, dependiendo de
las condiciones específicas y preferencias del país; sin embargo, es importante que en todos los casos
exista al menos una persona de la contraparte con un perfil de monitoreo y evaluación.
Adicionalmente, el tema de replicabilidad de una intervención de CSS, por lo general hacia terceros
países, lo cual también constituye una oportunidad para potenciar la cooperación triangular. La replicabilidad implica que la entidad ejecutora de una buena práctica comparta su experiencia exitosa
de forma metódica y sistemática sobre la base de un compromiso político y técnico y la disponibilidad de recursos y tiempo.
Para coadyuvar a este propósito, la SETECI construye una plataforma informática para sistematizar experiencias exitosas de CSS, la cual busca que las instituciones públicas del Ecuador expongan
54
55
Lecciones Aprendidas
www.cooperacioninternacional.gob.ec
5. LECCIONES APRENDIDAS
Y RETOS A FUTURO
D
esde 2013 hasta la fecha, la SETECI ha aprendido de cada proceso de evaluación de los
programas bilaterales de CSS y ha incorporado ese aprendizaje a la metodología, instrumentos y herramientas aplicadas. Cabe indicar que estos elementos se basan en la
retroalimentación de los demás países así como de las entidades ejecutoras evaluadas, las cuales
han brindado sugerencias y aportado valiosos comentarios sobre la funcionalidad y practicidad
del proceso.
A continuación, se resumen las principales lecciones aprendidas a lo largo de estos años, las cuales
constituyen retos a futuro:
1. La evaluación debe ser planificada desde la negociación del programa bilateral, de forma que
se contemplen compromisos de ambos países que luego deberán ser cumplidos; de esta manera, se formalizará estos procesos como parte inherente del ciclo eficiente de la CSS.
a. En dicha planificación, se definen elementos esenciales como la periodicidad de los
ejercicios (por ejemplo, intermedia, final) o si será una evaluación conjunta o paralela
de cada país, y qué entidades de cada país socio liderará el proceso.
b. Los demás elementos de la evaluación, como la metodología, instrumentos, herramientas, equipo de trabajo en cada país, hoja de ruta, etc., se definen sobre la marcha a
partir de reuniones técnicas por video/teleconferencia.
57
2. Una vez que se ha definido los macro elementos del proceso, es importante considerar
el tiempo de preparación y de ejecución de la evaluación, ya que lo ideal es aplicar un
proceso consensuado, lo que implica tiempos mayores que los destinados a un proceso
de evaluación individual o de un solo país. La hoja de ruta debe marcar tiempos de holgura e hitos por cumplirse.
3. Si los países deciden llevar a cabo una evaluación de manera individual y aplicar sus
propios instrumentos, es decir, una evaluación paralela, es importante establecer criterios mínimos, preguntas clave de evaluación de interés común y acuerdos básicos sobre
el objetivo y alcance del proceso, con el fin de obtener resultados relevantes para ambos
países socios.
4. Las agencias de cooperación juegan un rol fundamental en los procesos de evaluación
ya que los lideran como entidades articuladoras en cada país, tanto con los organismos
rectores de política exterior involucrados (cancillería, presidencia), como con las entidades técnicas responsables de la ejecución técnica e implementación de las intervenciones (ministerios, secretarías, institutos, etc.).
5. El rol de cada agencia de cooperación constituye un reto para cada una, ya que la unidad que lleva la relación bilateral debe participar (negociación/planificación) como un
actor plenamente diferenciado de la unidad de evaluación, de forma que se garantice la
objetividad e independencia del proceso.
6. Es necesario coordinar acciones con todos los actores involucrados en ambos países, los
cuales incluyen las agencias de cooperación, las entidades ejecutoras, los beneficiarios y,
de ser posible, las entidades rectoras de política exterior de cada país.
www.cooperacioninternacional.gob.ec
13. Como en toda evaluación, el análisis e interpretación de la información levantada debe
ser un proceso transparente y debidamente respaldado/validado/contrastado, para evitar sesgos en las interpretaciones. Para esto se debe contar con evidencias, con el fin
de minimizar la subjetividad. Este es un gran reto cuando se trata de dos o más países y múltiples ejecutores involucrados, pero es fundamental para lograr un proceso de
alta calidad.
14. La elaboración del informe de evaluación debe ser un proceso en el que los países socios
acuerden temas formales como la estructura, extensión, etc.; pero, sobre todo, implica
llegar a conclusiones y recomendaciones basadas en un esfuerzo consciente de las partes
por reflejar aquello que cuenta con una debida validación. Esto requier que se dedique el
tiempo necesario en una o varias sesiones de diálogo analítico y crítico.
Lecciones Aprendidas
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
15. Durante una evaluación, los países socios deben hacer un esfuerzo adicional para relevar
y visibilizar los beneficios de la CSS, más allá de la inversión o costos asociados. Para esto,
deben enfatizar en aquellos aspectos que, además de fortalecer a las entidades ejecutoras
técnicas, fortalecen las relaciones bilaterales en un marco más amplio, en un sector determinado como, por ejemplo, justicia, derechos humanos, medio ambiente, etc.
7. Es importante configurar un equipo multidisciplinario y complementario en ambos
países, para minimizar sesgos ideológicos, políticos y/o técnicos durante la evaluación.
8. Se debe utilizar un lenguaje comprensible para todos los agentes involucrados; un lenguaje netamente técnico puede perjudicar el desenvolvimiento óptimo de las entidades
involucradas en la evaluación.
9. Se ha tenido mejores resultados cuando se llevan a cabo procesos evaluación conjunta,
aunque estos tarden más que los procesos individuales (de un solo país) o paralelos (de
los países socios, por separado).
10. Es importante mantener actualizada la información del seguimiento que efectúan las
unidades o áreas de negociación de la CSS en cada Agencia de Cooperación, como insumo fundamental para los procesos de evaluación.
11. Es indispensable socializar los hallazgos y/o resultados del proceso evaluativo con el fin
de garantizar la credibilidad y legitimidad de las acciones implementadas.
12. En la medida de lo posible, los países socios deben trabajar en una metodología consensuada; sin embargo, no hacerlo no significa que no se pueda avanzar con el proceso de
evaluación, siempre y cuando, se acuerden parámetros determinados o criterios mínimos sobre cómo cada país desarrollará el proceso.
58
59
Conclusiones
www.cooperacioninternacional.gob.ec
6.CONCLUSIONES
En base a lo mencionado a lo largo de este documento se concluye lo siguiente:
•
Para el Ecuador, la CSS es una nueva expresión de cooperación internacional que surge
de la solidaridad y afinidad de los pueblos y los países del Sur, que busca el intercambio
de conocimientos y experiencias en un marco de colaboración y respeto a la soberanía
de los pueblos, según principios de horizontalidad, consenso y equidad.
•
Evaluar la CSS implica un ejercicio de valoración de dos aspectos fundamentales: i) el
de la relación país-país que se gesta en los compromisos establecidos en el marco de un
acuerdo internacional en que se plasman las distintas modalidades antes señaladas, y ii)
las intervenciones llevadas a cabo mediante programas, proyectos o acciones, los cuales,
a su vez, son acciones preparatorias o acciones puntuales.
•
En el Ecuador, son susceptibles de evaluación por resultados o de impacto, todas las
intervenciones de CINR, en general, y de CSS, en particular, de conformidad con lo que
establece el COPLAFIP y los Decretos Ejecutivos N° 699 (2007), N° 429 (2010), N° 812
(2011), N° 16 (2013) y N°739 (2015).
•
La evaluación de la CSS atiende los siguientes objetivos principales: potenciar las relaciones bilaterales entre países socios, visibilizar el aprendizaje mutuo entre países y
rendir cuentas.
61
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
La SETECI realiza la evaluación de la CSS según principios de horizontalidad, equidad,
consenso, respeto/solidaridad e intercambio ético, los cuales se traducen en criterios de
pertinencia/coherencia/relevancia, complementariedad, eficacia, eficiencia, sostenibilidad, costos compartidos y aprendizaje mutuo.
•
La SETECI aplica un método no experimental de análisis para la evaluación, lo que
arroja datos cualitativos y cuantitativos de la intervención de la CSS.
•
Tanto las entidades ejecutoras ecuatorianas como las del país socio tienen un doble rol.
Por un lado, las personas o unidades de dichas entidades son responsables de la planificación/cooperación internacional/relaciones internacionales/CSS, por lo que cumplen
un rol de puntos focales/contrapartes de la SETECI y de la agencia de cooperación de
cada país, durante las etapas de identificación, formulación, negociación y acompañamiento a la ejecución. Por otra parte, el personal o unidades netamente técnicas llevan
a cabo las acciones y compromisos acordados; se encargan exclusivamente de la ejecución de intervenciones.
Mejía, F. (2012). El costo de la inacción.
Namakforoosh, M. N. (2005). Metodología de la investigación (2ª Ed.). México: Limusa.
Navarro, H., King, K., Ortegón, E. y Pacheco, J. (2006). Pauta metodológica de evaluación de
impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza. Chile: Instituto
Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) de CEPAL.
Bibliografía
•
www.cooperacioninternacional.gob.ec
Presidencia de la República del Ecuador. (2007). Decreto Ejecutivo 699. Quito.
Rodríguez, J. (1998). Cómo aplicar la planeación estratégica a la pequeña y mediana empresa.
México: Editorial ECAFSA.
Rosero, G. (2015). Presentación. En: Informe de Cooperación Internacional no Reembolsable
en el Ecuador 2011-2014. Quito: SETECI.
Salkind, N. J. (1998). Métodos de investigación. México: Prentice Hall.
Stiglitz, J. (2000). La economía del sector público. Barcelona: Antoni Bosch Editor.
7.BIBLIOGRAFÍA
Agencia de Cooperación Internacional del Japón (JICA). (2004). Lineamientos de la JICA
para la evaluación de proyectos: métodos prácticos para la evaluación de proyectos.
Secretaría Técnica De Cooperación Internacional (SETECI). (2014). Manual de evaluación
por resultados de programas y proyectos de Cooperación Internacional No Reembolsable.
Arboleda Velez, G. (1998). Proyectos: formulación, evaluación y control. Cali: AC Editores.
SETECI. (2015). Diccionario de Cooperación Internacional. Quito: SETECI.
Asamblea General de las Naciones Unidas. (2009). Resolución 64/222. [Documento final
de Nairobi de la Conferencia de Alto Nivel de las Naciones Unidas sobre la Cooperación
Sur-Sur]. Nueva York.
Programa Iberoamericano de Fortalecimiento de la Cooperación Sur-Sur (PIFCSS).
(2014). La conceptualización de la Cooperación Triangular en el espacio Iberoamericano.
Montevideo: SEGIB.
Asamblea Nacional de la República del Ecuador. (2010). Código Orgánico de Planificación
y Finanzas Públicas. Quito.
PIFCSS. (2013). Generando indicadores para la Cooperación Sur-Sur. [Documento de
trabajo Nº 4].
Ayllón, B. (2013). La Cooperación Sur-Sur y Triangular: ¿subversión o adaptación de la
cooperación internacional? Quito: Editorial IAEN.
PIFCSS. (2014). Cronología e historia de la Cooperación Sur-Sur. Un aporte desde
Iberoamérica. [Documento de trabajo Nº 5].
Baker, J. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza. Estados
Unidos: Banco Mundial.
Organización de las Naciones Unidas (ONU). (2014). Tercera Conferencia Internacional sobre
la Financiación para el Desarrollo: agenda de acción de Addis Abeba. [Documento final].
Castro, R. y Marie, K. (1996). Evaluación económica y social de proyectos de inversión. Bogotá:
Universidad de los Andes.
Cervera, M. (2008). FODA: un enfoque prospectivo. [Documento de trabajo 9]. México:
Universidad Nacional Autónoma de México.
Guanziroli, C., Buainain, A. y Meirelles de Sousa, H. (2008). Informe técnico: metodología de
evaluación del impacto y de los resultados de los proyectos de cooperación técnica. Brasil: IICA.
Mankiw, G. (2012). Principios de Economía. México: Cengage Learning Editores.
62
63
Anexos
www.cooperacioninternacional.gob.ec
8.ANEXOS
8.1 Ficha de evaluación de cooperación técnica
FICHA DE EVALUACIÓN - COOPERACIÓN TÉCNICA
ENTREVISTA SEMI-ESTRUCTURADA
1) PAÍSES INVOLUCRADOS:
1.1.PAÍS AL QUE PERTENECE SU INSTITUCIÓN:
1.2.PAÍS SOCIO/CONTRAPARTE:
2) NOMBRE INSTITUCIÓN CONTRAPARTE/EJECUTORA DEL PAÍS SOCIO:
3) NOMBRE DE LA INTERVENCIÓN (PROGRAMA/PROYECTO/ACCIÓN):
4) SECTOR DE INTERVENCIÓN:
5) DATOS DE LA INSTITUCIÓN EJECUTORA Y DEL(A) ENTREVISTADO(A)
Nombre institución:
Tipo de institución ejecutora (Gobierno Central,
Gobierno Autónomo, etc):
Dirección:
Teléfono:
Ciudad:
Nombre del entrevistado:
email:
Cargo:
Área:
65
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
6) DATOS GENERALES DEL PROYECTO:
Objetivo general:
Objetivos específicos:
Fecha de inicio según planificación inicial:
Fecha de inicio según arranque de actividades:
7) DESCRIBA LOS RESULTADOS/PRODUCTOS ALCANZADOS. SEÑALE CON UNA “X” EL NIVEL
DE CUMPLIMIENTO
En esta sección se debe indicar lo planificado versus lo alcanzado, haciendo referencia al documento
de diseño de la intervención, el cual debe contener los resultados planificados (llamados también
componentes/productos/actividades) con indicadores objetivamente verificables y metas de gestión;
por ejemplo, número de talleres, de funcionarios por taller, de documentos metodológicos, de visitas de
intercambio de experiencias, etc. En la columna “Medios de verificación”, se solicita indicar el documento de
respaldo que evidencie el logro de cada resultado; por ejemplo, actas de taller, ayudas memoria, documentos
metodológicos, listas de participantes, oficios, etc.
Resultados/
productos
esperados
Si existieron demoras, indique los motivos:
Fecha de finalización, según planificación inicial:
Fecha de finalización de acuerdo a prórrogas
aprobadas:
Si existieron prórrogas, indique los motivos: Ubicación geográfica del
proyecto:
Provincia(s)
Cantón(es)
Parroquia(s)
Planificado:
Resultados/
productos alcanzados
Nivel de cumplimiento
Medios de
verificación
76-100% 51-75%
1.
1.
2.
2.
3.
3.
4.
4.
5.
5.
Anexos
www.cooperacioninternacional.gob.ec
26-50%
0-25%
Real: Número de beneficiarios
(indicar tipo: personas o
instituciones)
Planificado:
Real: Planificado:
Real: Inversión ecuatoriana ($)
Inversión internacional ($)
• Nota: Incluir actividades en caso de ser necesario
66
67
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Anexos
www.cooperacioninternacional.gob.ec
8) MARQUE CON UNA “X” LOS ASPECTOS DEL ANÁLISIS FODA
F D
ASPECTO
Eficiencia en costos y gastos
Eficiencia en tiempos
Baja (3)
Media (2)
Fortalezas: características o situaciones que facilitan o favorecen el logro de los objetivos
planificados. Puntos fuertes que se traducen en actividades, habilidades y aptitudes que
le proporcionan las capacidades necesarias para que tenga un efecto de acogimiento y
réplica del proyecto de CSS.
Debilidades: características o situaciones que constituyen obstáculos para el logro de los
objetivos del proyecto o intervención.
Alta (1)
GRADO DE
IMPORTANCIA
DEL ASPECTO
FORTALEZAS Y DEBILIDADES
FASES
Profesionalismo de la
contraparte
Comunicación con entidad
contraparte
COMENTARIOS
Carga adicional de trabajo
Pertinencia/relevancia de la
intervención para las entidades
Identificación
Identificación clara del objetivo
general
Ejecución
Innovación
Participación de actores clave
en la identificación
Planificación
68
Cordialidad
Coordinación/comunicación
en la etapa de formulación agencia de cooperación
Metodología de trabajo
Horizontalidad/Consenso con
contraparte técnica
Trabajo en equipo
Coherencia del diseño de la
intervención (objetivo general
hasta resultados)
Coordinación/comunicación
en la etapa de negociación agencia de cooperación
Coordinación/comunicación
en la etapa de aprobación agencia de cooperación
Claridad sobre mecanismos de
implementación - agencia de
cooperación
Claridad sobre el esquema
de costos/gastos - agencia de
cooperación
Mecanismos de transferencia
de conocimientos
Fortalecimiento y/o formación
del talento humano
Tiempo de duración de la
cooperación técnica (mayor/
menor)
Seguimiento
Mecanismos de seguimiento
(de la propia entidad)
Mecanismos de seguimiento
(agencia de cooperación)
69
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Anexos
www.cooperacioninternacional.gob.ec
O
A
ASPECTO
Baja (3)
Media (2)
Oportunidades: situaciones que se presentan en el entorno donde se ejecuta la actividad
establecida en el marco de la CSS que favorecen el logro de los objetivos planteados, de
acuerdo a tiempo y propósitos, así como que se mantengan en el tiempo los beneficios
procedentes de una intervención.
Amenazas: situaciones que se presentan en las instituciones donde se llevan a cabo
intervenciones de CSS, y que afectan de manera negativa las posibilidades de lograr los
objetivos a largo plazo. Asimismo, son aquellas situaciones que arriesgan la continuidad
de los beneficios derivados de una intervención. El análisis de este criterio permite
prever posibles sucesos desfavorables.
GRADO DE
IMPORTANCIA
DEL ASPECTO
Alta (1)
OPORTUNIDADES Y AMENAZAS
9) ¿QUÉ MODALIDADES DE COOPERACIÓN TÉCNICA APLICÓ SU INSTITUCIÓN? SEÑALE CON UNA “X”.
# Modalidad de cooperación.
1
Asistencia técnica de expertos (se refiere a los servicios suministrados por expertos
con el objetivo de transferir sus conocimientos especializados. Esta modalidad
se puede concretar a través del envío de expertos entre países socios o a través de
la contratación de estudios y/o consultorías especializadas para la generación de
productos específicos previamente acordados.)
2
Intercambio de experiencias (se refiere a todo evento en que se presente las
experiencias ecuatorianas y se conozca la experiencia de otros países. Se concreta
por medio de pasantías o intercambios de servidores públicos de países socios, o
seminarios y eventos internacionales).
3
Transferencia tecnológica (se refiere al mecanismo de transferencia de capacidades
entre países para la aplicación y réplica con fines de desarrollo).
4
Otras (indique cuál):
COMENTARIOS
Segunda fase de intervención
Nuevos aliados además de la
contraparte
Nuevas acciones con la contraparte
Apoyo político
Apoyo institucional (inserción en la
planificación)
Apoyo institucional (inserción en
los presupuestos)
Apoyo técnico (disponibilidad y
voluntad)
Convenios interinstitucionales
Otros compromisos adquiridos
Cambio de autoridades
Cambio de personal técnico
Cambios institucionales
Otros
70
71
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
10) SEGÚN LAS MODALIDADES DE COOPERACIÓN SEÑALADAS EN EL PUNTO 9, DETALLAR
LO RECIBIDO Y ENTREGADO POR SU INSTITUCIÓN, SEGÚN LA DEFINICIÓN DE CADA
MODALIDAD
1
2
3
4
72
Asistencia
técnica de
expertos
Intercambio de
experiencias
Transferencia
tecnológica
Otros
# beneficiarios
Costo de oportunidad
¿Qué entregó la
institución? Según
la modalidad ver
cuadro numeral
N° 9 (Expertos
del país socio,
productos de
estudios y/o
consultorías,
pasantías, etc.)
Costo administrativo
# beneficiarios
Costo de oportunidad
#
Modalidad de
cooperación
¿Qué recibió la
institución? Según
la modalidad ver
cuadro numeral
N° 9 (Expertos
del país socio,
productos de
estudios y/o
consultorías,
pasantías, etc.)
Costo administrativo
(P. ej.: Documentos, metodologías, manuales talleres, cursos, seminarios, pasantías, etc. El Costo
Administrativo incluye pasajes, viáticos, movilización, talleres, etc., y el Costo de Oportunidad, es aquel
en que hubiera incurrido la institución para obtener lo recibido del país socio por fuera del proyecto de
Cooperación Sur Sur. Un ejemplo de ello es: Sí se recibe un experto del país socio para que dé un seminario
a un grupo de funcionarios públicos; cuánto habría costado traer ese mismo nivel de experto por fuera del
proyecto y pagarle honorarios?
11) ¿CUÁL ES EL GRADO DE COMPLEMENTARIEDAD DE LA INTERVENCIÓN A LAS POLÍTICAS
PÚBLICAS NACIONALES?
Esta pregunta busca medir el grado en el que la intervención complementa esfuerzos que son política
pública de cada país, según cuáles son las prioridades nacionales en el sector que corresponda, y que se
plasman en los documentos de Planificación Nacional.
Calificación
Detalle
Muy alta (5)
Alta (4)
Media (3)
Baja (2)
Muy baja (1)
Nula (0)
Anexos
www.cooperacioninternacional.gob.ec
Indique qué política pública es complementada por la intervención.
12) ¿CUÁL ES EL NIVEL DE COMPLEMENTARIEDAD DE LA INTERVENCIÓN A LA
PLANIFICACIÓN DE SU INSTITUCIÓN?
Esta pregunta busca medir el grado en que la intervención complementa las prioridades de la institución
ejecutora, lo que necesariamente se refleja en aspectos como la definición formal de un programa/proyecto/
acción con responsables identificados, la asignación de presupuesto para cumplir con los compromisos
y actividades acordadas, y la inclusión en el sistema de seguimiento y monitoreo institucional. En otras
palabras, el nivel de inserción de la intervención en la dinámica de la institución permite valorarla como
complementaria.
Calificación
Detalle
Muy alta (5)
Alta (4)
Media (3)
Baja (2)
Muy baja (1)
Nula (0)
Indique a qué estrategia/programa/proyecto de su institución complementa su
intervención.
13) ¿EN QUÉ NIVEL SU INSTITUCIÓN HA INCORPORADO EN SU GESTIÓN LABORAL, Y/O
ASIMILADO COMO FORTALECIMIENTO DE SUS CAPACIDADES PROFESIONALES, LOS
CONOCIMIENTOS COMPARTIDOS DURANTE LA INTERVENCIÓN?
Esta pregunta busca medir el grado de asimilación o incorporación de los beneficios o logros derivados de
una intervención que se traduce en el fortalecimiento de las capacidades profesionales de los involucrados
o de las capacidades institucionales. Para esto, se valoran elementos como la optimización del desempeño
laboral, el incremento de la eficiencia en los procesos institucionales, la formalización de mejoras en
el ámbito relacionado a la intervención y, en general la institucionalización de los beneficios mediante
modelos de gestión, de procesos, manuales, metodologías, políticas internas, normativas, resoluciones,
actas, comités, etc.
Calificación
Detalle
Muy alta (5)
Alta (4)
Media (3)
Baja (2)
Muy baja (1)
Nula (0)
Indique las evidencias de la apropiación de los conocimientos
compartidos por parte de su institución.
73
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
Anexos
www.cooperacioninternacional.gob.ec
14) ¿QUÉ ESTRATEGIAS SE HA CONSIDERADO PARA QUE LOS RESULTADOS DE LA
INTERVENCIÓN, AL INTERIOR DE SU INSTITUCIÓN, SEAN SOSTENIBLES?
Estrategias de sostenibilidad
Marque con una X
Transferencia de conocimientos
Continuidad de acciones con la
contraparte
Procesos de capacitación
Mejoramiento de procesos
Apoyo/creación de política pública
Apoyo/creación de modelos de gestión
Apoyo/creación de estrategias, procesos y
metodologías
Sistematización de la intervención
Publicaciones y material informativo
Material didáctico
Detalle y medios de verificación
16) ¿CUÁL ES SU OPINIÓN GENERAL TIENE DE LA COOPERACIÓN TÉCNICA COMPARTIDA?
Indicar su percepción global del proyecto de CSS
Calificación
Comentarios
Excelente (5)
Muy buena (4)
Buena (3)
Regular (2)
Indiferente/
irrelevante (1)
No adecuada (0)
17) RECOMENDACIONES/OBSERVACIONES
Aseguramiento de la continuidad de los
beneficios de la intervención
Aseguramiento de la continuidad a nivel
de planificación institucional
Aseguramiento de la continuidad a nivel a
nivel técnico (disponibilidad de técnicos)
Aseguramiento de la continuidad a nivel
presupuestario
Otras (indicar cuáles)
15) ¿CREE QUE ESTA INTERVENCIÓN ENTRE PAÍSES SOCIOS ES REPLICABLE EN OTROS
CONTEXTOS SIMILARES?
Que una intervención sea replicable significa que puede ser puesta en marcha con una alta probabilidad
de conseguir los mismos beneficios o resultados, siempre que se cumplan las condiciones técnicas y
exista un contexto de razonable similitud con aquel donde se ejecutó inicialmente el proyecto.
COMENTARIOS:
SÍ:
NO:
74
18)LUGAR, FECHA Y FIRMA
Lugar:
Fecha:
Nombre: ………………………………………………………..
Cargo: …………………………………………………………..
75
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
8.3 Instructivo de seguimiento de la CSS
1. Antecedentes
ÍNDICE DE CONTENIDOS
ÍNDICE DE GRÁFICOS
ÍNDICE DE TABLAS
LISTADO DE ACRÓNIMOS
1. ANTECEDENTES Y OBJETIVO
1.1. BASE LEGAL
1.2.GENERALIDADES
1.3. JUSTIFICACIÓN
1.4. OBJETIVO
2.
3.
4.
1.5. ALCANCE Y METODOLOGÍA
1.6. LIMITANTES
DESARROLLO DEL ANÁLISIS
2.1.
ANÁLISIS POR CRITERIO DE EVALUACIÓN
2.2.
ANÁLISIS FORTALEZAS Y DEBILIDADES
CONCLUSIONES Y RECOMENDACIONES
3.1. CONCLUSIONES
3.2. RECOMENDACIONES
PASOS A SEGUIR
5.BIBLIOGRAFÍA
6.ANEXOS
76
Para el seguimiento de los Programas de CSS, desde la Dirección de Inserción Estratégica de Cooperación Internacional de la SETECI, se ha desarrollado dos instrumentos que permiten controlae la
ejecución de los proyectos:
•
•
Anexos
8.2. Modelo básico de informe de evaluación de la Cooperación Sur - Sur
www.cooperacioninternacional.gob.ec
matriz de seguimiento
informe de misión.
2. Matriz de seguimiento
La matriz de seguimiento es un instrumento cuyo objetivo es detallar la ejecución del proyecto, mes
a mes, durante la duración del Programa bilateral. La información de la matriz se obtiene del Acta de
la Comisión Mixta, proyectos y la comunicación constante entre las partes involucradas.
Se trata de una matriz en Excel en la que se debe completar la siguiente información:
• Número de proyecto
• Nombre del proyecto
•Objetivos
• Nombre de la entidad ecuatoriana
• Datos de contacto de la entidad ecuatoriana
• Nombre de la entidad extranjera
• Datos de contacto de la entidad extranjera
• Área temática para el Ecuador
• Área temática para la contraparte
• Estatus del proyecto
• Estado del proyecto mensual
• Monto del proyecto dado por la contraparte
• Monto del proyecto dado por el Ecuador
• Costo total del proyecto
•Sector
•Observaciones.
Se debe realizar un seguimiento mensual de la ejecución de los proyectos para conocer su grado de
avance, planificar próximas misiones y determinar problemas, inconvenientes, cambios, etc. Este se
realiza directamente con la agencia de cooperación contraparte y la institución ecuatoriana.
3. Informe de misión
•
•
El informe de misión fue desarrollado para realizar un seguimiento más exhaustivo de
las actividades realizadas en cada misión, sea en Ecuador o en otro país, de los proyectos
que pertenecen a los programas bilaterales, y para conocer su grado de ejecución.
Los informes de misión han sido incorporados en los lineamientos operativos de los programas bilaterales, los cuales constan como anexos en las Actas de las Comisiones Mixtas.
77
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
• Se ha acordado que estos informes se presenten durante los 30 días posteriores a
desarrollada la misión y sean validados por la persona responsable del proyecto en
la institución. Para esto, después de cada misión se debe enviar un recordatorio a las
instituciones para que completen el informe y lo remitan a la SETECI.
las contrapartes de cada país, en cada caso: el Ministerio de Relaciones Exteriores de El Salvador, la
Agencia Brasilera de Cooperación (ABC) y Dirección General de Cooperación Internacional (DGCIN) de Argentina. Los resultados de estos ejercicios fueron presentados y se recibió retroalimentación por parte de cada país antes de contar con una versión final.
•
Por último, es menester mencionar los dos procesos de evaluación de los Programa Bilaterales
Ecuador-Chile. El primero fue un proceso de evaluación final del Programa Bilateral 2011-2013,
La información que se solicita en el informe es:
• Datos de contacto
• Lugar de la misión
•Fechas
• Nombre de los expertos ecuatorianos y de la contraparte
•Beneficiarios
• Resultados y actividades
• Opinión general de la misión
• Próximos pasos/actividades a realizar
•Recomendaciones.
efectuado en 2014, en su momento no fue conjunto sino solo de Ecuador; mientras que el segundo,
efectuado en 2015, corresponde a la evaluación al término del primer año del nuevo Programa
Bilateral 2014-2017, el cual tuvo una alta participación de la Agencia Chilena de Cooperación Internacional para el Desarrollo (AGCID) en el mismo, desde la revisión de la metodología, las fichas e
instrumentos a aplicar, hasta la implementación de dichos instrumentos, en análisis de hallazgos y el
consenso sobre las conclusiones y recomendaciones finales.
A continuación, se detalla lo mencionado:
Tabla 3. Balance de gestión - evaluaciones CSS, 2013-2015
Con este informe se identifican recomendaciones, observaciones y avances del proyecto además de
tener una fecha tentativa de la próxima misión o próximos pasos a seguir dentro del proyecto.
8.4. Experiencias piloto de gestión de evaluaciones de CSS en el Ecuador,
2013-2015
Desde finales del año 2013, la SETECI inició su gestión en el ámbito de la evaluación de la CSS con
algunos pilotajes de gestión del proceso de evaluación de la CSS, el cual arrancó con una evaluación
del Programa Bilateral Ecuador-México 2010-2012, el cual tuvo como objetivo revisar los resultados de las intervenciones aplicando la metodología, instrumentos y herramientas construidas, por
lo cual el ejercicio tuvo un doble propósito, el conocer los resultados del Programa y el de validar la
utilidad y funcionalidad de la metodología.
A mediados de 2014 tuvieron lugar dos ejercicios de evaluación conjunta con resultados de gran
interés para los países. El primero correspondió a la Evaluación del Programa Bilateral Ecuador-Uruguay 2013-2015 y el segundo a la Evaluación del Programa Bilateral Ecuador-Colombia 2012-2014. Ambos ejercicios tuvieron una participación de los países involucrados desde la
definición de los objetivos y alcances, la metodología e instrumentos, la aplicación de los mismos en
visitas técnicas tanto en Ecuador como en Uruguay y Colombia; el diálogo sobre los hallazgos y el
consenso en la elaboración de informes finales con conclusiones y recomendaciones. Los aprendizajes de estos procesos conjuntos fueron que la horizontalidad, compromiso y comunicación fluida
debe ser un tema transversal a lo largo de la evaluación para garantizar su éxito y por otro lado los
sesgos se minimizan cuando se tiene la participación de ambos países en todo el transcurso del trabajo de gabinete, de campo y de redacción de informes, ya que se amplían las perspectivas, se recogen
más insumos y se analizan desde cada lado los hallazgos y resultados, buscando siempre la mejora
común.
A finales del año 2014 y mediados de 2015, tuvieron lugar tres evaluaciones de los siguientes: Progra-
mas Bilaterales: Ecuador-El Salvador 2011-2013; Ecuador-Brasil 2012-2014 y Ecuador-Argentina 2013-2015, que si bien no fueron procesos conjuntos, los hallazgos fueron conocidos por
78
Anexos
www.cooperacioninternacional.gob.ec
N°
Programa evaluado
1
ECUADORMÉXICO
2010-2012
2
ECUADORURUGUAY
2013-2015
3
ECUADORCHILE
2011-2014
4
ECUADOR-EL
SALVADOR
2011-2013
Año de
evaluación
Resumen del proceso de evaluación
2013
Evaluación final. Proceso piloto llevado a cabo
por Ecuador, metodología aplicada en entidades
socias ecuatorianas. Resultados presentados
ante la Embajada de México.
2014
Evaluación intermedia. Proceso conjunto,
participación de equipos evaluadores de ambos
países, metodología consensuada y aplicada
en entidades socias ecuatorianas y uruguayas.
Resultados presentados ante la Agencia
Uruguaya de Cooperación Internacional
(AUCI).
2014
Evaluación final. Proceso llevado a cabo por
Ecuador, metodología aplicada en entidades
socias ecuatorianas. Resultados presentados
ante delegados chilenos en la última Comisión
Mixta Ecuador-Chile.
2014
Evaluación final. Proceso llevado a cabo por
Ecuador, metodología aplicada en entidades
socias ecuatorianas. Resultados presentados
ante delegados de El Salvador en la última
Comisión Mixta.
79
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
5
ECUADORCOLOMBIA
2012-2014
6
ECUADORBRASIL
2012-2014
7
ECUADORARGENTINA
2013-2015
8
ECUADOR
CHILE
2014-2017
2014
Evaluación intermedia. Proceso conjunto,
participación de equipos evaluadores de
ambos países, metodología consensuada y
aplicada en entidades socias ecuatorianas y
colombianas. Resultados presentados ante la
Agencia Presidencial de Cooperación (APC) de
Colombia.
2015
Evaluación final. Proceso llevado a cabo por
Ecuador, metodología aplicada en entidades
socias ecuatorianas. Resultados presentados
ante delegados brasileños en la última Comisión
Mixta.
2015
Evaluación intermedia. Proceso llevado a cabo
por Ecuador, metodología aplicada en entidades
socias ecuatorianas. Resultados presentados
ante delegadas argentinas de la Dirección
General de Cooperación Internacional (DGCI).
2015
Evaluación al término del primer año. Proceso
conjunto, participación de equipos evaluadores
de ambos países, metodología consensuada
y aplicada en entidades socias ecuatorianas
y chilenas. Resultados presentados ante la
Agencia Chilena de Cooperación Internacional
para el Desarrollo (AGCID).
Fuente: SETECI (2015). Elaborado por: CF/DMECI/SETECI
Todos los eventos de evaluación piloto implementados hasta el año 2015 permitieron a la SETECI
definir claramente los criterios, técnicas, herramientas y conceptualizaciones requeridas para la definición del proceso de evaluación, considerando como base metodológica el Manual de evaluación
de la cooperación tradicional de SETECI, del año 2014.
Documento impreso en papel Earth Pact, 100% hecho en fibra de caña de azúcar, libre de
químicos blanqueadores
80
METODOLOGÍA DE EVALUACIÓN
DE LA COOPERACIÓN SUR-SUR
82