GTZ: Guia de Monitoreo basado en resultados

Unidad 04 de la GTZ – Desarrollo de la Empresa
OE 042 Evaluación Interna
Modelo de resultados
Efecto directo
Objetivo
Vacío de
atribución
Impacto
(Efecto indirecto)
Aprovechamiento
(uso) de los
productos
Productos
Actividades
mos
Ins u
de d
n
ona
tes
Ins u
m
os d
e
c on
trap
arte
s
Monitoreo basado en resultados
Guía para los proyectos y programas de Cooperación Técnica
Mayo de 2004
2
“It is better to be approximately right than precisely wrong.”*
John Maynard Keynes
Editor:
Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH
Redacción:
*
Unidad de Desarrollo de la Empresa, Equipo de Evaluación Interna
“Es preferible estar aproximadamente acertado que exactamente equivocado.”
3
Contenido
CONTENIDO
Contenido
3
Indicaciones generales sobre esta guía
6
1. Concepto de un monitoreo basado en resultados
7
1.1 ¿QUÉ SON RESULTADOS?
7
1.2 ¿CÓMO SE GENERAN LOS RESULTADOS?
8
1.3 EL MODELO DE RESULTADOS DE LA GTZ
8
2. Tareas de un monitoreo basado en resultados
11
2.1 TAREAS DE MONITOREO HASTA EL NIVEL DEL VACÍO DE ATRIBUCIÓN
11
2.2 TAREAS MÁS ALLÁ DEL NIVEL DEL VACÍO DE ATRIBUCIÓN
12
3. Seis pasos en el monitoreo basado en resultados
14
PASO 1:
IDENTIFICACIÓN DE LOS LÍMITES DEL SISTEMA
14
PASO 2:
CONCERTACIÓN DE OBJETIVOS Y PROCEDIMIENTOS PARA UN MONITOREO BASADO EN
RESULTADOS
16
PASO 3: CONCERTACIÓN DE HIPÓTESIS DE RESULTADOS
16
PASO 4:
18
CONTROL DE INDICADORES Y FIJACIÓN DE HITOS
PASO 5: IMPLEMENTACIÓN DE UNA RECOPILACIÓN DE DATOS
20
PASO 6: APROVECHAMIENTO DE LOS RESULTADOS DEL MONITOREO
22
Bibliografía
24
4
Gestión basada en resultados: Desafío a nivel de toda la empresa
Quien hoy en día practica la cooperación para el desarrollo mediante la utilización de
recursos provenientes de los impuestos, será preguntado por las resultados o la eficacia .
Ya no es suficiente alegar que se cuenta con una buena planificación y que la ejecución ha
cumplido con el plazo fijado, a la vez que se presenta informes optimistas. El señalar que la
influencia propia es demasiado limitada como para producir un cambio fundamental en la
situación mundial tampoco evita las interrogantes referentes a los resultados. Precisamente
debido a lo reducido de los parámetros de acción, se exige que la cooperación para el
desarrollo demuestre de modo fidedigno que ha utilizado en forma efectiva todos los medios
a su disposición, contribuyendo con un aporte significativo al desarrollo económico y social
de los países contraparte.
La GTZ ha aceptado este desafío y ha reaccionado oportunamente. En la década de los 90,
el control de calidad se basaba principalmente en el enfoque “quality at entry” (calidad al
inicio); a partir de 1998, el concepto de “quality at exit” (calidad al término) ha pasado cada
vez más a primer plano. El sistema de evaluación fue reformado nuevamente por decisión
de la Dirección, que definió las autoevaluaciones y las evaluaciones externas como
componentes complementarios del sistema de evaluación de la GTZ. Se hizo un esfuerzo
especial para revisar los métodos de evaluación ya existentes, y para desarrollar nuevos
procedimientos acordes con los principios de descentralización.
Mediante la introducción del nuevo marco para la gestión de contratos y de cooperación de
la política de desarrollo (AURA), en agosto de 2002, la gestión basada en resultados se
convirtió en un aspecto clave de los contratos entre el BMZ y la GTZ. 1 El logro de los
objetivos de la política de desarrollo se transformó en el aspecto central. El éxito de los
proyectos o programas se mide ahora de acuerdo a los objetivos logrados, y no de acuerdo
a las prestaciones efectuadas. La gestión de contratos y de la cooperación ha adquirido una
creciente libertad de acción, aunque al mismo tiempo se le impone una mayor
responsabilidad compartida con la contraparte para el logro de los objetivos fijados en la
política de desarrollo.
Todas estas modificaciones, al igual que la tendencia a organizar la cooperación para el
desarrollo en forma de programas, conllevan consecuencias de gran alcance para la gestión
de contratos y de cooperación. La actual Política para la Gestión de Contratos y de
1
GTZ/BMZ, Directives for the Preparation of AURA Offers (GTZ/BMZ, Pautas para la Preparación de
Ofertas AURA), Eschborn, setiembre de 2003.
5
Cooperación refleja este cambio. Expone qué entiende la GTZ bajo el concepto de
contrato, cómo orienta la ejecución de acuerdo a los resultados, cuáles son las
responsabilidades a cargo de la empresa, de qué forma lleva a cabo las contribuciones y
qué tiene en cuenta durante la planificación, la conducción y el control de calidad de
proyectos o programas. 2
A fin de que la gestión de contratos y de cooperación sea capaz de afrontar debidamente las
crecientes exigencias del monitoreo basado en resultados, es necesario precisar y
perfeccionar los instrumentos existentes, por ejemplo a través de la introducción de e-VAL,
iniciada a mediados de 2003.
No existen dudas con respecto a la necesidad de efectuar este tipo de reformas. La gestión
de contratos y de cooperación necesita contar con un monitoreo basado en resultados para
la exitosa conducción de los proyectos y programas y la presentación de informes. La
empresa requiere resultados, de modo que pueda rendir cuentas en forma fidedigna ante la
opinión pública y los comitentes. Por último, los socios de la GTZ están sumamente
interesados en los resultados de los proyectos y programas.
2
GTZ, Policy on Contract and Cooperation Management (GTZ, Política para la Gestión de Contratos
y de la Cooperación). Eschborn, agosto de 2003.
6
Indicaciones generales sobre esta guía
Desde hace años ha venido creciendo el número de iniciativas en la GTZ dirigidas a orientar
más decididamente el trabajo de política de desarrollo de la empresa a los resultados.
Gracias a estas iniciativas, la “gestión basada en resultados” se ha transformado
actualmente en un principio para el desarrollo corporativo de la GTZ. La presente Guía para
el monitoreo basado en resultados constituye un nuevo hito en el camino hacia la
implementación de esta pauta.
Tanto los proyectos como los programas necesitan contar con la libertad de acción
suficiente para encontrar por cuenta propia las soluciones adecuadas para cada situación.
Sin embargo, sería incorrecto y no rentable comenzar siempre a instaurar sistemas de
monitoreo basados en resultados partiendo de cero. Las diferencias entre los diversos
proyectos o programas no son fundamentales en lo que respecta a qué constituye un
objetivo, cuál es el camino para que un proyecto alcance el objetivo deseado y cómo
determinar los resultados de desarrollo logrados. La presente guía pretende captar las
características generales y unirlas en un concepto integrado. Aspira a facilitar el trabajo
básico relativo a la instauración de sistemas de monitoreo basados en resultados, y
proporcionarle una orientación concordante con la identidad de la empresa sin establecer
normas restrictivas. Esta guía está conformada por tres partes:
-
La primera parte describe el marco conceptual para un monitoreo basado en
resultados.
-
La segunda parte describe y resume las tareas a realizar derivadas del marco
conceptual.
-
La tercera parte describe seis pasos generales, mediante los cuales es posible
avanzar desde el diseño del proyecto o programa hasta el aprovechamiento de los
resultados del monitoreo.
En una corta bibliografía se indican los textos que han sido utilizados para la guía y aquéllos
apropiados para una lectura posterior. Son sumamente bienvenidas todas las sugerencias
sobre literatura complementaria referentes al proyecto estratégico “Gestión basada en
resultados”.
La Guía para el monitoreo basado en resultados está concebida para todas las personas
que tengan a su cargo la planificación, ejecución o evaluación de proyectos o programas de
la Cooperación Técnica (CT) alemana. Substituye a todas las guías, manuales o
instrucciones anteriores de la GTZ referentes al tema del monitoreo.
7
1.
Concepto de un monitoreo basado en resultados
Nos referimos a un monitoreo basado en resultados cuando todas las actividades de
monitoreo de un proyecto o programa están dirigidas a la observación de los resultados. El
monitoreo basado en resultados forma parte de la autoevaluación del proyecto o programa.
Está dirigido a encauzarlo en forma continua en dirección a sus resultados. El monitoreo
basado en resultados toma en cuenta toda la cadena de resultados desde los insumos,
pasando por las actividades hasta llegar a los productos e impactos, y constituye otra faceta
de un procedimiento de monitoreo ya establecido. La peculiaridad reside en que no
solamente se observan las acciones efectuadas, sino que se intenta descubrir cuáles son
los cambios ocasionados por dichas acciones.
1.1
¿Qué son resultados?
Deben clasificarse como resultados solamente los cambios que puedan atribuirse a un
proyecto o programa. No es suficiente el mero hecho de que ocurra un cambio para que
éste sea considerado como resultado de un proyecto o programa, aun si dicho cambio forma
parte de la planificación y de las consecuencias deseadas del mismo. Solamente en el caso
de que exista una relación causal evidente, o cuando mínimo plausible, podrá catalogarse el
cambio observado como un resultado.
Los resultados pueden clasificarse en voluntarios e involuntarios, esperados o inesperados,
positivos o negativos. No solamente conciernen a los grupos meta, sino también a las
contrapartes y a los intermediarios, y pueden presentarse en una multiplicidad de áreas
diferentes. Además, los resultados no surgen recién cuando ha finalizado un proyecto o
programa, sino que se presentan desde su comienzo y a lo largo de todo el período de
duración del mismo. Incluso el poner a disposición recursos de personal, financieros o
materiales puede ser suficiente para desencadenar los primeros resultados, los cuales
influyen en forma importante sobre las perspectivas de éxito del proyecto o programa. Del
mismo modo, las actividades de un proyecto o programa no solamente pueden traer consigo
productos que beneficien a otros, sino que también pueden repercutir sobre el equipo del
proyecto o programa, como en el caso de las medidas de capacitación.
8
1.2
¿Cómo se generan los resultados?
La investigación moderna en busca de innovaciones ha fomentado la comprensión de los
procesos de desarrollo y las relaciones causales de los resultados. Contrariamente a lo
expresado por Rogers en la década de los 70, las innovaciones no llegan en línea recta
partiendo de científicos ingeniosos y a través de asesores entusiastas hasta los campesinos
dispuestos a implementarlas, sino que surgen gracias a una interacción social.3 Los cambios
profundos en la sociedad o en el medio ambiente, que constituyen el objetivo de la
cooperación para el desarrollo, se basan en un denso entramado de actores con intereses
específicos y diferentes grados de poder. Y cuanto mayor sea el número de actores que
participan en un cambio, menor será el “peso factorial relativo” de cada contribución
individual desde la perspectiva estadística. De ello se desprende que – cuanto mayor sea la
distancia entre el proyecto o programa y las áreas en las cuales se producen los cambios –
más se dificulta la atribución de los resultados a sus causas primarias.
1.3
El modelo de resultados de la GTZ
El modelo de resultados de la GTZ se relaciona estrechamente con la cadena general de
resultados definida en el Glosario OCDE-CAD4. Trata explícitamente el conocido problema
de la atribución en la evaluación de la ayuda al desarrollo, mediante la inclusión del “vacío
de atribución” como elemento conceptual clave. Los proyectos y programas de desarrollo
obtienen recursos a partir de los aportes alemanes y de las contrapartes. Al utilizar estos
insumos, se llevan a cabo actividades que generan productos. Éstos son luego utilizados
por los grupos meta o intermediarios (aprovechamiento de productos), creando resultados
de desarrollo de medio y largo plazo que constituyen efectos directos e impactos.
Hasta el nivel del “aprovechamiento de productos”, la atribución suele ser relativamente
sencilla en la mayoría de los casos. Sin embargo, a medida que nos acercamos a los niveles
de los “efectos directos” e “impactos” (efectos indirectos), los factores externos que no
pueden ser influenciados por los proyectos o programas adquieren una creciente
importancia. El vacío de atribución se incrementa a tal punto que los cambios observados ya
no pueden relacionarse directamente con los productos del proyecto. Mientras se logre
3
The social organization of innovation. A focus on stakeholder interaction. (La organización social de
la innovación. Enfoque en la interacción de las partes interesadas.) Royal Tropical Institute,
Amsterdam, 1997.
4
OCDE-CAD (2002): Glossary of Key Terms in Evaluation and Results Based Management (Glosario
de los Principales Términos sobre Evaluación y Gestión basada en Resultados)
9
demostrar una relación causal entre los productos y los cambios de desarrollo observados,
los proyectos tienen derecho a considerar que dichos cambios positivos constituyen un
“beneficio directo”. Los objetivos de los proyectos y programas se fijan a este nivel.
Tal como ya se ha mencionado, los proyectos y programas aspiran a generar impactos más
allá del nivel de objetivos, los cuales suelen constituir la razón primordial de una
intervención. En general, no es posible identificar una relación causal que explique cómo se
generaron estos “beneficios indirectos”, puesto que son demasiados los actores
involucrados como para poder aislar claramente el efecto de una intervención individual. No
obstante, es necesario no perder de vista los resultados de desarrollo altamente agregados
(como por ejemplo el progreso en términos de los Objetivos de Desarrollo del Milenio). Si
bien no es posible lograr una atribución integral, la GTZ espera que sus responsables
puedan formular hipótesis plausibles sobre las contribuciones del proyecto o programa a los
resultados de desarrollo de nivel superior.
Gráfico 1: Modelo de resultados
Modelo de resultados
(efecto directo)
Objetivo
Vacío de
atribución
Impacto
(efecto indirecto)
Aprovechamiento de
los productos
Productos
Actividades
tes
nan
In
e do
os d
sum
Insu
mos
d
e co
ntra
par
tes
10
Nota: Las flechas punteadas simbolizan el creciente número de factores externos
El Gráfico 2 muestra el aspecto de una cadena de resultados en la práctica, utilizando como
ejemplo un proyecto de formación técnica.
Gráfico 2: Cadena de resultados simplificada para un proyecto de formación técnica
Cadena de resultados (ejemplo simplificado, formación técnica)
Impacto
(efecto indirecto)
Creciente nivel de empleo e
ingresos, menor pobreza
Vacío de atribución
Efecto directo (objetivo)
Aprovechamiento del
producto
Producto
Actividades
Insumos
Los conocimientos y las habilidades de los egresados se
adecuan a la demanda del mercado
Los currículos se usan en la formación técnica
Currículos apropiados para escuelas de formación técnica
Investigación de mercado, desarrollo de currículos
Asesores y financiamiento
11
2.
Tareas de un monitoreo basado en resultados
El monitoreo basado en resultados se concentra en los resultados generados por un
proyecto o programa. A fin de detectarlos, es necesario llevar a cabo diferentes tareas. En
primer lugar debe determinarse el efecto directo que pueda ser claramente clasificado como
perteneciente al proyecto o programa, y que haya sido definido como objetivo del mismo. En
segundo lugar, debe considerarse el impacto que se produce en el entorno más amplio del
proyecto o programa al alcanzar los objetivos, pero que no puede ser claramente atribuido a
dicho proyecto o programa.
2.1
Tareas de monitoreo hasta el nivel del vacío de atribución
La concepción y la planificación de cada uno de los proyectos o programas se basan
generalmente en una hipótesis de resultados, es decir, un conjunto de supuestos respecto a
las relaciones entre intervenciones y resultados. El modelo de resultados antes descrito
también contiene esta clase de supuestos, los cuales señalan de qué forma deben ser
aprovechados los productos del proyecto o programa y cuáles serán los resultados
provechosos esperados.
La tarea principal del monitoreo basado en resultados consiste en observar hasta qué punto
los resultados esperados efectivamente se producen, y si el proyecto o programa se
desarrolla en dirección a su objetivo. Para ello, dicho monitoreo debe vigilar la cadena de
resultados planeada, así como observar si surgen resultados no deseados que hagan
peligrar el logro de los objetivos o causen otro tipo de perjuicios. El monitoreo basado en
resultados debe proporcionar las informaciones que requiere la gestión de contratos y de
cooperación para encauzar debidamente el proyecto o programa dentro del llamado
“corredor de objetivos”. Las principales interrogantes son:
-
¿Cuáles son las hipótesis de resultados fundamentales en las que se basan la
concepción y la estrategia del proyecto o programa?
-
¿En qué áreas pueden surgir resultados deseados o no deseados?
-
¿Qué actores y condiciones marco influyen en forma esencial sobre el proyecto o
programa y cómo se manifiesta esta influencia?
-
¿Son acertadas las hipótesis de resultados en el sentido de que reflejan la realidad del
proyecto o programa?
-
¿Qué factores son los principales responsables de que sucedan los cambios positivos
y negativos observados?
12
-
¿Cuáles de los cambios observados pueden identificarse como resultados que
guardan una relación causal con el proyecto o programa, especialmente en el nivel de
los objetivos?
No basta con observar los resultados del proyecto o programa sobre su entorno. También es
importante examinar la perspectiva contraria – la influencia del entorno en el proyecto o
programa – ya que los cambios en las condiciones marco o las acciones de otras
organizaciones de desarrollo pueden influir de forma positiva o negativa en el logro de los
objetivos. A fin de reconocer esta situación, el o los responsables de la gestión de contratos
y de cooperación no deben perder de vista el entorno institucional, político, social,
económico y ecológico. En este sentido, el monitoreo basado en resultados identifica los
factores esenciales que influyen sobre las condiciones marco, y observa y analiza su
incidencia sobre el logro de los objetivos del proyecto o programa.
2.2
Tareas más allá del nivel del vacío de atribución
El objetivo del proyecto o programa se establece a nivel del efecto directo. Sin embargo, el
motivo de la intervención en un sector o en un país es lograr resultados más allá del nivel
del efecto directo. Por consiguiente, la influencia que ejerce el proyecto o programa a este
nivel sólo puede ser indirecta. Como ejemplo, en el Gráfico 2se determina como objetivo:
“Los conocimientos y las habilidades de los egresados se adecuan a la demanda del
mercado”. Este objetivo no constituye una finalidad en sí mismo. La justificación de la
política de desarrollo para el proyecto o programa se basa en la expectativa de que los
egresados con un buen nivel de formación profesional puedan conseguir un puesto de
trabajo, mejorando de este modo su situación social. También supone que la economía
logrará niveles más competitivos gracias a la disponibilidad de personal con una buena
formación. Estos resultados esperados dependen de la interacción de muchos y diversos
actores, que deben ser materia de observación aunque la influencia del proyecto o programa
sobre ellos sea difícil o inexistente. Si por ejemplo se percibe que el sector que alberga el
proyecto de formación profesional viene perdiendo gran parte de su importancia debido a
influencias externas, deberá cuestionarse críticamente si el proyecto se aplica aún en el
ámbito adecuado.
Por lo tanto, el monitoreo basado en resultados también observa qué cambios ocurren más
allá del vacío de atribución, e intenta contestar a la interrogante sobre si estos cambios se
relacionan de forma plausible con el proyecto o programa. Los comitentes, la opinión pública
y las instancias políticas esperan información sobre contribuciones a los objetivos
sectoriales, así como sobre avances significativos en el desarrollo a mayor escala o nivel
multisectorial, tales como los logros de reducción de la pobreza, la consolidación de la paz o
13
la protección del medio ambiente. Un proyecto de salud debe estar informado respecto a
la mortalidad infantil en la región, mientras que un proyecto de asesoramiento del sistema de
aduanas debe estar al tanto sobre el presupuesto nacional, y una medida de reducción de la
pobreza necesita conocer la estrategia nacional para la reducción de la pobreza. 5
A menudo se puede disponer de datos suficientemente fidedignos con respecto a los
cambios altamente agregados del tipo antes mencionado. Si no fuera éste el caso, estos
datos no deberán ser recopilados solamente por un proyecto o programa individual. Más
bien deberán provenir de análisis compartidos con otros proyecto o programas del sector, o
de las llamadas “evaluaciones conjuntas” (“joint evaluations”) efectuadas en coordinación
con la contraparte y otros donantes, en forma independiente del proyecto o programa. El
análisis y la determinación de estos datos, y la posible contribución del proyecto o programa
a los cambios observados, forman parte de las tareas de monitoreo del proyecto o
programa. Sin embargo, no es necesario establecer la relación causal de estos cambios con
dicho proyecto o programa. Basta con describir en forma plausible hasta qué punto
contribuyó el proyecto o programa a estos cambios en su entorno, tomando en
consideración los propios datos del monitoreo sobre insumos, actividades, productos, el
aprovechamiento de los productos y los efectos.6 La gestión de contratos y de cooperación
investigará estas interrogantes tanto por medio de su instrumentario de monitoreo como
también a través de controles de avance y evaluaciones.
Principales tareas de la gestión de contratos y de cooperación en el monitoreo basado en
resultados
a) Hasta el nivel del objetivo:
Demostración de la relación causal entre los cambios consignados en el objetivo del proyecto o
programa y sus productos.
Para este fin deben observarse los siguientes parámetros del proyecto o programa:
- Actividades más importantes
- Productos que benefician a otros (por ejemplo, a intermediarios)
- Aprovechamiento de los productos y actores externos que lo fomentan o dificultan
- Efecto directo
b) Más allá del nivel del objetivo:
Observación de cambios en el entorno más amplio del proyecto o programa, que manifiestan una
relación plausible con el logro del objetivo del mismo.
5
GTZ, Impact Assessment with a Poverty Focus in Policy Advisory Projects: Concepts, Questions and
Cases (GTZ, Evaluación del Impacto de Proyectos de Asesoramiento en Políticas, con Énfasis en la
Pobreza: Conceptos, Interrogantes y Casos), Eschborn, 2000.
6
GTZ, Establishing Plausibility in Impact Assessment (GTZ, Estableciendo la Plausibilidad en la
Evaluación del Impacto), 2001.
14
3.
Seis pasos en el monitoreo basado en resultados
Una vez descritas las bases conceptuales, seguimos ahora con la implementación práctica
del monitoreo basado en resultados. La tercera parte de la guía está estructurada en seis
segmentos que se denominan “pasos”, si bien no representan estrictamente una secuencia
lineal (hemos tomado como base para el presente texto otras guías de monitoreo, que
resultaron muy útiles en diversos aspectos7). Se describen conjuntos típicos de medidas a
absolver, algunos de ellos con ejemplos, de modo que el monitoreo basado en resultados
conduzca a los fines deseados.
Mucho de lo que se requiere a continuación deberá haberse atendido durante la
planificación del proyecto o programa, como por ejemplo la determinación de los límites del
sistema del proyecto o programa, la formulación de hipótesis de resultados o la definición de
los indicadores. A pesar de ello se retoman estos temas, ya que las tareas de monitoreo son
muchas veces encomendadas a personas que no tomaron parte en la planificación. A
menudo es conveniente comprobar una vez más y eventualmente adaptar los fundamentos
de la planificación durante la instauración del monitoreo. En su mayor parte, el monitoreo
basado en resultados debe ser efectuado por el propio proyecto o programa, para así
fomentar los procesos de reflexión y aprendizaje en el equipo y procurar utilizar a fondo los
conocimientos y las experiencias de las que dispone el mismo.
Paso 1:
Identificación de los límites del sistema
¿Qué constituye el proyecto o programa, quién está vinculado a él y dónde comienza su
“contexto o entorno”? Un primer paso para el monitoreo basado en resultados es la
aclaración de los llamados límites del sistema del proyecto o programa, de acuerdo a los
niveles del modelo general de resultados.
Cuando la intención de un proyecto o programa en curso sea orientar su monitoreo más
decididamente hacia los resultados, deberá llegarse a un consenso con los participantes en
relación con los niveles de resultados, con la ayuda de las siguientes preguntas:
7
Deseamos destacar a este respecto los documentos titulados Guidelines for Impact Monitoring in
Economic and Employment Promotion Projects with Special Reference to Poverty Reduction
Impacts (Marco de Orientación para el Monitoreo de Resultados en los Proyectos para el Fomento
de la Economía y el Empleo, con énfasis en los Impactos de Reducción de la Pobreza) (GTZ 2000),
al igual que Impact Monitoring and Assessment (Impacto y evaluación del monitoreo), Berna, 2002.
15
-
¿Dónde terminan las actividades y comienzan los productos del proyecto o
programa?
-
¿Quién participa directamente en la generación de los productos?
-
¿Quién aprovechará los productos?
-
¿Qué efectos directos surgirán y para quién?
El planteamiento de la tarea es diferente en el caso de que el diseño del proyecto o
programa no esté todavía concluido. En tal caso no deben analizarse los límites del
sistema de un proyecto o programa en curso, sino que deben formularse pautas para el
diseño del mismo. Aquí la pregunta no sería “¿cuáles son los límites del sistema?”, sino
“¿dónde pueden o deben situarse?”. Por lo tanto, la interrogante a formular es: “¿Quién
forma parte del proyecto o programa; quiénes son los intermediarios, los grupos meta y
las demás partes interesadas?”. De esta forma, un proyecto o programa puede - por
ejemplo - limitarse a la cooperación con una unidad del Ministerio del Medio Ambiente, o
en cambio cooperar con las autoridades ambientales tanto en la capital como también en
el ámbito provincial o distrital de las diferentes zonas del país. Los productos del
proyecto o programa, el aprovechamiento de los mismos y sus usuarios podrán hallarse
entonces en los diferentes niveles. Entre los puntos de referencia importantes para
determinar el alcance del proyecto o programa están:
-
Capacidad operativa de la contraparte
-
Situación in situ
-
Pautas de la política de desarrollo
-
Experiencia y conocimientos de la CD alemana
-
Dotación de recursos
Ejemplo para diferentes límites del sistema de tres proyectos distintos
de la administración forestal
Las contrapartes directas de los expertos en misiones de largo Proyecto
plazo trabajan en la División de Planificación y Organización A
(DPO) del Ministerio.
La DPO apoya a los grupos de trabajo, comités y comisiones Producto
que se ocupan de la reforma administrativa dentro del
Ministerio, en cuatro provincias seleccionadas y ocho distritos.
Los grupos de trabajo, comités y comisiones trabajan en la Aprovemejora de la asignación de funciones y los procedimientos chamiento
administrativos.
de
productos
En consecuencia, mejoran los servicios centrales y las pautas Efecto
para la estructura subordinada de la administración.
directo
referentes a la reforma
Proyecto
B
Producto
Proyecto
C
16
Las dependencias forestales provinciales aprovechan las
prestaciones de servicios de la autoridad central y el apoyo
directo del proyecto o programa.
En consecuencia, mejoran los servicios en la administración
forestal a nivel distrital.
Las empresas forestales estatales, empresas privadas,
comunas, grupos de intereses y algunos hogares individuales
utilizan estos servicios.
Los resultados que se desprenden de ello van desde un mayor
acceso a leña, pasando por una mejora en el ingreso familiar
que surge de la explotación maderera, hasta la creación de
puestos de trabajo en la transformación maderera, etc.
Las consecuencias a nivel macro comprenden efectos de
crecimiento y distribución, así como contribuciones para la
reducción de la pobreza, conservación de la diversidad biológica
y la multifuncionalidad de los bosques, etc.
Aprovechamiento
de
productos
Efecto
directo
Producto
Aprovechamiento
de
productos
Efecto
directo
Deben observarse los criterios de rentabilidad y el principio de la mínima intervención para la
identificación de los límites del sistema.
Paso 2:
Concertación de objetivos y procedimientos para un monitoreo basado en
resultados
En el segundo paso se aclaran los intereses y las expectativas de las partes interesadas con
respecto a un monitoreo basado en resultados. Las preguntas más importantes son:
-
¿Cuáles son los intereses y las expectativas que las partes interesadas relacionan con
un sistema de monitoreo basado en resultados?
-
¿Qué informaciones necesita cada quién para a) la conducción del proyecto o
programa, y b) una rendición de cuentas?
-
¿Cuáles recursos financieros, de tiempo y de personal están a disposición para el
monitoreo?
-
¿Existen ya en otro lugar enfoques para el monitoreo basado en resultados que
puedan ser aprovechados?
El procedimiento queda determinado en gran parte por las respuestas a estas
interrogantes.
Paso 3:
Concertación de hipótesis de resultados
¿En qué áreas se espera obtener resultados del proyecto o programa, o en cuáles podrían
aparecer resultados no planeados? La mejor manera de responder a estas preguntas es
recurriendo a las hipótesis de resultados.
17
Las hipótesis de resultados se basan en la experiencia, así como algunas veces en
supuestos con respaldo científico acerca de la relación entre la intervención y el resultado.
Juegan un papel preponderante tanto en la planificación y ejecución como en el monitoreo
basado en resultados.
-
Aún antes de comenzar la planificación técnica en sí – por ejemplo durante las
negociaciones políticas previas - se plantean supuestos sobre cuáles intervenciones
podrían producir cambios. Este tipo de supuestos constituyen el punto de partida de la
planificación.
-
En vista de que las hipótesis de resultados permiten plantear supuestos con respecto
a las relaciones causales, son aptas para la formulación de indicadores referentes al
logro de objetivos.
-
Las hipótesis de resultados pueden emplearse durante la planificación para determinar
los procedimientos y el enfoque metodológico del proyecto o programa. De esta forma
pueden responder a la pregunta sobre la manera de alcanzar el objetivo fijado. Las
hipótesis de resultados se documentan en la concepción del proyecto o programa.
-
Las hipótesis de resultados se pueden formular de tal modo que no solamente
consignen los cambios positivos esperados, sino también prevean otros posibles
desarrollos. Por lo tanto, constituyen una ayuda para la gestión de contratos y de
cooperación durante el establecimiento de un monitoreo sistemático que vaya más allá
de la simple comparación entre lo esperado y la situación real. De esta forma, las
hipótesis de resultados suministran una base para la identificación y evaluación de los
riesgos.
-
Las hipótesis de resultados también permiten relacionar en forma plausible los
cambios constatados en el entorno con las actividades y los productos del proyecto o
programa.
Ejemplo para la identificación de hipótesis de resultados en el proyecto “Aumento de la
competitividad en la producción hortofrutícola”.
En la oferta de ejecución del proyecto o programa se describe la siguiente cadena de resultados:
Insumos
Expertos
Recursos financieros
Actividades
Asesoramiento a instituciones del sector estatales y no estatales y de proveedores de
servicios
Establecimiento de una línea de crédito en el Banco Agrícola
Asesoramiento a los ministerios del sector con respecto al marco legislativo y sus
condiciones
Productos
Mejores ofertas de extensión y asesoramiento para agricultores y organizaciones de
comercialización
Disponibilidad de créditos específicos para el sector agrario
Procedimientos para la certificación y el control de calidad
Viveros en funcionamiento
Aprovechamiento de productos
Los agricultores y las organizaciones de comercialización mejoran la gestión y aplican
nuevos procedimientos
Los agricultores invierten en nuevas especies y variedades, y en infraestructura
Los agricultores y los comercializadores hacen uso de los procedimientos de certificación
18
Efecto directo/ objetivo general
Aumento de la competitividad en la producción hortofrutícola
La cadena de resultados arriba señalada representa la hipótesis “mayor” de resultados del proyecto o
programa. Ésta se basa a su vez en una serie de hipótesis “menores”, como por ejemplo:
Las ofertas de asesoramiento son aprovechadas realmente por las instituciones y los grupos
a los cuales se dirigen.
A través del asesoramiento de las instituciones intermediarias se produce una mejora real
de las ofertas de extensión y asesoramiento para el grupo meta.
Los créditos disponibles son realmente aprovechados por los agricultores y los
comercializadores, y además utilizados también para inversiones en la producción hortofruticola.
Las inversiones en la producción hortofrutícola conducen a una mayor productividad.
La certificación es efectivamente un método adecuado para convencer a los compradores
con respecto a la calidad de los productos.
En la creación de un sistema de monitoreo basado en resultados, las hipótesis de resultados
implícitas en la estrategia de intervención deben hacerse explícitas, es decir, transparentes. De esta
forma se aclaran las áreas de resultados de corto y largo plazo del proyecto o programa.
Las condiciones económicas generales del país, así como también las fluctuaciones del tipo de
cambio o las restricciones a las exportaciones en otros lugares, pueden tener consecuencias
positivas o negativas sobre el proyecto o programa, y deben ser tomadas en consideración en las
hipótesis de resultados.
En un típico proyecto o programa de CT no es ni factible ni necesario registrar todos los
cambios y controlar su posible relación con dicho proyecto o programa. Es suficiente
concentrar el monitoreo en las áreas de resultados más importantes. Al principio, debe
comenzarse con una o unas pocas áreas seleccionadas, para luego ampliar el
procedimiento de monitoreo paso a paso y sobre la base de experiencias concretas.
Paso 4:
Control de indicadores y fijación de hitos
Es necesario contar con indicadores del objetivo para poder reconocer si el proyecto o
programa ha logrado hacer realidad los cambios deseados. Los indicadores más
importantes se fijan generalmente ya durante la planificación. Ahora es necesario
verificarlos, y eventualmente precisarlos o complementarlos. Es además indispensable
definir los llamados “hitos”, mediante los cuales se puede comprobar la aproximación paso a
paso al objetivo fijado. Las preguntas clave a plantear con respecto a los indicadores y los
hitos son:
-
¿Para quién(es) debe producirse algún cambio?
-
¿En qué medida debe producirse algún cambio?
-
¿Para cuándo debe producirse algún cambio?
19
Ejemplo para el control de indicadores y la fijación de hitos
En la oferta de ejecución para el proyecto “Aumento de la competitividad en la producción hortofrutícola” se formularon los siguientes indicadores:
Aumento porcentual promedio de los ingresos por ventas
Disminución porcentual promedio de los costos de producción
Disminución de la cifra de los casos de quiebra
Aumento porcentual del volumen de exportaciones hortofrutícolas
Al iniciarse el proyecto (o programa) no será posible llegar a conclusiones con respecto a estos
indicadores. En cambio, sí es factible definir hitos que señalen si el proyecto está bien encaminado, o
sea, dentro del llamado “corredor del objetivo”. Las hipótesis de resultados y las áreas de resultados
ya definidas asisten en este propósito. Dependiendo del momento, los hitos pueden referirse a la
transición de actividades a productos, al aprovechamiento de los productos, o a otros factores que
jueguen un papel en ello. Esto puede abarcar, por ejemplo, la utilización de los servicios de extensión
o asesoramiento por parte de los agricultores y las organizaciones de comercialización, la toma de
créditos o el modo en que se usan los créditos.
Si se deduce del monitoreo que los agricultores no toman créditos y que el capital propio es limitado,
no debe suponerse que la producción agrícola aumentará debido a inversiones adicionales. Éste es el
momento de corregir el curso, a fin de que el proyecto siga bien encaminado.
Los indicadores son escalas de medición, que permiten comprobar si se han producido o no
los cambios. Proporcionan información significativa y comparable sobre dichos cambios. Por
regla general son necesarios varios indicadores – cuantitativos y cualitativos – cuando se
trata de obtener suficiente información en circunstancias complejas. Debe diferenciarse
entre el indicador y los valores de su escala de medición. Por ejemplo, es posible medir el
estado físico de una persona sobre la base de su rendimiento en salto alto. Sin embargo, el
indicador deberá tener otros valores de medición en el caso de niños (altura del salto en
centímetros) que en el caso de adultos en buen estado físico. Esto significa que si bien el
indicador indica “qué” se mide, el valor se refiere a “cuánto”.8
Para interpretar los indicadores del objetivo es necesario contar con valores de referencia.
Éstos señalan cuándo se puede considerar que se ha alcanzado un resultado satisfactorio
en el proyecto o programa. En lo posible deben poner en evidencia no sólo los cambios
relativos, sino también el valor absoluto. Los valores de referencia pueden ser:
8
-
Valores iniciales o de base
-
Tendencias del desarrollo
-
Valores procedentes de una situación comparable
-
Una calidad definida
La naturaleza de los indicadores y su manejo se describen en forma detallada en: Directives for the
Preparation of AURA Offers (Pautas para la Preparación de Ofertas AURA), GTZ, 2003.
20
Aun en el caso de que no exista un llamado “estudio de base” (“baseline study”) real, es
indispensable intentar adquirir una visión de la situación inicial que pueda ser comparada
con los cambios observados. En el caso de indicadores que describen una calidad
específica o el logro de un estado o situación, no siempre es sencillo distinguirlos de un
objetivo, un resultado o una actividad. El indicador debe informar sobre los parámetros que
sirven para el monitoreo, y no generar por sí mismo tales interrogantes. Por regla general,
no es posible describir todos los aspectos de los cambios proyectados a través de un solo
indicador. En estos casos es recomendable el uso de varios indicadores (cuantitativos y
cualitativos).
Tanto los intermediarios como los grupos meta deben participar en el desarrollo de los
indicadores ya que - como destinatarios de los productos o servicios - se encuentran en la
posición de poder identificar a menudo con más precisión en qué se pueden reconocer los
cambios previstos.
El monitoreo basado en resultados incluye el control de los indicadores y – en caso
necesario – su perfeccionamiento. Sin embargo, antes de definir nuevos indicadores los
planificadores deben comprobar si los sistemas de monitoreo de las instituciones
contraparte ya disponen de indicadores mediante los cuales sería posible el registro de los
cambios deseados.
Paso 5:
Implementación de una recopilación de datos
La metodología de recopilación de datos de un proyecto o programa depende
considerablemente de las exigencias en cuanto a dimensiones y calidad de las
informaciones a suministrar. Además, esta metodología queda determinada por los recursos
financieros, de tiempo y de personal que estén a disposición del proyecto o programa para
efectos del monitoreo.
Al tomar una decisión sobre el método de recopilación de datos, deben sopesarse tanto los
costos como los beneficios. Las discusiones en grupo, el monitoreo participativo, la
investigación de acciones, los diagnósticos rurales participativos (participatory rural
assessments) y otros métodos cualitativos similares suministran informaciones provenientes
21
de una perspectiva subjetiva que muchas veces resultan de mayor valor que los datos
estadísticos puramente numéricos.9
Las preguntas relativas a la recopilación de datos conciernen al “cómo” del proyecto o
programa. Las interrogantes principales son:
-
¿Cuáles datos son necesarios para los indicadores fijados por el comitente?
-
¿Cuál es el grado deseado de exactitud, confiabilidad y representatividad de la
información?
-
¿Qué recursos financieros, de tiempo y de personal están a disposición para la
recopilación?
-
¿Dónde es posible encontrar informaciones ya existentes que puedan ser utilizadas?
-
¿Con qué frecuencia deben recopilarse los datos?
-
¿Debe emplearse personal propio o externo?
La decisión respecto a qué personas o grupos a encuestar constituye un parámetro
importante en el método. A este respecto debe considerarse que los colaboradores más
cercanos al proyecto o programa están a menudo bien informados sobre temas tales
como procedimientos, estructuras, historia y procesos del mismo. Sin embargo, esto no
implica que dispongan necesariamente de los mejores datos en cuanto a resultados. En
cambio, los grupos meta sí están bien informados al respecto, y a ellos habrá que
consultar cada vez que se trate de interrogantes sobre los resultados. Por otro lado, el
proyecto o programa siempre debe incluir en sus actividades de monitoreo a los posibles
beneficiarios indirectos o partes interesadas. En una encuesta dirigida a estos grupos de
personas, no resulta muy ventajoso iniciar la entrevista con preguntas sobre el proyecto o
programa. Cuando en primera instancia se pregunta sólo sobre los cambios percibidos en
términos generales, se reciben respuestas más fidedignas. Es necesario dar libertad a los
entrevistados para que describan sus propias contribuciones y las de los demás.10 Recién
en el momento en que la entrevista se centra en los productos del proyecto o programa,
es apropiado incidir en mayor detalle sobre las relaciones causales con la ayuda de las
siguientes preguntas:
9
-
¿Cómo se evalúan los productos?
-
¿Quién aprovecha estos productos, cómo, cuándo y con qué fin?
Mediante e-VAL, procedimiento para la evaluación de datos con apoyo informático utilizado por la
GTZ desde 2003, es posible recoger enunciados cualitativos y evaluarlos en forma cuantitativa.
10
Un ejemplo detallado para esta forma de encuesta se encuentra en: GTZ/ Worldbank, A Beneficiary
Assessment of AGETIP (GTZ/Banco Mundial, Evaluación de los Beneficiarios de AGETIP), 1996.
22
-
¿Se puede decir que los productos del proyecto o programa – o su
aprovechamiento por terceros – generan un efecto directo?
-
¿Existen otros resultados (quizás negativos) además del directo?
Las respuestas formuladas por las contrapartes, los intermediarios y los grupos meta a
estas preguntas (que aún hace falta formular de modo más concreto en el contexto
respectivo) son sumamente importantes para evaluar si el proyecto o programa sigue el
rumbo del objectivo.
Paso 6:
Aprovechamiento de los conclusiones del monitoreo
El contar con datos actualizados y fidedignos de monitoreo es imprescindible para todos los
proyectos y programas de desarrollo. Pero esto no es suficiente en absoluto. El efecto de los
ingentes esfuerzos invertidos en la recolección de datos recién se hace sentir con el
aprovechamiento de los conclusiones del monitoreo. Lo decisivo es lograr obtener
información significativa a partir de estos datos en bruto, que pueda servir - por un lado para afinar la conducción del proyecto o programa, y por otro para rendir cuentas frente a los
comitentes y la opinión pública.
Lamentablemente es un error muy difundido el creer que las tareas de monitoreo
se
arreglan con el procesamiento en forma de gráficos y la divulgación de los datos. Tanto los
gráficos como los cuadros representan una ayuda, pero el paso clave para el
aprovechamiento está en la interpretación de los datos. Los actores directamente
involucrados en el proyecto o programa son los más adecuados para hacerlo, pues conocen
el contexto y son capaces de interpretar los datos en bruto que de lo contrario resultan
estériles. Generalmente es posible deducir, basándose en documentos, si el número de
egresados del proyecto de formación profesional se encuentra dentro de los parámetros
planificados. Pero es necesario conocer exactamente el contexto o entorno para determinar
si el proyecto realmente alcanza su objetivo con respecto a la integración profesional de los
jóvenes. El monitoreo basado en resultados posibilita este tipo de conclusiones y es por
consiguiente un instrumento eficaz para la gestión de contratos y de cooperación.
Las tareas externas del monitoreo se extienden al apoyo de la obligatoria rendición de
cuentas frente a los comitentes y la opinión pública, la gestión de conocimientos en la
empresa y el mercadeo del proyecto o programa. El monitoreo pone a disposición
informaciones actuales y fidedignas para informes, talleres, discusiones focales con grupos
de usuarios, ponencias, boletines informativos, páginas web, etc., todos ellos herramientas
que asisten en las tareas antes mencionadas. El procesamiento de la información, su forma
y su frecuencia dependen en primera línea de las necesidades de los usuarios. La
23
experiencia demuestra que la capacidad de comunicación de informes extensos es
reducida: al dirigirse a lectores externos, más vale pecar por escuetos que por demasiado
detallados. En el marco para la gestión de contratos y de cooperación de la política de
desarrollo (AURA), se solicita incluso explícitamente la limitación a lo esencial. Junto con la
habitual descripción breve, los informes de la GTZ dirigidos a su principal comitente, el BMZ,
deben incluir sólo los siguientes tres puntos:
-
Situación actual del proyecto o programa:
Estado del logro del objetivo, cambios importantes en el proyecto o programa, en su
entorno y en las condiciones generales, así como los resultados comprobados.
-
Modificaciones en la evaluación de riesgos.
-
Recomendaciones de medidas a tomar. 11
Un monitoreo basado en resultados llegará a conclusiones que los mecanismos de gestión
de conocimientos de la GTZ deberán poner a disposición de la totalidad de la empresa. Por
otro lado, el sistema de monitoreo debe establecer cuáles son las “lecciones a ser
aprendidas” (“lessons to be learned”) y transmitirlas en forma clara y oportuna, de modo que
se haga más probable su transformación en “lecciones aprendidas” (“lessons learned”).
El aprovechamiento de los conclusiones del monitoreo es el paso decisivo hacia el logro de
los beneficios del proyecto o programa. Una vez dado este paso, comienzan a hacerse
sentir los beneficios del propio monitoreo basado en resultados.
11
Véase las Pautas de la GTZ para la Preparación de Informes al BMZ.
24
Bibliografía
Todas las publicaciones se encuentran en: http://intranet.gtz.de/wirkungsorientierung
a)
Publicaciones de la GTZ en torno al tema
GTZ
GTZ Policy on Contract and Cooperation Management (Política de la
GTZ para la Gestión de Contratos y de Cooperación), agosto de 2003
GTZ/BMZ
Directives for the Preparation of AURA Offers (Pautas para la
Preparación de Ofertas AURA), setiembre de 2003
GTZ
Directives for the Preparation of TC Projects and Programmes (Pautas
para la Preparación de Proyectos o Programas de CT), abril de 2004
GTZ
Directives for the Preparation of GTZ Progress Reports to BMZ (Pautas
de la GTZ para la Preparación de Informes al BMZ) (en preparación)
b)
Textos citados
GTZ
Establishing Plausibility in Impact Assessment, 2001
GTZ/Banco Mundial
A Beneficiary Assessment of AGETIP, Washington, 1996
Paul G.H. Ángel
The social organization of innovation. A focus on stakeholder interaction.
Royal Tropical Institute, Amsterdam, 1997
K. Herweg, K. Steiner
Impact Monitoring & Asessment, Tomos 1 y 2, Berna, 2002.
A. Lobb-Rabe
Impact Assessment with a Poverty Focus in Policy Advisory Projects:
Concepts, Questions and Cases, GTZ 2000
P. Müller-Glodde (editor)
Orientierungsrahmen für das Wirkungsmonitoring in Projekten der Wirtschafts- und Beschäftigungsförderung unter besonderer Berücksichtigung armutsmindernder Wirkungen, Partes I y II, GTZ, 2000
OCDE-CAD
Glossary of Key Terms in Evaluation and Results Based
Management (Glosario de los Principales Términos sobre
Evaluación y Gestión basada en Resultados). 2002.
c)
Otros textos de interés
A. Binnendijk
Results Based Management in the Development Cooperation Agencies,
DAC Working Party on Aid Evaluation, París, 2001
Deutsche Gesellschaft für Standards für Evaluation, Colonia, 2002
Evaluation
Comisión Europea
Guidelines for the Use of Indicators in Country Performance Assessment, Bruselas, 2003
T. Lehtinen
Measuring the Performance of EC Development Cooperation, DFID,
Londres, 2002
Banco Mundial
Assessing Aid: What Works, What Doesn’t, and Why, Oxford University
Press, 1998
25