Informe Final de Consultoría

Informe Final de Consultoría
“Propuesta de diseño e implementación de un Sistema de
Seguimiento, Evaluación y Aprendizaje”
Proyecto “Modelos Innovadores
de Intervención para el Sector Cafetero (CL-L1009)”
Banco Interamericano de Desarrollo (BID)
Consultor: Eduardo Zegarra Méndez
Octubre del 2005
1
Contenido del Informe
Introducción........................................................................................................................ 3
Sección 1. Los elementos del proyecto ........................................................................... 4
Sección 2. Los objetivos del proyecto y las implicancias para el seguimiento,
la evaluación y el aprendizaje ........................................................................................... 8
Sección 3: El Sistema de Seguimiento, Evaluación y Aprendizaje (SSEA)................. 11
Sección 4: Métodos, instrumentos e indicadores para cada uno de los subsistemas ............................................................................................................................ 15
4.1. El sub-sistema 1 .................................................................................... 15
4.2. El sub-sistema 2 .................................................................................... 18
4.2.1. La metodología para medir impactos................................................. 19
4.2.2. Criterios para la Línea de Base ......................................................... 21
4.3. El sub-sistema 3 .................................................................................... 24
Sección 5. Plan de Implantación del SSEA .................................................................... 27
Sección 6: Lineamientos para la evaluación ex post del proyecto.............................. 31
Anexo Nº 1: Determinación de Tamaño Muestral para Grupo de Control en
Encuesta de Línea de Base ............................................................................................. 34
Anexo Nº 2: Términos de Referencia para el Estudio de Línea de Base para
Proyecto “Modelos de Intervención para el Sector Cafetero” ..................................... 37
Anexo Nº 3 : El cálculo del cambio en productividad total de los factores ................ 41
Anexo Nº 4: Temas específicos que pueden ser materia de Estudios en el Subsistema de Aprendizaje.................................................................................................... 43
Anexo N° 5: Perfil del Especialista responsable del SSEA........................................... 44
2
Introducción
El presente informe presenta la propuesta final del consultor para el diseño e
implementación de un Sistema de Seguimiento, Evaluación y Aprendizaje
(SSEA) del proyecto “Modelos de Intervención para el Sector Cafetero”
actualmente en proceso de formulación por parte del Banco Interamericano de
Desarrollo (BID) y la Federación Nacional de Cafeteros (FNC) de Colombia.
La propuesta se basa en el Informe Inicial y los comentarios y observaciones
planteados por el Banco y la contraparte a dicho informe.
Las actividades desarrolladas por el Consultor para la realización de este
Informe Final han sido las siguientes:
(i)
(ii)
(iii)
(iv)
(v)
(vi)
(vii)
(viii)
(ix)
(x)
Revisión de documentos sobre la evolución y situación actual del
sector cafetero colombiano;
Revisión de documentos sobre experiencias previas de intervención
en los mercados de factores del sector cafetero colombiano;
Participación en misión del BID para discutir el Marco Lógico y otros
aspectos conceptuales y operativos del proyecto;
Revisión de literatura sobre evaluación de proyectos de desarrollo
rural;
Interacción con el coordinador del proyecto y los demás consultores
sobre temas relevantes para el diseño inicial del proyecto.
Presentación de un Informe Inicial de consultoría, donde se planteó
la estructura básica del SSEA y se describieron sus componentes e
indicadores básicos;
Preparación de primera versión del Informe Final;
Participación en una segunda misión del BID donde se realizaron
ajustes a la primera versión del Informe Final;
Interacción con el coordinador del proyecto y demás consultores para
la preparación de la versión definitiva del Informe Final
Preparación del Informe Final
De acuerdo a los Términos de Referencia (TdR) para el trabajo del Consultor,
el objetivo central de esta consultoría es “diseñar e implantar un Sistema de
Seguimiento y Evaluación del Programa que permita:
•
Evaluar los impactos económicos y sociales del programa en la
población beneficiaria y en la caficultura colombiana;
3
•
•
•
Tener seguimiento periódico de la calidad y cantidad de los instrumentos
de acceso y movilización de recursos por parte de los beneficiarios;
Identificar eventos críticos del programa para decidir sobre ajustes
necesarios y eventualmente sobre continuidad de ciertos atributos del
proyecto;
Generar procesos de aprendizaje y retroalimentación útiles para evaluar
la replicabilidad del programa para toda la caficultura colombiana.
El documento está dividido en seis secciones y varios anexos. En la primera
sección describimos las características básicas del proyecto, especialmente
sus objetivos y componentes operativos. En la segunda sección planteamos
las implicancias básicas del proyecto respecto al diseño de un Sistema de
Seguimiento, Evaluación y Aprendizaje apropiado a sus fines. La tercera
sección presenta la propuesta de diseño del Sistema de Seguimiento,
Evaluación y Aprendizaje (SSEA) para el proyecto. La cuarta sección describe
los métodos, instrumentos e indicadores a usarse para cada uno de los
componentes del Sistema propuesto. La quinta sección los elementos del Plan
de Implementación del SSEA, así como los recursos humanos, físicos y
financieros requeridos tanto para la operación del SSEA. Finalmente, la sexta
sección describe los lineamientos para la evaluación ex post del proyecto.
Sección 1. Los elementos del proyecto
El proyecto busca enfrentar problemas centrales de la caficultura colombiana
por el lado productivo y organizacional, a saber, alta fragmentación de la
propiedad, bajo nivel educativo y envejecimiento de los productores; precario
acceso a crédito de trabajo y capitalización; y dificultades para acceder y
adoptar nuevas tecnologías de producción y post-producción de café. Estos
problemas impiden una mayor competitividad de la caficultura colombiana en
un contexto de creciente competencia, diversificación de la demanda y una
tendencia a menores precios internacionales para líneas de cafés tradicionales.
El proyecto busca resolver estos problemas de forma integral a través de la
introducción y puesta en prueba de nuevos modelos de gestión productiva,
financiera y comercial, sobre la base de unidades conformadas por productores
jóvenes asociados empresarialmente y con la institucionalidad cafetera
(Federación Nacional de Cafeteros) proveyendo bienes y servicios públicos
claves para resolver fallas de mercado de tierras, crédito y tecnología.
4
El esquema de intervención se sustenta en la operación de tres elementos
básicos:
•
Unidades Empresariales Cafeteras (UCAEs);
•
Empresa Incubadora (EI);
•
Unidades Especiales de Acompañamiento (UEAs).
Las UCAEs son las empresas que se formarían con jóvenes agricultores
seleccionados por el proyecto y accediendo a tierras y recursos financieros
obtenidos por el proyecto; la Empresa Incubadora es la empresa tenedora de
los activos iniciales de las UCAEs (empresa holding) y estará a cargo de
obtener y canalizar recursos financieros del sistema crediticio privado y público
para la conformación y operación de las UCAEs; y las Unidades Especiales
de Acompañamiento jugarán el rol de provisión de bienes públicos de
asistencia técnica y seguimiento productivo, gerencial y social de las UCAEs.
El proyecto tendrá una institucionalidad central a cargo de la Federación
Nacional de Cafeteros (FNC) que es la encargada de definir y poner en práctica
las reglas del juego y asignar los recursos del proyecto. Esta institucionalidad
central está conformada por un Comité Directivo y por una Unidad de
Coordinación del proyecto.
La institucionalidad central interactúa con las Unidades Especiales de
Acompañamiento y la Empresa Incubadora para el desarrollo del proyecto.
Algunas de las reglas básicas definidas en este nivel son el tamaño de la
intervención; las condiciones y normas para la selección de los participantes;
las características de las tierras a ser compradas y asignadas; los paquetes
tecnológicos y modelos empresariales disponibles para el proyecto; las
condiciones financieras negociadas por la Empresa Incubadora, entre otros.
El esquema de intervención puede ser descrito con mayor precisión en el
Diagrama Nº 1, donde se presentan las relaciones entre los elementos básicos
del proyecto y la institucionalidad central de la FNC, en un contexto de
mercados e instituciones vigentes. Las líneas representan relaciones e
interacciones entre los diversos elementos. El actor central de la intervención
es la UCAE, que es la nueva organización empresarial formada por
beneficiarios seleccionados de acuerdo a criterios establecidos.
Las UCAEs se conforman sobre la base de tierras adquiridas por el proyecto, y
con un menú de alternativas tecnológicas y de organización empresarial
5
disponibles en el sistema tecnológico y la legislación colombianas,
respectivamente. Los lineamientos para estos procesos de selección son
definidos al nivel central, pero son implementados a nivel de los comités
departamentales en interacción con los propios beneficiarios, buscando que
éstos se sientan realmente dueños de las empresas que están formando y
manejando.
Un objetivo importante del proyecto es que los jóvenes
participantes adquieran totalmente la propiedad de las tierras al cabo de unos
10 años.
Cabe señalar que también influyen en la conformación de las UCAEs las
acciones de la Empresa Incubadora, que es la que debe generar acceso al
sistema financiero reduciendo costos de transacción y negociación de contratos
de préstamo para la formación y el funcionamiento de las empresas. La
Empresa Incubadora recibe lineamientos de las instancias superiores del
proyecto y aprovecha el aval, prestigio y capacidad de movilizar recursos
financieros de la FNC.
Finalmente, las UCAEs interaccionan con los mercados locales de factores y
productos, así como con las condiciones ecológicas, culturales e institucionales
para generar procesos de valor que benefician a los participantes, su entorno y
al conjunto de la economía colombiana.
6
Diagrama Nº 1: Elementos Básicos del Proyecto
Instancias
superiores,
FNC, Comité
Directivo
Sistema Financiero
Unidad de
Coordinación
Incubadora
Sistema de
Monitoreo,
Evaluación y
Aprendizaje
Condiciones
ecológicas,
culturales e
institucionales
Comités Regionales,
Unidades Especiales
de Acompañamiento
Mercado de Tierras
selección
UCAE
Jóvenes Caficultores
selección
Alternativas tecnológicas
selección
Mercados de
insumos y
productos
Modelos Empresariales
selección
7
Sección 2. Los objetivos del proyecto y las implicancias
para el seguimiento, la evaluación y el aprendizaje
El proyecto tiene como un objetivo importante el poder validar, evaluar y aprender
de distintos modelos de intervención en el sector cafetero colombiano. En el
documento conceptual del proyecto (punto 2.24) se plantea como uno de los ejes
de la estrategia del proyecto:
“iii) introducir nuevos modelos de intervención en las fincas cafeteras que
resuelva las restricciones de acceso y la adopción tecnológica, y que
permita generar aprendizajes “ (Pág. 6, subrayado nuestro)
Igualmente, el documento conceptual describe con cierto detalle la importancia
para el proyecto del esquema de seguimiento y evaluación en el punto 2.30:
“Debido a que aún no se posee un pleno conocimiento de los mejores
atributos de los modelos de intervención, se plantea introducir un modelo
de intervención base, el cual estará sujeto a variaciones de algunos de sus
atributos. El proyecto validará el modelo base, así como sus variantes
identificadas durante la preparación del proyecto, y generará nuevas
modificaciones y ajustes durante su ejecución a través de un sistema de
evaluación y seguimiento. El proyecto podrá ser expandido posteriormente
a mayor escala según los resultados alcanzados” (Pág. 7. subrayado
nuestro)
Es decir, el sistema de seguimiento y evaluación también debe permitir hacer
ajustes y modificaciones durante el proyecto de tal forma que se logren los
objetivos propuestos. Esto implica que el responsable del SSEA deberá tener
dentro de sus atribuciones, la posibilidad de proponer ajustes y modificaciones a
elementos operativos del proyecto al coordinador general.
De otro lado, el esquema de evaluación y seguimiento deberá tener presente los
tres principales resultados esperados del proyecto de acuerdo al Marco Lógico, a
saber:
•
•
Aumento en la productividad total de los factores de producción en la
caficultura colombiana;
Inicio autónomo de la réplica de los modelos de intervención por parte de
los Comités Departamentales de Cafeteros; y
8
•
El Valor Presente Neto Financiero ex post de los modelos de negocio
implementados por los jóvenes asociados en nuevas empresas será
significativamente superior con respecto a los testigos;
A esto debe agregársele el resultado de mejorar explícitamente el nivel de vida de
los jóvenes beneficiarios, que es un objetivo implícito del proyecto.
Adicionalmente, el SSEA deberá generar información sobre indicadores de
factores de riesgo que amenazan al proyecto, así como de algunos indicadores
de impacto ambiental asociados al proyecto.
De este conjunto de elementos se desprenden tres roles centrales para el
sistema de seguimiento, evaluación y aprendizaje del proyecto:
a) Darle seguimiento a indicadores críticos para el desempeño del proyecto
identificando eventos críticos e indicadores de riesgo que permitan generar
alertas tempranas para hacer ajustes y modificaciones que mejoren el
desempeño del proyecto;
b) Medir indicadores de impacto económico, social y ambiental del proyecto
en el tiempo con respecto a la situación “sin proyecto”, de tal forma que
éste sea un proyecto “evaluable” objetivamente en términos de impactos
con respecto a grupos de control o testigos;
c) Generar un esquema integral de evaluación y aprendizaje sobre los
diversos modelos de intervención y sus atributos, así como sobre los
factores causales que expliquen diferencias en resultados, tanto a nivel
relativo o interno (entre modelos) como absoluto o externo (entre el
proyecto y grupos de control o testigos).
En cada uno de estos tres objetivos hemos marcado las palabras clave: (i)
seguimiento, (ii) medición de impactos, (iii) evaluación y aprendizaje. Estos tres
conceptos son cruciales y conforman la base del Sistema que proponemos para
este proyecto y que se describe en la siguiente sección.
Es muy importante reconocer que estos tres objetivos tienen lógicas, unidades de
análisis y procedimientos específicos, los cuales permiten distinguirlos y
articularlos como parte de un sistema mayor. La particularidad del objetivo de
seguimiento es que debe estar orientado a capturar información más periódica y
de valor crítico para el desempeño del proyecto, los cuales se centran en flujos
9
generados por unidades básicas como UCAEs, Empresa Incubadora o Unidades
Especiales de Seguimeinto.
La medición de indicadores de impacto, por su parte, se basa en métodos
estadísticos específicos para la conformación de grupos testigos o de control, y
esta medición debe hacerse en periodos específicos y discretos en la vida del
proyecto.
Finalmente, la evaluación y aprendizaje requiere la introducción de modelos
interpretativos e hipótesis para establecer relaciones causales entre variables
exógenas al proyecto y variables bajo el control del proyecto.
10
Sección 3: El Sistema de Seguimiento, Evaluación y
Aprendizaje (SSEA)
Como se mencionó en la sección anterior, el SSEA estará compuestos por tres
sub-sistemas básicos:
•
Sub-sistema 1: seguimiento de procesos y eventos críticos del proyecto;
•
Sub-sistema 2: medición de indicadores de impacto del proyecto;
•
Sub-sistema 3: evaluación y aprendizaje sobre modelos de intervención.
Cada uno de estos sub-sistemas tiene procedimientos, métodos y unidades de
análisis específicas. Las unidades de análisis básica de cada sub-sistema se
describen a continuación:
Sub-sistema
Unidades de Análisis
1. Seguimieto de procesos y
eventos críticos
UCAEs, Incubadora, Unidades
de Acompañamiento.
2. Medición de Impactos
Hogares de jóvenes, Fincas
3. Evaluación y Aprendizaje
Modelos de Intervención
En el Diagrama Nº 2 se presenta el esquema general del SSEA, con sus
componentes y relaciones en el contexto del proyecto. Como se puede ver, los
dos primeros sub-sistemas generan datos e información que debe ser utilizada
por otros componentes. El sub-sistema 1, por ejemplo, genera información de
seguimiento sobre procesos y eventos críticos para el proyecto. Esta información
deberá ser usada por la instancia de gestión del proyecto para ajustes y
modificaciones para el mejor desempeño del proyecto. Igualmente, parte de la
información generada en este sub-sistema es útil para el sub-sistema 3,
encargado del proceso de evaluación y aprendizaje y de todas las evaluaciones
del
proyecto.
11
Diagrama Nº 2: Esquema General del Sistema de Seguimiento,
Evaluación y Aprendizaje (SSEA)
Seguimiento a
Unidades de
Acompañamiento,
UCAEs e
Incubadora
Gestión del
Proyecto, FNC,
Comités
Seguimiento de
Procesos y
Eventos
Críticos
Evaluación y
Aprendizaje
Evaluación Intermedia del
Proyecto;
Estudios en Profundidad;
Evaluación Final del Proyecto;
Evaluación Ex post del
Proyecto.
Medición de
Indicadores de
Impacto
ELB, EEI, EEF a
Grupo Intervenido
y de Control;
Fincas y Jóvenes
Otras Fuentes de
Información: encuestas de
hogares, estudios, grupos
focales, entrevistas
Factibilidad
de II Fase
II Fase del
Proyecto
12
El sub-sistema 2, por su parte, también genera información a ser utilizada por
el sub-sistema 3, específicamente sobre impactos diferenciados para cada
modelo de intervención, y entre el proyecto y grupos testigos, especialmente
luego de que se realice la Encuesta de Evaluación Final. Esta información
permite evaluar los impactos relativos de los diversos modelos de intervención
puesto en marcha por el proyecto, y al mismo tiempo el impacto absoluto del
proyecto al comparar valores de los indicadores con diversos grupos de control.
Adicionalmente, el sub-sistema 2 genera información útil para una posible
evaluación de factibilidad de una segunda fase del proyecto. El tipo de
información de impactos que genera este sub-sistema permite establecer
beneficios económicos, sociales y ambientales versus potenciales costos de la
intervención, y como tal, son una parte importante de un estudio de factibilidad
para un escalamiento mayor del proyecto dentro de la política agraria y cafetera
colombiana.
Finalmente, el sub-sistema 3 es el más complejo, ya que no sólo toma
información de los otros dos sub-sistemas, sino que, además, debe obtener
información cualitativa y cualitativa de otras fuentes, con la finalidad de generar
explicaciones causales sobre los resultados e impactos diferenciados
observados.
El sub-sistema 3 generará información de utilidad para: (i) FNC y gestión de
proyecto, en la forma de aprendizajes diversos sobre los modelos de
intervención; (ii) tomar decisiones sobre posibles ajustes a los atributos de los
modelos de intervención; (iii) un posible estudio de factibilidad para el
escalamiento del proyecto en el futuro; (iv) la formulación e implementación de
una segunda fase del proyecto; y (v) la evaluación ex post del proyecto;
Para este sub-sistema es importante diferenciar dos tipos de evaluación y
aprendizaje: (i) evaluación y aprendizaje internos; (ii) evaluación y aprendizaje
externos. La evaluación y aprendizaje internos se basa en la comparación de
los diversos modelos de intervención (atributos) entre sí y también con respecto
a un punto inicial de las UCAEs, basado, por ejemplo, en los Planes de
Negocio preparados al inicio del proyecto. La evaluación interna no es
meramente experimental, si no también se usará para hacer ajustes a los
modelos de intervención bajo ciertas condiciones y en base al proceso de
aprendizaje interno del proyecto. Por su parte, la evaluación y aprendizaje
externos privilegia la comparación de los resultados del conjunto de la
intervención con respecto al desempeño de grupos de control o testigos.
13
Este sub-sistema tendrá la función de generar el conjunto de evaluaciones del
proyecto (intermedia y final) así como de la realización de estudios en
profundidad que permitan evaluar y ajustar los atributos de los modelos de
intervención así como para generar aprendizaje sobre los factores causales
detrás del éxito relativo (entre modelos) y absoluto (entre el proyecto y grupos
de control). Un elemento importante de este sub-sistema es que se plantea
que el Proyecto pueda ajustar los atributos de los modelos de intervención
luego de la realización de un estudio específico que evalúe el funcionamiento
del diseño experimental inicial y el éxito relativo de éstos en una etapa inicial.
Finalmente, este sub-sistema deberá generar la evaluación ex post del
proyecto, a ser implementado cuando el proyecto ya terminó. Los lineamientos
para esta evaluación ex post son presentados en la sección 6 del presente
informe.
14
Sección 4: Métodos, instrumentos e indicadores para
cada uno de los sub-sistemas
Cada sub-sistema tiene enfoques, instrumentos e indicadores específicos, los
cuales están relacionados a objetivos y unidades de análisis distintos también.
Estos se pasan a describir a continuación.
4.1. El sub-sistema 1
El sub-sistema 1, de seguimiento de procesos y eventos críticos del
proyecto tiene como objetivo generar información útil para la toma de
decisiones por parte de los encargados de la gestión del proyecto. En este
caso, se trata de identificar los procesos o flujos críticos entre las unidades
básicas del proyecto (críticos en el sentido que influyen en forma relevante en
la calidad y cantidad de “outputs” del proyecto), así como sobre la calidad de
los propios “inputs” que generan estas unidades en el contexto del proyecto.
Este sub-sistema de seguimiento deberá identificar, además, diversos eventos
críticos y riesgos para el proyecto, que generen alertas sobre posibles
problemas en la marcha del programa en cuanto al logro de sus metas y
objetivos. Estas alertas deben ayudar a tomar medidas correctivas a los
responsables del proyecto para el adecuado logro de sus metas y objetivos.
Por definición, los procesos y flujos que son materia de este sub-sistema deben
ser permanentes y medibles en periodos relativamente cortos (no más allá de
un semestre), y por tanto, pasibles de ser incorporados en un sistema de
información para la gestión del proyecto sobre la base de actividades
recurrentes de alguno de los elementos básicos. Las unidades de análisis para
este sub-sistema son aquéllas que tienen roles centrales en el proyecto:
(i)
(ii)
(iii)
UCAEs;
Unidades Especiales de Acompañamiento;
Empresa Incubadora;
Como se planteó en el Diagrama Nº 1, estas unidades generan flujos
permanentes de bienes y servicios, los cuales son materia del sub-sistema de
seguimiento de procesos y eventos críticos. Además, se plantea que este subsistema haga seguimiento a indicadores de riesgo del proyecto, relacionados
15
fundamentalmente con el contexto en el cual éste se desenvuelve. En el
siguiente Cuadro se identifican los indicadores críticos que deberían formar
parte de este sub-sistema:
1. Seguimiento de Unidades de Acompañamiento
Indicador
Periodicidad
Unidad acopiadora de datos
Unidades
de Acompañamiento,
Mensual
Número de concursos
Reporte Mensual
Unidades de Acompañamiento,
Mensual
Número de postulantes
Reporte Mensual
Unidades de Acompañamiento,
Mensual
Número de jóvenes participantes
Reporte Mensual
Número de UCAEs (por el
Unidades de Acompañamiento,
Mensual
proyecto y autónomas)
Reporte Mensual
Número Comités Departamentales
Trimestral
Unidad Coordinadota
participantes
Número de transacciones de
Trimestral
Unidades de Acompañamiento
fincas
Grado de satisfacción de UCAEs
Encuesta Especial del Sistema de
Semestral
respecto a unidades de
Evaluación
acompañamiento
2. Seguimiento de UCAEs
Indicador
Periodicidad
Unidad acopiadora de datos
Semestral
Entrada de nuevos socios
Unidades de Acompañamiento
Semestral
Contratos adoptados por UCAEs
Unidades de Acompañamiento
Superficie de café en producción
Unidades de Acompañamiento,
Trimestral
en las UCAEs
Software de gestión en UCAEs
Superficie de café instalada por
Unidades de Acompañamiento,
Trimestral
UCAEs
Software de gestión en UCAEs
Porcentaje de área con cafés
Unidades de Acompañamiento,
Trimestral
especiales
Software de gestión en UCAEs
Porcentaje de UCAEs que han
Unidades de Acompañamiento,
Trimestral
adoptado recomendaciones de
Software de gestión en UCAEs
CENICAFÉ
Unidades de Acompañamiento,
Trimestral
Producción de café en las UCAEs
Software de gestión en UCAEs
Uso de principales insumos para
Unidades de Acompañamiento,
Trimestral
producción de café en UCAEs
Software de gestión de UCAEs
Unidades de Acompañamiento,
Trimestral
Ventas de café de UCAEs
Software de gestión de UCAEs
Tasa de morosidad en pago de
Unidades de Acompañamiento,
Trimestral
crédito de UCAEs
Incubadora
Indicadores Financieros de
Sistema contable de UCAEs,
Semestral
UCAES
Software de gestión en UCAEs
3. Seguimiento de Empresa Incubadora
Indicador
Periodicidad
Unidad acopiadora de datos
Nivel de satisfacción de UCAEs
Encuesta
Especial del Sistema
Semestral
con Incubadora
Evaluación
Contratos generados por
Empresa Incubadora, reporte
Trimestral
Incubadora
trimestral
4. Indicadores de riesgo del proyecto
Mensual
Precio internacional del Café
SSEA
Eventos de violencia registrados
Mensual
SSEA
en las zonas de intervención
Precipitación promedio de lluvias
Mensual
SSEA
en las zonas de intervención
16
Como se puede ver, la idea básica de este sub-sistema es contar con
información continua para el seguimiento de procesos y eventos críticos que
ocurren tanto al interior como en la interacción de cada una de las tres
unidades básicas del proyecto, así como en el contexto en el que se
desenvuelve el proyecto .
Los datos deben ser generados con una
periodicidad mensual, trimestral o semestral de tal forma que puedan ser útiles
para evaluar el funcionamiento regular del proyecto con respecto a metas
establecidas por la gerencia con tiempos adecuados para poder tomar medidas
correctivas de existir problemas o atrasos en el cumplimiento de metas, por
ejemplo.
Con respecto a los instrumentos para el recojo de la información, se plantea el
uso de un software de gestión para empresas cafeteras ya diseñado e
implementado por la FNC1 y a instalarse de manera obligatoria en cada UCAE
conformada. Las Unidades de Acompañamiento manejarán la versión del
software para muchas fincas en el ámbito de su influencia. Además de este
instrumento, se utilizarán encuestas especiales sobre satisfacción de los
jóvenes y reportes de las unidade de acompañamiento y de la empresa
incubadora.
Cabe señalar que el software de gestión a instalarse en cada UCAE permite el
seguimiento de factores productivos que servirá como base para el esquema
de seguimiento de la productividad total de factores, que es uno de los
indicadores más importantes de desempeño del proyecto2. La metodología
para construir el indicador de productividad total de factores se explica en
mayor detalle en el Anexo N° 3.
Igualmente, el seguimiento de indicadores financieros servirá para otro
indicador importante de desempeño, que es el valor presente de las
explotaciones cafeteras. Este indicador requiere del conocimiento de los flujos
de caja de la actividad económica generados por las UCAEs en el lapso del
1
El software tiene el nombre de AgroWin, versiobn 1.4.y que viene siendo implementado por el
Programa de Administración de Fincas de la FNC desde el año 2001. Se recomienda para las
UCAEs el uso de la versión simplificada que viene siendo implementada en el Comité de
Caldas. Un requisito importante para que este sotware funcione es que las UCAEs tengan por
lo menos una PC con procesador Pentium I, por lo menos, y una impresora a colores.
Además, se requiere adaptar los módulos de costos para incluir la mano de obra familiar como
parte de las cantidades de factores usadas por la UCAE.
2
El indicador de productividad total de factores tendrá dos tipos de seguimiento. El primero se
basará en la información trimestral del sub-sistema de seguimiento, y sólo podrá medir la
evolución de este indicador al interior del proyecto. El segundo tipo de seguimiento se basa en
las Encuestas de Línea de Base y de Evaluación Final, donde si es posible comparar la
evolución de este indicador versus un grupo de control.
17
proyecto.
gestión.
Estos flujos también serán procesados mediante el software de
Asimismo, el sistema requiere de una Encuesta Especial del Sistema de
Evaluación de periodicidad semestral, orientada a tomar información sobre los
niveles de satisfacción de los asociados de las UCAEs con respecto a los
servicios de las Unidades Especiales de Acompañamiento, y también con
respecto a los servicios prestados por la Empresa Incubadora. Esta encuesta
deberá ser aplicada por la propia unidad central del SSEA en la medida que se
requiere evaluar la satisfacción respecto a UEAs y EI. Esta encuesta puede
basarse en la toma de una muestra representativa de no menos de 50 UCAEs.
Otro instrumento básico para la recolección de indicadores de este sub-sistema
son reportes mensuales o trimestrales estandarizados diligenciados por las
Unidades Especiales de Acompañamiento y por la Empresa Incubadora, y que
serían diseñados y procesados por la unidad encargada del SSEA. La unidad
responsable del SSEA deberá diseñar estos formatos y capacitar el personal
de las UEAs y de la EI para su correcto llenado y envío periódico al SSEA.
4.2. El sub-sistema 2
En segundo término, el sistema contará con un sub-sistema de medición de
los indicadores de impacto socio-económico y ambiental del proyecto,
orientado a generar información cuantitativa sobre indicadores importantes de
impacto o resultado del proyecto de acuerdo al marco lógico y necesidades de
evaluación económica y ambiental: (i) productividad parcial y total de factores;
(ii) valor presente neto de los negocios iniciados y (iii) nivel de bienestar de los
beneficiarios versus un grupo testigo.
La correcta medición de estos
indicadores es clave tanto como insumo para el sub-sistema de evaluación y
aprendizaje (ver más adelante) como para justificar la posible ampliación de la
escala de los modelos de intervención al resto de la caficultura colombiana de
tal forma que esto sea rentable para la economía como un proyecto de
inversión más amplio.
18
4.2.1. La metodología para medir impactos
Actualmente, se ha convertido en práctica común que toda intervención pública
tenga un esquema formal de evaluación de sus impactos en la población
beneficiaria. Esto permite que dichas intervenciones puedan ser miradas a la
luz de sus costos y beneficios para la sociedad y para sus beneficiarios
específicos. Si asumimos que un proyecto quiere impactar en una variable Y,
el esquema básico para realizar una evaluación de impacto sobre esta variable
se puede apreciar en el siguiente gráfico.
Y, variable de
impacto
Y2b
Variación de
variable de
(Y2b – Y1b)
impacto en grupo
beneficiario
Y1b
Y2c
Y1c
Inicio
Variación no
(Y2c – Y1c) atribuible a la
intervención
Final
En el gráfico definimos al grupo “b” como el intervenido por el proyecto y al
grupo “c” como no intervenido (o de control). Al inicio del proyecto ambos
grupos tienen un valor promedio Y1 de esta variable para los dos grupos: (i)
grupo beneficiario (Y1b); (ii) grupo de control (Y1c). Nótese que no es necesario
que el grupo beneficiario y el grupo de control tengan el mismo valor promedio
para la variable al inicio del proyecto, aunque sí es deseable que ambos grupos
tengan características similares en atributos que influyan en los impactos
esperados. Al final del proyecto (o en una etapa intermedia) se mide esta
misma variable para ambos grupos obteniéndose Y2b e Y2c.
De acuerdo a esto, el impacto en Y “atribuible al proyecto” debe estimarse de
acuerdo a la siguiente fórmula de “diferencias en diferencias”:
Impacto del Proyecto en Y = (∆Yneto) = (Y2b – Y1b) – (Y2c – Y1c)
19
El impacto neto (∆Yneto) debe considerar que existe un impacto “no atribuible” al
proyecto, medido en el grupo de control no participante en el proyecto. Este
impacto no atribuible al proyecto (Y2c – Y1c) debe sustraerse del impacto
observado en el grupo intervenido (Y2b – Y1b).
Este enfoque requiere de una medición adecuada de las variables de impacto
tanto al inicio del proyecto (Línea de Base) como al final del mismo (Evaluación
Final), tanto para un grupo intervenido como de control. En muchos casos se
incluye una Evaluación Intermedia que permita medir la evolución de
indicadores de impacto al interior del proyecto en su etapa intermedia.
En el caso de este proyecto y el SSEA, hay dos unidades básicas de análisis:
(i) las fincas y (ii) los hogares de los jóvenes beneficiarios. Es sobre estas
unidades que se construyen los grupos de control respectivos, de tal forma que
se puedan medir impactos en forma rigurosa.
Se propone que el sub-sistema de medición de impactos tenga dos
instrumentos para la generación de la información requerida:
•
Encuesta de Línea de Base (ELB) aplicada a familias de jóvenes
beneficiarios y de un grupo de control; y a fincas intervenidas y de
control. Por la naturaleza del proyecto, una parte de la ELB se realiza
en el segundo semestre de iniciado el proyecto y el resto de la ELB
deberá realizarse en cascada durante los primeros dos años del
proyecto, que es cuando se conforman más del 70% de las UCAEs.;
•
Encuesta de Evaluación Final (EEF) aplicada a las fincas intervenidas y
de control, así como hogares de jóvenes intervenidos y de control a los
42 meses (tres años y medio) de instaladas las UCAEs3.
Las variables a ser medidas por estas encuestas están orientadas a generar
tres tipos indicadores centrales para la evaluación económica del proyecto: (a)
cambios en el nivel de bienestar de las familias beneficiadas por el proyecto;
(b) cambios en la productividad total de los factores de producción cafetera con
respecto a la situación “sin proyecto”; (c) cambios en el valor presente neto de
las UCAEs versus el sector no intervenido.
3
Se establece que la Encuesta de Evaluación Final se realice antes del fin de proyecto de tal
forma que estos datos sirvan como insumo para el Sub-sistema de Aprendizaje descrito en la
sub-sección 3.3 así como para la Evaluación Final del Proyecto.
20
Estas encuestas deben recolectar información sobre características de los
hogares y sus activos productivos y no productivos, así como de las fincas y
sus conductores, relaciones con los mercados de crédito, insumos y productos;
aspectos tecnológicos y organizacionales. Estas variables son importantes
para que la estimación de impactos esté adecuadamente condicionada a que
los hogares beneficiados, las fincas y sus conductores tengan características
similares (sean comparables).
Adicionalmente, la ELB debe contener
mediciones de indicadores sociales y ambientales críticos para el proyecto, de
acuerdo a lo definido en el Informe de Gestión Ambiental y Social del proyecto.
Un tema central del sub-sistema de medición de impactos es el tamaño de los
grupos de control que permitan generar inferencias estadísticamente
representativas del sector cafetero intervenido. En el Anexo 1 se discute en
mayor detalle una propuesta inicial de tamaño de muestra en función a las
fincas como unidades de análisis de los impactos. En este caso, se propone
un tamaño adecuado del grupo de control de 160 fincas para generar
estimados de impactos estadísticamente representativos para la actividad
cafetera.
4.2.2. Criterios para la Línea de Base4
Los impactos de este proyecto se evaluarán en dos poblaciones: (i) jóvenes sin
tierras en los distritos cafeteros; (ii) fincas cafeteras. Debido a esto, la Línea de
Base tendrá dos componentes, uno dedicado a medir impactos del proyecto en
la población joven rural de los distritos cafeteros de Colombia; y el segundo a
medir los impactos del proyecto en las fincas cafeteras intervenidas. En ambos
casos se construirán grupos de control que serán parte inherente de la Línea
de Base (LB).
Para el primer componente de la LB (jóvenes) se plantea la utilización de la
encuesta anual más reciente con respecto al inicio del proyecto de hogares que
genera el DANE, y que mide las condiciones de vida, ingresos y gasto de las
familias urbanas y rurales de Colombia. El grupo de control de este primer
componente se generará tomando a las familias rurales ubicadas en los
distritos cafeteros considerados en la encuesta del DANE, dentro de las cuales
se identificará a las familias cuyo jefe de hogar tenga entre 20 y 35 años y que
cumplan con las condiciones de elegibilidad para el proyecto. Para la
4
En el Anexo Nº 2 se presenta los Términos de Referencia para el Estudio de Línea de Base
para este proyecto.
21
evaluación final, se volverá a usar la encuesta del DANE pero para el año más
cercano a la finalización del proyecto y bajo los mismos criterios de la ELB.
De otro lado, el grupo de intervención se tomará una vez que hayan sido
seleccionados por lo menos el 70% de la meta de jóvenes a ser beneficiados
por el proyecto en los respectivos Comités Departamentales de la FNC. Se
estima que esto requiere un periodo de por lo menos 24 meses desde el inicio
del proyecto, por lo cual este componente de la LB deberá construirse en
cascada a medida que se vayan seleccionando jóvenes y conformando
UCAEs.
El número total de jóvenes beneficiarios del proyecto se acerca a 1,000, y no
es necesario aplicarle a todos ellos la ELB. Se recomienda tomar una muestra
representativa de estos jóvenes para la encuesta, la cual puede ser de un 20%
del número de jóvenes seleccionados en cada uno de los cuatro primeros
semestres de operación del proyecto. Esto daría un grupo de 200 hogares
liderados por jóvenes confortantes del grupo de intervención de la ELB.
La encuesta captaría los indicadores básicos de ingresos y activos de los
hogares liderados por estos jóvenes y que sean comparables con la encuesta
del DANE.
En el caso del segundo componente de la LB orientado a medir impactos en las
fincas, se deberá construir el grupo de control sobre la base del Censo de
Café del Sistema de Información del Café (SICA), tomando una muestra
representativa de fincas de agricultores “comparables” en las zonas a ser
intervenidas por el proyecto. Se ha dispuesto que el número de fincas
seleccionadas sea de 160, con representatividad para el universo de las fincas
de productores cafeteros colombianos con edades y grado de instrucción
similar a de los beneficiarios del proyecto, de preferencia a ser tomada en los
departamentos intervenidos por el proyecto, con énfasis en los distritos donde
se ubicarán las UCAEs a ser conformadas.
Para el grupo de intervención de la Línea de Base, se deberá usar el mismo
método de cascada que para la encuesta de jóvenes. En este caso, se
propone encuestar a los conductores de todas las fincas incorporadas al
proyecto en los primeros 24 meses. Se estima que en este periodo se habrán
conformado por lo menos el 70% de las UCAEs, con un promedio de 2 fincas
por UCAE y para un total aproximado de unas 300 fincas a ser encuestadas.
La encuesta a este grupo deberá aplicarse al conductor de cada finca que ha
sido seleccionada para ser comprada para el proyecto, antes de que se
22
conforme la respectiva UCAE, buscando generar información confiable sobre
las condiciones de producción previas a la intervención del proyecto.
Así, la Línea de Base estará conformada por los siguientes elementos:
Jóvenes ( J )
Fincas (F )
Control ( C )
Hogares jóvenes de Encuesta DANE Muestra de Censo SICA
(número por definir)
(160), fincas representativas
Intervención ( I )
Muestra de jóvenes
proyecto (mínimo 200)
elegidos
para Fincas seleccionadas para
ser UCAEs (300 aprox)
Para la celda CJ se usará la información de la encuesta de hogares rurales en
distritos cafeteros del DANE, cuyo número por ahora es desconocido. Para las
celdas IJ y CF se requiere un diseño muestral y la toma de una muestra
estadísticamente representativa. Igualmente, en estos casos la FNC y sus
Comités Departamentales aplicarán las encuestas respectiva de acuerdo a los
lineamientos de los Términos de Referencia del Anexo Nº 2.
En el caso de los indicadores de impacto para las fincas, un indicador central
es el de la productividad total de factores (PTF) del sector cafetero intervenido.
En el Anexo Nº 3 se presenta una definición de este concepto con las variables
deben medirse para poder generar el indicador respectivo. Cabe señalar que
este indicador tendrá un seguimiento trimestral en el sub-sistema 1 de
seguimiento; pero cuyo cambio por efectos del proyecto será medido usando
las Encuestas de Línea de Base y Evaluación Final.
Para cada uno de estas unidades de análisis deberán generarse indicadores de
impacto y de contexto. Los indicadores de impacto hacen referencia a
variables que serían influidas directamente por la intervención del proyecto
(ingresos de las familias, productividad de las fincas, valor presente neto de las
fincas, etc.), mientras que los indicadores de contexto son aquellos poco
influenciables por la intervención respectiva pero que tienen importancia para
los resultados observados.
En el caso de los hogares, algunas variables de contexto pueden ser activos
poco o nada influenciables por el proyecto como la edad, género, educación,
acceso a telefonía, electrificación rural, acceso a agua potable, de los hogares.;
mientras que en el caso de las fincas pueden ser atributos como tamaño de la
23
finca, calidad del suelo, condiciones climáticas, situación de seguridad local,
presencia estatal, entre otras.
4.3. El sub-sistema 3
El sub-sistema de evaluación y aprendizaje se centra en el desempeño
relativo y absoluto de los modelos de intervención. En este caso, planteamos
que el esquema de evaluación y aprendizaje esté orientado a dos funciones: (i)
evaluar los atributos de los modelos de intervención y proponer ajustes a estos
modelos; (ii) entender los factores explicativos de porqué algunos modelos de
intervención terminan funcionando mejor que otros, y entender qué elementos
del contexto de las UCAEs influyen en su desempeño global y relativo. Los
instrumentos centrales para generar este proceso de evaluación y aprendizaje
son diversos estudios específicos sobre temas a ser discutidos más adelante.
Este sub-sistema se sustenta en el diseño experimental del proyecto y busca
generar aprendizajes sobre el éxito relativo de los diversos modelos de
intervención propuestos, los cuales se convierten en la unidad de análisis de
este sub-sistema.
Es por esto central discutir los atributos iniciales que
identificarían a los diversos modelos de intervención que podrían ser materia
de variación en el diseño experimental.
El diseño experimental inicial del proyecto se basa en tres atributos generales,
con seis sub-atributos específicos, conformando un total posible de doce
modelos de intervención. Los atributos y sub-atributos iniciales del proyecto
son los siguientes:
1. Atributo general: asociatividad/características de la finca
1.1. Finca compacta manejada con propiedad asociativa;
1.2. Finca compacta con propiedad privada conocida desde el principio
por socios (pero con opción de seguir asociados);
1.3. Fincas dispersas (en la misma zona) manejadas individualmente en
la producción pero asociados en post-producción y
comercialización.
2. Atributo general: financiero
2.1. Con financiamiento del sistema colombiano;
2.2. Con financiamiento externo.
24
3. Atributo general: tecnología
3.1. Cafés especiales, orgánicos;
3.2. Café convencional con paquete CEPICAFE.
Se entiende que este diseño experimental inicial puede estar sujeto a prueba y
error y por ende a un proceso de aprendizaje que debe ser retro-alimentado al
proyecto. Si bien los atributos iniciales de los modelos son importantes, es
posible que éstos no hayan sido los más apropiados y relevantes para generar
éxito en los modelos. Es por esto que se plantea que se realice un primer
estudio de evaluación de estos atributos y se como resultado de ello se
propongan posibles ajustes a estos atributos para la etapa posterior del
proyecto. De esta forma, el diseño experimental no es solamente útil para una
evaluación externa posterior, si no que ayuda a generar aprendizaje que es
usado por el mismo proyecto para mejorar su desempeño. Esta es una
característica especial de este sistema de evaluación y aprendizaje.
Este estudio sobre los atributos de intervención podrá alimentarse de
información generada tanto por el sub-sistema de seguimiento de procesos y
eventos críticos, como de los resultados parciales del sub-sistema de medición
de impactos al momento de realizarse. Esta información es crítica para poder
generar una visión consistente sobre el éxito relativo de cada uno de los
modelos de intervención en el tiempo y poder proponer ajustes a los atributos
de los modelos de intervención.
De otro lado, este sub-sistema deberá nutrirse de información y otros estudios
complementarios, que permitan completar el conjunto de factores explicativos
respecto al desempeño diferenciado y absoluto de los modelos de intervención.
Así, para todo el sub-sistema de evaluación y aprendizaje se plantean el uso de
los siguientes cuatro instrumentos:
Evaluación intermedia del proyecto (aproximadamente a los dos años de
iniciado el proyecto): debe evaluar los efectos diferenciados de los modelos y
plantear estudios para profundizar en las explicaciones de los efectos globales
(entre grupo intervenido y control) y relativos (entre modelos), debe usar
insumos de la Encuesta Intermedia de Impactos (EII) del sub-sistema 2, así
como grupos focales y entrevistas a participantes del proyecto.
25
Estudios en profundidad5 (flexible entre el segundo y cuarto año del
proyecto): deben generar una evaluación de atributos de los modelos de
intervención, e información explicativa sobre los distintos resultados obtenidos
por los modelos;
Evaluación final del proyecto (en último semestre del proyecto): debe usar
los resultados de la Encuesta Final de Evaluación del sub-sistema 2;
información sobre procesos y eventos críticos generada por el sub-sistema 1;
los resultados de los estudios en profundidad, así como información
complementaria para generar entendimiento sobre los efectos diferenciados de
los modelos y del proyecto en su conjunto.
Evaluación ex post del proyecto6 (luego de dos años de finalización del
proyecto): esta evaluación deberá consolidar el conjunto de elementos
generados por los tres subsistemas y otros estudios y evaluaciones realizadas
para llegar a conclusiones sobre la continuidad de los beneficios del proyecto
asi como sobre la sostenibilidad institucional del mismo. Igualmente, esta
evaluación deberá generar lecciones aprendidas y proponer las mejores
prácticas para el éxito de este tipo de proyectos en diversos contextos de
intervención.
El énfasis del sub-sistema de evaluación y aprendizaje está primero en
determinar el éxito relativo y absoluto de los modelos de intervención sobre la
base de estimaciones objetivas de impactos diferenciados e impactos con
respecto a grupos de control; y en segundo término, en el entendimiento de los
factores causales de estos resultados diferenciados. De este sub-sistema
deben proponerse los modelos (o modelo) más apropiados para lograr los
objetivos del proyecto dentro de la caficultura colombiana. El aprendizaje debe
basarse en diversos métodos y disciplinas así como modelos explicativos que
capturen los múltiples factores que influyen en las decisiones de los
participantes del proyecto dentro de un marco institucional (reglas de juego)
establecidas. El aprendizaje obtenido debe ser convertido en material para
toma de decisiones sobre cambios operativos en la etapa intermedia así como
para discusión con la dirigencia de la FNC, del Gobierno y del BID sobre el
posible diseño de una siguiente etapa del proyecto a una escala más amplia y
masiva.
5
En el Anexo Nº 4 se plantean un conjunto básico de estudios en profundidad posibles que
podrían ser parte de esta etapa del proyecto, pero que deben ser validados por la Evaluación
Intermedia del Proyecto.
6
Una descripción más detallada de la evaluación ex post se presenta en la sección 6.
26
Sección 5. Plan de Implantación del SSEA
El SSEA sería una sub-unidad dentro de la Unidad de Coordinación del
proyecto. Esta sub-unidad estaría a cargo de un especialista con formación y
experiencia en seguimiento de gestión y evaluación de proyectos.
En el
Anexo N° 5 se detalla el perfil profesional que debe tener este funcionario del
proyecto. Dada la importancia de este profesional para el desarrollo del
proyecto, se ha planteado como una de las condiciones previas del mismo la
contratación de éste de acuerdo los criterios detallados en el Anexo N° 5.
El especialista a cargo del SSEA deberá contar con una contraparte en cada
uno los equipos de las Unidades Especiales de Acompañamiento así como en
la Empresa Incubadora. Estas contrapartes serán responsables de remitir los
informes y datos requeridos por el sub-sistema de indicadores críticos en los
reportes periódicos correspondientes. Igualmente, se recomienda que el
responsable del SSEA tenga como asistente a un experto en sistemas e
informática que diseñe e implemente el soporte informático para el sub-sistema
1 del proyecto, así como maneje y alimente las bases de datos y la página web
del proyecto.
El responsable técnico del SSEA deberá encargarse de generar los términos
de referencia para la contratación de una serie de consultorías para alimentar
los sub-sistemas de medición de impactos y de aprendizaje. La secuencia de
los productos necesarios para estos dos sub-componentes en el periodo de
cuatro años (por trimestres) del proyecto y periodo post-proyecto se describe a
continuación:
Primer año
Sub-sistema
1. Diseño de sub-sistema 1
1
2. Funcionamiento de sub-sistema 1
1
3. Estudios sobre atributos de modelos
3
4. Encuesta de Línea de Base;
2
5. Evaluación Intermedia del Proyecto
3
6. Estudios en profundidad
3
7. Encuesta de Evaluación Final
2
8. Evaluación Final del Proyecto
3
9. Evaluación Ex Post del Proyecto
3
1
2
3
Segundo año
4
1
2
3
Tercer año
4
1
2
3
Cuarto Año
4
1
2
3
27
4
Post-proyecto
Como se puede ver, la secuencia de los instrumentos y productos permite la
completa articulación de los tres sub-sistemas. Algunos elementos a tener en
cuenta respecto a la secuencia establecida:
•
La primera actividad del responsable técnica del SSEA es diseñar e
implementar el sub-sistema 1, que deberá funcionar durante toda la vida
del proyecto. Esto implica preparar los formatos en los cuales se
recogerá la información periódica de cada uno de los elementos básicos
del proyecto: UCAEs, Unidades de Acompañamiento e Incubadora;
•
La Encuesta de Línea de Base es parte fundamental del sub-sistema 2 y
de todo el sistema general, por lo que su realización es crítica. Se
plantea que esta encuesta se realice en parte el segundo semestre del
primer año y en otra parte en el segundo semestre del segundo año,
siempre y cuando se hayan seleccionado por lo menos al 70% de las
fincas y los jóvenes que serán beneficiados por el proyecto.
Estudio de atributos de los modelos de información también es crítico para el
sistema y debe permitir hacer una primera evaluación del éxito relativo de estos
diversos modelos de intervención. Lo importante de este estudio es que debe
permitir hacer ajustes a estos modelos para el mejor desempeño del proyecto
en la etapa posterior. La Encuesta de Evaluación Intermedia del subcomponente 2 se realizaría hacia mediados del segundo año del proyecto y la
realización de esta Encuesta sería el gatillo para la evaluación intermedia del
proyecto, que se plantea para el último trimestre del segundo año del proyecto;
•
En la Evaluación Intermedia deben generarse recomendaciones
específicas sobre los estudios en profundidad adicionales requeridos
para entender mejor los resultados observados;
•
La Encuesta de Evaluación Final, correspondiente al sub-sistema 2, se
realiza hacia mediados del cuarto año, porque la información generada
será usada para la Evaluación Final del proyecto, y por ende, se
convierte también en gatillo de esta evaluación final.
Recursos financieros
Se ha determinado que el presupuesto global para el SSEA sea de US$ 1.5
millones.
Este presupuesto deberá ser utilizado para el diseño e
28
implementación de todo el sistema en el periodo de cuatro años que dura el
proyecto. La asignación específica de recursos que se recomienda para el
SSEA se presenta en el cuadro siguiente:
Presupuesto Estimado para el SSEA
Cantidad Costo Unit
Unidad
Duración*
Personal (Director/Web/Secretaria)
Costo
350
Transporte y viáticos
50
Gastos oficina, equipos, software
70
Diseño y Manual de seguimiento
1
20
Consultoria
60
20
Encuesta a Jóvenes (LB) (/Interv)
1
20
Encuesta
45
20
Encuesta a Fincas (LB) (Control/Interv)
1
20
Encuesta
45
20
Consultoria sobre Linea de Base
1
40
Consultoria
120
40
Estudio sobre atributos de modelos
1
100
Consultoría
60
100
Evaluación Intermedia
1
60
Consultoría
60
60
Estudios en Profundidad
5
100
Consultoria
360
500
Encuesta a Jóvenes (Final) (/Interv)
1
20
Encuesta
45
20
Encuesta a Fincas (Final) (Contr/Interv)
1
20
Encuesta
45
20
Evaluación Final
1
145
Consultoria
60
145
Términos de Referencia Eval. Ex Post
1
5
Consultoría
30
5
Otros gastos
TOTAL
* Dias calendario
80
1500
29
La estructura general del gasto del SSEA sería la siguiente:
Resumen de Gastos del SSEA
Rubros
Personal
350
23%
Transporte y viáticos
50
3%
Oficina, equipos, software
70
5%
Encuestas
80
5%
ELB y Evaluaciones
245
16%
Estudios
600
40%
Diseño/manuales
25
2%
Otros Gastos
80
5%
TOTAL
1500
Como se puede ver, un 40% de los recursos del SSEA estarían orientados a
generar los seis estudios en profundidad requeridos para el sub-sistema 3 de
evaluación y aprendizaje. El segundo rubro importante de gasto es el del
personal del SSEA, que estaría conformado por el responsable, un asistente en
informática y sistemas y una asistencia secretarial para los cuatro años. El
porcentaje orientado a este rubro es de 23%.
El tercer rubro en importancia son las consultorías para el sub-sistema 2, a
saber, el diseño y análisis de la ELB, la Evaluación Intermedia y la Evaluación
Final del proyecto, que ocupan el 16% del presupuesto. Igualmente, el
presupuesto considera un 8% del gasto orientado a la realización de
encuestas, que en este caso serán aplicadas por el mismo personal de las
Unidades Especiales de Acompañamiento.
Sin embargo, es necesario
presupuestar los gastos de estas actividades por ser inherentes al SSEA y al
proyecto.
Finalmente, el presupuesto considera gastos de oficina y equipamiento. En el
rubro de equipamiento debe considerarse la compra de software apropiado
para el manejo de bases de datos grandes en entornos de intra e internet, así
como para poder manejar información geo-referenciada.
Además, el
presupuesto considera gastos para viajes del personal del SSEA,
especialmente de los dos responsables técnicos, quienes deberán capacitar a
sus diversas contrapartes en el uso de los instrumentos para el recojo de
información de todo el sistema.
30
Sección 6: Lineamientos para la evaluación ex post del
proyecto7
Una de las particularidades de este proyecto es que se espera que los
beneficios se sigan produciendo en un periodo bastante más amplio que el de
cuatro años que dura la operación. En particular, la apropiación de las
unidades empresariales (UCAEs) por parte de los jóvenes participantes es un
proceso de largo aliento que podría tomar entre 4 y 12 años. Además de esto,
se espera que los componentes e instrumentos de este proyecto sean
plenamente incorporados dentro de la institucionalidad cafetera (FNC), de tal
forma que se asegure la continuidad institucional del mismo.
En este contexto, la realización de una evaluación ex post a los dos años de
terminada la operación del proyecto (y seis años desde su inicio formal),
permitirá generar un mejor entendimiento sobre la continuidad de los beneficios
y sobre la sostenibilidad de la institucionalidad específica (reglas,
conocimientos, capacidades) generada por el proyecto. En este sentido, son
objetivos centrales de la evaluación ex post planteada para el proyecto los
siguientes:
(i)
(ii)
Evaluar la continuidad de los beneficios del proyecto, especialmente
el avance en proceso de apropiación de las empresas por parte de
sus beneficiarios en un lapso de tiempo más amplio que el de la
operación del proyecto;
Evaluar la sostenibilidad de la institucionalidad generada por el
proyecto, es decir, el grado en el cual la FNC ha adoptado reglas,
conocimientos y capacidades generadas por el proyecto para la
implementación de modelos innovadores de intervención en el sector
cafetero colombiano.
En este caso, la FNC se encargará de diseñar y ejecutar esta evaluación ex
post, contando para ello con los recursos económicos, logísticos y de personal
que permitan realizar tal emprendimiento. Cabe señalar que los términos de
esta evaluación deberán ser coordinados con el BID de acuerdo a sus políticas
7
Dentro del Plan de Trabajo del SSEA se ha propuesto que al final del proyecto se preparen
los términos de referencia específicos para la evaluación ex post, asignándose recursos
específicos del proyecto para esa tarea.
31
para evaluaciones ex post realizadas tanto por los prestatarios como por el
propio Banco8.
Una ventaja importante para la realización de la evaluación ex post en este
caso es el hecho de que el SSEA generará mucha información directamente
útil para dicho propósito, especialmente en cuanto a los diversos estudios en
profundidad sobre los modelos de intervención. Igualmente, se espera que
luego de la finalización del proyecto, la FNC mantenga en operación por lo
menos el sub-sistema de seguimiento de indicadores críticos, el cual podrá
seguir generando información útil para la evaluación ex post.
Sin embargo, la evaluación ex post requerirá concentrar esfuerzos en dos
ámbitos: (i) los avances y limitaciones en el proceso de apropiación de los
activos de las UCAEs por parte de los beneficiarios; (ii) el grado de
internalización de la institucionalidad del proyecto por parte de la FNC. Estos
elementos no son parte central del funcionamiento del SSEA en los cuatro años
de la operación, y por ende se requiere de una metodología específica para
generar dicha información.
Al respecto, se recomienda que a partir del tercer año del proyecto se
incorporen al SSEA algunos indicadores relacionados con el grado de
apropiación de las UCAEs por parte de los jóvenes beneficiarios. Un indicador
clave aquí es el grado de participación accionaria de los beneficiarios en cada
UCAE, el cual es probable que aún sea limitado en esta etapa. Sin embargo, a
medida que este proceso se vaya generando, es probable que al momento de
realizar la evaluación ex post se tengan algunos avances importantes en este
proceso de apropiación, el cual es de vital importancia para los objetivos
globales del proyecto.
Además de esta información a través del SSEA, en la propia evaluación ex post
será necesario desarrollar algunos ejercicios del tipo grupos focales y
entrevistas con beneficiarios y administradores del proyecto para identificar
factores que hn facilitado o trabado el proceso de apropiación de los activos de
las UCAEs por parte de los beneficiarios. Obviamente, se espera que modelos
de intervención más exitosos estén correlacionados positivamente con un ritmo
más rápido de apropiación de las empresas por parte de sus socios
trabajadores.
8
Ver el documento sobre políticas operativas del BID, referente a evaluación ex post de
operaciones http://www.iadb.org/exr/pic/VII/OP_305.cfm.
32
En segundo término, la evaluación ex post deberá concentrar esfuerzos en
identificar los procesos de apropiación de normas, capacidades y
conocimientos generados por el proyecto dentro de la institucionalidad cafetera
de la FNC. Esto requiere de una metodología de análisis institucional que
identifique los aciertos y desaciertos del proyecto con respecto a su
sostenibilidad institucional. La hipótesis inicial de trabajo es que la FNC tiene la
capacidad e instrumentos para apropiarse plenamente del proyecto e
incorporar sus aportes dentro de su institucionalidad, pero esto puede o no
ocurrir, u ocurrir en mayor o menor medida.
Las técnicas para acercarse al tema de la sostenibilidad institucional son
mayormente cualitativas, con entrevistas estructuradas y/o abiertas a diversos
actores del proyecto y de la estructura funcional de la FNC tanto a nivel central
como descentralizado. Se debe prestar particular atención a los costos de
transacción para que la FNC incorpore dentro de su institucionalidad al
proyecto.
En ese caso, se podrán afinar mejor algunos de los lineamientos presentados
en esta sección. En cuanto al tipo de consultoría que debería hacerse, se
sugiere la contratación de un consultor externo que realice la evaluación ex
post de acuerdo a los términos de referencia generados dentro del marco del
SSEA. En forma preliminar, se estima que una consultoría de esta magnitud
debería costar unos US$ 35,000. El perfil del consultor deberá plantear una
persona con amplia experiencia en evaluación de proyectos en el ámbito rural,
de preferencia con conocimiento del sector cafetero colombiano y de la
institucionalidad de la FNC.
33
Anexo Nº 1: Determinación de Tamaño Muestral para
Grupo de Control en Encuesta de Línea de Base
La Encuesta de Línea de Base es el instrumento más importante para la
medición cuantitativa de impactos del programa en términos económicos,
productivos y sociales. Para un adecuado funcionamiento de esta encuesta, se
requiere identificar con bastante cuidado al grupo de control que servirá de
base para comparar indicadores con respecto al grupo intervenido. Un
elemento importante para el grupo de control es que sea estadísticamente
representativo del universo de caficultores “comparables” con los productores
beneficiarios del programa en atributos básicos como edad, educación y
tamaño de sus unidades productivas.
Esto requiere definir en primer lugar al “universo de caficultores comparables”
en estos atributos, para luego determinar un tamaño muestral que garantice la
representatividad de este sub-universo de agricultores.
Entonces, el primer paso es determinar el sub-universo de agricultores
comparables. Para este fin, se solicitó al SICA información del Censo Cafetero
respecto a tres variables básicas: (i) tamaños de propiedad, (ii) edades y (iii)
niveles educativos de los cafeteros colombianos. En base a esta información,
se determinó que los caficultores comparables serían aquellos con nivel
educativo de secundaria y universidad; y cuyas edades estén entre 18 y 45
años (la desagregación que hace SICA no permite el rango de igual o más de 9
años de educación ni acotar para edades de menos de 35 años).
Se determinó la proporción de cafeteros que cumplen con estos criterios de
comparabilidad, obteniéndose las siguientes proporciones.
Universo de agricultores comparables
Nivel Educ
SECUND.
UNIVER.
TOTAL
Edad
18-24
0.108
0.008
0.115
25-30
0.107
0.017
0.124
31-45
0.089
0.031
0.120
TOTAL
0.095
0.025
0.120
FUENTE: ENCUESTA NACIONAL CAFETERA - FASES I, II, III , IV y V
FEDERACION NACIONAL DE CAFETEROS
GERENCIA TECNICA - OFICINA DE ESTUDIOS Y PROYECTOS BASICOS CAFETEROS
34
Se observa que un 12% de los caficultores dentro del rango de edades de 18 a
45 años cumplen con los requisitos educativos planteados. Este porcentaje no
varía significativamente por rangos de edad.
El siguiente paso fue aplicar estos porcentajes a la estructura de tamaños de
finca y de explotación cafetera de la población en el rango de edad
correspondiente (18 a 45 años). El resultado fue el siguiente:
tamaño
Productores
Has_café
Ha_productor
<1
12857
4632
0.36
1a3
7820
7359
0.94
3a5
2935
4395
1.50
5 a 10
2772
5900
2.13
10 a 15
1017
2917
2.87
15 a 20
510
1672
3.28
20 a 30
499
2013
4.03
30 a 40
251
1159
4.62
40 a 50
135
602
4.47
50 a 100
217
1237
5.71
>=100
78
615
7.91
Total
29088
32501
1.12
Un estimado de 29,088 productores tienen los atributos deseables, con un total
de 32,501 hectáreas de cafetales y un promedio de 1.12 Hectáreas de café por
productor para este universo.
Como no disponemos de los datos individuales de estos productores sino
solamente con los valores promedio del cuadro, se asumió la existencia de
distribuciones normales de productores alrededor de las medias de cafetales
por productor para cada uno de los estratos de tamaño del cuadro. Esto nos
permite estimar un promedio y una desviación estándar global para esta
distribución con los cuales estimamos el tamaño óptimo de muestra que se
requiere para representar a esta distribución.
El promedio y desviación estándar de la distribución simulada son los
siguientes:
35
Promedio = 3.4381 Has de café/productor
Desv Std= 2.2248 Has de café/productor
Con un nivel de confianza de 95% y un margen de error de 10%, el tamaño de
muestra óptimo para representar a este universo sería:
n* = [(1.96*2.2248)/(0.1*3.4381)]^2 = 160 caficultores
Esto equivale a tener que seleccionar por lo menos 160 fincas de caficultores
(cada uno tiene por lo menos una finca) para poder generar un grupo de control
suficientemente representativo del universo comparable con los beneficiarios
del programa. Este tamaño muestral permitiría generar un estimado del
promedio de la variable “tamaño de cafetal” que en el 95% de los casos esté no
más allá del 10% alejada del tamaño promedio de la población de la cual se
toma la muestra.
El uso de la variable tamaño de cafetal como eje de la definición del tamaño de
la muestra se justifica por la importancia que tiene esta variable en el potencial
desempeño productivo y económico de las explotaciones cafeteras en general,
y en el programa a aplicarse en particular.
De adoptarse este tamaño para el grupo de control, se requeriría también tener
un número de fincas similar o mayor en el grupo de intervención de tal forma
que se puedan utilizar metodologías de emparejamiento de atributos básicos, y
generar estimados confiables de impactos del programa en indicadores de
productividad y rentabilidad de la actividad cafetera y económica en general.
Se sugiere contar con 180 fincas en el grupo de beneficiarios, las que serían
comparadas con 180 fincas del grupo de control. Esto daría como resultado la
necesidad de aplicar la Encuesta de Línea de Base (ELB) a un total de 360
fincas al inicio del programa, las que serían visitadas en el periodo intermedio y
al final de programa. Las mediciones correspondientes tendrían validez para el
sub-universo cafetero de agricultores educados con edades entre 18 y 45 años.
36
Anexo Nº 2: Términos de Referencia para el Estudio de
Línea de Base para Proyecto “Modelos de Intervención
para el Sector Cafetero”
Antecedentes
El Gobierno de Colombia y la Federación Nacional de Café (FNC) están
formulando un proyecto de carácter innovativo para el sector cafetero
colombiano ante el Banco Interamericano de Desarrollo (BID).
El fin del
proyecto es contribuir a mejorar la competitividad de la caficultura colombiana
en el actual contexto internacional. Su propósito es adoptar modelos
institucionales sostenibles de intervención para mejorar el acceso a recursos
productivos, en particular de jóvenes agricultores, y para movilizar recursos
hacia la caficultura colombiana.
La estrategia del proyecto se centra en: i) promover la adopción tecnológica, ii)
facilitar el relevo generacional mediante el acceso a factores productivos por
parte de jóvenes agricultores y la movilidad de recursos hacia el sector, iii)
introducir nuevos modelos de intervención en las fincas cafeteras que resuelva
las restricciones al acceso y a la adopción tecnológica, y que permita generar
aprendizajes; y iv) impulsar la asociatividad entre los beneficiarios.
El proyecto consta de dos componentes: (i) Creación de Instituciones
Complementarias; (ii) Implementación de una Experiencia Piloto de los
Modelos Institucionales. Dentro del primer componente se tiene previsto
generar un sistema de evaluación y seguimiento del proyecto (SEP). Este
sistema requiere del diseño e implementación de una Línea de Base que
permita evaluar al final del programa los impactos económicos, sociales y
ambientales del proyecto en el conjunto de la caficultura y economía
colombiana.
El propósito del Estudio es contar con una adecuada Línea de Base para este
proyecto, contando para tal fin con el apoyo logístico y financiero de la FNC.
Objetivo de la Consultoría
La consultoría deberá generar la Línea de Base requerida para poder medir los
impactos económicos, sociales y ambientales en la caficultura y economía
colombiana, usando instrumentos cuantitativos preferentemente de fuente
primaria como encuestas de hogares y fincas.
Características de la Consultoría
Consultor(a) nacional individual, honorarios bajo modalidad suma alzada.
Duración: la consultoría tendría una duración de cuatro meses.
37
Lugar de trabajo: oficina del consultor
Fecha de inicio de la consultoría: por definir
Calificaciones del Consultor(a)
Deberá ser Economista, de preferencia con post-grado, con más de 6 años de
experiencia en la realización de Estudios de Línea de Base y Evaluación de
Proyectos de Inversión Pública en el contexto de la economía colombiana, de
preferencia con conocimiento sobre el sector rural y sector cafetero
colombiano.
Descripción de los criterios para la Línea de Base
Los impactos de este proyecto se evaluarán en dos poblaciones: (i) jóvenes sin
tierras en los distritos cafeteros; (ii) fincas cafeteras. Debido a esto, la Línea de
Base tendrá dos componentes, uno dedicado a medir impactos del proyecto en
la población joven rural de los distritos cafeteros de Colombia; y el segundo a
medir los impactos del proyecto en las fincas cafeteras intervenidas. Em
ambos casos se construirán grupos de control que serán parte inherente de la
Línea de Base (LB).
Para el primer componente de la LB se plantea la utilización de la encuesta
anual más reciente de hogares que genera el DANE, y que mide las
condiciones de vida, ingresos y gasto de las familias urbanas y rurales de
Colombia. El grupo de control de este primer componente se generará
tomando a las familias rurales ubicadas en los distritos cafeteros considerados
en la encuesta del DANE, dentro de las cuales se identificará a las familias
lideradas por personas entre 20 y 35 años y que cumplan con las condiciones
de elegibilidad para el proyecto.
De otro lado, el grupo de intervención se tomará de los jóvenes
seleccionados para participar en el proyecto al segundo semestre de iniciado el
proyecto. En este caso se requerirá aplicar una encuesta que capte los
indicadores básicos de ingresos y activos de los hogares liderados por estos
jóvenes y que sean comparables con la encuesta del DANE. Cabe señalar que
la parte de la línea de base del grupo intervenido se realizará en cascada,
correspondiéndole al consultor el diseño e implementación de los instrumentos
a ser aplicados al primer grupo intervenido (durante el segundo semestre del
proyecto). El consultor deberá dejar estos instrumentos validados para ser
usados en el siguiente año en la construcción definitiva de la línea de base,
tanto de jóvenes como de fincas. Se estima que el grupo de intervención
deberá contar con por lo menos 200 encuestas a hogares liderados por
jóvenes, mientras que el grupo de control contará con los hogares liderados por
jóvenes que estén presentes en la encuesta del DANE
En el caso del segundo componente de la LB orientado a medir impactos en las
fincas, se deberá construir el grupo de control sobre la base del Censo de
Café del Sistema de Información del Café (SICA), tomando una muestra
representativa de fincas en las zonas a ser intervenidas por el proyecto. Se ha
determinado que el número de fincas seleccionadas sea de 160, con
38
representatividad para el universo de fincas colombianas conducidas por
caficultores de entre 18 y 45 años y niveles educativos iguales o superiores a
secundaria. Para el grupo de intervención, la consultoría deberá generar los
instrumentos y aplicarlos para el primer grupo de fincas seleccionadas al
segundo semestre del proyecto. Al igual que en el caso de jóvenes, se
deberán dejar los instrumentos validados para que este línea de base de fincas
intervenidas se complete durante el segundo año del proyecto. Se ha
determinado que se tendrán aproximadamente 300 fincas como grupo de
intervención correspondientes a entre 120 y 140 UCAEs conformadas durante
los primeros dos años del proyecto.
Así, la Línea de Base estará conformada por los siguientes elementos:
Jóvenes ( J )
Control ( C )
Fincas (F )
Hogares jóvenes de Encuesta Muestra de Censo SICA (160),
DANE (número por definir)
fincas representativas
Intervención ( I Muestra de jóvenes elegibles Fincas seleccionadas para
para proyecto (mínimo 200)
convertirse en UCAEs (300
)
aprox)
Para la celda CJ se usará la información de la la encuesta de hogares rurales
en distritos cafetetos del DANE, cuyo número es desconocido. Para las celdas
IJ y CF se requiere un diseño muestral y la toma de una muestra
estadísticamente representativa. Igualmente, en estos casos la FNC y sus
Comités Departamentales aplicarán las encuestas a ser diseñadas en el marco
de esta consultoría.
Para cada uno de estos elementos deberán generarse indicadores de impacto
y de contexto. Los indicadores de impacto hacen referencia a variables que
serían influidas directamente por la intervención del proyecto, mientras que los
indicadores de contexto son poco influenciables por la intervención respectiva.
Actividades del Consultor(a)
Para la elaboración de la LB el Consultor(a) deberá realizar las siguientes
actividades en función de los criterios descritos previamente:
(i)
(ii)
(iii)
(iv)
(v)
Análisis de la encuesta de hogar más actual del DANE para
identificar a los hogares rurales ubicados en distritos cafeteros de
Colombia y generar el grupo de control de jóvenes;
Diseño muestral y selección de muestras para el grupo de
intervención de jóvenes, así como para los grupos de control e
intervención de fincas;
Diseño de los cuestionarios para el grupo de intervención de jóvenes,
así como para los grupos de control e intervención de fincas;
Labores de capacitación y supervisión del personal de la FNC que
aplicará las tres encuestas: al grupo de intervención de jóvenes y a
los grupo de control e intervención de fincas.
Diseño y ejecución del esquema de procesamiento de la información
de las tres encuestas descritas en (iv);
39
(vi)
(vii)
Análisis de los resultados y generación de los indicadores de impacto
y de contexto para los cuatro grupos conformantes de la LB.
Manual para la conformación definitiva de la LB de los grupos de
intervención de jóvenes y fincas durante el segundo año del
proyecto.
Cabe señalar que la FNC y los Comités Departamentales serán responsables
de la ejecución de la encuesta, mientras que el Proyecto deberá proveer del
sistema para el procesamiento de las encuestas y su disposición por parte del
Consultor(a) en los tiempos apropiados para el cumplimiento del contrato.
Informes
El consultor(a) deberá generar dos informes: (i) Informe Metodológico, al mes
de iniciada la consultoría, donde se presenta el diseño muestral para los grupos
a encuestarse, los indicadores de impacto y de contexto y los cuestionarios
respectivos y el plan para la ejecución de las encuestas y su procesamiento; (ii)
Informe Final: donde se generan los estimados para todos los indicadores de
impacto y contexto de cada uno de los cuatro grupos correspondientes (solo
parciales para los grupos de intervención) y se entrega a la FNC las bases de
datos utilizadas para generarlos. Este informe deberá contener el manual para
completar la LB en el segundo año del proyecto.
40
Anexo Nº 3 : El cálculo del cambio en productividad
total de los factores
Uno de los objetivos importantes del proyecto es generar cambios en la productividad
total de los factores de la actividad cafetera colombiana. Esta variable es un buen
indicador de procesos de cambio técnico para actividades productivas como esta,
señalando que es posible producir más café (o café de mayor valor) con menor uso de
factores escasos como tierra, trabajo, capital e insumos químicos. Así, se asumirá que
el aumento en la productividad total de los factores de la actividad cafetera en el
ámbito intervenido por el proyecto es una señal de que se está generando un proceso
de cambio técnico y aumento en la eficiencia productiva.
La productividad total de los factores de café es ratio entre valor de la producción total
de café y el valor total de los insumos utilizados para generar esta producción. Un
ratio mayor que 1 indica que la actividad está generando valor agregado, mientras que
un ratio inferior a 1 indicaría pérdidas de valor en el proceso productivo. En el caso del
proyecto bajo evaluación, más que el valor absoluto de este ratio, interesa su
evolución en el tiempo. Es por esto necesario construir un valor inicial para este ratio y
un método para su seguimiento en el tiempo. Asumiremos que existen dos variedades
de café, café tradicional y café especial, y que las unidades productivas pueden
producir ambas categorías en cualquier punto del tiempo.
El valor inicial del ratio de productividad total de los factores se medirá mediante la
siguiente expresión:
PTF0 = (pt0qt0 + pe0qe0) / (Σwi0ri0)
(1)
Donde qt0 y qe0 son cantidades producidas de café tradicional y especial,
respectivamente, en el periodo “0” y pt0 y pe0 sus precios en el mismo periodo.
Igualmente, se tienen ri0, i=1, 2, ...n factores de producción relevantes para la
producción de café en el periodo “0” con sus precios wi0, respectivamente. Estos
factores de producción deben incluir la tierra con café en producción, el trabajo
utilizado, el uso de insumos químicos, los servicios de maquinaria, servicios de
asistencia técnica, entre otros factores importantes para el proceso productivo del
café. Tanto los precios de los productos como de los factores deben ser estimados de
acuerdo a precios de mercado vigente en el periodo relevante en las zonas donde se
realiza la medición para una calidad promedio de estos bienes y servicios.
Cabe también señalar que en el cálculo de (1) sólo se debe computar la tierra con café
en producción al momento de la medición, así como el uso de insumos aplicados
únicamente en estas tierras. Las tierras y el esfuerzo dedicado a instalación de
nuevos cafetales o a procesos de corte (soqueo) durante el periodo y que no generan
producción inmediata, no deben ser considerados en este cálculo. Sólo interesan los
procesos que en el periodo en cuestión hayan y estén generando producción efectiva
de café.
Para el cálculo de (1) debe usarse la Encuesta de Línea de Base, donde se tiene un
grupo intervenido compuesto por las fincas seleccionadas para convertirse en UCAEs;
y se tiene el grupo de control compuesto por fincas seleccionadas del universo de
productores cafeteros comparables. En ambos casos, debe tomarse información
41
sobre la última campaña de cosechas de café en los aspectos de producción, uso de
insumos y precios de productos e insumos. Los precios estimados de la ELB deben
usarse para construir precios promedio en cada zona específica y son estos precios
promedio (no los individuales) los que se usarán para el cálculo de (1).
Luego de estimado (1) para todas las UCAEs y para el grupo de control, se procederá
a hacer un seguimiento trimestral de la PTF sólo para las UCAEs. En ese caso, se
estimarán las cantidades de café producidos e insumos utilizados en cada trimestre
producción a cargo de las Unidades Especiales de Acompañamiento usando el
software de gestión AgroWin instalado en cada UCAE. Para el periodo “1” por
ejemplo, se tendrá:
PTF1 = (pt0qt1 + pe0qe1) / (Σwi0ri1)
(2)
Nótese que en el cálculo de (2) se mantienen los precios de los tipos de café y de los
insumos del periodo inicial, registrándose solamente cambios en las cantidades. Este
procedimiento es importante para identificar los cambios en eficiencia productiva
distintos a cambios relacionados con variaciones en precios. Sin embargo, es posible
también cambiar el periodo de base para los precios si se observa que el periodo
inicial no es el más representativo.
En base a este método, el sub-sistema 1 de seguimiento estará en condiciones de
generar mediciones trimestrales de PTF, y se podrá registrar la variación porcentual en
este ratio para las UCAEs, sobre la base de:
∆PTF1 = 100* [(PTF1 – PTF0)/PTF0]
(3)
Se espera que con el tiempo y la maduración de las UCAEs, este valor sea positivo,
indicando un aumento en la productividad total de los factores utilizados en la
producción de café. Cabe señalar que parte importante en el posible aumento de este
indicador provendrá de la mayor producción de cafés especiales de mayor calidad y
valor. Al respecto, el esquema puede usar más de dos categorías para las variedades
relevantes de café, siempre y cuando sea posible observar y medir los distintos
precios de mercado de estas variedades.
De otro lado, dentro del sub-sistema 2, se tendrá una medición final de PTF usando la
Encuesta de Evaluación Final, la cual es aplicada tanto al grupo intervenido como de
control. Sobre esta base, será posible determinar el cambio en PTF atribuible al
proyecto:
∆PTF (atribuible al proyecto) = ∆PTF(grupo intervenido) – ∆PTF(grupo control)
(4)
En (4) se estima los cambios en PTF tanto en el grupo intervenido como de control,
usando expresiones como (3), y luego se deduce del cambio en el grupo intervenido el
cambio en el grupo de control. Es por esto que (4) es el cálculo riguroso de cambio en
productividad total de los factores debido a la intervención del proyecto.
42
Anexo Nº 4: Temas específicos que pueden ser materia
de Estudios en el Sub-sistema de Aprendizaje
Aunque en el sub-sistema de aprendizaje se propone realizar una evaluación
de los modelos de intervención al año de iniciado el proyecto, y sobre esta
base definir con mayor precisión los estudios que serían necesarios para
generar aprendizajes sobre los factores que influyen en el éxito relativo de los
modelos, proponemos algunos temas que podrían ser materia de estos
estudios. Organizaremos los temas específicos de acuerdo a temas generales:
Temas organizacionales
• Viabilidad interna y externa de las formas asociativas en la agricultura
colombana;
•
Incentivos para el trabajo y la inversión en formas asociativas;
Funcionamiento de mercados de factores
• Mercado de tierras en zonas cafeteras;
•
Mercado de trabajo en zonas cafeteras;
Funcionamiento de mercado de servicios complementarios
• Mercados financieros y actividad cafetera;
•
Mercado por servicios de asistencia técnica para café;
•
Mercados por servicios de información para café;
Funcionamiento del mercado del café
• La cadena de comercialización del café colombiano;
Aspectos tecnológicos
• Determinantes de adopción de tecnologías en café;
•
La oferta tecnológica para la actividad cafetera;
Bienes públicos regionales y locales
• Funcionamiento de las instancias estatales a nivel regional y local en la
provisión de bienes públicos para la actividad cafetera.
43
Anexo N° 5: Perfil del Especialista responsable del
SSEA
El especialista encargado del Sistema de Seguimiento, Evaluación y
Aprendizaje (SSEA) del proyecto deberá tener las siguientes características:
•
Profesional en ciencias económicas o sociales, con post-grado en
economía por lo menos a nivel de maestría;
•
Experiencia y capacitación en evaluación social de proyectos. Es
deseable que haya coordinado por lo menos dos evaluaciones de
proyectos públicos en el ámbito agrario o rural de Colombia,
preferiblemente con financiamiento internacional;
•
Deseable tener experiencia en análisis cuantitativo de encuestas de
hogares y de encuestas de producción, así como en análisis cualitativo
en base a entrevistas o grupos focales;
•
Compromiso de por lo menos dos años de trabajo en proyecto, y sin
impedimentos para realizar viajes continuos al interior del país;
•
Deseable que tenga conocimientos y experiencia sobre la actividad
cafetera colombiana así como sobre la agricultura y sector rural de
Colombia;
•
Liderazgo y capacidad de coordinación con otras instancias públicas y
privadas;
•
Poder trabajar bajo condiciones de presión y en un contexto de
transparencia y rendición de cuentas hacia la institucionalidad cafetera y
el público en general.
44