metodología para la evaluación de programas de desarrollo rural

METODOLOGÍA PARA LA EVALUACIÓN DE PROGRAMAS DE
DESARROLLO RURAL
RESUMEN
1.- INTRODUCCIÓN
2.- BASES DE LA EVALUACIÓN: CULTURA Y LÓGICA DE LA EVALUACIÓN.
3.- TIPOS DE EVALUACIÓN.
4.- NECESIDAD Y OBLIGACIÓN DE LA EVALUACIÓN.
5.- METODOLOGÍA DE EVALUACIÓN
6. FASES DE LA EVALUACIÓN FINAL
7.- REFLEXIONES SOBRE LA EVALUACIÓN FINAL DE LOS PROGRAMAS DE
DESARROLLO RURAL.
8.- BIBLIOGRAFÍA
RESUMEN
El diseño de la Metodología de Evaluación Final de la Iniciativa Comunitaria LEADER
II, ha sido resultado de un trabajo continuo de investigación iniciado en 1998 con la
realización de la Evaluación Intermedia de dicha Iniciativa. Como aspecto más
novedoso incorpora la evaluación de los elementos cualitativos del programa y la forma
como éstos han contribuido a los objetivos específicos del mismo. Dos instrumentos
básicos lo han permitido: en primer lugar, el análisis de la opinión de la población a
través de reuniones grupales con informantes cualificados que representen la estructura
social del territorio; y por otro, la realización de entrevistas semiabiertas a los
responsables de la gestión del programa junto con el análisis de los indicadores físicos y
de resultados definidos para el mismo. En los casos en los que han existido
autoevaluaciones de los propios Grupos de Desarrollo Rural, han sido tenidas en cuenta,
haciendo posible la triangulación de la información cualitativa Con este diseño queda
asegurado la incorporación del enfoque ascendente al proceso de evaluación externa de
la Iniciativa Comunitaria LEADER II.
1.- INTRODUCCIÓN
Desde que la intervención de los Estados, y sobre todo los organismos supranacionales,
se hizo patente en la economía (fundamentalmente a partir de la II Guerra Mundial),
creció la necesidad de poner en marcha procesos analíticos y sistemáticos que
permitieran garantizar la correcta aplicación de los fondos públicos. Así nacen todas las
metodologías de evaluación que se aplican actualmente, ligadas al uso de fondos
públicos. Sin embargo, el concepto de evaluación es más amplio e intuitivo, y forma
parte de nuestros propios procesos mentales a la hora de tomar decisiones.
Estos aspectos de intuición lógica que son consustanciales al ser humano, no dan los
resultados adecuados cuando las variables y las interrelaciones a tener en cuenta son
muchas y los problemas son complejos. Cuando la realidad se hace compleja es
imprescindible que el proceso de toma de decisiones esté fundamentado en la valoración
rigurosa, objetiva y sistemática de todas las variables que intervienen. La medición de
los aspectos positivos y negativos, y su comparación, de cualquier planificación, es lo
que se llama evaluación.
Tradicionalmente, la evaluación y sobre todo, aquella que trata de medir aspectos
intangibles o cualitativos, ha sido tachada de subjetiva y poco rigurosa. Pero, ante estas
críticas, habría que responder cual es el coste de oportunidad o la alternativa que existe
a la evaluación, incluso de aspectos difícilmente cuantificables. Si no se sistematiza y
objetiviza la realidad, lo único que nos queda es guiarnos por nuestro propio sentido
común, o por el del grupo gestor. No cabe duda, se mire desde donde se mire, de que es
necesario establecer mecanismos que permitan la medición objetiva de los aspectos
negativos y positivos que intervienen en un programa de desarrollo.
La evaluación debe ser entendida como un apoyo imprescindible a la toma de
decisiones, como un aprendizaje continuo de los errores y aciertos que servirá para
modificar actuaciones y conductas futuras. En este sentido, todo proceso de evaluación
debe ser asumido por los propios gestores del programa como algo fundamental de su
trabajo diario, no como una obligación que viene impuesta e inevitable. Tampoco
deberá ser abordada desde un punto de vista de control o fiscalizador, sino como una
etapa más del proceso de planificación, que de garantías de que lo que se va a hacer, lo
que se está haciendo, o lo que ya se ha terminado, ha cumplido los objetivos que se
habían marcado.
La evaluación considerada en el marco de los actuales programas de desarrollo rural, se
convertiría así en un elemento estratégico de diferenciación, en la medida en que se
consiga demostrar externamente y, principalmente a sus propios beneficiarios, que la
aplicación de los recursos públicos o privados, es la más adecuada posible.
En los siguientes páginas se va a tratar, precisamente, de abundar en los diferentes
aspectos de la evaluación desde este punto de vista, aunque no se puede olvidar que las
normativas comunitarias obligan a realizar evaluaciones en cada una de las etapas de la
planificación y puesta en marcha de programas de desarrollo.
En primer lugar se hace una reflexión sobre el papel de la evaluación en el ciclo lógico
de la planificación, y los distintos tipos de evaluaciones en función de los objetivos que
se persigan. A continuación se revisa la necesidad y obligación de realizar la evaluación
en el marco de la aplicación de los Fondos Estructurales comunitarios y, en particular,
en los programas de desarrollo rural.
A continuación se describe la metodología desarrollada por D·a·p para la evaluación de
los programas de desarrollo, de acuerdo con la experiencia acumulada Se intentará
profundizar en los aspectos metodológicos que permiten conseguir la valoración
objetiva incluso de elementos difícilmente cuantitativizables, y en concreto su
aplicación a la Evaluación de los programas de desarrollo rural puestos en marcha por la
Iniciativa Comunitaria LEADER II y el Programa Operativo de Desarrollo y
Diversificación Económica (PRODER)
2.- BASES DE LA EVALUACIÓN: CULTURA Y LÓGICA DE LA
EVALUACIÓN.
Es necesario desarrollar una cultura de la evaluación que nos conduzca a sistematizar y
ordenar la información para mejorar los procesos de toma de decisiones. Esto exige, en
primer lugar, entender qué es la evaluación, como parte del proceso cíclico de
planificación, distinguiéndola de otros significados que tradicionalmente se le han
asociado (fiscalización, control, auditoría).
PROCESO DE PLANIFICACIÓN: CICLO DE UN PROGRAMA DE DESARROLLO
Fuente: Elaboración propia
En la planificación se analizan, definen y diseñan explícitamente las distintas fases del
proceso que nos conducirán a modificar de forma más o menos amplia la realidad. Estas
fases, que son concebidas como pasos progresivos y necesarios, forman parte de un
proceso cíclico que se retroalimenta de la información obtenida de la evaluación
sistemática.
La evaluación, como parte del proceso de planificación, responde a la necesidad de
poner en valor los resultados alcanzados y la identificación de los factores que han
dificultado la consecución de los objetivos propuestos inicialmente, con el fin de
mejorar futuras planificaciones. No deberá ser confundida con el control de la gestión
(fiscalización) o la auditoría (externa o interna), mecanismos centrados en el análisis del
uso de los recursos financieros disponibles y de los procedimientos legales o
administrativos, respectivamente.
La evaluación supone tener en cuenta una serie de aspectos:
•
Valorar el coste de oportunidad que existe.
•
Confrontar los objetivos de actuación con los resultados alcanzados
(eficacia).
•
Confrontar las realizaciones en relación con los recursos empleados
(eficiencia).
•
Medir, si es posible, los efectos negativos y positivos, con una
metodología clara, analítica y conocida.
•
Es un proceso de investigación y razonamiento destinado a asistir a los
responsables de la toma de decisiones, a fin de que realicen una elección
racional.
•
Es una forma de hablar en un lenguaje común para comparar distintos
programas y proyectos.
•
Obliga a recoger mucha información sobre el programa y sistematizarla
para su análisis.
•
En definitiva, es un procedimiento para mejorar y ayudar a la toma de
decisiones.
La evaluación tiene por tanto un enfoque eminentemente práctico, y su verdadera
utilidad reside en la información generada para mejorar la toma de decisiones sobre
actuaciones en marcha o futuras. No cabe la menor duda de que, en la evaluación de los
programas de desarrollo rural, la sistematización y articulación de instrumentos de
análisis y seguimiento, son un elemento indispensable para la puesta en valor de los
logros conseguidos, tanto desde un punto de vista cuantitativo, como cualitativo. En la
medida que se sea capaz de transferir la experiencia vivida, y las claves que han
permitido el éxito de la misma, se identificarán nuevos objetivos más amplios y los
medios necesarios para conseguirlos
3.- TIPOS DE EVALUACIÓN.
Para llevar a cabo cualquier evaluación es imprescindible la definición de los objetivos
que se pretenden alcanzar, así como diseñar una metodología que responda a las
necesidades existentes, al momento en el que se aplique, a sus destinatarios, y a los
propios evaluadores.
A continuación se citan las cinco cuestiones básicas que determinan el tipo de
evaluación a realizar: ¿Quién evalúa?, ¿Qué se evalúa?, ¿Para quién se evalúa?, ¿Cómo
se evalúa?, ¿Cuándo se evalúa?.
3.1.- Quién la realiza
Según la pertenencia o independencia del evaluador a la organización responsable de la
puesta en marcha y ejecución del programa, se hablará de autoevaluación o evaluación
externa. Cuando el equipo técnico que realiza la evaluación forma parte del proceso
evaluado, se consigue como valor añadido de la misma la participación real de los
actores involucrados en el proyecto, que se traduce en una mayor eficacia a la hora de
corregir los errores detectados y reconducir los procesos. En otras circunstancias,
cuando lo que se pretende asegurar es la independencia del evaluador al proceso
evaluado, es recomendable recurrir a la evaluación externa.
3.2.- Cuándo se realiza
Las Evaluaciones a Priori (Ex_Ante) tienen por objeto analizar la coherencia y
pertinencia del programa/proyecto en el momento de la planificación. Ayuda a preparar
el plan de desarrollo y facilita su aplicación, precisando los objetivos y analizando la
pertinencia del programa en relación con las necesidades y la repercusión prevista.
Sin embargo, cuando la evaluación se desarrolla en un punto intermedio de la ejecución
del programa (Evaluación Intermedia), se analizan fundamentalmente los resultados de
las primeras intervenciones, de acuerdo con los plazos y medios previstos, y los
objetivos propuestos inicialmente. Contribuye, en caso de ser necesario, a tomar
decisiones para la reformulación y reconducción del programa.
Por último, la valoración de la eficacia y eficiencia de las intervenciones y su impacto se
consigue con la Evaluación Final (Ex_Post), así como la conclusión general sobre la
forma como se ha contribuido a objetivos más amplios de cohesión económica y social.
Se analizan los factores de éxito o fracaso de las actuaciones, así como en las
realizaciones y resultados, incluida la sostenibilidad (durabilidad) de los mismos
La Evaluación es Continua realizada a lo largo del ciclo del programa/proyecto, tiene
carácter multidimensional y cuenta con la participación de las personas evaluadas. Se
considera un elemento más de la programación, centrándose en el seguimiento de los
procesos, y dotándose de medios sistemáticos para la recogida de información (informes
periódicos, comisiones de seguimiento, dinámicas participativas, etc.).
3.3.- Cómo se realiza
Cuando la evaluación está dirigida a la integración de diferentes sectores y niveles de
información es denominada Evaluación Global. Su resultado es el establecimiento de
relaciones de causalidad para la determinación de los factores de éxito o fracaso del
programa, en el contexto socioeconómico más amplio. Por el contrario, es Sectorial
cuando se centra en alguno de los aspectos sectoriales del programa, siendo por tanto,
parcial.
3.4.- Para quien se realiza
La orientación técnica, institucional, financiera u organizativa de los indicadores y
métodos de evaluación, vienen determinados por la utilidad de la misma. Así por
ejemplo en una evaluación técnica, se analizan los distintos aspectos de carácter técnico
que tienen importancia en el diseño y ejecución del programa: tamaño físico de la zona
a evaluar, disposición y localización de servicios, la tecnología a emplear, normas
técnicas aplicadas a las condiciones locales, calendario de ejecución..., de forma
diferente a una evaluación financiera, que tendría por finalidad el análisis de la
racionalidad económica de las decisiones en materia de inversión, según los objetivos y
la procedencia de los fondos.
3.5.- El triple enfoque de los Programas de Desarrollo Rural (Qué se evalúa)
La Evaluación de un Programa de Desarrollo Rural debe contemplar un triple enfoque
dirigido al análisis del territorio (como entramado de relaciones personales e
institucionales), el Grupo de Desarrollo Rural (como órgano de gestión y movilización
de los recursos) y el propio Programa de Desarrollo (en cuanto a la eficacia y eficiencia
del uso de fondos públicos).
Para la Evaluación del Territorio, se deben analizar sus características y su evolución a
lo largo del programa, haciendo un especial hincapié en los criterios que definen el área
de actuación, su identidad cultural y la disponibilidad de recursos para propiciar un
proceso de desarrollo. El funcionamiento del Grupo de Desarrollo Rural, como entidad
responsable de la gestión y consecución de los objetivos del programa, y la
representación pública-privada de la población, deberá ser una estructura representativa
del entramado socioeconómico y de la actividad y estructura territorial. Por último la
Evaluación del Programa se realizará desde un doble punto de vista, por un lado, si se
utiliza adecuadamente la metodología específica de LEADER (analizando la medida en
la que se ha contribuido a los objetivos específicos del programa), y por otro, el análisis
sectorial de las medidas y la intervención de los distintos niveles administrativos.
Los tres aspectos están íntimamente relacionados. El principal activo para el desarrollo
es el territorio, articulado a través de su entramado institucional, en cuyas relaciones
sociales, se apoyan las relaciones socioeconómicas puestas en marcha a través del
programa de desarrollo rural.
4.- NECESIDAD Y OBLIGACIÓN DE LA EVALUACIÓN.
A medida que han crecido los fondos públicos se ha producido una creciente demanda
de técnicas de evaluación. En los años 70 comienzan a aplicarse de forma masiva a los
proyectos de cooperación internacional (Banco Mundial, OCDE...). En los años 80 se
generaliza y perfeccionan las técnicas (U. E., GTZ...) y en los 90 empieza a aplicarse a
la cooperación española.
En cuanto a los fondos comunitarios, la obligación de evaluar la recoge el Reglamento
4253/88 (en sus artículos 25 y 26), donde se señala que la Comisión y los Estados
miembros deben garantizar un seguimiento eficaz de la utilización de los fondos, así
como una apreciación y evaluación de las intervenciones. El Reglamento 2081/93
(artículos 26 y 31) establece que cada acción comunitaria deberá ser objeto de una
apreciación previa, un seguimiento y una evaluación que permita valorar su repercusión
respecto a los objetivos definidos para los Fondos Estructurales.
Respecto a las intervenciones relacionadas con el Desarrollo Rural, es el Comité STAR
(Comité de Estructuras Agrícolas y Desarrollo Rural) el que adoptó en septiembre de
1994 un documento denominado "Seguimiento, Evaluación de las intervenciones
comunitarias, en el marco de los objetivos 1, 5ª y 5b y la Iniciativa Comunitaria
LEADER para el periodo 1994/99 (publicado en la Guía de la Comisión denominada
"Orientaciones comunes para el seguimiento y las evaluaciones intermedias").
En el Reglamento 1257/99 (17 de mayo de 1999) sobre la ayuda al Desarrollo Rural a
cargo del FEOGA (Orientación y Garantía), en su capítulo V recoge el Seguimiento y la
Evaluación, siendo la Comisión y los Estados miembros los responsables de su
ejecución real. El seguimiento se basará en indicadores físicos y financieros específicos
que se hayan establecido previamente. El FEOGA Garantía podrá participar en la
financiación de las evaluaciones.
En el Reglamento 1750/99 de 23 de julio de 1999, se establecen las disposiciones de
aplicación del Reglamento 1257/99 en su capítulo III sección 5, hace referencia al
Seguimiento y la Evaluación.
En la Comunicación a los Estados miembros en el que se fijan las orientaciones para la
Iniciativa Comunitaria en materia de Desarrollo Rural (LEADER +), se recoge un
apartado sobre las disposiciones de gestión, control, seguimiento y evaluación. Se
establece la necesidad de realizar una evaluación ex_ante, que verifique la conveniencia
de las modalidades a implementar, la evaluación se realizará a nivel de los GDR y a
nivel de los programas nacionales y regionales, con ayuda de indicadores físicos y
financieros. Se establecerá un Comité de Seguimiento, con representantes de las
administraciones, de las redes nacionales y regionales, y presidido por la Comisión.
Teniendo en cuenta las características de LEADER +, el ejercicio de la evaluación
alimentado y valorado a partir de indicadores físicos y financieros, será completado con
indicadores específicos referidos principalmente al enfoque integral del territorio, al
carácter piloto de las acciones, al funcionamiento del partenariado, a la organización y
al papel de las estructuras administrativas implicadas y la puesta en red.
Entre las últimas recomendaciones de la Comisión (Jornadas sobre la Mejora de la
calidad de las evaluaciones ex_post de Leader II, celebradas en Bruselas el 23 y 24 de
noviembre de 2000), se ha valorado muy positivamente la realización de
autoevaluaciones, entendidas estas como un ejercicio de responsabilidad de aquellas
instituciones u organismos que gestionan fondos públicos, y que podrían
complementarse con las evaluaciones de carácter externo. Esta medida va en la
dirección de avanzar en la evaluación continua y permanente, tanto por los beneficiarios
del programa, como por las instituciones públicas responsables del diseño y la puesta en
marcha de políticas de desarrollo.
5.- METODOLOGÍA DE EVALUACIÓN
5.1.- Aspectos generales
Uno de los primeros aspectos a destacar a la hora de abordar cualquier tipo de
evaluación, en este caso de los programas de desarrollo rural, es relativizar las
actuaciones, es decir ponerlas en su contexto adecuado, y no exigirle objetivos mucho
más generales de la política global de cualquier Gobierno estatal o regional, aunque
estos objetivos también haya que tenerlos en cuenta. En este sentido, es fundamental
centrarse en aquellos aspectos que constituyen la esencia del programa. En el caso que
nos ocupa, su singularidad se centra en la propia naturaleza de las acciones a llevar a
cabo y en la forma de gestionar el programa de desarrollo, en un territorio de pequeña
dimensión. Respecto a las características de las actuaciones, la cuestión fundamental es
la eficacia en el empleo de los recursos públicos, que se traduce en la consecución de un
mayor número de proyectos financiados, una mayor pervivencia de esos proyectos, y un
aumento del valor añadido en la comarca. En cuanto al grupo gestor, este programa
pretende fomentar la articulación social a nivel comarcal, propiciando la creación de
entramados de relaciones interinstitucionales, intersectoriales e interpersonales, que
permitan la implicación en el modelo de desarrollo de todos los intereses y
sensibilidades del tejido socioeconómico de la comarca (instituciones, sectores
económicos y sociedad en su conjunto).
Para confirmar que la ejecución del programa ha conseguido un modelo de desarrollo
participativo, es necesario valorar cuál es la percepción de la población local sobre la
gestión del grupo de desarrollo y las características de las acciones llevadas a cabo, así
como su contribución a los objetivos específicos. Una adecuada representatividad de los
agentes sociales de la zona, en el Grupo de Desarrollo será fundamental para que hagan
suya la estrategia de desarrollo y sean protagonistas de la misma. TAmbién sería
conveniente considerar las autoevaluaciones de los Grupos que cuentan con este tipo de
experiencia.
Una cuestión relevante, de carácter general, a la hora de hacer la evaluación es si los
resultados deben ser cuantitativos exclusivamente o si se quieren valorar aspectos que
no permiten la cuantificación, pero que son importantes para determinar si se han
cumplido los objetivos del programa. Ninguno de los enfoques, el cuantitativo y el
cualitativo, son excluyentes sino complementarios. Es más, en la evaluación de
programas de desarrollo son especialmente significativos los aspectos cualitativos,
sobre todo si los presupuestos que se aplican no son relevantes con relación a la
inversión pública total en la zona, resultando cuestionable el establecimiento de
relaciones de causalidad entre inversiones y logros del programa. Hay que tener siempre
presente que la credibilidad de la evaluación depende además del rigor de los
instrumentos de medida, de la calidad de la información recogida, del sentido práctico
de las valoraciones, y de la comunicación permanente entre evaluadores y evaluados.
Para la realización de la evaluación de los programas de desarrollo rural pueden
utilizarse la metodología desarrollada por organismos internacionales,
fundamentalmente el marco lógico del método ZOPP alemán (Planificación de
proyectos Orientados a Objetivos), y la propiamente elaborada por la Comisión
Europea, que ha hecho suyos los principios del método de planificación y evaluación
por objetivos Si planteamos la evaluación con la lógica de la planificación, partimos de
un objetivo superior o global que definirá la perspectiva desde la que deben realizarse
las intervenciones del programa. Cada objetivo global se concretará en objetivos
específicos que definan la forma de conseguir el objetivo general.Para lograr los
objetivos específicos será necesario obtener una serie de resultados, que se alcanzarán
una vez que se lleven a cabo determinadas actividades. La lógica vertical del esquema
sería:
Sin embargo, cuando se lleva a cabo el seguimiento, el esquema lógico es inverso
(ascendente). En cualquier proyecto de desarrollo se realizan determinadas actividades
que emplean una cantidad de recursos ya sean humanos, materiales, financieros.... Con
estas actividades se logran obtener unos resultados concretos (efecto de las actividades),
que contribuyen a conseguir los objetivos específicos fijados, que determinan, a su vez,
el cumplimiento del objetivo global.
Para contrastar la consecución de los objetivos previstos en cualquier proyecto es
necesario establecer medidores, que ayuden a determinar de forma objetiva el grado de
realización de cualquier programa de desarrollo. Se trata de definir indicadores que sean
verificables objetivamente, aunque como veremos habrá algunos de tipo cualitativo que
resultarán más difíciles de medir. Para que puedan ser verificables es necesario definir
de antemano las fuentes en las cuales vamos a contrastar el indicador. Finalmente habrá
que tener en consideración aquellos elementos ó supuestos externos al proyecto que
pueden influir en la consecución de los objetivos propuestos. De esta forma se impone
una lógica horizontal, que se puede exponer como sigue:
Objetivos/Actividades Indicadores Fuentes Supuestos
Los indicadores podrán ser cuantitativos (físicos y financieros) que medirán las
realizaciones en eficacia y eficiencia del programa, y de tipo cualitativo que se
utilizarán para valorar aquellas variables o parámetros que no sea posible cuantificar.
Las fuentes de verificación tendrán que estar referidas a los indicadores definidos,
pudiendo ser estadísticas (información secundaria), elaboradas exproceso para el
proyecto, de información primaria, o a partir de encuestas o entrevistas, que
contrastarán aquellos indicadores de tipo cualitativo.
Otro elemento fundamental dentro del planteamiento metodológico es la escala que
consideramos en el seguimiento. Distinguiremos tres estados:
- El contexto operativo:
en el que se tendrán en cuenta las condiciones previas, la
coherencia con otras políticas sectoriales, los cambios
económicos, sociales, políticos y legislativos.
- El seguimiento de la gestión:
en el que se medirán los mecanismos de gestión
administrativa y financiera, la adecuación de criterios de
selección de proyectos...
- El seguimiento de las acciones
concretas ejecutadas:
que consistirá en medir el grado de realización de cada
actividad desarrollada.
Cada una de estas escalas se refiere a un determinado contexto, en el que intervienen
unos agentes concretos. En los programas de desarrollo (comarcales), el contexto
operativo lo reflejará la propia comunidad autónoma con la consideración del nivel
nacional y europeo. En cuanto al seguimiento de la gestión nos referimos a la relación
CEDER/GDR - Beneficiarios (Afectados). Y finalmente la valoración de las acciones
concretas de desarrollo correspondería con las Medidas productivas y no productivas, y
estaríamos refiriéndonos al propio Grupo CEDER/GDR.
En cuanto al desarrollo de Indicadores denominaremos indicadores de base los referidos
a aspectos físicos y financieros de la realización y los resultados del programa, definido
éste como un conjunto de medidas o líneas de actuación dirigidos a conseguir unos
objetivos específicos. Estos indicadores nos permitirán obtener información sobre la
eficacia y eficiencia de las acciones ejecutadas dentro de cada medida, y por
consiguiente del impacto de las mismas sobre dichos objetivos. Al mismo tiempo, para
los resultados de carácter cualitativo, elaboraremos otros indicadores de tipo cualitativo,
que nos permitirán obtener información sobre los resultados específicos del Programa
de Desarrollo Rural.
Si la medida analizada ha sido eficaz, entonces se procederá a valorar la eficiencia y, en
caso contrario, habrá que determinar las causas de la ineficiencia.
CUADRO
BASE
INDICADORES DE BASE
INDICADORES COMPLEMENTARIOS
EFICACIA
EFICIENCIA
MEDIDA
De realización: Ejecución
financiera Realización física
Ejecución realizada/prevista
Realización hecha/prevista
Realización física
RESULTADO
De resultado: Físicos
Financieros Especificidades de
LEADER
Resultados obtenidos previstos
Resultados cualitativos
previstos
Resultados
obtenidos/costes
Resultados cualitativos
OBJETIVO
ESPECIFICO
Impacto específico:
Impacto específico obtenido
/previsto
Impacto específico
obtenido/ costes
OBJETIVO
GLOBAL
Impacto global
Impacto global
obtenido/previsto
Impacto global / costes.
VALOR AÑADIDO ESPECIFICIDADES DEL PROGRAMA DE DESARROLLO
RURAL
La realización de los objetivos específicos del programa de desarrollo y su repercusión
permitirá demostrar si el procedimiento de desarrollo local tuvo éxito. En este sentido,
las actuaciones puestas en marcha en el curso del programa deberán ser analizadas y
valoradas no sólo por la acción en sí misma sino por el procedimiento seguido, lo que
informará sobre cada uno de los objetivos específicos citados:
•
Aproximación territorial, basada en lo local.
•
La aproximación de abajo a arriba: enfoque ascendente.
•
Las acciones innovadoras, particular de cada comarca.
•
Las relaciones entre acciones, la integración, la aproximación
multisectorial.
•
Los grupos de desarrollo rural.
•
Las redes de trabajo (a nivel europeo o nacional) y la Cooperación
transnacional.
•
Modalidades de gestión y financiación.
Todas aquellas cuestiones que sean objeto de estudio, tanto por desviaciones que se
puedan producir respecto a los objetivos de la medida y su grado de consecución según
los indicadores cuantitativos, como por su contribución a los objetivos específicos,
serán objeto de análisis cualitativo que se ejecutará por medio de técnicas de
investigación social, como la entrevista, la encuesta o la observación directa a técnicos
de la Administración, técnicos o gerentes del GDR, presidentes, interlocutores sociales
y la población en general.
5.2.- Indicadores y fuentes de información para la evaluación de programas de
desarrollo
La definición de las fuentes de información determina en gran medida el grado de
verificación de los indicadores utilizados. Esta situación es más importante cuando la
recogida de información cualitativa es clave para el proceso de evaluación, siendo
necesario disponer de diferentes fuentes para contrastarla.
En la Evaluación de Programas de Desarrollo se utilizarán las siguientes fuentes de
información para los indicadores cualitativos:
•
Administración Regional: bases de datos, memorias anuales, informes
del Comité de Seguimiento, entrevistas personalizadas.
•
Grupo de Desarrollo Rural: a través de entrevistas personalizadas y
ejercicios de autoevaluación.
•
Población local: a través de Grupos de Discusión con informantes
cualificados y entrevistas a líderes de opinión.
La triangulación de la información obtenida de estas tres fuentes garantiza la objetividad
y verificabilidad de los indicadores cualitativos, eliminando en cualquier caso la
subjetividad del entrevistado.
La objetividad de los indicadores cualitativos la dan las propias fuentes de información
y la verificación por contraste de los datos.
6. FASES DE LA EVALUACIÓN FINAL
Para la realización de la evaluación hemos diferenciado una serie de fases que
exponemos a continuación y que es la base del plan de trabajo propuesto. Estas fases,
aunque tienen un cierto orden lógico no tienen porque llevarse a cabo con la misma
cronología. En algunos casos las fases son complementarias y hay que realizarlas al
mismo tiempo y en otros son excluyentes o consecutivas en su realización.
6.1.- Recogida de información secundaria
En esta fase se trata de hacer un índice de toda la información ya elaborada, y que está a
disposición del equipo de trabajo, ya sea en bibliografía, recogida en trabajos
anteriores... Se trata de información ya elaborada para otros fines pero que puede ser útil
para los objetivos planteados en nuestro trabajo.
Fundamentalmente, aparte de la información de tipo bibliográfico y normativo, se
dispone de todos los informes y tablas de seguimiento del programa de desarrollo, que
los propios grupos han ido elaborando a petición del organismo intermediario (la
Consejería de Agricultura y Pesca).
6.2.- Tratamiento y análisis de la información secundaria
El análisis exhaustivo de la información, teniendo en cuenta las características y los
objetivos del programa de desarrollo, es otro de los aspectos fundamentales en la
evaluación. La elaboración de un organigrama claro de procedimiento, la selección y
estudio de la normativa de aplicación, el listado y responsabilidades de cada participante
en el programa, así como el estudio de la estrategia de desarrollo prevista, son
elementos esenciales en esta fase del trabajo.
Será necesario sistematizar toda la información secundaria disponible y adaptarla a los
objetivos de la evaluación. Toda esta información será informatizada y contrastada,
organizando una base de datos que permita establecer relaciones entre ellos y poder así
estimar los indicadores que se han fijado.
Es importante también en esta fase, la definición del contexto operativo y la recogida de
la información necesaria para analizarlo. Se elaborará, a partir de esa información, una
serie de tablas con datos socioeconómicos de Andalucía.
6.3.- Elaboración de cuestionarios y guiones de entrevistas
Dado el carácter del propio programa de desarrollo, como ya hemos destacado
anteriormente, se hace necesaria la recogida de información primaria que completa la ya
elaborada, y que al mismo tiempo, ayude a concienciar a los gestores y beneficiarios del
programa de desarrollo de la necesidad de llevar a cabo una evaluación final, en un
momento en el que realmente se está evaluando el modelo de desarrollo consolidado en
Andalucía.
Para proceder a la recogida de esta información será fundamental la selección idónea de
las personas e instituciones a entrevistar. Se han elaborado tres tipos de cuestionarios
distintos para recoger información de los Grupos de Desarrollo, las Delegaciones
Provinciales de Agricultura y Pesca, y los Servicios Centrales de la Administración.
Estos cuestionarios contienen preguntas sobre los aspectos del programa de desarrollo.
Además se ha elaborado una metodología de autoevaluación que permita recoger la
valoración de los Grupos sobre el conjunto de los aspectos cualitativos del programa.
6.4.- Recogida de información primaria
Una vez elaborados todos los cuestionarios y sometidos a algunas pruebas de validación
para mejorar su comprensión, serán enviados a los entrevistados (correo electrónico);
grupos de desarrollo y Administración.
Una vez recogidas las sugerencias sobre posibles modificaciones del documento de
metodología se iniciará la recogida de información. Las visitas/entrevistas se realizarán
a todos los Gerentes y Presidentes de los CEDER, además de, si se considera necesario,
al personal técnico y administrativo. La duración prevista será de tres horas, estando
previsto el repaso del cuestionario de indicadores físicos completando aquellas
cuestiones que no hubiera rellenado el grupo.
La visita será realizada por dos personas, normalmente alguien responsable de la
dirección y coordinación de los trabajos y otra del equipo.
6.5.- Opinión de la población
El análisis de la opinión pública respecto a los programas de desarrollo rural será
realizado a partir de la información facilitada directamente por los propios sujetos. La
recogida de dicha información se realizará mediante técnicas cualitativas,
concretamente mediante un programa de entrevistas individuales y de grupo,
descartando la opción, bastante habitual en las investigaciones sociales, de realizar una
encuesta a la población.
El estudio se ha programado con entrevistas de grupo e individuales según la siguiente
lógica de actuación. Las entrevistas grupales seguirán las instrucciones que suelen
recomendarse en estos casos, a saber: que la composición del grupo refleje lo mejor
posible la diversidad social existente en la comarca, en términos de edad, nivel de
estudios, género, ocupación o actividad profesional; que en él participen personas
competentes para expresar opiniones sobre el tema en cuestión; que exista
heterogeneidad interna en cuanto al campo discursivo para asegurar cierta diversidad de
opiniones y suscitar el debate, aunque no excesiva para evitar el riesgo de un disenso tan
elevado, que impida la agrupación de las opiniones vertidas por los participantes en
tipologías de análisis.
De acuerdo con esas recomendaciones, y con las limitaciones de tiempo y recursos
económicos, en cada comarca de actuación de los programas de desarrollo se realizará,
en principio, una sola entrevista a un grupo aproximado de 6-8 personas, de perfiles
representativos de la estructura social de la zona y procedentes de distintas áreas del
territorio. En todos los casos, se incluirán beneficiarios y no beneficiarios del Programa
de Desarrollo, así como personas relacionadas con los medios de comunicación
comarcales, con la comunidad educativa y con el movimiento asociativo, habiéndose
excluido expresamente técnicos del CEDER y procurando que no haya presencia de
alcaldes de los municipios incluidos en la comarca de actuación.
La selección se realizará sobre la base de una amplia lista de personas elaborada por el
CEDER de acuerdo con los perfiles fijados por el equipo investigador. El contacto con
los posibles entrevistados se hará por teléfono por el equipo evaluador, solicitándoles su
colaboración. Las entrevistas se realizarán en cada comarca, y tendrán una duración
aproximada de dos horas. La dirección de las entrevistas corresponderá al equipo
investigador del Instituto de Estudios Sociales Avanzados de Andalucía (IESA) del
CSIC, y participarán técnicos de D·a·p. en calidad de observadores, aunque teniendo
posibilidad de intervenir cuando lo consideren oportuno. La recogida de información se
realizará mediante la obtención de notas por parte de los sociólogos participantes,
grabándose en magnetofón la mayoría de las entrevistas. Cada entrevista será
posteriormente redactada utilizándose como apoyo la información recogida en la
grabación.
Como complemento de las entrevistas grupales, se realizará algunas individuales
semiestructuradas con líderes de opinión en cada comarca, con objeto de profundizar en
algunos de los aspectos.
6.6.- Análisis de la información primaria
Tanto la información recogida mediante cuestionarios como la extraída con entrevista se
elaborará dentro del esquema metodológico global. Hay dos enfoques que
permanentemente se van a tener en cuenta: por un lado la evaluación grupo a grupo
(individual), y por otro a nivel regional. En ambos casos se integrará toda la
información disponible (primaria y secundaria) para hacer posible la estimación de los
indicadores (información más cuantitativa) y el contraste de la información cualitativa
(de opiniones y de la propia autoevaluación del Grupo).
6.7.- Estimación de indicadores
En el planteamiento global de la metodología se han elaborado indicadores para las
diferentes medidas de que consta el programa de desarrollo rural.
Si queremos comentar en este apartado que se cuenta con una batería de indicadores
probados en la Evaluación Intermedia del Programa LEADER II, donde se detectó el
grado de dificultad existente para su estimación: bien por su poca relevancia, por no
existir información disponible, o por ser demasiado exhaustivo; algunos de estos
indicadores no son incluidos en el planteamiento metodológico de la Evaluación Final.
6.8.- Autoevaluación de los Grupos de Desarrollo.
Al inicio del proceso de evaluación se le facilitará al Grupo de Desarrollo una
metodología adaptada para la autoevaluación, con el objetivo de incorporar, de forma
voluntaria, el análisis que haga el territorio de los resultados cualitativos del programa.
Esta medida responde a la recomendación realizada por la Comisión de hacer, en la
medida de lo posible, una evaluación final ascendente, teniendo en cuenta posibles
autoevaluaciones que se hayan realizado sobre el programa.
Dado el breve espacio de tiempo que se dispone para hacer la evaluación final, no se
puede condicionar su realización a la existencia de autoevaluaciones, por lo que se ha
recomendado que se hagan en el plazo previsto para la evaluación final.
La metodología de autoevaluación se centra en los aspectos cualitativos del programa, y
se acompaña de un sistema de valoración de dichos aspectos de carácter cuantitativo
que deberá realizarse grupalmente y con ayuda de un facilitador. Su adecuada
realización requiere la participación de los actores sociales, por lo que su verdadera
utilidad será generar un proceso de reflexión colectiva que conduzca a la creación de
referencias comunes entre los agentes del territorio. Para facilitar su realización a corto
plazo, se ha recomendado que se realice con un grupo de 10-15 personas, en el marco de
la Junta Directiva o Consejo de Administración, y en aquellos casos que el Grupo
considere oportuno, se incluyan representantes de grupos de interés, técnicos y
población en general. D·a·p y el IESA estarán presentes en algunas de las
autoevaluaciones de forma testimonial, siempre como observadores, con objeto de
comprender el grado de dificultad o facilidad encontrada en la aplicación de la
metodología.
Además de ser un complemento a la evaluación reglamentaria, la autoevaluación debe
ayudar al grupo a afrontar la evaluación final y profundizar sobre los resultados
obtenidos dentro de la comarca, y comparativamente, en el programa regional.
El proceso de reflexión deberá generar un conocimiento profundo sobre la evolución
que ha experimentado el territorio, los impactos generados por la aplicación del
programa y el funcionamiento del grupo de desarrollo rural.
6.9.- Resultados de la evaluación: informes individuales de cada grupo
Integrando toda la información disponible, ya sea cuantitativa o cualitativa, y una vez
obtenidos los distintos indicadores en su caso, se elaborará el informe de cada una de las
zonas beneficiarias del programa de desarrollo rural.
El informe de Grupo constará de una ficha identificativa del Grupo, una ficha
identificativa de la zona de intervención y la descripción de la evaluación de las
diferentes fases del Programas. En primer lugar, cómo se realizó el planteamiento
general del programa; también, en su caso, la evaluación de la fase de adquisición de
capacidades, el análisis de la naturaleza de las actuaciones realizadas y la valoración de
la opinión de la población. Finalmente se evaluará globalmente, formulando unas las
conclusiones y recomendaciones para cada caso. En todas aquellas medidas que sea
posible se hará una comparación de los resultados del grupo con la media regional.
6.10.- Resultados de la evaluación: Informe Regional.
A partir de los informes de cada grupo y teniendo en cuenta el contexto operativo y las
comparaciones entre grupos de los distintos indicadores se elaborará el informe regional
con una estructura parecida a los informes individuales, aunque intentando extraer
conclusiones a nivel de la comunidad autónoma andaluza. El contenido del informe
final será parecido a los informes individuales en algunos aspectos (valoración de
medidas), aunque con una visión de conjunto. Además incluye una primera parte de
objetivos y metodología, el contexto operativo, las distintas escalas de evaluación, la
opinión de la población, la valoración de las autoevaluaciones y los resultados generales
de la evaluación regional. Termina el informe con las recomendaciones y con los anejos
de la información recogida.
6.11.- Informe síntesis
Teniendo en cuenta las particularidades de los programas de desarrollo rural, se
elaborará un informe síntesis con la estructura correspondiente a las especificidades del
programa de desarrollo. En este informe se recogen los resultados más importantes de la
evaluación y se apuntan las recomendaciones, a nivel global, necesarias para conseguir
alcanzar los objetivos previstos.
Se tratará de extraer conclusiones de la evaluación sobre los siguientes aspectos:
enfoque territorial, enfoque ascendente, grupo de desarrollo rural, integración de
acciones, innovación, trabajos en red, cooperación transnacional y modalidad de
financiación de las acciones.
La utilización de esta metodología para la evaluación de cada uno de los 49 Programas
de Desarrollo Rural existentes en Andalucía, nos permite concluir con las siguientes
reflexiones.
7.- REFLEXIONES SOBRE LA EVALUACIÓN FINAL DE LOS
PROGRAMAS DE DESARROLLO RURAL.
1.
La evaluación ayuda a homogeneizar la información.
2.
La evaluación obliga a recoger y sistematizar información, lo que
redundará en beneficio de la consecución de los objetivos del programa de
desarrollo: mejor conocimiento del programa.
3.
No existe un método único para evaluar las actuaciones públicas, cada
método deberá ir adaptándose a la realidad del propio programa, teniendo en
cuenta que debemos dar resultados rápidos, útiles, aplicables y contrastados con
los implicados.
4.
Es necesario adaptarse siempre al objeto de la evaluación, y tener en
cuenta el contexto en el que se realiza y las características del programa
(LEADER II y PRODER no son programas de inversiones).
5.
Es fundamental explicitar los objetivos para poder evaluar. La
evaluación obliga a ello.
6.
Importancia de la información, sobre todo de la primaria. La
evaluación depende tanto del rigor de los instrumentos de medida como de la
calidad de la información recogida, del sentido práctico de las valoraciones y
de la comunicación permanente entre los evaluadores y evaluados.
7.
Hay que llegar permanentemente a un equilibrio entre el empleo de
técnicas cuantitativas y cualitativas. Son enfoques complementarios y no
contradictorios.
8.
El objetivo de cualquier evaluación es que permita, a partir del análisis
de la realidad, modificar aquellas cuestiones que sean mejorables, y aprender y
potenciar los elementos positivos de la gestión.
9.
Es fundamental que los Grupos y la población vean como algo propio
la evaluación. Los resultados de la evaluación servirán de poco si no son
asimilados por los Grupos. Desde los Grupos se debe hacer un esfuerzo
permanente de autoevaluación, que permitan una sistemática. Es necesario
encajar la premura y las necesidades de la evaluación con las múltiples
ocupaciones del día a día. La evaluación se puede convertir en un elemento de
refuerzo del Grupo de Desarrollo.
10.
La Comisión tiene ya elaboradas unas líneas directrices para la
evaluación que permiten la homogeneización en la aplicación de metodologías.
11.
Es necesaria una cultura de la evaluación entre los Grupos, las
Administraciones y la propia población afectada.
8.- BIBLIOGRAFÍA
- Barke, M y Newton, M (1997): “The EU LEADER Iniciative and Endogenous Rural
Development: The application of the programme in two rural areas of Andalusia,
Southern Spain”. Journal of Rural Studies. Vol 13. Nº 3 pp. 319-341.
- Comisión Europea (1997): “La evaluación global de un proyecto LEADER: Western
Isles, Skye and Lochalsh. (Escocia, Reino Unido)”. Rural Europe. AEIDL
- Comisión Europea (1999): “Evaluación de los programas de desarrollo rural 20002006 financiados con cargo al Fondo Europeo de - - Orientación y Garantía Agrícola.
Directrices”. Dirección General de Agricultura.
- Comisión Europea (2000). “Cuestionario para evaluar el Planteamiento LEADER”
Seminario "Mejorar la calidad de las evaluaciones expost de LEADER II”. 23-24 de
noviembre de 2001. Bruselas.
- Comisión Europea (2000). “Indicadores de Seguimiento y Evaluación: Orientaciones
metodológicas.” El nuevo periodo de programación 2000-2006: Documentos de trabajo
metodológicos. Dirección General XVI. Política Regional y Cohesión.
- Comisión Europea (2000): “Proyecto de evaluación a posteriori de la Iniciativa
Comunitaria LEADER II. Directrices para la evaluación”.
- Comisión Europea (1994): Comité des Structures Agricoles et du developpement
rural-STAR. 68 ème reunion du 27 el 28 septembre 1994: “Suivi et Evaluation des
Intervenctions Communautaires dans le cadre des objectifs 1.5 a, 5 b et L´I.C. Leader
pour la periode 1994-99.” Direction Generale de L´Agriculture.
- Comisión Europea. (1999) “Évaluer les programmes socio-économiques”. Collection
MEANS
- D·a·p. (Empresa Pública para el Desarrollo Agrario y Pesquero de Andalucía).
Evaluación Intermedia de la Iniciativa Comunitaria LEADER II en Andalucía. (Tres
volúmenes). Sevilla, junio de 1999 (mimeografiado). Dirección y Coordinación:
Cobacho Vargas, Mª Antonia; Guzmán Guerrero, Melchor y Martínez Navarro,
Encarnación.
- Guzmán, M., Martinez, E. y Cobacho, M.A. D·a·p (2001). “La utilidad de los
Programas de Desarrollo Rural. Presente y Futuro. Utilidad e Importancia”.
Mimeografiado. Conferencia en las Jornadas sobre Política de Desarrollo Rural en
Andalucía. 12-14 marzo de 2001. Ayamonte (Huelva).
- European Commission (1999): “Ex post Evaluation of the LEADER I Community
Iniciative 1989-1993”. Brussels.
- Kearney, Brendan (2000). “Evaluación ex post del programa Leader II en Irlanda.
Resumen de métodos y resultados”. Observatorio Europeo LEADER. Seminario
“Mejorar la calidad de las evaluaciones ex - post de LEADER II”.
- Ray, Christopher. (2000) “Endogenous socio-economic development in the European
union - issues of evaluation”. Journal of Rural Studies
- Regione Emilia - Romagna (2000) “La metodologia di valutazione delle specificitá di
LEADER applicata ai GAL dell´Emilia - Romagna”. Direzione Generale Agricoltura.
- Saraceno, E y Hmmelbrunner R. Comisión Europea (1998). “La Evaluación en las
especificidades de LEADER II”. Obsevatorio Europeo LEADER.
- Thirion, S. (2000). “El método SAP en Portugal (Sistematización de la
Autoevaluación Participativa” Observatorio Europeo Leader. - - Mejorar la calidad de
las evaluaciones ex - post de LEADER II.
Melchor Guzmán Guerrero, Mª Antonia Cobacho Vargas, Encarnación Martínez Navarro
Empresa Pública para el Desarrollo Agrario y Pesquero de Andalucía. (España)