LEADER + Orientaciones para la evaluación previa de los programas

LEADER+
Orientaciones para la evaluación previa de los programas
1. Introducción
El presente documento ofrece algunas orientaciones para la evaluación previa de los
programas presentados al amparo de la iniciativa LEADER+. Está dirigido a los
evaluadores y a las autoridades nacionales o regionales responsables de la
programación de LEADER+ durante el período 2000-2006. La evaluación previa
constituye una valiosa ayuda para preparar los programas de la iniciativa LEADER+ y
facilita su aplicación a través de una programación fundada y de la adopción de
decisiones apropiadas en relación con las necesidades, los mecanismos de aplicación
y la asignación de recursos. Asimismo, una evaluación previa adecuada facilita la
tarea de la Comisión a la hora de evaluar los programas de esta iniciativa.
Los requisitos legales relativos a la evaluación previa se establecen en los apartados
26 y 34 de la Comunicación de la Comisión a los Estados miembros de 14 de abril de
2000 por la que se fijan orientaciones sobre la iniciativa comunitaria de desarrollo
rural (LEADER+), en el anexo de la misma sobre la estructura de las propuestas de
programa y en el apartado 3 del artículo 19 del Reglamento (CE) nº 1260/1999 del
Consejo.
2. Breve descripción de LEADER+
Sobre la base de la experiencia de LEADER I y II, LEADER+ tiene por objetivo
complementar los principales programas de desarrollo rural a través de la promoción
de regímenes integrados aplicados por socios activos que operan a nivel local.
Tal como se establece en la Comunicación de la Comisión, el propósito de LEADER
+ es concienciar a los agentes rurales en relación con el potencial a largo plazo de su
zona, fomentando la aplicación de estrategias de desarrollo sostenible de gran calidad
a la vez que originales e integradas.
En este doble objetivo - promover un desarrollo rural integrado y sostenible en un
sentido amplio e incentivar, al mismo tiempo, a los agentes locales para que
desarrollen el potencial y el dinamismo interno de las zonas rurales- radica la
especificidad de LEADER+. Para alcanzar este doble objetivo LEADER+ se apoya en
una metodología basada en los principios de enfoque territorial, un planteamiento
ascendente de la concepción y ejecución de los programas, el carácter integrado y
piloto de las actividades y la constitución de redes entre todos los participantes en el
proceso de desarrollo rural.
Para obtener un valor añadido, la metodología de LEADER + debe seguirse
concienzudamente durante la aplicación de los tres capítulos de la iniciativa:
estrategias piloto de desarrollo rural territoriales e integradas, apoyo a la cooperación
interterritorial y constitución de redes.
1
3. Ámbito y aplicación de la evaluación previa
Ámbito de la evaluación previa
Los evaluadores deben tener en cuenta el doble objetivo de LEADER: (1) promoción
de un desarrollo rural sostenible e integrado en un sentido amplio, a través del (2)
fomento de estrategias piloto de desarrollo del potencial endógeno de las zonas
rurales. LEADER+. Por consiguiente, los evaluadores deben tomar en consideración y
comprobar los rasgos específicos de LEADER+: el carácter piloto de las acciones; el
ámbito geográfico de la intervención en lo referente a la dimensión territorial,
haciendo hincapié en los grupos de acción local; la integración en una red y el
componente de cooperación de la estrategia; el enfoque integrado del programa y el
planteamiento ascendente de las actividades.
Teniendo en cuenta sus características específicas, la evaluación de LEADER+ debe
incluir los distintos niveles de aplicación y la definición de objetivos:
• A nivel europeo existe una serie de objetivos generales y específicos que
deben tenerse en cuenta en la aplicación del programa. La forma en que
estos objetivos se han tomado en consideración en la elaboración del
programa forma parte de la evaluación previa.
• A nivel regional y nacional y para cada uno de los programas, deben
definirse los "objetivos específicos de la aplicación de LEADER+”1.
Dichos objetivos propios de los programas presentados bajo la iniciativa, y
que se orientan a problemas específicos del territorio en cuestión, son
diferentes, aunque complementarios, de los objetivos de la iniciativa. Con
el fin de evitar confusiones, en adelante se denominarán "objetivos
específicos del programa ". La evaluación de la coherencia, pertinencia y
repercusión prevista de estos objetivos también es parte integrante de la
evaluación previa.
• Finalmente, los objetivos definidos a nivel de los grupos de acción local
(GAL), deben ser conformes con los de los dos primeros niveles, no están
sujetos a la evaluación previa de los programas. En la medida en la que
deben aparecer reflejados en los criterios de selección formulados en el
programa, forman parte de la evaluación previa.
Realización de la evaluación
La evaluación previa es competencia de las autoridades responsables del programa de
iniciativa. Deberá ser llevada a cabo por evaluadores independientes y de
conformidad con prácticas de evaluación reconocidas. El requisito de independencia
1
Párrafo 26 de la Comunicación.
2
implica que el evaluador no podrá participar directamente en la concepción,
ejecución, dirección o financiación del programa. Las instituciones públicas no están
excluidas si cumplen los criterios de independencia y competencia, por ejemplo en lo
que respecta a prácticas de evaluación actualizadas. La independencia no significa en
ningún caso que el evaluador evite cooperar con las autoridades responsables del
programa. Dicha cooperación es fundamental para que la evaluación previa
contribuya a mejorar el programa antes de su conclusión.
4. Marco metodológico de la evaluación previa
La evaluación previa deberá contribuir a precisar los objetivos del programa, su
pertinencia en relación con las necesidades y la repercusión prevista de las
actividades, así como a mejorar la coherencia entre la estrategia propuesta y los
objetivos perseguidos con la situación concreta de la región. Más concretamente, la
evaluación previa contribuye a evaluar los aspectos fundamentales de la asistencia
tales como el fundamento 2, la pertinencia3 y la coherencia4 del programa y, en la
medida de lo posible, la eficacia5 y la eficiencia 6 de las intervenciones. En este
capítulo se apuntan algunos de los principales conceptos de evaluación que figuran en
el anexo I.
A partir de los objetivos establecidos, la evaluación previa deberá mostrar de qué
forma los recursos financieros y administrativos se han transformado en los resultados
apropiados a través de los mecanismos de aplicación previstos en el programa. La
evaluación previa debe examinar y evaluar las relaciones de causalidad entre las
realizaciones cofinanciadas, los resultados y las repercusiones previstas.
2
Fundamento: El hecho de que una intervención pueda justificarse en relación con las necesidades
que se pretende satisfacer o los problemas socioeconómicos que se desea resolver; la evaluación previa
comprueba la existencia actual de estas necesidades y problemas y asegura que no pueden ser resueltos
a través de las iniciativas públicas o privadas existentes.
3
Pertinencia: Adecuación de los objetivos de un programa a las necesidades sectoriales y problemas
socioeconómicos a los que se dirige.
4
Coherencia: Examen de si cabría una mayor complementariedad o sinergia dentro de un programa y
en relación con otros programas. Por coherencia interna se entiende la correlación entre los recursos
asignados a un programa y los objetivos del mismo. Por coherencia externa se entiende la adecuación
entre el programa evaluado y otros programas relacionados, por ejemplo, otros regímenes de ayuda
nacionales o comunitarios.
5
Eficacia: Análisis de los efectos frente a los objetivos del programa evaluado. Una medida será eficaz
si se alcanzan los objetivos.
6
Eficiencia: Análisis de los efectos frente a los medios empleados (financieros o administrativos); esto
es, desde el punto de vista económico, de qué modo los medios se han convertido en realizaciones o
resultados o han generado un impacto. ¿Se habría logrado el mismo resultado con menos medios o más
resultados con iguales medios?
3
Relaciones entre objetivos e impactos del ciclo de
programación
Necesidades
Objetivos
globales
Impactos
Objetivos
específicos
Resultados
Objetivos
operativos
Realizaciones
Recursos
La figura 1 muestra de qué forma, dentro del ciclo de programación, los resultados y
las repercusiones están relacionados con los objetivos derivados de las necesidades
identificadas de la región. Dichas necesidades se refieren a problemas
socioeconómicos o medioambientales a los que deberá responder el programa. Los
inputs son los recursos financieros o administrativos de los que se dispone para
producir las realizaciones y alcanzar los objetivos operativos previstos. Los
consiguientes resultados constituyen las repercusiones más inmediatas de la
intervención, en otras palabras, la contribución de los objetivos operativos a los
objetivos específicos del programa. Las repercusiones globales responden a los
objetivos globales del programa y, en un programa bien concebido, satisfacen las
necesidades previamente identificadas que condujeron a la ejecución del programa.
Como ya se ha señalado, la evaluación previa deberá centrarse principalmente en la
pertinencia, el fundamento y la coherencia del programa, dejando para una fase
posterior del proceso de evaluación el análisis exhaustivo de la eficiencia y la eficacia.
La Comisión tiene la intención de presentar más adelante una guía metodológica para
la evaluación intermedia y final.
5. Información sobre la evaluación previa de los programas
Se pretende que las conclusiones y recomendaciones justificadas y políticamente
viables de la evaluación previa se utilicen para mejorar el programa de iniciativa antes
de presentarlo a la Comisión. Esto implica adaptar convenientemente todos los
capítulos pertinentes del programa de iniciativa.
En el párrafo 26 de la Comunicación de la Comisión se especifica que la evaluación
previa forma parte integrante del programa. Por consiguiente, el programa de
iniciativa deberá incluir:
a) Una descripción de las actividades de evaluación que han tenido lugar:
• Quién realizó la evaluación previa
• Recursos que fueron necesarios (especialmente de tiempo)
• Actividades de evaluación específicas efectuadas
4
b) Un resumen de los principales resultados de la evaluación previa.
c) De qué forma las conclusiones y recomendaciones de la evaluación previa han
sido tenidas en cuenta por las autoridades de programación y en qué medida
condujeron a modificar la propuesta del programa de iniciativa.
En el anexo I se facilita una relación de los componentes clave de la evaluación
previa. El anexo II contiene algunas recomendaciones prácticas para la definición de
indicadores.
5
ANEXO I
Componentes clave de la evaluación previa de los programas
La evaluación previa de los programas de la iniciativa LEADER+ debe generalmente
tratar las siguientes cuestiones:
1. Descripción del contexto: Ventajas, desventajas y potencial de la zona en la que
va a aplicarse el programa
• Análisis de la situación del territorio en donde va a aplicarse el programa, sus
ventajas, desventajas y potencial de desarrollo:
−
Descripción de la situación socioeconómica, utilizando datos cuantificados
sobre la economía rural, la demografía, los recursos humanos, el empleo y
mercado laboral, las PYME, competitividad e innovación
−
Descripción de la situación en cuanto a la igualdad de oportunidades de
hombres y mujeres en lo que respecta al acceso al mercado laboral.
−
Descripción del medio ambiente en las zonas seleccionadas.
• Clasificación coherente de las disparidades y amenazas que deben tratarse.
• Definición de las fuerzas motrices para un desarrollo sostenible.
• Análisis de operaciones previas, en especial experiencias de tipo LEADER, y de
los resultados de evaluaciones anteriores (cuando proceda).
• Evaluación de problemas potenciales relativos a la evaluación y el seguimiento,
elaboración de indicadores, obtención de datos, etc.
2. Evaluación de la pertinencia y coherencia del programa de iniciativa
Análisis de los objetivos del programa
• Evaluación de la coherencia de los objetivos del programa con las características y
necesidades específicas de las zonas en cuestión.
• Coherencia entre los objetivos específicos del programa y los de la iniciativa
LEADER+, teniendo en cuenta su doble objetivo (tal como se define en la
Sección 2 "Ámbito de la evaluación")
• Análisis y evaluación de la estructuración de los objetivos del programa:
6
−
Comprobar si existe una jerarquía adecuada de los objetivos de forma que las
realizaciones (objetivos operativos) puedan transformarse en resultados
(objetivos específicos) y éstos en repercusiones (correspondientes a los
objetivos globales).
Repercusiones previstas
• Repercusiones previstas de las prioridades planeadas en relación con la situación
de partida. La evaluación analizará las repercusiones previstas del programa en
relación con sus objetivos y tratará de cuantificarlas en la medida de lo posible.
Coherencia con otras intervenciones
• Descripción de otras políticas regionales, nacionales o comunitarias y de los
programas o iniciativas aplicados o que vayan a aplicarse en el Estado miembro o
región en cuestión, especialmente en los ámbitos siguientes:
−
−
−
−
−
•
desarrollo rural,
desarrollo regional,
empleo,
medio ambiente,
cualquier otra política, programa o iniciativa susceptible de ejercer una
influencia en la aplicación, los resultados o las repercusiones del programa.
Estas políticas, programas o iniciativas se evaluarán teniendo en cuenta los
siguientes aspectos:
−
−
−
su posible complementariedad con el programa,
su posible sinergia o duplicación de tareas con el programa,
forma en que se ha tenido en cuenta la interacción potencial en la elaboración
del programa.
3. Evaluación previa de las medidas de aplicación
• Pertinencia de los recursos asignados teniendo en cuenta los objetivos definidos.
• Evaluación del calendario, programación adecuada, procedimientos, criterios de
selección y condiciones financieras, de conformidad con la estrategia propuesta.
• Análisis de las medidas de información previstas y su capacidad para implicar a
los agentes rurales en la ejecución del programa.
• Comprobación de las medidas de evaluación, incluida la definición de
indicadores. (Véase el anexo II)
7
ANEXO II
Definición de indicadores
Un indicador puede definirse como una característica o atributo que puede medirse
con el fin de evaluar el progreso de un programa hacia la consecución de sus
objetivos. Los indicadores se definen con su unidad de medida. Dado que el programa
debe articularse en torno a una serie de objetivos, los indicadores deben definirse en
relación con éstos.
Los indicadores constituyen una valiosa herramienta para los gestores, interlocutores
y agentes económicos, tanto para la evaluación como para el seguimiento de la
aplicación del programa. En la medida de lo posible, los indicadores deben definirse
desde el inicio del programa. Una pronta definición de los indicadores ayudará a los
responsables y gestores de los proyectos en la tarea de evaluación del programa a lo
largo de la vida del mismo. Por otra parte, una reflexión en profundidad de los
indicadores que van a utilizarse puede informar de la pertinencia de los objetivos y
estrategia del programa.
Existen varios tipos de indicadores, aunque no hay que utilizarlos todos
necesariamente en una misma estrategia de evaluación.
En primer lugar, los indicadores pueden ser cuantitativos (por ejemplo, porcentaje de
agricultores locales que tienen acceso a actividades de formación) o cualitativos (por
ejemplo, porcentaje de personas satisfechas con las actividades de formación
seguidas).
Asimismo, puede establecerse otra distinción entre indicadores de contexto (que se
aplican a todo un territorio o población) e indicadores de programa (que se aplican a
la parte específica del territorio o población a la que se dirige el programa). La
definición de indicadores de contexto en el marco de la evaluación previa puede
contribuir a evaluar la pertinencia del programa y utilizarse como base para todo el
proceso de evaluación.
Una tercera clasificación se refiere a las fases de ejecución del programa. Así, existen
indicadores de realización, indicadores de resultado e indicadores de impacto,
establecidos con arreglo a la estrategia del programa, sus realizaciones esperadas y
sus efectos previstos a corto y largo plazo. En función del avance del programa, la
utilización de indicadores de resultados o de repercusiones será más o menos
pertinente. Algunos efectos (repercusiones) solamente podrán ser identificables al
cabo de varios años de aplicación.
8
El siguiente ejemplo muestra cómo pueden utilizarse los diferentes tipos de
indicadores para evaluar una acción.
Indicadores
Desarrollo de actividades turísticas en zonas rurales
Realizaciones
Resultados
Impacto
Indicadores de programa
Indicadores de contexto
Inversiones realizadas por los
beneficiarios y número de los
mismos
Número de beneficiarios
potenciales
Número de nuevas actividades
turísticas
desarrolladas por los
beneficiarios
Proporción de empleos
creados por el turismo
en la zona asistida
Número de nuevas
actividades turísticas
desarrolladas en la región
Proporción de empleos en el
sector turístico de la región
Teniendo en cuenta el enfoque ascendente local específico de LEADER+, pueden
formularse las siguientes recomendaciones prácticas en relación con la definición de
indicadores:
• Como norma general, elegir indicadores que puedan medir los progresos de la
consecución de los objetivos del programa y de LEADER+.
• Elegir indicadores que puedan ofrecer información útil con relación a la lógica de
intervención del programa .
• Concentrarse en los indicadores más significativos potencialmente. No es
necesario definir demasiados indicadores, un sistema de indicadores deberá
limitarse a los más pertinentes.
9