Nota de orientación A – Elección y utilización de los indicadores

Nota de orientación A – Elección y utilización de los
indicadores
La presente nota de orientación aborda la forma de seleccionar y utilizar indicadores en
el contexto de la definición, ejecución y evaluación de los programas y las estrategias
nacionales. Recoge los requisitos vinculados con:
• los objetivos, los indicadores y la cuantificación;
• los indicadores comunes y adicionales;
• la elección y la utilización de indicadores en los programas de desarrollo rural,
incluida la relación entre indicadores de base e indicadores de repercusiones, y
• la elección y la utilización de indicadores en las estrategias nacionales.
1.
OBJETIVOS, INDICADORES Y CUANTIFICACIÓN
En el contexto del nuevo Reglamento de desarrollo rural, el análisis de la situación, la
definición de objetivos, los indicadores y la cuantificación se produce en varias fases:
(1) determinación de necesidades de desarrollo a partir de los principales indicadores de
base comunes y nacionales y fijación de objetivos de la estrategia nacional (EN);
(2) análisis de las necesidades de la zona en la que se ejecutará el programa y análisis
SWOT, definición de prioridades, objetivos, medidas, indicadores y cuantificación
(PDR);
(3) evaluación a priori para valorar y completar el programa, análisis SWOT, definición
de prioridades, objetivos, medidas, indicadores y cuantificación (PDR);
(4) adaptación del programa para tener en cuenta la evaluación a priori (las fases 2 y 3
pueden organizarse como un proceso iterativo) (PDR);
(5) presentación del programa a la Comisión, negociación y adopción (PDR);
(6) actualización de la estrategia nacional para tener en cuenta la gama completa de
indicadores y la cuantificación a partir de la evaluación a priori y el programa
adoptado (EN).
En esta sección se intenta facilitar orientación práctica sobre la manera de elegir y
emplear los indicadores en los programas y estrategias nacionales.
En las Notas de orientación adjuntas se recogen las listas de indicadores comunes y las
fichas descriptivas de los indicadores de base, de ejecución, de resultados y de
repercusiones, así como una lista de ejemplos de indicadores adicionales (véase el Anexo
2. Notas de orientación E-K).
AGRI-2006-63618-01-01-ES-TRA-00.DOC
1
2. INDICADORES COMUNES Y ADICIONALES
Habida cuenta de que es posible que los indicadores comunes no capten en su totalidad
los efectos de la actividad de los programas, concretamente en lo que respecta a las
prioridades nacionales y las medidas específicas de una zona, es necesario definir
indicadores adicionales dentro de los programas. Esos indicadores deben elaborarlos de
manera flexible los Estados miembros y las asociaciones de programas, pero siempre de
acuerdo con los principios generales que regulan el empleo de los indicadores en el
marco común de seguimiento y evaluación.
Hay una serie de situaciones en las que los Estados miembros deben facilitar indicadores
adicionales:
• cuando un indicador de base común no comprenda las características específicas de la
zona del programa;
• cuando un indicador de repercusiones no abarque un objetivo adicional o una
prioridad nacional definidos en el plan estratégico nacional o el programa;
• cuando los indicadores de repercusiones comunes no sean suficientemente detallados
o específicos para reflejar los beneficios más amplios de una medida o cuando no
exista para una medida un indicador de repercusiones común; ello es especialmente
importante cuando las medidas sean muy específicas de una zona, por ejemplo, en
materia agroambiental; en tal caso, han de elaborarse indicadores de repercusiones
apropiados y específicos para las medidas;
• cuando los indicadores de resultados comunes no sean suficientemente detallados o
específicos para reflejar los primeros efectos de una medida o cuando no exista para
una medida un indicador de resultados común;
• cuando los indicadores comunes de ejecución no sean suficientemente detallados o
específicos para reflejar las actividades de una medida;
La definición de indicadores adicionales ofrecerá a los Estados miembros flexibilidad a
la hora de crear un sistema de seguimiento y evaluación adaptado a sus necesidades. No
obstante, esta flexibilidad será sólo posible en la medida en que se mantenga dentro del
ámbito del Reglamento de desarrollo rural y la correspondiente jerarquía de objetivos. A
la hora de crear un indicador adicional, los Estados miembros deben:
• garantizar su pertinencia y utilidad;
• definir el tipo y el empleo del indicador;
• velar por que el indicador adicional cumpla criterios de calidad aceptados para el tipo
de indicador e intervención de que se trate.
Se recomienda que se facilite una ficha detallada por cada indicador adicional con objeto
de facilitar su utilización en el seguimiento y la evaluación.
3. ELECCIÓN Y EMPLEO DE INDICADORES EN LOS PROGRAMAS
Indicadores de base
A partir de los indicadores de base referentes a objetivos y los indicadores de base
referentes al contexto, ambos comunes, las autoridades de gestión deben llevar a cabo un
análisis de la situación en la zona del programa en términos de puntos fuertes y
deficiencias, como se menciona en el artículo 16, letra a), del Reglamento (CE) nº
1698/2005.
Análisis de la situación en términos de puntos fuertes y deficiencias, la estrategia elegida para ellos y
la evaluación a priori (artículo 16, letra a), y artículo 85, del Reglamento (CE) nº 1698/2005).
Descripción cuantificada de la situación que prevalece en un momento concreto en la zona geográfica que
destaque los puntos fuertes y las deficiencias, las disparidades, las necesidades y lagunas y el potencial de
desarrollo rural en función de los indicadores de base definidos en el anexo 6 del citado Reglamento y de
otros indicadores adicionales pertinentes. La descripción abarcará los siguientes aspectos:
– Contexto socioeconómico general de la zona geográfica: definición de la zona rural de acuerdo con la
definición de la OCDE o, en su caso, otras definiciones; situación demográfica con análisis de la
estructura de la población por edad y sexo; inmigración y emigración y problemas causados por la
presión periurbana y la lejanía; factores de impulso económico, productividad y crecimiento; mercado
laboral, incluidos la estructura del empleo, el desempleo y niveles de competencias; utilización de las
tierras y estructura de la propiedad en general y en los sectores agrícola y forestal, tamaño medio de las
explotaciones.
– Resultados de los sectores agrícola, forestal y alimentario: competitividad de los sectores agrícola,
forestal y alimentario, incluidas las necesidades de reestructuración y modernización; capital humano e
iniciativa empresarial; potencial de innovación y transferencia de conocimientos; calidad y
cumplimiento de las normas comunitarias.
– Medio ambiente y gestión de las tierras: dificultades que padecen las explotaciones situadas en zonas
en peligro de abandono y marginación; descripción global de la biodiversidad, especialmente de la
vinculada a la agricultura y la silvicultura, incluidos los sistemas agrícolas y forestales de elevado
interés natural, y situación en que se encuentra la aplicación de las directivas de Natura 2000 en las
explotaciones agrícolas y las zonas forestales; descripciones de la calidad y la cantidad de las aguas,
papel de la agricultura en el empleo y la contaminación del agua y aplicación de la Directiva sobre
nitratos y la Directiva marco del agua; contaminación atmosférica y cambio climático y vínculos con la
agricultura: emisiones de gases de efecto invernadero y de amoniaco y vínculo con los diferentes
planes de acción e iniciativas adoptados por los Estados miembros o regiones para contribuir a alcanzar
los objetivos internacionales, entre ellos el código de buenas prácticas para reducir las emisiones de
amoniaco (Convenio sobre la Contaminación Atmosférica Transfronteriza a Gran Distancia);
utilización de la bioenergía; descripciones de la calidad del suelo (erosión hídrica y eólica, materia
orgánica y contaminación) y protección, uso de plaguicidas, agricultura ecológica y bienestar de los
animales; dimensión de las zonas forestales de protección y protegidas, zonas forestales con riesgo
elevado o medio de incendio, cambio medio anual de la cubierta forestal. A las descripciones anteriores
las acompañarán datos cuantificados.
– Economía rural y calidad de vida: estructura de la economía rural, obstáculos a la creación de empleo
alternativo, formación de microempresas y turismo; suministro de servicios en las zonas rurales,
necesidades de infraestructura, patrimonio cultural y zonas edificadas de los pueblos; potencial humano
y capacidad local de desarrollo, incluida la gobernanza.
– Leader: población y territorio de los Estados miembros cubiertos por estrategias integradas de
desarrollo rural ascendentes (Leader y otros programas nacionales y cofinanciados por la UE) durante
el período de programación 2000-2006.
Elección y empleo de indicadores:
– El análisis debe reflejar todos los indicadores de base referentes a objetivos y, en
principio, todos los indicadores de base referentes al contexto, ambos comunes, ya
que constituye la base para fijar los objetivos establecidos en el Reglamento y las
Directrices estratégicas comunitarias. Concretamente, con respecto a las prioridades
de la UE definidas en las Directrices estratégicas y las estrategias nacionales, debe
facilitarse una justificación clara de los motivos por los que se decide no asumir una
prioridad de la UE.
– Los Estados miembros y las autoridades de gestión deben abarcar todos los temas en
el análisis que exige el artículo 16, letra a), y complementar los indicadores comunes
con los indicadores y datos adicionales adecuados. Concretamente, si otros
indicadores adicionales permiten determinar mejor la situación de base, especialmente
si los indicadores comunes no reflejan suficientemente las necesidades regionales o
locales, deben presentarse dichos indicadores adicionales.
– Los Estados miembros y las autoridades de gestión deben velar por que existan
indicadores de base para todos los objetivos definidos en el programa con el fin de
facilitar la evaluación de las repercusiones.
– Con respecto a la definición de zonas rurales, los Estados miembros pueden hacer uso
de definiciones alternativas para complementar la definición de la OCDE. La
metodología y clasificación deben presentarse en el programa.
Datos
– Cuando no se dispone de los datos necesarios para un indicador común en un Estado
miembro a nivel nacional o regional, se deben compilar indicadores alternativos
nacionales o regionales con los datos adecuados. Cuando no se dispone de datos a
nivel de la UE o nacional, se puede aceptar una evaluación cualitativa.
– A los fines de poder comparar los datos, la Comisión ha elegido un año común de
referencia para garantizar, en la medida de lo posible, la comparabilidad del análisis.
No obstante, los Estados miembros pueden elegir otros años si ello mejora la calidad
del análisis.
– A lo largo del período de programación, la Comisión intentará garantizar, en
colaboración con los Estados miembros y otras instituciones comunitarias, la
existencia de datos a nivel nacional para todos los indicadores de base comunes.
Los indicadores, los grupos de datos y la cuantificación pueden ser completados por
asesores externos dentro de la evaluación a priori.
Los datos de base deben actualizarse de manera periódica a medida que se disponga de
otros nuevos. La Comisión procurará que los datos destinados a los indicadores comunes
se actualicen regularmente. No obstante, los Estados miembros y las autoridades de
gestión son quienes deben ocuparse de los datos subnacionales y los indicadores
nacionales adicionales.
Relación entre las repercusiones del programa y las tendencias de base.
El análisis de base se utiliza como referente para el análisis SWOT del programa y, por
tanto, forma parte de la justificación analítica de sus objetivos y la elección de
prioridades. La base refleja la situación de partida en la zona del programa y constituye
un elemento esencial de la definición de la estrategia del programa.
En muchos casos, no será posible establecer un vínculo directo entre las repercusiones
del programa y las tendencias de base debido a la escala de la intervención o a la falta de
datos de base al nivel adecuado. Por tanto, la evaluación de las repercusiones debe
centrarse en un enfoque ascendente para evaluar los efectos del programa. Los
evaluadores deben procurar valorar el vínculo entre las repercusiones del programa y las
tendencias de base, pero dicha valoración no debe estar necesariamente cuantificada.
Indicadores de repercusiones.
El marco común de seguimiento y evaluación contempla siete indicadores de
repercusiones comunes en materia de crecimiento, empleo, productividad, biodiversidad,
zonas de alto valor natural, aguas y cambio climático que reflejan explícitamente los
objetivos establecidos por el Consejo Europeo y las Directrices estratégicas relativas al
desarrollo rural. La repercusión del programa en su conjunto debe evaluarse aplicando
estos siete indicadores con el fin de tener en cuenta la contribución total de todos los ejes
del programa1.
Los indicadores de repercusiones comunes deben complementarse con indicadores
adicionales específicos de los programas que tengan en cuenta toda la gama de objetivos
y subobjetivos a nivel de programa, así como las prioridades nacionales. Los Estados
miembros deben garantizar que, si los objetivos de una medida aparecen específicamente
definidos en las Directrices estratégicas comunitarias aplicables a la política de
desarrollo rural o en su estrategia nacional y dichos objetivos no quedan cubiertos por un
indicador de repercusiones común, se concretará el indicador de repercusiones adicional
correspondiente.
La valoración de las repercusiones en el proceso de desarrollo rural entra en el ámbito de
la evaluación. La responsabilidad de la autoridad de gestión es garantizar que los
evaluadores tienen suficientes datos sobre tendencias generales, realizaciones y
resultados para llevar a cabo tal valoración, aunque la responsabilidad del cálculo y la
cuantificación de las repercusiones sigue correspondiendo a los evaluadores
independientes. Con frecuencia los evaluadores considerarán necesario investigar más en
profundidad y añadir elementos de análisis cualitativo para estimar las repercusiones e
interpretar los datos de base en el contexto específico de los beneficiarios del programa.
En general, los indicadores de repercusiones deben expresarse i) en importes absolutos
(para estimar la relación coste-eficacia) y ii) en relación con los beneficiarios a los que la
intervención haya afectado directamente o, en su caso, indirectamente.
En el Reglamento de desarrollo rural se presta una atención especial a la cuantificación
de las repercusiones, especialmente con relación a la situación inicial. Sin embargo, en
muchos casos, aunque es posible valorar la situación inicial y las repercusiones al nivel
de los beneficiarios directos e indirectos del apoyo, con frecuencia es más difícil situar
esta valoración en el contexto de las tendencias de base más generales al nivel de la zona
del programa. Tal y como ya se ha señalado anteriormente, ello puede estar vinculado
1
Por ejemplo, los cuatro ejes pueden contribuir al desarrollo de la producción de energías renovables.
Las inversiones medioambientales complementarán los compromisos medioambientales. Así se
facilitará también la evaluación de los proyectos integrados.
con la escala relativamente reducida de la intervención o la ausencia de datos de base
adecuados. Por este motivo, debe prestarse especial atención a la estimación ascendente
de las repercusiones:
– En una primera fase, el evaluador del programa debe estimar las repercusiones al
nivel de los beneficiarios directos e indirectos a partir de indicadores de
ejecución y de resultados, datos de estudios y datos sobre puntos de referencia,
así como de coeficientes de proyectos similares y experiencias y evaluaciones
anteriores (para el cálculo del recuento doble, el peso muerto, el desplazamiento
y los efectos multiplicadores). Ese cálculo debe comprobarse respecto a la
situación de contraste y las tendencias contextuales en la zona del programa.
– En una segunda fase, el evaluador debe estimar la contribución a la tendencia
general al nivel de la zona del programa (tendencia de base), siempre que sea
factible o estadísticamente significativo en comparación con otros factores. Si
ello no es posible, el evaluador debe hacer una valoración cualitativa en términos
generales.
La metodología que ha de utilizarse para la estimación de las repercusiones seguirá
siendo objeto de desarrollo durante el periodo de ejecución del programa por parte de la
red de evaluación.
Indicadores de ejecución y de resultados
A partir de los indicadores de resultados comunes mencionados en el anexo 1, el
programa debe facilitar los indicadores previstos en el artículo 16, letra c), del
Reglamento (CE) nº 1698/2005.
– Se deben seleccionar indicadores de resultados adicionales para reflejar todos los
objetivos relacionados con las medidas elegidas, especialmente cuando éstas
corresponden a prioridades nacionales.
– Se deben seleccionar indicadores de ejecución adicionales para reflejar todas las
actividades de cada medida.
– Los indicadores y la cuantificación pueden completarlos los asesores externos dentro
de la evaluación a priori y la actividad de evaluación continua.
4. ELECCIÓN Y UTILIZACIÓN DE INDICADORES EN LAS ESTRATEGIAS NACIONALES
En el artículo 11, apartado 3, letra a), del Reglamento (CE) nº 1698/2005 se establecen el
análisis de base de la situación económica, social y medioambiental y la fijación de
indicadores pertinentes.
El plan debe recoger un análisis resumido de la situación económica, social y
medioambiental del Estado miembro y establecer los indicadores de base extraídos del
marco común de seguimiento y evaluación. El análisis de base debe comprender, al
menos, los siguientes aspectos:
– la situación económica y la competitividad del sector agroalimentario (sector agrícola
y de la transformación), destacando los puntos fuertes, las deficiencias y las
necesidades en términos de inversión en capital humano y físico, y, cuando proceda,
del sector forestal;
– la situación medioambiental general en relación con la biodiversidad (Natura 2000 y
otros sistemas agrarios y forestales de gran valor natural), las aguas (papel de la
agricultura y la silvicultura en la gestión de las aguas en términos de cantidad y
calidad con respecto a la Directiva marco del agua) y el cambio climático (papel de la
agricultura y la silvicultura), así como definición de las necesidades en estos tres
ámbitos;
– la situación socioeconómica general de las zonas rurales, destacando en ella los
puntos fuertes, las deficiencias y las necesidades (en términos de diversificación,
calidad de vida y creación de capacidad).
Los Estados miembros deben presentar al menos los indicadores de base principales (que
se señalarán mediante un asterisco *). Cada indicador debe ser objeto de observaciones
en relación con el contexto nacional y las variaciones regionales fundamentales, según
proceda.
A partir de los indicadores de base (extraídos del marco común de seguimiento y
evaluación), el plan debe proponer objetivos cuantificados (fases cuando proceda y
objetivos concretos al final de periodo), desglosados por género y edad, en su caso. Los
objetivos deben ser «SMART»2, y estar suficientemente centrados y ser realistas con
respecto a la financiación (que se espera que esté) disponible (tanto a escala nacional
como de la UE) y a la capacidad de ejecución (administrativa). Junto con los planes
establecidos por la UE, el plan nacional debe facilitar objetivos nacionales cuantificados
que procedan del análisis de base, con su ponderación y los balances que deban lograrse.
El establecimiento de objetivos y sus indicadores correspondientes en los planes
estratégicos nacionales se logrará en dos fases:
1)
En el plan estratégico nacional (primera fase), el Estado miembro definirá
los indicadores de repercusiones clave (los del marco común y los que
reflejan las prioridades nacionales). Si los objetivos nacionales son difíciles
de cuantificar en esta fase, los Estados miembros deben proporcionar una
valoración cualitativa de la contribución aportada por la programación del
desarrollo rural.
– Con respecto a las prioridades de la UE definidas en las Directrices
estratégicas, debe proporcionarse una justificación clara cuando se decida
no asumir una de esas prioridades.
– Si los indicadores nacionales permiten definir mejor la situación inicial,
especialmente si los indicadores comunes no reflejan suficientemente las
necesidades regionales o locales, aquéllos deben presentarse como
indicadores adicionales.
– Es importante que la estrategia nacional defina y resuma las tendencias
clave a escala subnacional o regional.
2
SMART: Acrónimo inglés procedente de Specific, Measurable, Achievable and Agreed, Relevant, Timerelated (específico, medible, factible y acordado, pertinente y temporal).
2)
Tras la adopción de los programas (segunda fase), la estrategia nacional debe
adaptarse para incorporar todos los indicadores comunes pertinentes (de
base, de repercusiones, de resultados y de ejecución) y los objetivos
cuantificados determinados a partir de evaluaciones a priori. El documento
revisado constituirá la base sobre la que se presentarán informes
estratégicos.
Los requisitos relativos a los datos siguen los mismos principios que se señalan en la
sección sobre los indicadores de base para la programación del desarrollo rural.
– Cuando no se disponga de datos en un Estado miembro a nivel nacional o regional, se
deben definir indicadores nacionales o regionales con los datos pertinentes. Cuando
no se disponga de datos a nivel de la UE o nacional, se puede aceptar una valoración
cualitativa.
– A los fines de poder comparar los datos, la Comisión ha elegido un año común de
referencia, para garantizar, en la medida de lo posible, la comparabilidad de los datos.
No obstante, los Estados miembros pueden elegir otros años si ello mejora la calidad
del análisis.
– Durante el período de programación, la Comisión procurará que se disponga de datos,
al menos a nivel nacional, para todos los indicadores de base comunes.
La red de evaluación proporcionará apoyo tanto a nivel nacional como europeo para
seguir desarrollando la metodología y los indicadores.