Material

Eva Garcia-Balaguer: L’AVALUACIÓ
Desembre 2005
QUE ÉS L’AVALUACIÓ?
E s d ife r è n c ia :
• U n e s t u d i c ie n t ific ( m é s p r à c t ic )
• U n a a u d it o r ia
a n a lit ic a )
(m e n ys
n o r m a t iv a ,
m és
• U n s e g u im e n t ( m é s a p r o fu n d it )
E s c a r a c t e r it z a p e r s e r :
• A n a lít ic a
(b a sa d a
d ’in v e s t ig a c ió )
• S is t e m à t ic a
e s c o llit s )
en
t è c n iq u e s
( p la n t e ja m e n t s
• F ia b le s ( t o t s e v a lu a d o r s
h a u r ie n d e c o in c id ir ) .
a c u ra ts
in d e p e n d e n t s
• O r ie n t a d e s a s o lu c io n a r p r o b le m e s
• U t ils
i
EL PERQUÈ DE L’AVALUACIÓ i TIPOLOGIES
OBJECTIUS GENERALS:
• Millorar la gestió
• Obligació
de
(accountability)
rendir
comptes
• Millorar en la assignació de recursos
financers (recursos limitats)
Tipus d’avaluacions segons el punt de partida:
• Avaluacions formatives I aditives
• Avaluacions internes i externes
• Avaluación exante, intermedia i expost.
ELEMENTS CLAUS PER L’AVALUACIÓ
Existència diferenciada d’una intervenció= un PROGRAMA
• Que tingui una lògica d’intervenció
(coherent)
• Que tingui definides les necessitats
• Que es marquin uns objectius
• Que aquests objectius es medeixin
amb indicadors (quantitatius i
qualitatius).
• Que s’haguin concretat unes fites
(metas)
OBJECTIUS DE PROGRAMACIÓ
• Operatius: productes (indicadors de
realització física i financera)
• Específics: resultats o efectes directes
o inmediats
• Generals o globals: efectes o impactes
induits a mig i llarg termini
LÒGICA DEL PROGRAMA
INPUTS
Recursos
humanos y
financieros
Actuaciones
del programa
PRODUCTOS
Bienes y
servicios
producidos
IMPACTOS
RESULTADOS
Impactos
iniciales
Objetivos
operativos
Objetivos
específicos
Efectos
económicos
sociales y
ambientales
EFECTOS
Impactos
finales
Objetivos
generales
OBJETIVOS
DEL
PROGRAMA
QUÈ HA DE FER L’AVALUADOR?:
Respondre a una serie de preguntes
respecte al programa
• Fins a quin punt el diagnòstic
realitzat respon a les necessitats
reals?
• Quins recursos son necessaris per
satisfer aquestes necessitats?
• Els recursos utilitzats permetran
conseguir el productes desitjats?
• Com aquests productes permeten
aconseguir els resultats o efectes
esperats?
ALTRES QÜESTIONS A AVALUAR:
• RELLEVANCIA
• COHERÈNCIA,
INTEGRACIÓ
VERTICAL I HORITZONTAL
• EFICIÈNCIA
• EFICACIA
• EFECTES COLATERALS
• UTILITAT DELS IM PACTES
• SOSTENIBILITAT
• EFECTE DESPLAÇAM ENT
• EFECTE SUBSTITUCIÓ
• EFECTE PES M ORT (Deaw eight)
RESUM: ELEMENTS BÀSICS DE L’AVALUACIÓ
Efectos
Problemas económicos, sociales y ambientales
Necesidades
Resultados
Programa
Objetivos
Actividades
Programa
Recursos
Evaluación
Relevancia
Coherencia
Eficiencia
Eficacia
Utilidad y Sostenibilidad
Productos/
Outputs
EXEMPLE: QUADRE BASE DE SEGUIMENT I AVALUACIÓ
Intervención
Descripción
Indicadores de base
Eficacia
Realizaciones
Construcción autopista
Realización financiera:
-gastos a cofinanciar
Realización física:
-km a construir
-plazo de construcción
Gastos realizados/gastos
previstos
Km
previstos
Eficiencia
realizados/km
Coste por Km realizado
Resultados/
Productos
Reducción tiempo recorrido
Reducción costes transporte
Mejora seguridad
-% tiempo nuevo/tiempo
anterior
-% coste nuevo/coste
anterior
-accidentes actuales por
km y automóvil respecto a
la situación anterior
Reducción real de tiempo,
costes
o
accidentes
respecto a la reducción
prevista
Coste por unidad de
reducción de tiempo o de
costes de transporte
Objetivos
específicos
Incremento flujos interregionales de
personas y mercancías
% aumento de:
-toneladas transportadas
-automóviles
en
circulación
-personas desplazadas
Aumento
real
en
toneladas, automóviles o
personas respecto al
aumento previsto
Coste por unidad de
incremento de los flujos
de
mercancías,
automóviles o personas
Objetivos
generales
Incremento de
socioeconómicas
Evolución de:
-Estructura productiva
-Mercado trabajo
-PIB regional por persona
y empleado
...
Crecimiento real del PIB
respecto al crecimiento
previsto
Crecimiento real de la
ocupación respecto al
crecimiento previsto
Etc..
Coste por unidad de
crecimiento del PIB
Coste por ocupado nuevo
Etc..
las
actividades
MÈTODES D’AVALUACIÓ
Marc teóric per a portar a terme l’avaluació
Existeixen DOS grans tipologies de model
o mètodes d’avaluació:
el mètode causal-estadístic: amb la definició de models
matemàtics-estadístics per valorar estadísticament els impactes
socio-econòmic atribuïbles a la intervenció. Poden ser factible
programes d’àmbit estatal o regional de gran dimensió
el mètode deductiu-descriptiu: on els resultat s’obtenen
a partir de l’aplicació de dos tècniques: qualitativa (estudis de
casos, consulta a agents i beneficiaris); i la quantitativa (creació
d’index d’incidencia –inversió i especialització-, taules imput-output).
MÈTODES D’AVALUACIÓ
Sovint no
es possible la utilització d’un sol model o
mètode (grau de complexitat del programes) .
S’ha de definir un mètode particular en funció:
Característiques del programa o política.
Dimensió
Informació disponible
Del moment en el que es realitzi l’avaluació (ex-ante, intermèdia,
expost o final)
Tampoc en una sola aproximació o tècniques
d’anàlisi per a tots els aspectes (impacte socio-económic,
gestió, participació social, efectes sobre el medi ambient,....)
Tècniques de recollida
Tècniques d’anàlisi de dades
RECOLLIDA DE DADES
La classificació segons criteris:
√ Subjectius /objectius
√ Quantitatius/Qualitatius
√ Logitudinals/transversals
√ Primaris /secundaris
Totes les classificacions poden ser útils però el que es CLAU per l’avaluació es
que siguin dades:
√ Precises
√ De Qualitat
√ Amb fiabilitat
NECESSARI UN BON SEGUIMENT PREVI AMB
RECOLLIDA DE DADES PER AFEGIR EL + ANALITIC
TÈCNIQUES D’ANÀLISIS
Anàlisi estadístic descriptiu i d’inferència: mitjanes, desviacions
standars, variances, regresions, etc
Models analítics: micro o marcoeconométrics, model input-output,
etc
Anàlisis no estadístics de dades qualitatives
Anàlisis cost-benefici comparació en termes monetaris per obtenirne el ròssec.
Anàlisis cost-eficàcia: idem anterior però sense la necessitat de
medir els beneficis en termes o unitats monetàries.
Anàlisis multicriteri: s’utilitza múltiples i diversos ponderats.
(MEANS, 1995)
EVOLUCIÓ (anys 80-90, 90-2000)
INICIALMENT EL PRINCIPAL TEMA PER L’AVALUACIÓ EREN ELS RESULTATS:
• La pròpia anàlisi de les primeres avaluacions (les seves aportacions),
• La potenciació de l’avaluació com a instrument de gestió de poítiques públiques
•
La constatació del sistema i processos de funcionament com un dels element
explicatius de la consecució d’impactes
.
• Naixement de programes que basen la seva innovació en l’estructura
organitzativa (EQUAL, LEADER) i la implantació progressiva en el Programes
del Fons Estructurals UE.
•
L’aparició del tema de la Gestió i Funcionament com un dels temes (preguntes)
a plantejar de manera general.
ASPECTES FONAMENTALS
L’AVALUACIÓ DEL CONTEXT
- valoració del diagnòstic de necessitats i actualització
- valoració de la pertinència, coherència, objectius i prioritats definides respecte a les necessitats
- Valoració de la complementariedad con prioridades UE: Igualdad de oportunidades, medio
ambiente, sociedad información.
L’AVALUACIÓ DELS PROCESSOS:
- valoració de la gestió del programa,
- valoració de l’organització administrativa (estructura operativa),
- valoració de la dinàmica aconseguida.
L’AVALUACIÓ DELS RESULTATS:
- valoració dels impactes i consecucions obtingudes respecte dels objectius marcats
aspectes econòmics (renda, dinàmica empresarial, ocupació....)
aspectes socials i de qualitat de vida
aspectes mediambientals i de sostenibilitat.
PRESENTACIÓ D’EXPERIÈNCIES
• Programa de Desenvolupament Rural de
Catalunya
2000-2003
(Avaluació
intermedia)
• Programa 5b (Zones Rurals) Rioja,
Navarra,
Catalunya
1994-1999
(Avaluació Final)
• Pacte Territorial per
Terrassa 2000-2003.
l’Ocupació
• EQUAL II “Técnica” 2001-2004
de
MÈTODE G.A.P
Mètode 4E©: Una aproximació de “baix a dalt” (bottom
up)
√ Les estadístiques existents en els organismes públics o
privats competents en els temes objecte d'avaluació i
seguiment, així com la revisió dels estudis específics i de
la literatura teòrica i dels documents existents.
√ L'examen dels expedients i altres documents relatius al
programa, és a dir fitxes financeres i administratives,
projectes, etc.
√ La realització d'enquestes ad hoc, o l'obtenció
d'observacions directes a partir d'entrevistes amb
profunditat, visites, treball d'inspecció “in situ”, etc., als
beneficiaris, i agents econòmics, o finalment l'obtenció de
les opinions d'experts a partir de tècniques com el Delphi o
l'Abaque de Regnier;
√ Els estudis de casos en profunditat.
CONTINGUT DE L’AVALUACIÓ
CAP-3. Valoración de la pertinencia de la estrategia del programa
• Actualización del diagnóstico y análisis DAFO
• Pertinencia de los objetivos y prioridades
• Coherencia interna y externa
• Complementariedad con las prioridades políticas comunitarias:
igualdad oportunidades, medio ambiente, sociedad información
CAP-4. Valoración de la gestión y funcionamiento
• Instrumentos de gestión propios del programa
• Evolución de la modalidad de intervención
• Información y participación
• Procedimiento administrativo y seguimiento
• Idoneidad y selección de proyectos
• Principales conclusiones
CONTINGUT DE L’AVALUACIÓ
CAP-5. Valoración de la ejecución financiera
• Ejecución financiera
• Estructura del gasto por agentes
• Distribución territorial del gasto público
CAP-6. Valoración de la ejecución física (eficacia y eficiencia)
• Análisis de las realizaciones por objetivos, prioridades
• Análisis de las realizaciones por medidas
• Valoración conjunta dela eficacia física y financiera por medidas
• Eficiencia de las realizaciones
CAP-7. Valoración de los impactos
• Respuesta a las preguntas de CE por medidas
• Valoración conjunta de los impactos por medidas, objetivos y prioridades
• Respuesta a las preguntas de CE transversales
CAP-8. Conclusiones y recomendaciones
• 7 ANEXOS
PREGUNTES TRANSVERSAL FEOGA-G (PDR 2000-2006)
•
T6:
•
¿En qué medida han contribuido los DISPOSITIVOS DE APLICACIÓN a
potenciar al máximo los efectos previstos de este programa?
•
Criterio 1 : Las medidas subvencionadas están concertadas y son complementarias de tal modo que
produzcan sinergias gracias a su interacción en diferentes aspectos de los problemas/posibilidades del
desarrollo rural.
•
Criterio 2: La participación en el programa (por parte de explotaciones, empresas, asociaciones, etc.)
incluye a los que tienen mayor necesidad y/o potencial en materia de desarrollo rural en la zona abarcada
por el programa (necesidad, pertinencia y puesta en marcha de buenos proyectos), gracias a la
combinación de dispositivos de aplicación como (i) la publicidad sobre las posibilidades de ayuda, (ii) los
criterios de subvencionabilidad, (iii) la diferenciación de las primas y/o (iv) los procedimientos y
criterios para la selección de proyectos, así como (v) la ausencia de plazos innecesarios y costes
burocráticos para los beneficiarios
•
•
•
•
•
•
Criterio 3: Los efectos potenciadores se ha llevado al máximo a través de la combinación de criterios de
subvencionabilidad, diferenciación de primas o procedimientos y criterios para la selección de proyectos.
Criterio 4: Los efectos ajenos a la intervención se han evitado a través de la combinación de criterios de
subvencionabilidad, diferenciación de primas o procedimientos y criterios para la selección de proyectos.
Criterio 5: Las ventajas indirectas (especialmente los efectos relativos al suministro) se han potenciado.
COMPLEMENTARIETAT I SINERGIES
interna I externa
Definició de diferents tipus de complementarietat
INTERNA:
• fan de base una actuació per un altra,
• actuen sobre dos aspectes diferents d’un mateix
problema,
•actuació conjunta necessària per aconseguir un
mínim.
Complementaritat EXTERNA amb altres programes o
polítiques: sistemes de coordinació i de seguiment
Principals problemes detectats relacionat amb la
GESTIÓ i el FUNCIONAMIENT
• Complexitats organitzatives que fan difícil al interacció real entre agents i accions.
• Estructura tancada de departaments, serveis i institucions
• Percepció escassa del conjunt del Programa. Els Programes no son un veritable conjunt
d’accions sinó una font de finançament per a accions que ja es venien realitzant.
• L’elaboració de l’avaluació resulta ser un dels element claus a partir del que s’inicia la
relació entre diferents agents participants.
CONCLUSIONS MOLT OPERATIVES ESPECIALMENT D’INTERÈS A L’AVALUACIÓ INTERMEDIA
O ES CAS DE REPROGRAMACIONS DE PROJECTES.
RESULTATS I IMPACTES
• Per MESURES:
- Resposta a preguntes claus i criteris CE (CAP.7)
• GLOBALS:
- Resposta a preguntes CE TRANSVERSALES (CAP.7)
Resum principals aportacions per grans OBJETIUS i PRIORITATS
L’avaluació a de donar respostes a diferents nivells (UE, Estat, CAT,
Gestors individuals) i interessos.
Les TECNIQUES per la recollida de dades referents a les consecucions han
de ser MULTIPLES I DIVERSES.
RESULTATS I IMPACTES
• DEFINITS A PARTIR:
o Consecució d’objectius establerts prèviament.
o Evolució del context
o Pes financer de la intervenció en cada àmbit
o Dimensionament de les consecucions del Programa
o Valoracions i dimensionament obtingudes (casos, enquestes a beneficiaris i
gestors)
CONCLUSIONS: PER OBTENIR UNA BONA AVALUACIÓ DE RESULTATS FA FALTA DISPOSAR
D’UNA BONA PROGRAMACIÓ (PLANIFICACIÓ), i D’UN BON SEGUIMENT.
RESULTATS I IMPACTES
P R O B L E M E S D E L A D E T E C C IÓ D ’IM P A C T E S
-
D ific u lta t d e d e lim ita r l’à m b it d ’in flu è n c ia e xclu s iv a d e l p ro g ra m a (d im e n s ió
re la tiva m e n t p e tita re s p e c te a l c o n ju n t d e le s p o lítiq u e s q u e a c tu e n ) q u e
d ificu lta la va lo ra c ió a ïlla d a d e ls re s u lta ts e im p a cte s a trib u ïb le s .
-
E l co n te xt o p e ra tiu l’e n to rn ta m b é e s u n fa c to r c la u e n la p o te n c ia c ió d e la
e fic à c ia d e l re s u lta t.
-
L ’a va lu a c ió d e l re su lta ts n o m é s se rà p o ss ib le e n e l c a s d e d isp o s a r d ’u n
vo lu m m im in d e d a d e s re fe rid e s a le s re a litz a c ió físiq u e s i fin a n c e ra i a ls
re su lta ts im m e d ia ts i a m ig te rm e , ja q u e la va lid a c ió d e l’a va lu a c ió vin d rà
e n la m e s u ra d e q u e s o m c a p a ç o s d e g e n e ra litza r le s re s u lta ts
o b tin g u ts .
R e s u lta ria d e g ra n u tilita t p o d e r e stim a r q u e h a g u é s p a s s a t s i n o
h a g u é s a c tu a t e l p ro g ra m a . (re su lta ts o b tin g u ts e n u n z o n a
c o m p a ra b le n o a fe cta d a , o e ls m a te ixo s a g e n ts e n te m p s d ife re n ts –
c a s o s c o n tra s t, se g u im e n t d e ca so s -).
L ’A V A L U A D O R a d ’a p re n d re a d ’e s ta r d is p o s a t i p o s a r e ls m e d is
n e c e s s a ris p e r d e te c ta r in flu e n c ie s q u e h a n p re m é s g e n e ra r n o v e s
e xp e c ta tiv e s (ca n v ia r p e rs p e c tiv e s o a fa vo rir p e tits ca n v is ) i d e fin ir
q u in e s a ctu a cio n s h a n tin g u t m é s in flu e n c ia e n la g e n e ra ció d e n o v e s
o p c io n s, m é s q u e g ra n s c a n v is .
!Gràcies per la seva atenció!