Avaluar impactes en l’àmbit social no lucratiu: conceptes i reflexions (M. Àngel Alegre - Ivàlua)

Avaluar impactes en l’àmbit social
no lucratiu:
conceptes i reflexions
Miquel Àngel Alegre
[email protected]
Barcelona, 11 de març de 2015
1
Quin és l’objectiu de l’avaluació d’impacte?
I això de
què em
servirà?
Impacte = Canvi en la realitat del problema causalment
atribuïble a l’acció del programa
2
Com podem conèixer l’impacte del
programa?
3
Opció 1. Fem un estudi “abans-després”
% d’alumnes 4t d’ESO que no obtenen el graduat. Anys 2011 a 2015
Manca ofertes
laborals?
Abans
Altres programes
educatius?
Després
Diferència
Impacte = 10 p.p.
Inici
programa
Canvi
sociodemogràfic?
El canvi és atribuïble al programa?
4
Opció 1. Fem un estudi “abans-després”
% d’alumnes 4t d’ESO que no obtenen el graduat. Anys 2010 a 2014
Manca ofertes
laborals?
Abans
Altres programes
educatius?
Després
Impacte = 5 p.p.
Inici
programa
Canvi
sociodemogràfic?
El canvi és atribuïble al programa?
5
Opció 2. Seguint allò que els passa als participants…
Un 70% dels nois/noies recuperen obtenen el GESO
Un 30% dels nois/noies cursen un CFGM
Un 20% dels nois/noies cursen un Batxillerat
Què ens diuen aquestes dades sobre l’efectivitat del programa?
Res
6
Opció 3. Construïm un “grup de comparació”
≈
Programa
No programa
7
Opció 3. Construïm un “grup de comparació”
On és la clau?
Clau Seleccionar un grup de comparació que sigui
realment semblant al de participants en totes aquelles
variables que poden estar associades al fet d’accedir al
programa i obtenir-ne uns determinats resultats.
8
Variables a tenir present…
Quan comparem participants amb no participants…
 Tenen uns i altres el mateix perfil socioeconòmic?
 Viuen als mateixos barris? Assisteixen als mateixos instituts?
 Tenen uns i altres el mateix nivell de motivació /competències no cognitives?
 Tenen uns i altres els mateixos hàbits d’oci?
 Tenen les famílies d’uns i altres les mateixes actituds respecte l’escola?
9
Quin grup de comparació és el més adequat?
Aquell que s’assembla al grup de tractament en variables observables i
no observables:
Alumnes amb característiques demogràfiques, socioeconòmiques i de rendiment
similars
Alumnes amb mateix nivell de motivació, iniciativa, implicació, recolzament
familiar, etc.
Com identifiquem un grup de comparació així?
10
Dissenys / tècniques d’avaluació d’impacte
Dissenys experimentals  aleatorització (sorteig)
Entre individus, grups, territoris, etc.
Programa vs. no programa; entre diferents versions del programa;
entrada progresiva al programa, etc.
Dissenys no experimentals
Quasi-experiments  font de variació exògena
Matching  bones BBDDs amb característiques observables
11
Què necessitem per endegar una
avaluació d’impacte?
12
• “Teoria del canvi” i preguntes d’impacte
• Bones mesures d’outcome (indicadors de resultat)
• Instruments i fonts d’informació per al seguiment
d’indicadors
• Bona estratègia per a la definició de grups de comparació
vàlids (“contrafactual”)
• Mostra suficient (n) de participants / no participants
• Un cert coneixement estadístic
• Ganes i atreviment
13
Reflexions finals
14
• Penseu l’avaluació des del principi: petits canvis en el disseny
del programa i les bases de dades poden fer l’avaluació futura
robusta, ràpida i barata
• Fugiu de la il·lusió de l’exhaustivitat. Prioritzeu programes i
preguntes
• No penseu només en avaluació d’impacte: hi ha altres tipus
d’avaluació i formes de coneixement útils per prendre decisions
• Avanceu en el camí cap a l’avaluació d’impacte dels vostres
programes: teoria del canvi, indicadors, grups de comparació,
possibilitat d’ampliar mostres, etc.
15
• No penseu només en l’avaluació del vostre propi programa: hi
ha al món coneixement sobre “què funciona” que podeu emprar
per dissenyar i corregir els vostres programes
• No en diguem “impacte” d’allò que no és “impacte”
16
Gràcies per la vostra atenció!
17