Evaluación de Impacto

Evaluación de Impacto
Martín A. Rossi
Universidad de San Andrés
Plan de la presentación
„
1. Introducción al problema de la evaluación de
„
proyectos. Tipo de datos. Los enfoques Antes y
Después (Before and After); Con y Sin (With and
Without); y Diferencias en Diferencias (Difference in
differences). Estudio de caso: impacto de subsidios
a la investigación en el desempeño académico de
los investigadores.
2. Evaluación de Impactos con diseño de asignación
aleatoria. Estudio de caso: Diseño de evaluación de
un programa de expansión de sistemas de agua
potable en zonas rurales.
3. Evaluación de Impacto con Métodos noexperimentales: Métodos de pareo (Matching) y
Regresión Discontinuada.
„
¿A qué llamamos “impacto”
de un proyecto?
„
„
„
„
El concepto fundamental en esta literatura es el de
causalidad
El impacto causal de un proyecto es la diferencia en un
indicador de interés (como por ejemplo el número de
patentes en un programa de soporte a la investigación)
con el proyecto y sin el proyecto
La mayor complicación proviene del hecho que en un
momento dado del tiempo, la unidad de interés (que en
el ejemplo es un investigador) está o no está expuesta al
proyecto
Por lo tanto, necesitamos construir un escenario
contrafactual
‰
Qué hubiese sucedido en la ausencia del proyecto
¿Cómo medir el impacto de un proyecto?
„
„
„
O, ¿cómo construir el contrafactual?
Depende del tipo de información disponible, y de
cómo fue generada esta información
Tipo de información disponible
‰
‰
‰
‰
„
Datos después del proyecto para el grupo tratado
Datos antes y después del proyecto pero sólo para
agentes expuestos al proyecto
Datos después del proyecto para agentes expuestos y no
expuestos al proyecto
Datos antes y después del proyecto tanto para agentes
expuestos como no expuestos al proyecto
Cómo fueron generados estos datos
‰
De forma experimental o no experimental
Tipo de información disponible
„
„
„
„
En general, casi todos los proyectos pueden ser
evaluados
Pero los supuestos necesarios para construir el
escenario contrafactual dependen en forma crucial
del tipo de información disponible
Por lo tanto, el tipo de información disponible es
determinante al momento de evaluar qué tan
confiables van a ser los resultados de la evaluación
Veamos cuáles son los supuestos necesarios
dependiendo del tipo de información disponible
Formato de los datos
„
„
„
„
Datos después del proyecto, y solo para el
grupo tratado
Datos en formato de panel, pero solo para
los tratados: Before and After
Datos de corte transversal, tanto para el
grupo tratado como para un grupo de control
(no tratado): With and Without
Datos en formato de panel, tanto para el
grupo tratado como para un grupo de control:
Difference in Differences
Información post-proyecto pero
solo para el grupo tratado
Antes
Grupo tratado
Después
90
Grupo de control
Si solo se tiene información para el grupo
tratado después del proyecto, entonces es
imposible decir algo respecto del impacto del
proyecto, ya que no es posible construir un
escenario contrafactual
Información para el grupo tratado antes
y después del proyecto
Grupo tratado
Antes
Después
70
90
Grupo de control
Diferencia antes/después = 90 – 70 = 20
Denominado enfoque Before and After
Bajo supuestos muy fuertes esto puede llegar a
funcionar
Pero usualmente no es el caso
Problema con este enfoque
„
„
El problema fundamental con el enfoque Before
and After es que el impacto del proyecto se
confunde con cualquier otro evento que haya
sucedido en ese momento y que también
pueden eventualmente haber afectado al
indicador de interés
Esto es, la situación antes del proyecto en
general no es un buen contrafactual
‰
Ejemplo: programa de entrenamiento laboral con
datos en el 2007 y en el 2010. La variación de los
salarios (el indicador de interés) estaría contaminada
por los efectos de las crisis del año 2009
Supuesto
„
„
„
„
El supuesto fundamental del enfoque Before and
After es que el nivel del indicador de interés no
hubiese cambiado en ausencia del proyecto
En otras palabras, el nivel del indicador antes de la
intervención es utilizado como contrafactual
En la mayoría de los casos este supuesto es muy
fuerte
Esto es, la ausencia de un grupo de control no
implica que no haya un contrafactual; implica que el
contrafactual no es muy creíble en la mayoría de las
aplicaciones
Sobre-estimación del impacto
del proyecto
Indicador del impacto
después
Impacto
atribuido al
proyecto con
el enfoque
Before & After
Contrafactual
antes
proyecto
tiempo
Subestimación del impacto del proyecto:
capacitación laboral
Salarios
1000
900
700
t-2
t-1
t
t+1
Tiempo
Ejemplo en el cual el supuesto
probablemente no se cumpla
„
„
„
„
„
Supongamos un programa de capacitación laboral en el
momento t
Si se comparan los salarios en t-1 y t+1, la conclusión sería que
el programa no ha tenido efecto sobre el salario promedio
Sin embargo, el hecho que hubiese una tendencia negativa
antes del proyecto nos puede hacer suponer que esa tendencia
hubiese continuado igual en ausencia del proyecto
Por lo tanto, en este caso particular el efecto positivo del
proyecto es subestimado si uno realiza una estimación Before
and After
Lo importante es notar la conveniencia de disponer de más de
una observación antes del tratamiento, de forma tal de poder
estimar en forma más o menos confiable la tendencia de la
variable de interés
Datos post-proyecto para el grupo
tratado y el grupo no tratado
Antes
Después
Grupo tratado
90
Grupo de control
60
Diferencia simple = 90 – 60 = 30
Denominado enfoque With and Without
Esto puede llegar a funcionar si los dos grupos eran
similares antes de la intervención
Pero sin información antes del proyecto es imposible
testear este supuesto (pensar en el caso donde los números
eran los mismos antes del proyecto)
With and without
„
„
„
„
„
Utilizado cuando los datos son de corte transversal
Compara la diferencia en el indicador de interés
después del programa entre los participantes y no
participantes
El supuesto es que no hay sesgo de selección; esto
es, que no hay diferencias antes del proyecto entre
el grupo de participantes y el grupo de no
participantes
El nivel del indicador correspondiente al grupo de
control es utilizado como contrafactual
La ventaja es que este enfoque se puede utilizar
cuando no se dispone de información antes del
programa
Problema con este enfoque
„
„
„
La diferencia entre el indicador de interés en el
grupo tratado y en el grupo no tratado no siempre
refleja el impacto del proyecto
En cambio, puede estar reflejando una medida
compuesta tanto por el impacto del proyecto como
por diferencias preexistentes entre ambos grupos
A esto último se lo denomina sesgo de selección
‰
Ejemplo: evaluación del impacto de estudiar en Harvard
Datos antes y después del proyecto tanto para
el grupo tratado como el no tratado
Antes
Después
Grupo tratado
70
90
Grupo de control
55
60
Doble diferencia = (90-70)-(60-55) = 15
Denominado enfoque Diference in Differences
Datos de panel, con información tanto para el
grupo tratado como no tratado es el escenario
ideal para evaluar el impacto de un proyecto
Difference in differences: concepto
„
„
„
Combina los enfoques before and after y
with and without
Compara los cambios en el grupo de
participantes con respecto a los cambios en
el grupo de no participantes
Requiere datos de panel, tanto para el
grupo tratado como para el grupo de
control
Supuesto detrás del enfoque de
difference in differences
„
„
„
El supuesto de identificación del enfoque difference
in differences es que los controles han evolucionado
en el período pre- a post-proyecto de la misma
forma en que los tratados lo hubieran hecho en
ausencia del proyecto
En otras palabras, el cambio en el indicador de
interés para los individuos en el grupo de control es
un estimador no sesgado del contrafactual
Recordar que en el enfoque with and without el
contrafactual era que el nivel del indicador de los
individuos en el grupo de control
Difference in differences
Mejor escenario posible
Health
peformance
Treatment Group Trend
Control Group Trend
Time
Electricity Investments
Difference in differences cuando los niveles
iniciales son distintos
Treatment Group Trend
Health
peformance
Control Group Trend
Time
Electricity Investments
Diferencias preexistentes en los niveles
„
„
Una de las grandes ventajas de difference in
differences es que no es necesario controlar
por características no observables, siempre y
cuando éstas no varíen en el tiempo
Sin embargo, diferencias en los niveles
iniciales pueden estar reflejando que futuros
shocks afecten distinto a los individuos en los
distintos grupos
Difference in differences cuando las tendencias
antes del proyecto eran distintas
Treatment Group Trend
Health
peformance
Counterfactual Trend
Control Group Trend
Time
Electricity Investments
Diferencias preexistentes en las tendencias
„
„
Dado que las tendencias eran distintas antes
del proyecto, es improbable que las
tendencias hubiesen sido similares en el
escenario contrafactual
Por lo tanto, la tendencia del grupo de control
no es un buen contrafactual de la tendencia
del grupo tratado
Caso de estudio: FONCYT
„
„
„
En Chudnovsky, Lopez, Rossi, y Ubfal (2008)1
evaluamos el impacto de subsidios a la investigación en
el desempeño académico de los investigadores
El desempeño académico lo medimos en términos del
número de publicaciones y del índice de impacto en
revistas con referato
El grupo de control está conformado por investigadores
que aplicaron al subsidio pero que no lo obtuvieron
‰
Ayuda a controlar por motivación
1. Chudnovsky, Lopez, Rossi, and Ubfal (2008).“Money for Science? The
Impact of Research Grants on Academic Output.” Fiscal Studies 29 (1), 7587
Diseño para la evaluación: dif-in-dif
„
„
„
„
Utilizamos el enfoque difference in difference
En este enfoque no es necesario controlar
explícitamente por características individuales
que son invariantes en el tiempo ya que ellas
son absorbidas por el efecto individual
El supuesto es que el cambio en el
desempeño académico del grupo de control es
un buen contrafactual
Este supuesto no puede ser testeado, pero si
podemos testear si las tendencias eran
paralelas antes del tratamiento
Test informal del supuesto de
identificación: publicaciones
Figure 1. Trends in the number of publications
2.5
FONCYT
Annual average
2
1.5
Not financed
Financed
1
0.5
0
1994
1995
1996
1997
1998
1999
Year
2000
2001
2002
2003
2004
Test informal del supuesto de
identificación: índice de impacto
Figure 3. Trends in the quality index of publications.
5
4.5
FONCYT
4
Annual average
3.5
3
2.5
Not financed
Financed
2
1.5
1
0.5
0
1994
1995
1996
1997
1998
1999
Year
2000
2001
2002
2003
2004
Recapitulando
„
„
„
El principal supuesto en el enfoque before and after es que el
nivel del indicador de interés antes del tratamiento es un buen
contrafactual
El principal supuesto en el enfoque with and without es que el
nivel del indicador en el grupo de control es un buen
contrafactual
‰ Supuesto muy fuerte, necesidad de utilizar un procedimiento de
matching
El principal supuesto en el enfoque difference in differences es
que el cambio en el indicador de interés en el grupo de control
es un buen contrafactual
‰ Supuesto aceptable, especialmente si se pueden testear las
tendencias antes de tratamiento
¿Cómo fueron generados los datos?
„
„
La confiabilidad de los resultados va a depender no
solo del formato de los datos, sino también de cómo
fueron generados los datos
Dos posibilidades
‰
‰
„
Experimental
No experimental (o cuasi-experimental)
La mejor práctica actual es generar los datos de
forma experimental
‰
Identificar el grupo de agentes que cumple las condiciones para
formar parte del proyecto, y luego asignar aleatoriamente a estos
agentes al grupo de tratamiento y al grupo de control
¿Por qué se considera al enfoque
experimental como la mejor práctica posible?
„
„
Si la muestra es lo suficientemente grande,
entonces el grupo tratado y el grupo de control
tendrán características (observables y no
observables) similares
Por lo tanto, cualquier diferencia después del
proyecto puede ser atribuida al proyecto
‰
‰
„
Ejemplo de características observables: edad
Ejemplo de características no observables: motivación
Crucial: que la muestra sea lo suficientemente
grande para poder confiar en la Ley de los
Grandes Números
Causalidad
„
„
La noción fundamental para poder establecer
relaciones de causalidad es el potencial de cada
individuo a estar expuesto o no a la causa
Para inferencia causal, un requerimiento es que
cada individuo potencialmente pueda ser
expuesta a cualquiera de las causas
‰
Ejemplo, los años de escolaridad pueden ser una
causa, pero la raza no
Aleatorización en dos etapas
„
El diseño ideal es en dos etapas
‰
‰
En una primera etapa se obtiene aleatoriamente
un conjunto de agentes elegibles para el proyecto
En una segunda etapa a este conjunto de
agentes elegibles se los asigna aleatoriamente a
tratamiento o a control
Randomización en la primera etapa:
Validez externa
„
„
El hecho que el subgrupo de agentes elegibles
haya sido selecto en forma aleatoria en la
primera etapa asegura que las conclusiones del
estudio de evaluación de impacto tiene validez
externa, esto es, que los agentes elegibles son
representativos de la población
Esto es importante porque brinda información
acera de la posibilidad de replicar el programa
en otros lugares
Randomización en la segunda etapa:
Validez interna
„
La asignación aleatoria de los individuos
elegibles a tratamiento y control garantiza la
validez interna
‰
‰
Garantiza que los dos grupos son idénticos en
valor esperado
Por supuesto, hay que chequear que se cumpla
en la muestra
Necesidad de tener una muestra lo
suficientemente grande
„
Fundamental para garantizar la validez interna
„
La asignación aleatoria garantiza que, en promedio, los
valores de cualquier variable son iguales para ambos
grupos
„
Sin embargo, en una muestra los valores pueden diferir
en nuestras muestras
„
Por ello se necesitan hacer cálculos de potencia
estadística y tener muestras muy grandes
Estimación
„
„
En este contexto, el efecto causal promedio de
tratamiento puede ser estimado muy fácilmente
mediante Mínimos Cuadrados Clásicos
El modelo a ser estimado es
yi = α + β Di + ε i
„
donde ß es el parámetro de interés, yi es el
indicador de interés para el agente i, Di es una
variable dicotómica que toma el valor uno si el
agente i fue asignado a tratamiento, y εi es el
término de error
Estudio de caso – enfoque experimental
„
Diseño de evaluación de un programa de
expansión de sistemas de agua potable en
zonas rurales
‰
‰
Ejemplo de como realizar una evaluación
utilizando asignación aleatoria
Y teniendo en cuenta tanto restricciones políticas
como de implementación práctica
Background
„
„
El proyecto a ser evaluado promete proveer
con nuevos sistemas de agua potable a un
grupo de pequeñas aldeas en la zona rural
de Lesotho
El objetivo es alcanzar a 174 aldeas que
actualmente no poseen un sistema de agua
potable confiable
Evaluación “Ex-ante”
„
„
„
El gobierno anticipó la necesidad de hacer
una evaluación de impacto del proyecto
Y le requirió al director del proyecto
considerar la necesidad de la futura
evaluación al momento de diseñar el
proyecto
Este detalle facilita enormemente la posterior
evaluación
Estrategia de evaluación
„
„
Recomendamos usar asignación aleatoria
Sin embargo, reconocimos la existencia de
restricciones, tanto políticas como prácticas
Restricción política
„
„
„
„
El gobierno pretendía que las 174 aldeas fueran
alcanzadas por el proyecto
¿Significa esto que no es posible hacer un diseño
experimental?
NO!! Dado que el propio gobierno reconoció su
incapacidad de comenzar simultáneamente en todas las
aldeas
Por lo tanto, propusimos sortear el orden en el que se va
a implementar el proyecto (phase-in)
‰
„
Las aldeas que reciben el proyecto al final, actúan de grupo de
control de las que lo reciben al principio
En general, los gobiernos aceptan esto como factible
Diseño preferido
Year
1
2
3
4
5
„
Timing of works and evaluation
Group 1
Group 2
Baseline survey
Baseline survey
Works
----Mid-term survey
Mid-term survey
Works
----Long-term survey
Long-term survey
Group 3
Baseline survey
--Mid-term survey
--Long-term survey
Works
Este diseño permite medir el impacto de medio
término y de largo término del proyecto
‰
‰
Se utilizan los grupos 2 y 3 como grupo de control del
grupo 1 en el análisis de medio término
Y el grupo 3 como grupo de comparación del grupo 1 en el
análisis de largo término
Restricción práctica
„
„
El consultor a cargo de la implementación
opinó que era mejor trabajar en los 5 años,
sin huecos en el medio
El diseño alternativo contempla esta
posibilidad, dividiendo las 174 aldeas en 5
grupos, en lugar de 3
Diseño alternativo
Year
1
2
3
4
5
„
„
Group 1
Baseline
survey
Works
Timing of works and evaluation
Group 2
Group 3
Group 4
Baseline
Baseline
survey
survey
Group 5
Baseline
survey
Works
Mid-term
survey
Mid-term
survey
Works
Mid-term
survey
Mid-term
survey
Works
Long-term
survey
Long-term
survey
Long-term
survey
Works
Ahora usamos a los grupos 3, 4 y 5 como control del grupo
1 en el análisis de mediano término (y eventualmente el
grupo 5 como control del grupo 3)
Y utilizamos el grupo 5 como control del grupo 1 en el
análisis de largo término
Timing de las obras y de las encuestas
„
„
En todos los años/grupos en los cuales hay
trabajos y encuestas, la encuesta debe ser
realizado antes que comiencen las obras
Las encuestas deben ser realizadas siempre
en la misma estación (lluvia/seca;
verano/invierno)
Complicaciones a la utilización del
enfoque experimental
„
„
El principal problema se da cuando algunos
agentes originalmente asignados al grupo de
tratamiento terminan no recibiendo el
tratamiento, o cuando algunos agentes
originalmente asignados al grupo de control
terminan recibiendo el tratamiento
A esto se lo llama el problema de noncompliance
Posibles amenazas al diseño
experimental
„
„
„
„
Non compliance
Efectos placebo
Attrition
Efectos derrame (spillovers
Non compliance
„
„
El principal problema se da cuando algunos
agentes originalmente asignados al grupo de
tratamiento terminan no recibiendo el
tratamiento, o cuando algunos agentes
originalmente asignados al grupo de control
terminan recibiendo el tratamiento
Solución, utilizar la asignación aleatoria
original
Placebo
„
„
„
„
„
El efecto placebo es la relación positiva entre la respuesta
de la unidad al tratamiento y las expectativas de la unidad
acerca de estar expuesta al tratamiento
En un típico procedimiento experimental en medicina, el
grupo tratado recibe el medicamento mientras que el grupo
de control recibe un placebo, una pastilla que se ve igual
pero que no tiene ningún efecto sobre la salud
Nadie, ni los pacientes ni los médicos saben quién recibió
la medicina y quién recibió el placebo
Por lo tanto, los experimentos médicos pueden obtener el
efecto de tratamiento neto del efecto placebo, ya que tanto
el grupo tratado como el grupo de control tienen las
mismas expectativas acerca de la posibilidad de ser o no
tratado
En ciencias sociales es muy dificil, si no imposible,
controlar por efectos placebo (la gente sabe si está siendo
tratada)
Attrition
„
„
„
Algunas unidades desaparecen de la muestra en
algún punto del tiempo entre la encuesta de línea
de base y la encuesta final
Esto puede ser un problema si las unidades
tratadas dejando la muestra son distintas a las
unidades no tratadas dejando la muestra, ya que en
este caso la asignación al tratamiento en la muestra
resultante deja de ser aleatoria
Que se puede hacer? No mucho, al menos
chequear balancing en el grupo de los que dejan la
muestra
Spillovers o efectos derrame
„
Algunas unidades que no reciben el tratamiento
pueden beneficiarse del hecho que otras unidades
estén siendo tratadas
‰
„
Ejemplo, vacunas
Una forma de atenuar el problema es hacer la
aleatorización al nivel de grupo, no individual
‰
Ejemplo, vacunas por municipio
Enfoques no experimentales
„
Varias alternativas
‰
‰
„
„
„
Matching
Regresión discontinuada
En general, la idea central de estos enfoques es
buscar agentes que no participan del proyecto que
tengan características observables similares a los que
participan del proyecto
La intuición es que si las características observables
son similares, entonces es probable que también lo
sean las no observables
Todos estos enfoques son second best comparados
con el enfoque experimental
Matching
„
„
„
Utilizado cuando los datos no son generados en
forma experimental, y cuando se dispone de datos
de corte transversal (esto es, no se dispone de
datos antes del tratamiento)
Es un procedimiento que mejora al enfoque with
and without
El indicador de interés de cada participante es
comparado con el indicador de interés
correspondiente a un o un grupo de no participantes
con caractarísticas similares al participante
Supuesto
„
„
El principal supuesto es que la selección
al grupo tratado depende solo de variables
observables
Esto es, condicional en el conjunto de
variables observables disponible, todas
las características no observables
relevantes se encuentran balanceadas
entre el grupo de control y el grupo de
tratamiento
Propensity score matching
„
„
„
Problema con matching: en los casos en los
que hay muchas características observables,
es improbable encontrar un no participante
para cada uno de los participantes que
comparta todas estas características
Solución: realizar el matching de
participantes y no participantes basado en el
los propensity scores estimados
A este procedimiento se lo denomina
propensity score matching
Propensity score matching (cont.)
„
„
„
Rosenbaum and Rubin (1983) demostraron
que es lo mismo hacer matching con todas las
características que hacerlo con el propensity
score estimado
Se reduce un problema multidimensional a un
problema unidimensional
Ahora es más sencillo encontrar buenos
matches o comparadores
PSM: procedimiento
„
„
„
Estimar un modelo de elección discreta (Y=1 si
tratado y Y=0 si no tratado) condicional en el
vector de características observables X (Probit
o Logit)
Predecir los propensity scores individuales
basados en la estimación anterior (la
probabilidad de ser tratado de acuerdo al
modelo estimado)
Utilizar un promedio ponderado de los no
participantes como contrafactual de cada
participantes
PSM procedimiento (cont.)
„
Estimar el efecto promedio de tratamiento como
N0
N1
⎛
⎞
1
ˆ
ATT =
⎜ y1i − ∑ wij y0 j ⎟
∑
N1 i =1 ⎝
j =1
⎠
„
Donde
‰
‰
‰
‰
‰
N1 es el número de participantes
N0 es el número de no participantes
i indexa a los participantes
j indexa a los no participantes
wij son las ponderaciones
N0
wij ∈ [ 0,1] and
∑w
j =1
ij
=1
PSM procedimiento (cont.)
„
„
Cuanto menor es la diferencia en los propensity
scores estimados, mayor es el peso que se le
asigna al no participante en la construcción del
contrafactual del participantes
Diferentes enfoques para estimar las
ponderaciones
‰
‰
‰
Vecino más cercano
Calibre
Kernel
Vecino más cercano
„
„
Se le asigna ponderación igual a uno al no
participantes con la menor distancia al
participante |pi-pj|
Todos los demás no participantes tienen una
ponderación igual a cero
Calibre
„
„
„
El participante i solo es incluido en el cálculo
final del impacto promedio, si hay algún no
participante cuya distancia sea menor a
algún número prefijado: |pi-pj|<H
Reduce la posibilidad de tener malos
matches
Pero algunos participantes pueden no entrar
en el cálculo
Kernel
„
„
Todos los no participantes tienen una
ponderación positiva en el cálculo del
contractual de todos los participantes
La ponderación es inversamente
proporcional a la distancia entre los
propensity scores estimados |pi-pj|
El soporte común
„
Para incrementar la comparabilidad, la
muestra se restringe al soporte común
‰
Se reduce el sesgo proveniente de no tener
comparadores
Densidad
Densidad de los propensity scores
de los participantes
0
1
Propensity score
Densidad
Densidad de los propensity scores de
los no participantes
0
1
Propensity score
Densidad
0
Densidad de los propensity scores
de los no participantes
Región de soporte común
Propensity score
1
Lecciones del enfoque matching
„
„
„
Herramienta útil para controlar por
heterogeneidad no observable cuando no se
dispone de datos experimentales ni de datos
antes del proyecto
En la práctica, condicionando en
características observables, matching
remueve el sesgo asociado a diferencias pretratamiento entre los grupos tratado y no
tratado
Validez del enfoque depende enormemente
de la calidad y cantidad de características
observables que se disponga
Combinación de matching y
difference in differences
„
Matching
‰
„
Solución
‰
‰
„
Selección depende solo de observables
Combinar matching y difference-in-differences
Esto permite controlar por no observables
constantes en el tiempo
Condición
‰
Disponer de datos de panel
Difference-in-differences matching
„
Matching
ˆ
ATT
Matching
„
N0
⎞
1 N1 ⎛
=
⎜ y1i − ∑ wij y0 j ⎟
∑
N1 i =1 ⎝
j =1
⎠
Difference-in-difference matching
ˆ
ATT
Matching , DvD
N0
⎞
1 N1 ⎛
=
⎜ ( y1it − y0it ) − ∑ wij ( y0 jt − y0 jt ) ⎟
∑
N1 i =1 ⎝
j =1
⎠
Regresión discontinuada
„
„
Este enfoque se caracteriza por el hecho que
la probabilidad de participar del proyecto
varía en forma discontinua con respecto a
una variable
Existe un umbral en una variable que es el
que determina si el individuo participa o no
del proyecto
Regresión discontinuada (cont.)
„
Explota la regla que genera asignación al
programa solo para aquellos individuos por
encima del umbral
‰
„
„
Asume discontinuidad en la participación pero no en
otras variables
Contrafactual: los individuos justo debajo del
umbral
Esto es, alrededor del umbral es como tener un
“experimento”, en el sentido que el grupo de
control es similar al grupo de tratamiento
Regresión discontinuada: ejemplo
„
„
„
„
„
„
„
Beca a estudiantes otorgada a aquellos con nota promedio
superior a 7 sobre 10
Hay una discontinuidad en 7
Supongamos que queremos estimar el impacto de la beca en
los salarios futuros
Comparar los salarios de los becados y no becados no
parece una buena estrategia, ya que probablemente sobre
estimaría el impacto
¿Por qué? En promedio, se podría pensar que aquellos con
promedios por encima de 7 son más inteligentes o motivados
que aquellos con promedios por debajo de 7
Por lo tanto, es posible que sus salarios futuros de los dos
grupos hubiesen sido distintos aún en ausencia de la beca
Y no es posible controlar por inteligencia o motivación porque
no son observables por el investigador
Regresión discontinuada: ejemplo (cont.)
„
„
„
„
¿Cómo opera RD?
Comparando aquellos estudiantes cuyas notas promedio
se encuentran justo por encima de 7 (y por lo tanto
reciben la beca) con aquellos estudiantes cuyas notas
promedio se encuentran justo por debajo de 7 (y por lo
tanto no reciben la beca)
¿Cuál es el supuesto de identificación?
Todas las variables no observables que afectan los
salarios futuros se encuentran balanceadas para
aquellos estudiantes en un entorno del punto de corte
‰
En particular, tanto la motivación como la inteligencia son
similares para un estudiante con un promedio 7.01 como para
uno con un promedio 6.99
Tipos de diseño para regresiones
discontinuadas
„
Hay dos tipos de diseño
‰
‰
‰
El diseño sharp y el diseño fuzzy
En el diseño sharp, la selección al tratamiento
depende de forma determinística de una variable
observable, y además se conoce el punto umbral
En el diseño fuzzy, la selección al tratamiento es
aleatoria condicional en la variable observable,
pero la probabilidad condicional es discontinua en
el punto umbral
„
En el diseño fuzzy hay “non-compliers” (por lo que hay
que usar Variables Instrumentales)
Potenciales problemas
„
„
Potencial pérdida de poder estadístico
debido al uso de una sub-muestra
Potencial problema de validez externa
‰
‰
„
La posible existencia de efectos de tratamiento
heterogéneos sugiere que las estimaciones solo
son válidas alrededor del punto de corte
Cuidado al querer extrapolar los resultados a la
población
Los individuos no tienen que poder manipular
el punto umbral ni tener comportamiento
estratégico en base al punto umbral
Regresión discontinuada: ejemplo (cont.)
„
„
„
Volviendo al ejemplo de las becas
La pérdida de poder estadístico se debe a que sólo
estamos usando para calcular el efecto de
tratamiento a aquellos estudiantes, digamos, con
notas promedio entre 6.50 y 7.50
El problema de validez externa se debe a que las
becas pueden tener un impacto distinto para
alumnos con diferentes promedios
‰
„
Por ejemplo, las becas podrían beneficiar más a aquellos
con promedios altos comparado con aquellos con
promedios más bajos
La manipulación es también un problema si es que
los estudiantes conocen de antemano que las
becas serán otorgadas a los alumnos con
promedios superiores a 7 puntos