Cómo aleatorizar?

Ciudad de Guatemala, 2013
1
Sesión 4
¿Cómo aleatorizar?
Ximena Peña
[email protected]
@ximena_pena
Universidad de los Andes
2
Clases (Profesores)
Actividades en Grupo (Todos)
Horario
Trabajo en Grupo (Prof. Asistentes)
Lunes 10
Martes 11
Miércoles 12
Jueves 13
Viernes 14
Introducción
Proyecto en Grupo
Ejercicio 1
Clase 7. Aspectos
Operativos.
Presentaciones
Finales
Clase 1. ¿Qué es
una evaluación?
Caso de Estudio 2
Clase 5. Muestreo y
tamaño de muestra..
Proyecto en Grupo
Presentaciones
Finales
Caso de Estudio 1
Clase 3. ¿Por qué
aleatorizar?
Ejercicio 2
Clase 8. Evaluación
aleatoria de principio.
a fin.
Ceremonia de
Clausura
Clase 2. Resultados,
Indicadores y
Midiendo Impacto.
Clase 4.
¿Cómo
aleatorizar?
Caso de Estudio 3
Proyecto en Grupo
Almuerzo cierre
Proyecto en Grupo
Proyecto en Grupo
Clase 6. Amenazas y
Análisis.
Proyecto en Grupo
Cóctel
3
Índice
1.
2.
3.
4.
Unidad y método de aleatorización
Restricciones prácticas
Repensando unidades y métodos
Variaciones de la aleatorización simple
4
1.UNIDAD Y MÉTODO
D E A L E AT O R I Z A C I Ó N
5
Unidad de aleatorización
• Existen dos posibilidades:
– Aleatorizar al nivel individual.
– Aleatorizar al nivel de clúster.
• ¿A qué nivel aleatorizar?
6
Unidad de aleatorización
• Algunas consideraciones:
– ¿Cuál es la unidad de tratamiento? ¿Sobre
cuál unidad quiere tener efectos el programa?
• Por ejemplo: ¿Intervenimos escuelas o niños?
– ¿Cuál es la unidad de análisis?
• Por ejemplo: ¿Vamos a investigar el impacto de un
programa sobre escuelas o niños?
• ¿A qué nivel aleatorizar?
7
Unidad de aleatorización: Individual
Unidad de aleatorización: Individual
Unidad de aleatorización: Clúster
Unidad de aleatorización: Clase
Unidad de aleatorización: Clase
Unidad de aleatorización: Escuela
Unidad de aleatorización: Escuela
¿Cuales son algunas críticas
que ha escuchado en contra
de la evaluación aleatoria?
33%
33%
33%
1. No son justas.
2. Son muy
complicadas.
3. Tratan a las
personas como
ratas.
1.
2.
3.
15
2. RESTRICCIONES
PRÁCTICAS
16
Restricciones: Recursos
• La mayoría de programas sociales operan
en un contexto de recursos limitados.
• Muchas veces esto resulta en exceso de
demanda: más personas son elegibles
para recibir el programa que las que
podemos atender.
• Esto nos presenta con una oportunidad
para aleatorizar el programa.
17
Restricciones: Externalidades
• Recordemos por qué es importante la
aleatorización: produce grupos
comparables…
• Si nuestro grupo de tratamiento es distinto de
nuestro grupo de control podemos obtener
resultados sesgados.
• Por ejemplo, si los efectos de nuestro grupo
de tratamiento generan un impacto en
nuestro grupo de control, éste último puede
dejar de ser un grupo de comparación válido.
18
Restricciones: Timing
• Muchos programas quieren partir con la
entrega de servicios pronto.¿ Es lógico o
viable aleatorizar cuando estamos cortos de
tiempo?
• En la mayoría de los casos tiene sentido
pensar sobre el diseño de una evaluación a
la vez que se piensa sobre un proyecto.
• Gran parte del trabajo sucede antes de la
aleatorización, por lo que contar con tiempo
es crítico.
19
Restricciones: Justicia
• ¿Es justo aleatorizar?
– Las loterías son simples, comunes y
transparentes.
– Las loterías se pueden hacer públicas, de tal
manera que los participantes puedan
identificar los ganadores.
– La lotería simple es útil y es percibida como
justa.
20
R e s t r i c c i o n e s : Ta m a ñ o
Muestral
• Algunos programas son pequeños y solo
pueden atender a un grupo reducido de
unidades.
• Esto puede ser un problema para medir
impacto. Hablaremos sobre cálculos de
poder y tamaño muestral mañana.
21
Restricciones: Algunos
ejemplos
• Si esperamos que el efecto total se refleje en unidades
grandes, deberiamos aleatorizar a este nivel de
unidades grandes.
– Ejemplo: un programa de apoyo a proveedores le ayuda a varias
empresas de una localidad, por lo que habría que aleatorizar
localidades .
– De esta forma no solo evitamos el problema de contaminación,
sino que lo estudiamos en sí.
• A veces por razones operativas o políticas nos vemos
forzados a aleatorizar a niveles mayores.
– Ejemplo: si en un programa de crédito tratan a algunas personas
de forma diferente algunos se podrían molestar.
22
Siempre es mejor aleatorizar
a n i v e l d e c l ú s t e r.
1. Falso
2. Verdadero
50%
50%
1.
2.
23
3. REPENSANDO
UNIDADES Y MÉTODOS
24
Elegibilidad
• Los criterios elegibilidad para participar en
un programa son claves e inciden en el
método que elegimos para evaluar
impacto.
• Considera:
– Tenemos 500 cupos y 500 aplicantes. ¿Cómo
aleatorizamos? ¿Es ético evaluar de la
manera que hemos expuesto?
25
Elegibilidad
• Los criterios elegibilidad para participar en
un programa son claves e inciden en el
método que elegimos para evaluar
impacto.
• Considera:
– Tenemos 500 cupos y 500 aplicantes. ¿Cómo
aleatorizamos? ¿Es ético evaluar de la
manera que hemos expuesto?
26
Elegibilidad
• Otro caso:
– Tenemos 2000 aplicantes y 500 cupos. Pero
al filtrar los candidatos, nos quedan 500
“elegibles”. ¿Cómo aleatorizamos? ¿Es ético
evaluar de la manera que hemos expuesto?
27
Elegibilidad
• En todos estos casos, es importante
entender los criterios de selección.
Algunas preguntas útiles para
entenderlas:
– ¿Por qué estamos aplicando estos criterios?
¿Qué buscamos identificar al aplicarlos?
– ¿Cuáles elementos son esenciales para el
buen funcionamiento del programa?
28
Muestreo versus asignación
• Primero, hablemos sobre la diferencia
entre asignación aleatorio y muestra
aleatoria.
29
Muestreo aleatorio vs.
Asignación aleatoria
Muestra aleatoria
es para
representar a la
población
Muestreo aleatorio vs.
Asignación aleatoria
Asignar
aleatoriamente a
tratamiento
y control elimina
sesgo selección
Elegibilidad
• Una evaluación aleatoria no necesita una muestra
aleatoria. Un programa puede seleccionar a sus
beneficiarios utilizando ciertos criterios de
elegibilidad.
• Puede ser el caso que los criterios se apliquen
sólo para limitar acceso al programa…
• En caso de que los criterios aparenten ser
arbitrarios:
– Aleatorizar puede filtrar (de una manera más justa) y
nos ayuda a evaluar el impacto del programa.
32
Alternativas al aleatorizar
• No es necesario limitarse a programas
nacientes
– Podemos trabajar con programas ya existentes.
– Sobre innovaciones, expansiones, etc.
• Diferentes opciones:
–
–
–
–
Lotería básica
Diseño aleatorio por etapas.
Asignación aleatoria en la “burbuja”.
Diseño de estímulos.
33
Métodos de asignación
aleatoria - recapitulación
Diseño
Lotería
Básica
Los más
útiles
cuando…
Ventajas
Desventajas
•La suscripción
al programa es
sobrepasada.
•Familiares.
•Fáciles de entender.
•Fáciles de
implementar.
•Se pueden
implementar en
público.
•Puede que el grupo
de control no coopere.
•Desgaste diferencial.
Diseños por etapas
• Es útil cuando restricciones administrativa o financieras
impiden que el programa atienda a la población
elegible desde el inicio:
– Nadie está siendo excluido totalmente: A la larga, todos
obtienen algo.
– Progresa/Oportunidades (1997)
• Algunas inquietudes:
– Ventana de oportunidad puede ser más corta que el tiempo
necesario para que los efectos de un programa se materialicen
(¿microcrédito?)
– Puede complicar la estimación de los efectos a largo plazo
– Individuos en grupos rezagados pueden alterar su
comportamiento si saben que recibirán el tratamiento luego (y
si la ventana es muy corta)
Diseño por etapas
3
1
Ronda 1
2
3
2
2
Tratamiento: 1/3
Control: 2/3
3
3
2
1
1
Ronda 2
2
3
2
3
1
2
1
3
3
3
2
La evaluación
aleatoria finaliza
3
3
2
Tratamiento: 2/3
Control: 1/3
2
3
1
2
1
2
2
2
1
3
3
Ronda 3
1
3
1
3
Tratamiento: 3/3
Control: 0
1
2
1
1
2
3
1
Métodos de asignación
aleatoria - recapitulación
Diseño
Diseño Por
Etapas
Los más útiles
cuando…
Ventajas
Desventajas
•Se expanden en el
tiempo.
•A la larga, todos
deben recibir
tratamiento.
•Fáciles de
entender.
•La restricción es
fácil de explicar.
•El grupo de control
cumple, porque ellos
esperan
beneficiarse más
tarde.
•La anticipación del
tratamiento puede afectar
la conducta a corto plazo.
•Es difícil medir el
impacto a largo plazo.
Aleatorización en “la
burbuja”
• En ocasiones, un socio puede no estar dispuesto a
aleatorizar entre personas elegibles - microfinanzas
– El socio podría estar dispuesto a aleatorizar en “la burbuja”.
– Las personas “en la burbuja” están en la línea limítrofe en
términos de elegibilidad.
– Justo por encima del umbral  no elegible, pero casi.
• Karlan and Zinman (2007)
– Aleatorizan la asignación de crédito entre las solicitudes
“marginales” de un banco en Sudáfrica, establecidas por un
sistema de “credit scoring”.
• ¿Qué efecto del tratamiento medimos nosotros? ¿Qué
significa esto para la validez externa?
Asignación aleatoria en “la burbuja”
Tratamiento
Dentro de la
burbuja,
compare el
tratamiento
con el control
No participantes
Participantes
Control
Métodos de asignación
aleatoria - recapitulación
Diseño
Burbuja
Son más
útiles
cuando…
Ventajas
Desventajas
•Organización
no quiere
aleatorizar
dentro de los
elegibles.
•Hay personas
“en la burbuja”,
justo en el
punto limítrofe
en términos de
elegibilidad.
•Se seleccionan
a personas que
podrían necesitar
el programa,
pero que por
cualquier razón
no “entran”.
•Mide el impacto de
sobre aquellos que
están en la burbuja.
•El estímulo mismo
puede tener un efecto
directo.
Diseño de estimulos
• En ocasiones, es práctica o éticamente imposible asignar el
acceso al programa en forma aleatoria
– Pero la mayoría de los programas tiene una aceptación inferior al
100%
– En ese caso, puede asignarse aleatoriamente el estímulo para
recibir tratamiento
• Ejemplo: León (2012)
– Votación en Perú es obligatoria y la ausencia supone una multa
– En el 2006, sin embargo, una ley redujo estas multas, aunque
pocos sabían al respecto, especialmente en zonas más pobres
– Se asignó aleatoriamente los barrios de Lima en los cuales se
proveía información acerca de la reducción de la multa
– elasticidad voto/costo = -0.21, especialmente entre menos
interesados e informados políticamente
Diseño de estímulos
Estimular
No estimular
participado
no participó
compare los
estimulados con los
no estimulados
Estos deben ser
correlacionados
no compare
participantes con no
participantes
Cumplió
No cumple
ajustar por incumplimiento en
la fase de análisis
Métodos de asignación
aleatoria - recapitulación
Diseño
Estímulo
Son más
útiles
cuando…
Ventajas
Desventajas
•El programa
debe estar
abierto a todos
los recién
ingresados.
•Cuando la
aceptación es
baja, pero se
puede mejorar
fácilmente con
un estímulo.
•Se puede
asignar en forma
aleatoria a nivel
individual, aun
cuando el
programa no sea
administrado a
ese nivel.
•Mide el impacto de
aquellos que
responden al
estímulo.
•Necesita un aliciente
suficientemente
grande para mejorar
la aceptación.
•El estímulo mismo
puede tener un efecto
directo.
4 . VA R I A C I O N E S D E L A
A L E AT O R I Z A C I Ó N S I M P L E
44
Tr a t a m i e n t o M ú l t i p l e s
• A veces la pregunta central es decidir
entre diferentes intervenciones posibles.
• Usted puede aleatorizar estos programas.
• ¿Esto nos enseña acerca del beneficio de
alguna intervención particular?
• ¿Existe un grupo de control?
Tratamientos múltiples
Tratamiento 1
Tratamiento 2
Tratamiento 3
Interacción de tratamiento
• Prueba diferentes componentes de tratamiento
en diferentes combinaciones.
• Prueba si los componentes sirven como
sustitutos o complementos.
• ¿Cuál es la combinación más económica?
• Ventaja: situación gana-gana para operaciones,
pueden ser útiles para responder preguntas
para ellos, ¡más allá del simple “impacto”!
Intensidad de tratamiento
• A algunas escuelas se les asigna
tratamiento completo:
– Todos los niños reciben píldoras.
• A algunas escuelas se les asigna
tratamiento parcial:
– Se designa que el 50% recibirá píldoras.
• En otros experimentos: cambiar el precio
que se cobra por un bien o servicio.
¿Pero cómo aleatorizar en la
práctica?
• Lotería desde una
canasta.
• Stata.
• Les enseñaremos
cómo mañana…
Fuente: Chris Blattman
Sesión 4
GRACIAS
A
Ximena Peña
[email protected]
@ximena_pena
Universidad de los Andes
50