Cálculos de Poder

Cálculos de Poder
Juan Saavedra
RAND Corporation
¿Qué es poder estadístico?
¿Qué es poder estadístico?
Beta= Impacto
¿Qué es poder estadístico?
Beta= Impacto
¿Qué es poder estadístico?
Beta= Impacto
¿Qué es poder estadístico?
Beta= Impacto
¿Por qué calcular poder?
Tema práctico:
• Ayuda a anticipar si el tamaño de la muestra será lo
suficientemente grande para detectar “efectos
esperados”.
• Administrar encuestas y tratamientos puede ser
muy caro y uno tiene que adherirse a un
presupuesto.
• Necesario optimizar la muestra al presupuesto.
• Tamaño de muestra limitado por factores de
implementación.
Incertidumbre
Tema Estadístico
• Queremos minimizar las probabilidades de no poder
rechazar la hipótesis nula dado que es falsa.
• Cálculos de poder dependen de algunos parámetros
con valores desconocidos.
¿De qué depende el poder muestral?
Beta= Impacto
¿De qué depende el poder muestral?
La probabilidad de rechazar la hipótesis nula dado que es
falsa depende (principalmente) de:
•
•
•
•
•
Magnitud del efecto bajo la hipótesis alternativa
Tamaño de muestra
Varianza de los resultados en la población
Criterio de significancia
Diseño
Formalicemos la intuición…
La hipótesis que queremos probar es:
Formalicemos la intuición…
La hipótesis que queremos probar es:
En muestras grandes se rechaza la hipótesis nula si:
Donde:
Formalicemos la intuición…
Pero si β>0, en muestras grandes:
Formalicemos la intuición…
Pero si β>0, en muestras grandes:
Por tanto, el poder muestral es:
Gráficamente…
Beta= Impacto
Formalicemos la intuición…
Restando β/SE(.) a ambos lados:
Formalicemos la intuición…
Restando β/SE(.) a ambos lados:
Formalicemos la intuición…
Restando β/SE(.) a ambos lados:
Formalicemos la intuición…
Aplicando la función inversa de Φ(∙) a ambos lados de la
ecuación y utilizando el hecho de que la distribución normal
es simétrica y centrada en cero obtenemos:
Formalicemos la intuición…
Aplicando la función inversa de Φ(∙) a ambos lados de la
ecuación y utilizando el hecho de que la distribución normal
es simétrica y centrada en cero obtenemos:
Formalicemos la intuición…
Aplicando la función inversa de Φ(∙) a ambos lados de la
ecuación y utilizando el hecho de que la distribución normal
es simétrica y centrada en cero obtenemos:
Por tanto, para alcanzar un poder κ es necesario que:
Formalicemos la intuición…
Es decir, el EFECTO MINIMO DETECTABLE es tal que:
Puesto que el EFECTO MINIMO DETECTABLE es
generalmente una diferencia de medias en el indicador de
impacto entre tratamientos y controles:
Formalicemos la intuición…
Resolviendo para N tenemos:
Formalicemos la intuición…
Resolviendo para N tenemos:
¿De qué depende N?
Formalicemos la intuición…
Resolviendo para N tenemos:
¿De qué depende N?
Efecto Mínimo
Estandarizado
Ejercicio 1
Imagine que usted quiere diseñar un experimento para
estudiar el impacto de la tecnología (por ejemplo semillas de
alto rendimiento) sobre la productividad agrícola.
Con asignación individual 50% a tratamiento y 50% a control y
sin línea de base, estime cuantos agricultores necesita si
quiere encontrar un incremento en el rendimiento por
hectárea de 10% dado un rendimiento promedio de 50
kilos/hectárea y una desviación estándar de 60 kilos/hectárea.
Asuma significancia de 5% y poder de 90% tal que:
tα=1.65 t1-κ=1.28
Tamaño del Efecto
Tamaño del
Efecto de….
Es considerado..
Lo que significa que… Necesita un N
de (bajo 50% de
tratamiento, 5%
sig y 90%
poder)
0.2
Modesto
El participante promedio
del grupo de tratamiento
tuvo un resultado mejor
que el 58 percentil del
grupo de control
859
0.5
Grande
El participante promedio
del grupo de tratamiento
tuvo un resultado mejor
que el 69 percentil del
grupo de control
138
0.8
MUY grande
El participante promedio
del grupo de tratamiento
tuvo un resultado mejor
que el 79 percentil del
grupo de control
54
Distribución tratamientos/controles
¿Es siempre deseable 50% de la muestra total en cada
grupo?
¿Por qué si?
Distribución tratamientos/controles
¿Es siempre deseable 50% de la muestra total en cada
grupo?
¿Por qué si? Minimiza la varianza
Distribución tratamientos/controles
¿Es siempre deseable 50% de la muestra total en cada
grupo?
¿Por qué si? Minimiza la varianza
¿Por qué no?
Distribución tratamientos/controles
¿Es siempre deseable 50% de la muestra total en cada
grupo?
¿Por qué si? Minimiza la varianza
¿Por qué no? Cuando el tratamiento es caro y la
recolección de datos barata, asignación óptima esta
dada por:
Donde Cc y CT son costos unitarios de encuesta + tratamiento
¿Cómo incrementar el poder muestral?
¿Dado un N, un nivel de significacia y un nivel de
poder, se puede reducir el EFECTO MINIMO
DETECTABLE?
Si, con covariables de línea de base
¿Cómo incrementar el poder muestral?
¿Cómo incrementar el poder muestral?
Es un caso particular de:
Donde R2 es la proporción de la varianza en el indicador de impacto que explican
las covariables de línea de base.
Ejercicio 2
¿Cuál es el EFECTO MINIMO DETECTABLE de un
programa de capacitación laboral para el que, σ=$7,000,
N=500, q=0.5, R2=0, tα=1.65 y t1-κ=1.28 ?
Ejercicio 2
¿Cuál es el EFECTO MINIMO DETECTABLE de un
programa de capacitación laboral para el que
σ=$7,000, N=500, q=0.5, R2=0, tα=1.65 y t1-κ=1.28 ?
¿Y si ahora R2=0.2?
¿Cómo incrementar el poder muestral?
¿Dado un N, un nivel de significacia y un nivel de
poder, se puede reducir el EFECTO MINIMO
DETECTABLE?
Sí, con covariables de línea de base.
Sí, balanceando la distribución de covariables de línea
de base entre los grupos de tratamiento y control.
¿Cómo incrementar el poder muestral?
¿Dado un N, un nivel de significacia y un nivel de
poder, se puede reducir el EFECTO MINIMO
DETECTABLE?
Si, con covariables de línea de base.
Si, balanceando la distribución de covariables de línea
de base entre los grupos de tratamiento y control.
¿Cómo puedo balancear la distribución de covariables
de línea de base entre tratamientos y controles?
¿Cómo incrementar el poder muestral?
Estratificando: dividiendo la muestra de análisis en estratos
(bloques) según alguna característica (por ejemplo,
hombres y mujeres) y aleatorizando al interior de cada
estrato.
¿Cómo incrementar el poder muestral?
Estratificando: dividiendo la muestra de análisis en estratos
(bloques) según alguna característica (por ejemplo,
hombres y mujeres) y aleatorizando al interior de cada
estrato.
Varianza total del indicador de impacto (en ausencia de
estratificación) es la suma de la varianza entre estratos y la
varianza al interior de cada estrato:
¿Cómo incrementar el poder muestral?
Y el EFECTO MINIMO DETECTABLE se puede escribir como:
Entre mayor la varianza entre estratos (en ausencia de
estratificación) mayor la ganancia de poder muestral que
obtengo estratificando.
¿Cómo incrementar el poder muestral?
¿Dado un N, un nivel de significacia y un nivel de
poder, se puede reducir el EFECTO MINIMO
DETECTABLE?
Sí, con covariables de línea de base.
Sí, balanceando la distribución de covariables de línea
de base entre los grupos de tratamiento y control.
Sí, usando pruebas de significancia estadística
direccionales (Bloom, 1995)
Intuición gráfica: prueba direccional
Beta= Impacto
Intuición gráfica: prueba no direccional
Beta= Impacto
Recordemos que…
Cumplimiento Imperfecto
Cuando la asignación al tratamiento no es idéntica al
tratamiento recibido:
• Diseño por invitación/estímulo
• Algunos asignados a tratamiento deciden no recibirlo
• Algunos que no fueron asignados sí reciben
tratamiento
Cumplimiento Imperfecto
Denotemos como d la diferencia en la participación (P) entre
tratamientos y controles. Si z es la asignación al tratamiento:
Cumplimiento Imperfecto
Denotemos como d la diferencia en la participación (P) entre
tratamientos y controles. Si z es la asignación al tratamiento:
Podemos re-escribir ecuación que define EFECTO MÍNIMO
DETECTABLE en función de d como:
Impacto de Cumplimiento Imperfecto
Con diferencia de 50% entre la participación de tratamientos y controles:
Impacto de Cumplimiento Imperfecto
Con diferencia de 50% entre la participación de tratamientos y controles:
Asignación aleatoria por conglomerados
• Hasta ahora, nos hemos enfocado en asignaciones
aleatorias a individuos.
• Pero en mucho casos es deseable y/o necesario
aleatorizar a un nivel de agregación grupal: municipio,
escuela, aula de clase, etc, tal que:
• Individuos dentro de cada conglomerado reciben
el mismo tratamiento.
• ¿Puede esto afectar los cálculos de poder estadístico
de un experimento? ¿Cómo?
Impacto de asignación por conglomerados
• Los individuos dentro de cada conglomerado
comparten carácterísticas comunes:
• Estudiantes dentro de una misma aula de clase
comparten el mismo profesor y los mismos
compañeros.
• Individuos dentro de cada conglomerado no
representan observaciones independientes:
• Un individuo adicional no aporta el mismo poder
que en un diseño simple (a nivel individual).
Impacto de asignación por conglomerados
El EFECTO MÍNIMO DETECTABLE se puede escribir como:
Donde J es el número de conglomerados, n número de individuos
en cada conglomerado, ρ es la correlación intra-clase.
Cuando ρ>0, J tiene (mucho) mayor impacto sobre EMD que n
¿Por qué?
Impacto de asignación por conglomerados
La razón entre el error estándar del impacto estimado bajo
asignación por conglomerados y bajo asignación individual
se denomina efecto de diseño:
Cuando ρ=0, asignación por conglomerados tiene el mismo
poder estadístico que la asignación individual
¿Qué tan malo puede ser?
Si ρ = 0.2,
En un experimento con 50 escuelas: D =√(1+(n-1) ρ)=
3.3
Con 30 estudiantes por escuela, N = 1500
Efecto Mínimo Detectable estandarizado con
aleatorización individual: 0.15
Efecto Mínimo Detectable estandarizado con efecto de
diseño: 0.15*3.3 = 0.50
Transición de “pequeño” a “grande”
Tomado de Lipsey y Hurley (2009)
Ejemplos de Valores de ρ en educación
Busia, Kenia: Matemáticas y Lenguaje
0.22
Udaipur, India: Matemáticas y Lenguaje
0.23
Mumbai, India: Matemáticas y Lenguaje
0.29
Vadodara, India: Matemáticas y Lenguaje
0.28
Busia, Kenia: Matemáticas
0.62
Chile: Comprensión Lectora, clusters de
clases en escuelas municipales
0.42
¿Ideas centrales a manera de resumen?
¡Gracias!