2- Sesion 5 Tecnica Muestreo Poder

Sesión VII
Muestreo y Poder
Christel Vermeersch
Noviembre 2006
Introducción
p
Objetivo: evaluar programas y/o intervenciones
( ¿Tiene efecto o no?)
p
Necesitamos suficientes datos para detectar cambios
debidos a la intervención:
→ parte 1: discusión sobre poder
p
Necesitamos datos representativos:
→ parte 2: discusión sobre muestreo
HDN LAC FPSI WBI
2
PARTE 1: Evaluar el efecto
p
p
Evaluar una intervención es una prueba de significancia
Ejemplo: y es el resultado de una prueba de logro. Estimamos el
efecto de doblar el presupuesto de la escuela en el resultado
promedio de la prueba de logro.
H0: E(y|Tratamiento) = E(y|Control)
H1: E(y|Tratamiento) > E(y|Control)
Intervención tiene efecto
(en realidad)
Prueba
estadística
HDN LAC FPSI WBI
No
Si
Rechazamos H0
Error tipo I
OK
No rechazamos
H0
OK
Error tipo II
3
Error de tipo I
HDN LAC FPSI WBI
4
Error de tipo II y poder
HDN LAC FPSI WBI
5
Errores tipo I y tipo II
p
Error tipo I = α
n
n
n
p
Error tipo II = β
n
p
probabilidad de no rechazar la hipótesis nula cuando está falsa
Poder = 1 - β
n
n
p
probabilidad de rechazar la hipótesis nula cuando ésta es verdadera
probabilidad de concluir que la intervención tiene efecto si no tiene
efecto
Valores típicos: 0.01, 0.05, 0.1
probabilidad de rechazar la hipótesis nula cuando una hipótesis
alternativa es verdadera
probabilidad de concluir que la intervención tiene efecto si
realmente tiene efecto
Queremos maximizar el poder de la muestra, dado el nivel α
HDN LAC FPSI WBI
6
Qué afecta el poder de una prueba?
El poder de la prueba aumenta cuando…
p Aumenta a (el error de tipo I)
p Aumenta el tamaño del efecto esperado
p Disminuye la varianza del indicador… como???
n La varianza del promedio es proporcional a 1/n, donde n es
el tamaño de la muestra à aumentar el tamaño de la
muestra
? Para detectar un cambio de indicador dado con un error de tipo
a dado, hay que aumentar el tamaño de la muestra.
? En la practica, se calcula el tamaño de muestra necesario para
detectar un cambio X en el indicador, con un alpha de 5 % y
un poder de 80/90 %.
HDN LAC FPSI WBI
7
Algunas simulaciones en Stata
*computar el tamaño de la muestra;
sampsi 130 135, alpha (0.05) power(0.8) sd1(15)
sd2(18) onesided;
*aumentamos el efecto esperado del programa==>
se necesita una muestra mas pequeña;
sampsi 130 145, alpha(0.05) power(0.8) sd1(15)
sd2(18) onesided;
*aumentamos el poder requerido ==> se necesita
una muestra mas grande;
sampsi 130 135, alpha (0.05) power(0.9) sd1(15)
sd2(18) onesided;
HDN LAC FPSI WBI
8
Algunas simulaciones en Stata
*computar el poder de una prueba;
sampsi 130 135, alpha (0.05) sd1(15) sd2(18)
n1(100) n2(100) onesided;
*aumentamos el efecto esperado del programa==>
poder aumenta;
sampsi 130 145, alpha (0.05) sd1(15) sd2(18)
n1(100) n2(100) onesided;
*aumentamos el tamaño de la muestra => poder
aumenta;
sampsi 130 135, alpha (0.05) sd1(15) sd2(18)
n1(200) n2(200) onesided;
HDN LAC FPSI WBI
9
Parte 2: Muestreo (? Datos representativos)
p
Encuestas representativas
n
n
p
Meta: aprender acerca de la población
p (p.ej. ENCOVI: encuesta nacional)
Muestra: representativa de toda la población
Evaluación de impacto
n
n
n
n
Meta: medir los cambios de indicadores claves en la
población objetiva/ grupo de interés
En la práctica: medir la diferencia entre los grupos de
tratamiento y de control
Concentrar estratégicamente la muestra
Importancia del presupuesto
HDN LAC FPSI WBI
10
Definiciones
p
p
p
p
p
p
p
Unidad de análisis: El tipo de entidad para la cual
buscamos datos (personas, sitios, escuelas,…)
Población: El conjunto de todas las unidades de análisis
sobre las cuales queremos inferir conclusiones
Marco muestral: El listado de unidades de análisis utilizado
para sacar la muestra (?Cual es la situación ideal?)
Muestra: las unidades de análisis sacadas del marco
muestral, para las cuales intentamos recollectar datos
Encuestados: las unidades de análisis de la muestra para las
cuales conseguimos datos.
Fracción muestral: proporción de casos del marco muestral
seleccionada para la muestra (n/N)
Tasa de respuesta: proporción de unidades de análisis de la
muestra para las cuales recollectamos datos.
HDN LAC FPSI WBI
11
Gráficamente…
Población
Marco muestral
Muestra
Encuestados
HDN LAC FPSI WBI
12
Validez interna del experimento
n
n
n
i.e. dentro del experimento
Pregunta: ?El grupo control es válido?
No hay diferencia sistemática entre el grupo control y el
grupo tratamiento en ausencia de la intervención.
HDN LAC FPSI WBI
13
Validez externa del experimento
p
p
p
p
p
p
p
?Se pueden generalizar los resultados del experimento a beneficiarios fuera
del experimento?
Eso depende del marco muestral del experimento y del método de muestreo
Necesitamos representatividad al nivel de la población meta
n Si no vamos a implementar la intervención nunca para personas de tipo
X, no tiene sentido incluirlas en el marco muestral del experimento.
Representatividad para una población más diversa implica que necesitamos
una muestra más grande
n Por qué? La inclusión de población menos “sensible” a la intervención
diluye el efecto de la intervención
n Ejemplo: efecto de intervenciones de salud en diarrhea – concentrar la
muestra en los hogares con niños de menos de 5 años.
El presupuesto limita el tamaño de la muestra.
“Nunca arriesga su hipótesis central”
Balance entre el poder dentro de la población de interés y la representación
de la población.
HDN LAC FPSI WBI
14
Métodos de muestreo
p
Muestreo aleatorio
n
n
n
n
p
Simple: cada unidad en el marco muestral tiene la misma probabilidad
de ser seleccionada
Estratificado: el marco muestral se divide en dos o mas estratas, en
dónde se hace un muestreo simple
de conglomerados (“clusters”): se muestrean conglomerados de
unidades, ej. pueblos
Multi-etapa – combina dos o más de los métodos anteriores, ej. muestro
aleatorio (estratificado o simple) de pueblos, y muestreo aleatorio
simple de personas dentro de cada pueblo
Muestreo sistemático
n
Ej. Estudio de caso “típico”– no es correcto hacer análisis estadistico
sobre este típo de muestra!!!
HDN LAC FPSI WBI
15
El muestreo multi-etapa cambia
la varianza del indicador
p
Los individuos en un cluster tienden a ser más parecidos entre
ellos que con los de otros clusters:
n
p
10 hogares del mismo cluster nos dan menos información que 10
hogares de clusters diferentes
Consecuencia: errores estándar mayores que con un muestreo
aleatorio simple (MAS)
Var
ConCluster
n
n
n
= Var * (1 + ρ * (k − 1))
144244
3
deff
MAS
ρ es una medida del grado de homogeneidad entre los sujetos del
cluster para la medida de interés
k=numero de observaciones dentro de cada cluster
deff puede ser estimado tanto para medidas de asociación como para
medidas de prevalencia (o medias)
HDN LAC FPSI WBI
16
Ajuste de la muestra para compensar
el efecto de diseño
p
p
p
Varianza mas grande à poder de la prueba menor para un
tamaño de muestra fijo !!!
La pérdida de poder debida al efecto de diseño puede ser
compensada por incrementar el tamaño de muestra
Por cuanto tenemos que aumentar el tamaño de la muestra
cuando hay conglomerados en la muestra?
HDN LAC FPSI WBI
17
Tamaño de muestra con efecto de diseño
p
Utilizamos métodos estándares para determinar el tamaño
de muestra necesario bajo el método de muestreo aleatorio
simple, n .
Calculamos el tamaño de muestra necesaria para el
muestreo multi-etapas, con la formula siguiente:
MAS
p
n
ConCluster
p
p
= n * efdi = n * (1 + ρ * (k − 1))
MAS
MAS
Se necesita el tamaño estimado del cluster y un valor de ρ que es una característica de la población estudiada
Utilizar Stata!
HDN LAC FPSI WBI
18
Después de que tengamos la muestra… …
Población
Marco muestral
Muestra
Encuestados
HDN LAC FPSI WBI
19
La tasa de respuesta …
p
p
p
p
p
p
Idealmente es 100 por ciento
Cuando es baja, hay un riesgo de sesgo debido a la selección de los
encuestados, p.ej. cuando los “control” no quieren participar en la encuesta
de seguimiento.
Debe de ser más de 70 por ciento en ambos grupos (control y tratamiento)
No puede ser significativamente diferente entre grupos control y
tratamiento
?Que hacemos cuando la tasa de respuesta es baja?
n Mala solución: aumentar el tamaño de muestra para “compensar”
n Buenas soluciones:
p hacer esfuerzos suplementarios para recolectar información sobre
los non-respondientes.
p Sub-muestrar los non-respondientes para investigar si son
diferentes de los respondientes.
p Comparar las características línea base de los respondientes y nonrespondientes.
Es imperativo informar sobre la tasa de respuesta en el informe de
evaluación
HDN LAC FPSI WBI
20