Diseño - World Bank

Encuestas de evaluación de impacto
La noción de calidad total
Instrumentos
La integración de
el diseño muestral,
el cuestionario y los instrumentos,
el trabajo de campo
y la gestión de los datos
con el fin de entregar a los analistas
Una base de datos fiable
En tiempo oportuno
Los datos pierden valor si no
representan la realidad del
momento
Muestreo
Gestión
Recolección
de datos
de datos
El producto final
2
Etotal= emuestral + eno muestral
Las claves del diseño y la realización de
encuestas
Muestreo
• Sólo el muestreo aleatorio permite definir errores estándares, y
estimar con intervalos de confianza
• Las muestras por lo general no son MAS (muestras aleatorias
simples) sino complejas (con una o más etapas, y estratificadas)
• En las muestras complejas, el error muestral se ve afectado por
el “efecto de diseño” (Deff)
– En hogares, generalmente Deff>1
– En establecimientos, generalmente Deff<1
• Los paneles pueden reducir el error de la medición de cambios
en el tiempo, pero son vulnerables al envejecimiento, al
desgaste y a la manipulación
• En Evaluación de Impacto, tenemos que estimar la diferencia
entre grupos de tratamiento y control. La potencia es la
probabilidad de no juzgar mal a un programa efectivo
4
Limitaciones del Muestreo Aleatorio Simple
• El MAS puede ser una opción en ciertos casos,
• pero no es práctico cuando
– una Muestra Aleatoria Simple quedaría demasiado dispersa
 logística compleja y cara
– no disponemos de un marco muestral adecuado
– necesitamos estimaciones para subconjuntos de la población
• Sectores industriales
• Estados / Regiones / Provincias
• Por sexo de los empresarios / jefes de hogar
– Las unidades son de tamaño muy diverso
• Entonces debemos recurrir a otras técnicas
– Estratificación
– Muestreo en etapas
5
Estratificación
• Dividimos la población en
subconjuntos, llamados estratos
• Tomamos una muestra separada en
cada estrato
• ¿Para qué sirve eso?
– Para controlar la composición de la
muestra, para reducir el error total
– Para asegurar la representación de
algunos subconjuntos
• Las probabilidades de selección
pueden variar entre los estratos
Los dos objetivos se
contradicen en la
práctica
Esto impone el uso
de ponderaciones,
para asegurar la
validez externa de
nuestra evaluación
6
Estratificación por tamaño
• En las encuestas de hogares, el tamaño de las unidades no importa
demasiado
– La mayoría de los hogares tiene menos de 10 miembros
– Las encuestas suelen observar a todos los miembros, cualquiera sea el
tamaño del hogar
• En las encuestas empresariales, el tamaño de las unidades puede
importar mucho
– Hay muchas pequeñas empresas y pocas grandes empresas
– Las grandes empresas son pocas, pero concentran una parte enorme de la
producción, del empleo, del uso de energía, etc.
• Algunas encuestas nacionales necesitan estimar la producción total, el
empleo total, etc.
– Estas encuestas tendrán que dar a las firmas grandes mayor probabilidad de
ser observadas. Las más grandes tal vez deban incluso elegirse con certeza.
Esto se llama “estratificación por tamaño”
• Otras encuestas empresariales se enfocan a empresas pequeñas y
medianas.
– La estratificación por tamaño puede ser útil, pero es menos crítica.
7
Las claves del diseño y la realización de encuestas
Diseño del cuestionario
• Proceso complejo y de larga duración
• Es un proceso con muchas fases y varios actores,
a menudo iterativo
–Diseño, pre testeo, re diseño, piloto, versión final
• Debe ser confrontado con la realidad
8
Las claves del diseño y la realización de encuestas
Trabajo de campo / Gestión de datos
• Organizado con base en brigadas autónomas
• El entrenamiento es esencial y toma tiempo
(semanas, no días)
• El Aseguramiento de la Calidad se apoya en tres
pilares:
– Ingreso de datos inteligente en campo
– Monitoreo centralizado de las brigadas
– Supervisión humana por medio de re-visitas de control
9
Las claves del diseño y la realización de encuestas
Alta gestión
• Los TdRs de la firma deben especificar la calidad
de los entregables
• Asimismo deben estar claramente especificadas
las obligaciones de la empresa
• Equipo Central dedicado a la encuesta a tiempo
completo
• Plan y presupuesto realistas
10
El diseño de cuestionarios NO es una actividad sencilla
• Varios autores coinciden en afirmar que la elaboración
de un cuestionario es una compleja tarea que combina
arte y ciencia (Weiers, 1986; García Ferrando, 1990).
Además, no hay leyes que regulen como hacerlo, sino
que para ello es preciso contar con una amalgama de
sentido común, la propia experiencia y los resultados de
otros trabajos.
11
Diseño de cuestionario
• Producir un buen cuestionario es una actividad
crítica en el diseño de una encuesta
• La calidad de los datos recogidos por la encuesta
esta directamente condicionada por el diseño del
cuestionario
• Pequeños errores o imprecisiones en la redacción
de una pregunta o en el flujo de éstas pueden
provocar sesgos indeseados
12
Pre-testeo
Diseño
Contenido
Las tres etapas del diseño de un cuestionario
Definición del contenido
¿Qué tenemos que medir?
Diseño
¿Cómo lo vamos a medir?
Pre-testeo
¿Funciona?
13
Pre-testeo
Diseño
Contenido
Fase 1: Definiendo el Contenido
• ¿Cuáles son los
efectos esperados
de la intervención?
• ¿En qué unidades
se pueden
observar estos
efectos?
• ¿Es necesario
relacionar estos
efectos con otros
factores?
• ¿Qué indicadores
explícitos pueden
ser usados para
medir los efectos y
los otros factores?
• ¿Existen otras
medidas impuestas
por la mecánica de
la encuesta?
• Reducción de la
deforestación, aumento de la
producción, adopción de
tecnología, …
• Industrias, explotaciones
agrícolas, comercio, fuentes
de agua …
• Niveles de tratamiento,
tamaño de la unidad,
ingresos, geografía, clima…
• Número de plantas por ha.,
puntajes estandarizados,
contenido de
microorganismos, región,
estación del año …
• Identificadores, condiciones
de la encuesta, IDs de
respondentes, IDs de
entrevistadores, datos de
seguimiento, comparabilidad
…
• El proceso incluye
– Extensas discusiones
con
• La unidad de
implementación del
proyecto
• El equipo de
evaluación de
impacto
• Expertos en
encuestas
• Expertos en QA
– Revisión de la
literatura
– Otros cuestionarios
(comparabilidad)
– Estudios cualitativos
• Debe haber un líder
• El producto final es un
listado de preguntas
14
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Contenido
Fase 2: Diseño
• Fraseo
– Cómo hacer las preguntas
• Organización
– Cómo agrupar las preguntas en
módulos del cuestionario
• Formateo
– La apariencia física del cuestionario
• Otros temas
– Registro del consumo, Paneles,
Traducción, Software, Quién lo hace
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Organización - Considere
• La naturaleza de las unidades estadísticas
– Empresas, sucursales, trabajadores
– Hogares, miembros de los hogares
(todos ellos, responsables de unidades productivas,
migrantes temporales, …)
– Granjas, cultivos, campos, …
– Artículos de consumo
• Número de visitas a realizar y que contenido se responde
por visita
• Quién responde / Quién completa
– ¿Se permite que responda un “proxy”?
• Períodos de referencia
– Ayer, los últimos 7 días, los últimos tres meses, los
últimos 12 meses, año agrícola, año fiscal
• Orden lógico de los tópicos
– Datos generales, directivos, personal, producción
física, ventas, ingresos, …
– Si hay preguntas sobre temas sensibles, en general
ubicarlas hacia el final
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Formateo
• Tipos de pregunta
– Cuantitativas
– Cualitativas
(o “Categóricas”)
– Tipográfica
(o “Textual”)
• Disposición
– Lista
– Grilla
TODOS LOS MIEMBROS DEL HOGAR
SECCIÓN 6: SALUD
TODOS LOS MIEMBROS DEL HOGAR
6.00
CÓDIGO ID
6.01
CÓDIGO ID DEL RESPONDENTE
6.02
Sufre usted de alguna discapacidad
SI
1
continua diagnósticada que se espera
NO
2
que continúe por seis meses o más?
6.03
► 6.05
Código ID
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Disposición – Listado y grilla
6.01
6.02
6.03
6.04
ESCRIBA EL
Sufre usted de alguna
De qué tipo de
Hace cuántos
CÓDIGO ID DE
discapacidad continua discapacidad se trata? años tiene esta
LA PERSONA
diagnósticada que se
QUE
espera que continúe
RESPONDE
por seis meses o
ARTRITIS
1
durante los
más?
ASMA
2
últimos 28 días?
CANCER
3
DISCAPACIDAD
COPD
4
MÁS ANTIGUA SI
DIABETES
5
De qué tipo de discapacidad se
ARTRITIS
1
trata?
ASMA
2
CÓDIGO ID DEL SI
1
DISCAPACIDAD MÁS ANTIGUA
CANCER
3
RESPONDENTE NO
2
COPD
4
DIABETES
5
OTRA
6
6.04
Hace cuántos años tiene
DISCAPACIDAD
esta discpacidad?
MÁS ANTIGUA
6.05
ADEMÁS DE ESTA DISCAPIDAD
SI
YES
CRÓNICA
NO
Estuv o enfermo durante los últimos 28
AÑOS
1
2
► 6.23
Si la grilla abarca varias
páginas, separe los
renglones en grupos de
tres
Si es posible use
códigos pre-impresos
01
02
03
04
05
06
07
08
09
10
11
12
DISCAPACIDAD MÁS discpacidad?
ANTIGUA
► 6,05 OTRA
6.05
ADEMÁS DE
ESTA
DISCAPIDAD
Estuv o enfermo
6
NO
AÑOS
1
2
► 6.23
Fraseo
Organización
Formateo
Otros
Centenido
Diseño
Pre-testeo
Las respuestas de
parte de un proxy
deben evitarse, pero
cuando no es
posible, registre
quién responde
Use siempre el mismo
tipo de letra para
distinguir lo que el
entrevistador debe leer
de las instrucciones
Use reglas
consistentes
para la
numeración de
las preguntas
6.01
6.02
6.03
6.04
ESCRIBA EL
Sufre usted de alguna
De qué tipo de
Hace cuántos
CÓDIGO ID DE
discapacidad continua discapacidad se trata? años tiene esta
LA PERSONA
diagnósticada que se
QUE
espera que continúe
RESPONDE
por seis meses o
ARTRITIS
1
durante los
más?
ASMA
2
últimos 28 días?
CANCER
3
DISCAPACIDAD
COPD
4
MÁS ANTIGUA SI
DIABETES
5
CÓDIGO ID DEL SI
1
RESPONDENTE NO
2
DISCAPACIDAD MÁS discpacidad?
ANTIGUA
► 6,05 OTRA
Use reglas explícitas de
pase. El entrevistador no
debe decidir cuándo y a
quién se hace cada
pregunta
No
olvide
los
“Otros”
6.05
ADEMÁS DE
ESTA
DISCAPIDAD
Estuv o enfermo
6
1
NO
AÑOS
Precodifique
cuanto sea
posible,
idealmente con
códigos
numéricos
2
► 6.23
Use
unidades
de
medición
explícitas
Pueden usarse
ocasionalmente,
pero hágalo sólo
si es necesario
La multiplicidad siempre puede
evitarse con un fraseo adecuado (ej.
“la más antigua”, “la más
importante”, “su favorita”, …)
ESCRIBA EL
Sufre usted de alguna
De qué tipo de discapacidad se
Hace cuántos
ADEMÁS DE
CÓDIGO ID DE
discapacidad continua trata?
años tiene esta
ESTA
LA PERSONA
diagnósticada que se
MARQUE TODO LO QUE
discpacidad?
QUE
espera que continúe
CORRESPONDA
RESPONDE
por seis meses o
durante los
más?
últimos 28 días?
CÓDIGO ID DEL SI
1
RESPONDENTE NO
2
► 6,05
6,05
DISCAPIDAD
Estuv o enfermo
OTRA
DIABETES
6,04
COPD
6,03
CANCER
6,02
ASTHMA
6,01
ARTRITIS
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Respuestas múltiples
DISCAPACIDAD
MÁS ANTIGUA SI
NO
AÑOS
1
2
► 6.23
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
“No sabe”, “No aplica”, etc.
Al contrario de lo que se cree, estas son pocas veces una buena
idea
6.01
6.02
6.03
6.04
ESCRIBA EL
Sufre usted de alguna
De qué tipo de
Hace cuántos
CÓDIGO ID DE
discapacidad continua discapacidad se trata? años tiene esta
LA PERSONA
diagnósticada que se
QUE
espera que continúe
RESPONDE
por seis meses o
ARTRITIS
1
durante los
más?
ASMA
2
últimos 28 días?
CANCER
3
DISCAPACIDAD
COPD
4
MÁS ANTIGUA SI
DIABETES
5
CÓDIGO ID DEL SI
1
RESPONDENTE NO
2
DISCAPACIDAD MÁS discpacidad?
ANTIGUA
► 6,05 OTRA
Con un buena
estructura de pases
“No aplica” no es
necesario
6.05
ADEMÁS DE
ESTA
DISCAPIDAD
Estuv o enfermo
6
NO
AÑOS
1
2
► 6.23
Los entrevistadores a menudo
interpretan un explícito “No
sabe” como una invitación a
usarlo a la ligera
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Incluya totales
Los totales permiten
reducir los errores
tipográficos y de
digitación
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Diseño – Formateo
• Software de diseño
– Excel es mejor que Word, etc.
• Quién debería hacerlo
– No cualquiera
• Elaboración de cuestionarios electrónicos
(CAPI, WAPI, TAPI y otros)
– Elija herramientas de software acorde a la
complejidad de la encuesta (Blaise, CSPro,
Surveybe,
– No pierda tiempo en aplicaciones ad-hoc
– Hágase asesorar por expertos
– Un cuestionario de estas características
requiere más tiempo que un cuestionario
papel.
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Diseño – Otros tópicos
• Uso de panel
– Registre e ingrese tanta información de
seguimiento como sea posible
(coordenadas de GPS, teléfonos propios,
responsables de la firma, proveedores de
información, etc.)
– En segundas entrevistas hago uso de la
información colectada anteriormente
• Traducción
– No es sencilla, no es rápida, no es barata
– Pero es necesaria en ciertos casos
– Siempre corrobore mediante doble
traducción
Fraseo
Organización
Formateo
Otros
Pre-testeo
Diseño
Centenido
Diseño – Otros tópicos
• Período de referencia
– Encuestas económicas: año económico o
contable (existencia del balance para ese
período)
– Encuestas agrícolas año/temporada agrícola
• Determinación de la productividad o el
beneficio de la actividad
– Ingresos
– Gastos en: remuneraciones, inversiones,
insumos, electricidad, combustibles, etc.
– Idealmente basarse en Balance
• Determinación de la producción agrícola
– Chile por declaración de superficie sembrada y
producción
– Países de África por medición de superficie
sembrada y parcelas para evaluar rendimiento
Pre-testeo
Diseño
Contenido
26
Pre-testeo del cuestionario
• Involucra a
– El equipo de evaluación de impacto
– Expertos en encuestas
– Firma de campo
• Es un proceso iterativo
– Se espera encontrar problemas
– La mayoría de los problemas se encuentran durante el
primer o segundo día
• Muestra
– Debe ser intencionada, no necesita ser aleatoria, ni
demasiado grande
• La medición de tiempos de aplicación es meramente
referencial, ya que generalmente se sobreestimará
el tiempo de entrevista
• No se debe confundir con
– Prueba de campo o piloto
– Práctica de entrenamiento
Factores de calidad del trabajo en terreno
Selección
de
Selección de
personal
de
personal de
terreno yy
terreno
entrenamiento
entrenamiento
Organización
del trabajo en
terreno
Gestión de
datos
Supervisión y
Monitoreo
Factores de calidad del trabajo en terreno
Selección de
personal de
terreno y
entrenamiento
Organización
del trabajo en
terreno
Gestión de
datos
Supervisión y
Monitoreo
Selección de personal de
terreno y entrenamiento
Selección de personal de terreno y entrenamiento
Llamado a
candidatos
Pre-selección
de
candidatos
con base en
perfiles
Entrenamiento
Selección de
personal
Aprobación
de la
selección de
parte de la
entidad
contratante
Contratación
29
Factores de calidad del trabajo en
terreno
Selección de
personal de
terreno y
entrenamiento
Organización
del trabajo en
terreno
Organización del
trabajo en terreno
30
Esquemas de organización del terreno según forma de
aplicación y medio físico
Medio
físico
Forma de aplicación
Con entrevistador
• Equipos (jefe de quipo y
entrevistadores)
Papel
• con punto muestra: muestreo en
etapas - con conglomerados
• sin punto muestra: muestreo sin
conglomerados
CAPI
TAPI
SAPI
WEB
• Controles informáticos en terreno,
supervisión en terreno, monitoreo
informático
No aplica
Auto aplicado
• No se requiere organización en
equipos
• El entrevistador entrega el
cuestionario, responde consultas sobre
llenado y retira el cuestionario ya
completo
• Mayor probabilidad de errores e
inconsistencias
No aplica
• Sólo en encuestas a grandes unidades
productivas
• Requieren apoyo online o telefónico
(ejecutivo de cuenta)
• Validaciones online
31
Organización del trabajo en terreno
•
Que tenga en cuenta las características del estudio:
–
•
Un plan de trabajo
–
•
Forma de aplicación, medio físico, tipo de muestra, dispersión
geográfica
Qué hace cada uno de los equipos o entrevistadores y cuánto tiempo
requieren
Un plan de encuesta
–
Qué equipo o entrevistador visita cada lugar y cuándo
32
33 Plan de trabajo
Qué hace cada equipo y cuánto tiempo requiere.
Es necesario considerar:
• Número de entrevistadores por equipo
• Unidades productivas por entrevistador
• Dispersión geográfica de la unidades productivas a ser relevadas
• Traslados
• Operativo de listado de unidades productivas (si resulta aplicable)
• Selección de unidades productivas (en terreno o centralmente)
• Duración de la entrevista, mediciones de área, otras mediciones (si resulta
aplicable)
• Número de visitas necesarias y revisitas de corrección
• Reposo
Evite los extremos!
Escenario optimista
Escenario pesimista
Curso de Evaluación de Impacto en la Práctica (CEIP)
34 Plan de encuesta
Qué equipo visita qué unidades productivas y cuándo.
Es necesario considerar:
• Número de equipos de terreno, distribuidos equilibradamente
– Espacialmente
– Entre grupos tratamiento y control
• Número de unidades productivas asignadas a cada equipo
• Tiempo total disponible para el trabajo en terreno
• Distribución espacial y temporal de la muestra
• Restricciones externas
–
–
–
–
Cronograma del proyecto evaluado
Clima
Vacaciones, fiestas, etc.
Seguridad
Muchos equipos
Menos tiempo
Pocos equipos
Más tiempo
Curso de Evaluación de Impacto en la Práctica (CEIP)
35 Factores de calidad del trabajo en terreno
Selección de
personal de
terreno y
entrenamiento
Organización
del trabajo en
terreno
Gestión de datos
Gestión de
datos
Supervisión y
Monitoreo
Curso de Evaluación de Impacto en la Práctica (CEIP)
36 Los tres pilares del Aseguramiento de la Calidad
 Controles informáticos en terreno
 Supervisión humana en terreno
 Monitoreo central informático de los entrevistadores
Estos tres pilares de la calidad del trabajo en terreno
deben operar juntos
Uno sólo o dos no son suficiente
Curso de Evaluación de Impacto en la Práctica (CEIP)
37 Integrando controles de calidad por computador
al trabajo en terreno
Internet
Entrevista
Revisita
Entrada de
datos con
controles
informáticos
Base de datos
consolidada
Revisión
del
supervisor
Informe de
calidad
Monitoreo
del trabajo en
terreno
Curso de Evaluación de Impacto en la Práctica (CEIP)
38
¿Qué sucede sin la integración?
• “Editores” humanos en terreno que no pueden controlar todas las
posibilidades de error e inconsistencias
• El largo y frustrante proceso de “limpieza de datos” se vuelve
inevitable
Los datos pierden su relevancia para la política
• La calidad de los datos no está garantizada
La “limpieza de datos” tiende, en el mejor de los casos, a una base
que es consistente sólo internamente, pero que no representa
necesariamente la realidad
• “La limpieza de datos” involucra una miríada de decisiones,
generalmente indocumentadas
Programa de entrada de datos
• Chequeos de calidad necesarios:
–
–
–
–
Chequeos de rango
Saltos
Inconsistencias entre datos del cuestionario
Datos faltantes
– Errores tipográficos
• Evite la programación ad-hoc
• Hay disponibles muchas plataformas de programación (CS/Pro, LSD,
Blaise, Surveybe, Survey Solutions, etc.)
– Simplifican los chequeos
– Automatizan la documentación
– Automatizan la exportación a Stata, SPSS, etc.
• La adaptación/depuración son laboriosas
– Chequeos específicos por áreas temáticas
– Chequeos contra tablas de referencia
• Todo debe ser hecho antes del trabajo en terreno
40
Factores de calidad del trabajo en terreno
Selección de
personal de
terreno y
entrenamiento
Organización
del trabajo en
terreno
Supervisión y Monitoreo
Gestión de
datos
Supervisión y
Monitoreo
41
Supervisión en terreno
• El jefe del equipo revisita o recontacta algunas unidades
encuestadas y repite algunas preguntas
• No demasiadas unidades, no demasiadas preguntas, pero
seleccionados aleatoriamente
• Esto es algo que los computadores no pueden hacer… aún
• El proceso debe ser formalizado y documentado
42
Controles de calidad centralizados
• Supervisión de supervisores
• Chequeos telefónicos
• Monitoreo informático de indicadores de calidad del
trabajo en terreno (sobre todos los datos disponibles
simultáneamente)





Tasas de rechazo
Tasas de “no responde” y “no sabe”
Preguntas vulnerables a incentivos perversos
Comportamiento descuidado
Otros que veremos más adelante
43
El escenario y los actores
El ejecutor
Firma encuestadora
del programa de intervención
responsable de levantar los datos
El evaluador
Equipo central
(Agencia de evaluación, nacional o
internacional)
Equipo de
evaluación
Finanzas
$
Jefe de
proyecto
Jefe
de operaciones de
campo
Jefe
de gestión
de datos
Gerente
Personal de campo
Brigadas de campo
Especialistas
en diseño y análisis de
Evaluación de Impacto
Aseguramiento
de Calidad
44
Evaluación de Impacto – El guión
Diseño
Recolección de datos
Análisis
Mes  |●●●●●●●●●●●●|●●●●●●
●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Línea
basal
Seguimiento
Tabulación y análisis
45
Gestión, logística y finanzas
Diseño
• Acuerdos institucionales
• Procedimientos
desembolso
Recolección dede
datos
• Firma encuestadora
• TdRs
Análisis
• Selección
• Contrato●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
• Adquisición
Diseño de la evaluación
• Vehículos
Gestión, logística y finanzas
• Computadores
Desarrollo del cuestionario
• Otros equipos
Muestreo
• Publicidad
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Línea
basal
Seguimiento
Tabulación y análisis
46
Desarrollo del cuestionario
• Identificar los indicadores de
Evaluación de Impacto
Diseño
• Identificar otros temas relevantes
• Cuestionario
de hogares
Recolección
de datos
Primer borrador
• Preparación
Análisis
• Formateo
• Solicitud de●●●●●●|●●●●●●●●●●●●|
comentarios
Mes  |●●●●●●●●●●●●|●●●●●●
• Seminario
Diseño de la evaluación
• Re-diseño
Gestión, logística y finanzas
• Traducción
Desarrollo del cuestionario
• Pre-test
Muestreo
• Impresión
Selección y capacitación
• Cuestionario de establecimientos
Trabajo de campo y
Línea
• Cuestionario comunitario
basal
Aseguramiento de Calidad
Seguimiento
Tabulación y análisis
47
Muestreo
Diseño
• Diseño muestral
• Desarrollo del marco de 1ra etapa
Recolección de datos
• Directorio
de empresas
• Lista / Mapas de Áreas Censales
Análisis
• Selección de las UPMs
• Aleatorización Tratamiento / Control
●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
• Desarrollo del marco
de 2da etapa
Diseño de la evaluación
• Listado de hogares / empresas
Gestión, logística y finanzas
• Selección de hogares / empresas
Desarrollo del cuestionario
• Aleatorización Tratamiento / Control
• Cálculo de ponderadores
Muestreo
• Cálculo de errores muestrales
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Línea
basal
Seguimiento
Tabulación y análisis
48
Selección y capacitación
• Selección y capacitación para el pretest
Diseño
• Preparación de manuales
• Supervisor
Recolección de datos
• Encuestador
• Operador de ingreso de datos
Análisis
• Selección del personal de campo
• Preparación de la capacitación
●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
• Local/es, logística,
etc.
Diseño de la evaluación
• Capacitación del personal de campo
Gestión, logística y finanzas
• Semanas, no días
Desarrollo del cuestionario
• Plenarias, ejercicios en clase,
prácticas en campo
Muestreo
• Capacitar más personal que lo
Selección y capacitación
estrictamente
necesario, después
Trabajo de campo y
Línea
Aseguramiento de Calidad
elegir basal
Seguimiento
Tabulación y análisis
49
Trabajo de campo y Aseguramiento de Calidad
• Desarrollo del programa de ingreso
Diseño
de datos
• ¡ Puede
o
Recolección
de datos
no ser CAPI !
• Preparar los procedimientos
Análisis de
supervisión humana
• Preparar los protocolos
de
●●●●●●|●●●●●●●●●●●●|
Mes  |●●●●●●●●●●●●|●●●●●●
trasmisión de datos
Diseño de la evaluación
• Preparar los protocolos de
Gestión, logística y finanzas
consolidación de datos
Desarrollo del cuestionario
• Definir los indicadores de calidad de
Muestreo
campo
Selección y capacitación
• Monitoreo del trabajo de campo
Trabajo de campo y
Aseguramiento de Calidad
Línea
basal
Seguimiento
Tabulación y análisis
50
Tabulación y análisis
• Después de la encuesta de línea
basal
Diseño • Informe de línea basal
• Comparación tratamiento /
Recolección de datos
control
• Después de la encuesta de
Análisis
seguimiento
• ¿Hubo impacto?
Mes  |●●●●●●●●●●●●|●●●●●●
• Otros temas●●●●●●|●●●●●●●●●●●●|
relevantes
Diseño de la evaluación
(derrame, focalización, costoefectividad, etc.)
Gestión, logística y finanzas
• Entonces
Desarrollo del cuestionario
• Monografías académicas
Muestreo
• Siempre
Selección y capacitación
• Documentar todo
Trabajo de campo y
Línea
basal
• Diseminar
las bases de datos
Aseguramiento de Calidad
Seguimiento
Tabulación y análisis
51
Documentación – Un tema prioritario y transversal
Diseño
Recolección de datos
Análisis
Mes  |●●●●●●●●●●●●|●●●●●●
●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Documentación
Línea
basal
Seguimiento
Tabulación y análisis
52
Evaluación de Impacto - Escenas culminantes
(actividades críticas)
Elección del
Equipo Central
Prueba
piloto
Capacitación
del personal
Mes  |●●●●●●●●●●●●|●●●●●●
Evaluación
de Impacto
●●●●●●|●●●●●●●●●●●●|
Diseño de la evaluación
Gestión, logística y finanzas
Desarrollo del cuestionario
Muestreo
Selección y capacitación
Trabajo de campo y
Aseguramiento de Calidad
Línea
basal
Línea basal
Seguimiento
Seguimiento
Tabulación y análisis
53
Distribución del presupuesto
Viajes internacionales
Per diems internacionales
Remuneración del
personal de campo
Equipo de QA
(Aseguramiento de
Calidad)
Diseño,
Análisis y QA
Equipo de Evaluación
Recolección de
datos
Overhead
Equipo Central
Viáticos
Transporte / Logística
Otros
Listado de hogares
54
Presupuestos típicos
• Es difícil hablar de un “presupuesto típico”, porque los
presupuestos no siempre incluyen rubros
importantes:
– Tiempo y viajes del personal de agencias internacionales
– Asistencia Técnica (Equipo de Evaluación, Equipo de
Aseguramiento de Calidad)
• Algunos presupuestos consideran gastos no
vinculados a la evaluación
– Viajes de estudio
• Algunos presupuestos incluyen bienes de capital que
perduran después de la evaluación (computadores,
vehículos)
• Hoy día, las encuestas de Evaluación de Impacto
suelen fluctuar entre $100 y $300 por hogar o
establecimiento
55