Bases técnicas para la Licitación del Estudio

Bases técnicas para la Licitación del
Estudio “Actualización del Índice de
Grupos socioeconómicos en Chile”
Preparado por AIM Chile – AG
Abril 2012
Autor: Pablo González V.
I.
OBJETIVO LA LICITACION
El objeto de esta licitación es adjudicar la realización del estudio “ACTUALIZACIÓN
DEL INDICE SOCIOECONOMICO EN CHILE”, en su fase de campo y digitación de
las encuestas. Las empresas postulantes deben presentar sus propuestas
económicas y técnicas de acuerdo al diseño muestral y los criterios metodológicos
que establece este documento. Luego, la AIM entregará el cuestionario a la empresa
seleccionada.
La empresa que se adjudique el contrato, será responsable de:
•
•
•
•
•
Llevar a cabo la prueba piloto del cuestionario.
Elegir los puntos de muestreo, de acuerdo al diseño muestral que se
especifica en este mismo documento.
Ejecutar el trabajo de campo, de acuerdo a los procedimientos especificados
en este documento y según las normas de calidad estándares de la industria.
Codificar las preguntas abiertas que eventualmente pudiera contener el
cuestionario.
Digitar las encuestas y validar la base de datos, para entregarla totalmente
“limpia” y lista para ser usada por el consultor que analizará la información.
En este documento llamaremos “el Instituto” o “la empresa” a las organizaciones que
postulan a esta licitación y llamaremos “el Consultor” o “Gerente del proyecto” a
quien será responsable por parte de la AIM de conducir operativamente este estudio
y realizar los análisis de la información.
II.
EL CUESTIONARIO Y LA PRUEBA PILOTO
El cuestionario será entregado por la AIM a la empresa que se adjudique esta
licitación, la cual deberá editarlo de acuerdo al formato con que ella trabaja y agregar
los filtros, instrucciones y controles que estime conveniente para la buena aplicación
del cuestionario. La fecha de entrega será al día hábil siguiente de la adjudicación.
El cuestionario durará aproximadamente 30 minutos, deberá aplicarse cara a cara y
contendrá las preguntas de clasificación socioeconómicas usadas actualmente por la
AIM, más las preguntas pertinentes del censo 2012, la encuesta CASEN y otras
preguntas ad hoc tendientes a cumplir los objetivos del estudio.
El Instituto deberá someter el cuestionario a una prueba piloto, la cual deberá
comprender un mínimo de 20 encuestas (4 por cada GSE) en la ciudad de Santiago,
informando al Consultor de la fecha de realización de ésta. El Instituto deberá emitir
un informe escrito con el análisis del resultado de dicha prueba piloto, que contemple
al menos los siguientes puntos:
• Comprensión de las preguntas por parte de los encuestados. Verificar que
las preguntas se comprenden cabalmente, la redacción es fluida y el lenguaje
es adecuado para todos los entrevistados.
• Validez del instrumento de medición. El cuestionario recoge la información
que se espera de él, es decir, las respuestas responden a las expectativas de la
necesidad de información.
• Lógica del diseño. La aplicación de saltos es correcta, el cuestionario fluye
bien y es simple de aplicar.
• La aplicación de la hoja filtro. Chequear que se selecciona a la persona
requerida y que no hay sesgos de selección.
• Las instrucciones al encuestador contenidas en el cuestionario son claras
y suficientes para la aplicación del mismo.
• Tarjetas y material de apoyo. Verificación de la correspondencia de contenido
entre el cuestionario y las tarjetas (o material de apoyo) y que los nombres de
las tarjetas sean los correctos.
• Que el tiempo de aplicación del cuestionario sea razonable, que no atenta
contra el grado de concentración del entrevistado y que no afecte la calidad de
las respuestas.
• Registrar cualquier otra dificultad, inconveniente o problema actual o potencial
que se detecte durante la Prueba.
El Gerente del Proyecto por parte de la AIM hará las modificaciones necesarias al
cuestionario para corregir los defectos o problemas detectados en la prueba piloto, o
bien solicitará por escrito al Instituto que haga los cambios necesarios. Una vez
aprobado oficialmente el cuestionario, por escrito o correo electrónico, el Instituto
procederá a la ejecución del trabajo de campo.
III.
SELECCIÓN DE LA MUESTRA
La metodología de muestreo y el diseño muestral que se usarán en este estudio se
especifican a continuación. Pero la selección de las unidades muestrales será
responsabilidad del Instituto.
Definiciones
En este caso las unidades de estudio no se pueden elegir directamente, se
necesitarán dos o más pasos consecutivos para ello. Para precisar el lenguaje,
usaremos las siguientes definiciones:
•
Las unidades de estudio son aquellas sobre las cuales estamos recabando
información; en este caso, los hogares del país.
•
Como no tenemos acceso directo a las unidades de estudio se deberá hacer
un muestreo de dos o más etapas. En cada etapa se elige un conglomerado
de unidades de estudio. La unidad que se selecciona en cada etapa se llama
unidad de muestreo (de la etapa enésima).
o
o
•
por ejemplo las manzanas son la unidad de muestreo natural en los estudios a
Hogares.
luego las Viviendas son las unidades de muestreo naturales dentro de cada manzana
elegida.
Por último, digamos que no siempre la unidad de estudio puede respondernos
por sí misma; se llama informante a la persona entrevistada que nos entrega
información respecto de la unidad de estudio; en este caso, el informante
podrá ser un adulto mayor de 18 años que resida en el hogar.
Diseño muestral
Se hará un muestreo aleatorio estratificado, donde los estratos corresponden a
agrupaciones de pueblos/ciudades, según su tamaño. Se consideran 5 estratos:
TAMAÑO DE LA CIUDAD
N° Ciu
Hab (mill)
%
Más de 500 mil Habitantes
Entre 100 - 500 mil Hab.
Entre 20-100 mil Hab.
Menos de 20 mil Habitantes
3
22
88
178
7,8
4,6
3,3
1,7
45%
26%
19%
10%
SUMA
291
17,4
100%
Dentro de cada estrato se han elegido por sorteo aleatorio las ciudades que se
incluirán en la muestra y se ha determinado el número de encuestas a realizar. El
diseño muestral es el siguiente:
ESTRATO
n
COMENTARIOS
Gran Santiago
Gran Valpo y Gran Conce
Ciudades 100-500 mil Hab
Ciudades 20-100 mil Hab
Ciudades menos 20 mil Hab
TOTAL
600
600
960
720
320
Se distribuyen las enc proporc en las 35 comunas
300 encuestas en cada conurbación
Se eligen 12 ciudades (80 enc en cada ciudad)
Se eligen 8 ciudades (80 enc en cada ciudad)
Se eligen 8 ciudades (40 enc en cada ciudad)
3.200
Las ciudades seleccionadas para este estudio son las siguientes (ordenadas de
Norte a Sur):
ZONA
1
1
1
1
1
1
1
2
2
2
2
2
2
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
REGION
15
1
2
3
4
4
4
5
5
13
13
13
13
6
6
7
7
7
7
7
8
8
8
8
8
8
9
9
9
COMUNA
HAB 2012
ARICA
177.232
Iquique+ Alto Hospicio
284.539
ANTOFAGASTA
378.923
CHAÑARAL
12.570
LA SERENA + COQUIMBO
439.230
OVALLE
112.956
SALAMANCA
Gran VALPARAÍSO
NOGALES
Gran SANTIAGO
MELIPILLA
PAINE
SAN PEDRO
DOÑIHUE
25.692
921.751
26.385
6.156.980
107.698
66.512
8.062
20.477
OLIVAR
14.091
TALCA
249.993
CURICÓ
142.710
CAUQUENES
42.953
RETIRO
17.269
PENCAHUE
9.187
Gran CONCEPCIÓN
766.914
LOS ANGELES
204.303
CORONEL
110.657
HUALQUI
22.877
PINTO
11.168
PORTEZUELO
4.895
Gran TEMUCO
390.801
LAUTARO
PERQUENCO
36.157
6.981
N
80
80
80
40
80
80
80
300
80
600
80
80
40
80
40
80
80
80
40
40
300
80
80
80
40
40
80
80
40
3
3
3
14
10
11
RÍO BUENO
31.072
PUERTO MONTT
248.945
COIHAIQUE
59.221
80
80
80
La definición de conurbaciones (por ejemplo Gran Valparaíso), se ha hecho de
acuerdo al INE y son las siguientes:
REGION
1
4
5
8
9
13
CON URBACION
Iquique – Alto Hospicio
La Serena-Coquimbo
Gran Valparaiso
Gran Concepción
Gran Temuco
Gran Santiago
COMUNAS
Iquique, Alto Hospicio
La Serena, Coquimbo
Valpo, Viña, ConCon, Quilpue, Villa Alemana
Concepción, Chiguayante, San Pedro, Hualpen, Talcahuano,
Penco
Temuco, Padre Las Casas
Las 33 comunas de la prov de Stgo, San Bernardo, Puente
Alto
Selección de las unidades de estudio (hogares)
En las grandes ciudades y/o conurbaciones, la ciudad debe dividirse en comunas y
sacar una muestra proporcional al tamaño de cada comuna. En el resto de las
ciudades, se hará un sorteo aleatorio de manzanas, como primera unidad de
muestreo. Para las grandes ciudades, este procedimiento se aplicará a cada una de
las comunas en que se ha dividido la ciudad. En todos los casos, se consideran sólo
las zonas urbanas, excluyendo las zonas rurales, si ellas existieran, en las comunas
seleccionadas.
La unidad de muestreo (de la primera etapa) son manzanas, luego en cada manzana
seleccionada debe sacarse una muestra de viviendas (segunda etapa), y si en la
vivienda se encuentra más de un hogar debe seleccionarse un hogar dentro de la
vivienda (tercera etapa). Veamos ahora como seleccionar las manzanas.
Si el tamaño de la muestra es n, el número de manzanas a elegir está determinado
por el número de hogares promedio que será encuestado en cada manzana;
llamemos m a dicho promedio. Entonces:
n ° Manzanas =
Tamaño de la Muestra
n
=
promedio de encuestas por Manzana m
El Instituto debe garantizar una gran dispersión de puntos muestrales para cubrir
adecuadamente las zonas geográficas en estudio. Por lo tanto los valores de m
deben ser entre 2 a 4 como máximo, de modo que haya una adecuada dispersión de
los puntos muestrales. La relación entre n y m según el tamaño de la ciudad deba ser
la siguiente:
Tamaño
muestral
600
300
80
40
N°
N° enc por
manzanas manzana
150
4
75
4
40
2
20
2
La selección en sí de las manzanas habitualmente la realiza el mismo Departamento
de Campo (sobre todo cuando se dispone de un software que realiza
automáticamente dicha tarea) o una Unidad Estadística especial dentro de la
empresa. El principio que aquí debe cautelarse es que no pueden ser los
encuestadores o jefes de terreno que elijan a su arbitrio los puntos muestrales,
pues ello implicaría un enorme sesgo en la selección y pérdida de representatividad.
Así como la muestra de manzanas debe elegirse con el máximo de rigor científico
para garantizar la representatividad y aleatoriedad de la misma, también debe
velarse por una buena elección de hogares dentro de cada una de las manzanas
seleccionadas. Esto es más difícil de lograr, puesto que dicho proceso queda en
manos de los encuestadores y está sujeto a error o tergiversación por parte de ellos;
de ahí la necesidad de establecer reglas claras de trabajo e implementar los
mecanismos de control y supervisión adecuados para controlar su cumplimiento.
Selección de Viviendas dentro de una Manzana
Lo más aconsejable es que la elección de Hogares dentro de la manzana sea de
manera aleatoria sistemática; esto combina la aleatoriedad con un método simple de
recorrido de la manzana, entendible por cualquier encuestador y fácil de supervisar.
Uno de los métodos usuales es que el encuestador se ubique en la esquina
noroeste de la manzana y la recorrer en el mismo sentido de las manecillas del reloj.
El primer hogar en la manzana que se debe encuestar debe ser elegido
aleatoriamente (esto se denomina arranque aleatorio); una manera simple de hacer
esto es considerar el último dígito que identifica la manzana1 y contar un número de
viviendas desde el punto de partida igual a dicho dígito; esa es la primera vivienda
que debe intentar encuestarse. Si la encuesta no pudo realizarse, ya sea porque no
1
Si el número identificador de la manzana no estuviera disponible, puede usarse el último dígito del día del mes
en que se está realizando la encuesta o cualquier otro método que sea fácilmente verificable.
era un hogar, nadie contesta o nadie cumple los requisitos, entonces debe pasarse a
la casa siguiente (continuando el sentido del recorrido) y así hasta que se logre la
primera encuesta. En caso de rechazo, el procedimiento es diferente y se especifica
más adelante. Una vez lograda ésta, se debe saltar 3 viviendas (salto sistemático) y
golpear la puerta de la cuarta vivienda para intentar realizar una segunda encuesta,
repitiendo todo el proceso de nuevo.
Cualquiera que sea el método que use el Instituto, deberá explicitarlo al Consultor y
deberá cumplir con los criterios de aleatoriedad establecidos. Un documento de
control obligatorio es la Hoja de Ruta.
Hoja de Ruta y empadronamiento de la manzana.
A medida que el encuestador recorre la manzana en el sentido descrito, debe ir
llenando una Hoja de Ruta. Para cada vivienda que encuentre en su recorrido, debe
registrar los siguientes datos:
• Identificador del nombre de la calle
• Número de la vivienda
• El resultado de su acción, según código establecido
• El folio de la Hoja Filtro, en caso que la haya aplicado en dicho hogar.
La HOJA DE RUTA es elaboración del Instituto, he aquí un ejemplo de las líneas a
llenar. El llenado de esta Hoja de Ruta debe ser obligatorio para cada manzana, pues
es el único medio de controlar que el encuestador respetó el procedimiento
establecido de selección de Hogares y es la forma en que el supervisor podrá luego
verificarlo en terreno.
Ident
Calle
Nº Vivienda
y Dpto.
Código
Result Folio
CODIGO RESULTADO
2
No es vivienda (comercios, instituciones,
otros)
Edificio / condominio sin posibilidad de
acceso
3
Vivienda no habitada
4
5
No responde nadie
Nadie calificado para responder (nana,
menores de edad)
6
Rechazo / no contestan encuestas
7
Se acepta la entrevista
8
Hogar no se toca por salto sistemático
1
Caso en que la vivienda tenga más de un hogar
A veces se puede encontrar más de un hogar en una misma vivienda. Por lo tanto,
debe explicitarse el método de selección de un hogar dentro de la vivienda. La
definición usualmente aceptada al respecto es que un hogar es una unidad que
prepara y cocina sus alimentos en forma independiente. Es decir, si en una
vivienda hay dos (o más) grupos que tienen su propia cocina o preparan sus
alimentos en forma separada, se les considerará como hogares diferentes.
En este caso se debe registrar el número de hogares existentes en la vivienda y
definir un método de selección, que puede ser fijo (por ejemplo el hogar principal) o
aleatorio (por tabla de Kish). Por ningún motivo se debe entrevistar a más de un
hogar dentro de una misma vivienda.
Elección del informante
El encuestador debe solicitar hablar con el Jefe de Hogar; si él no está presente,
debe preguntar por la Dueña de Casa; si ella no está, entonces debe hablar con la
persona de mayor edad presente en el hogar, siempre que tenga más de 18 años. El
encuestador entonces debe registrar todos los miembros del hogar, con su rol y edad
y verificar que está entrevistando a la persona correcta. Pueden ocurrir tres cosas
(cualquiera sea el resultado, ello debe quedar consignado en la Hija Filtro):
• No se acepta la entrevista o el informante no cumple los requisitos (no es
mayor de edad, no vive de forma permanente en el hogar, no es miembro del
hogar); el encuestador pasa a la casa siguiente.
• Se acepta inmediatamente la entrevista, el encuestador aplicará el
cuestionario asociado al estudio.
• Se acepta la encuesta, pero se solicita al encuestador volver más tarde; el
encuestador debe registrar la hora de regreso en la Hoja de Control
pertinente.
Criterios de reemplazo de un Hogar
Cuando se rechaza una entrevista, es importante que el reemplazo se haga en un
hogar de las mismas características que el hogar rechazador. De lo contrario, la
muestra se comenzará a desviar a cierto tipo de hogares, perdiendo su
representatividad. En particular, es muy importante que el reemplazo de hogares
respete los siguientes criterios:
•
•
•
Sea dentro de la misma manzana o punto de muestreo seleccionado
Sea dentro del mismo nivel socio-económico (estimado visualmente)
Sea del mismo tipo de vivienda (tipo de casa, departamento, mansión, ruca,
pieza de conventillo, mediagua, etc)
Agotamiento de la manzana sin completar las encuestas
Puede ocurrir que se complete el recorrido de una manzana sin que se haya podido
efectuar el número de encuestas estipulado. En este caso se recomienda continuar
con manzanas adyacentes en vez de saltar a otro punto de muestreo. Pero la
elección de las manzanas contiguas no puede quedar al arbitrio del encuestador,
sino que deben estipularse reglas claras para efectuar dicha elección. Una regla
frecuentemente adoptada es usar las manzanas adyacentes a la manzana madre,
recorriéndolas en el mismo sentido de los punteros del reloj, partiendo de la esquina
noroeste de la manzana madre.
IV.
PLANEACION Y EJECUCION DEL TRABAJO DE CAMPO
El Instituto deberá velar por la realización del trabajo de campo en forma óptima,
puesto que es su responsabilidad proveer de información fiable y fidedigna para el
análisis de los indicadores socioeconómicos. Para ello el Instituto deberá tomar todas
las medidas de capacitación, control y supervisión del trabajo de los encuestadores,
a fin de garantizar la calidad del trabajo de recolección de la información.
4.1
Capacitación de los Encuestadores
La capacitación de los encuestadores es esencial, puesto que la adecuada
comprensión de los instrumentos de medición no sólo es fundamental para la calidad
del estudio, sino también para evitar retrasos debido a errores o falta de motivación
del personal involucrado. La sesión de capacitación debe ser entonces un evento
muy bien planificado, muy serio y formal, incluso dotado de cierta solemnidad para
darle todo el peso y la importancia que tiene.
Es indispensable que en la capacitación participe todo el personal que apoyará la
realización del estudio. En particular, es importante la participación de los
Supervisores y Revisores, quienes realizarán el control de calidad del trabajo,
además obviamente de los encuestadores y jefes de terreno.
El Instituto deberá entregar su calendario de capacitaciones al Consultor, el cual
podrá eventualmente participar en algunas de ellas.
Estructura de la sesión de capacitación
Ya en la capacitación, el capacitador debe conducir la misma, la cual contempla 4
pasos:
1) Presentación, donde presenta a todos los participantes y a las personas que
tienen a su cargo la conducción del estudio.
2) Explicación de los instrumentos de captura de datos, es decir la Hoja Filtro,
Cuestionario, Tarjeteros, y cualquier otro material de apoyo.
3) Ejecución del Juego de Roles para reforzar la capacitación y verificar la
comprensión del cuestionario.
4) Explicación de la fase de selección de la muestra y/o ubicación de la vivienda
o persona a entrevistar.
La prueba práctica
Una vez terminada la sesión de capacitación, es conveniente realizar una Prueba
práctica, de tal modo de evaluar en terreno el desempeño de los encuestadores. La
prueba práctica implica que los participantes de la capacitación salgan a terreno y
apliquen el cuestionario, seleccionando primero y de modo adecuado la
vivienda. Finalizada esta prueba los participantes deben retornar a la oficina máximo
un par de horas después y entregar sus cuestionarios, para que sean revisados por
el Jefe de Campo y aclarar todas las dudas y/o problemas presentados durante su
aplicación real.
4.2
Control del Trabajo de Campo
El Jefe de Campo debe asegurar la correcta ejecución del estudio en el campo, para
lo cual debe llevar un control continuo de la calidad de las encuestas, de la
cuadratura de la muestra y del cronograma. Para ello puede utilizar una planilla
excel, un software de control propio o un programa en línea si utilizará instrumentos
electrónicos para recopilar la información (PDA, notebook, etc), pero cualquiera sea
el método, debe asegurar los mecanismos de control adecuados
Control en la recepción de las encuestas
La recepción de las primeras encuestas que regresan desde el terreno son clave
para el éxito del estudio, ya que es aquí donde el Jefe de Campo debe revisar en
forma exhaustiva -en presencia del encuestador- cada cuestionario, de manera tal
que cualquier error se puede mejorar en las siguientes encuestas. Ejemplos: mal
sondeo, aplicación incorrecta de saltos, respuestas inconsistentes, encuesta aplicada
a un informante no calificado, etc.
Cada vez que un encuestador trae material, el Jefe de Campo debe recepcionarlo y
hacer una revisión rápida de este material delante del encuestador, para asegurarse
que cada cuestionario venga completo y correcto. Esta revisión comprende los
siguientes 6 aspectos:
1. Revisar si los cuestionarios corresponden a la Hoja de Ruta entregada al
encuestador.
2. Revisar si se ha aplicado correctamente la Hoja Filtro y por lo tanto el
entrevistado pertenece al Target establecido.
3. Revisar si se han cumplido las cuotas establecidas (n° de encuestas por
manzana y por comuna o sector).
4. Revisar si se han llenado correctamente todas las preguntas pertinentes del
cuestionario.
5. Revisar si los saltos se han aplicado correctamente.
6. Revisar si hay suficiente información en las respuestas a las preguntas
abiertas.
En caso que el cuestionario no haya sido correctamente llenado, éste debe anularse
o devolverse al encuestador para que vuelva a terreno a recuperar la información. En
base a estos resultados el Jefe de Campo debiera tomar una de las siguientes
acciones con el encuestador:
i) Retirar al Encuestador del trabajo (y/o de la empresa) por evidentes problemas
de negligencia extrema o de falseo de la información. Este tema debe ser
registrado en la Base de Datos de personal eventual de la empresa, para no
contratar más a este Encuestador.
ii) Recapacitar a este Encuestador en aquellos puntos que aparentemente son
más débiles. Si este problema es común en varios Encuestadores, el problema
puede deberse a la capacitación, motivo por el cual sería oportuno realizar una
recapacitación de todo el personal de campo.
iii) Concientizar al Encuestador sobre la revisita que debe hacer, enfatizando el
cuidado prolijo y atención que debe prestar a su trabajo.
4.3
Supervisión del Trabajo de Campo
Tanto la Supervisión como la Revisión tienen como objetivo garantizar la calidad de
la ejecución del trabajo de campo. Pero mientras la revisión se concentra
principalmente en la validación y consistencia del contenido de la encuestas (lo que
los entrevistados respondieron), la Supervisión se concentra en garantizar que se
respetaron los procedimientos de muestreo y la entrevista se condujo correctamente.
La revisión es del 100% y se hace en oficina. En cambio la supervisión sólo se aplica
a una fracción de la muestra y se hace mediante re-entrevista u observación in situ
de la entrevista.
Objetivos de la Supervisión
El objetivo de la Supervisión es garantizar la validez y fiabilidad de los resultados,
haciendo así creíble la información recolectada. Para ello la Supervisión debe
verificar:
•
•
•
Que el encuestador respetó los procedimientos de selección muestral y
entrevistó a quien correspondía entrevistar:
o Hizo las encuestas en la manzana/zona asignada
o Seleccionó los hogares correctamente, de acuerdo al método
estipulado
o En el Hogar seleccionado, entrevistó a quien correspondía y no a otra
persona (servicio doméstico, visita en el hogar, menor de edad)
Que las entrevistas realmente se hicieron (y no fueron inventadas por el
encuestador, ya sea en forma parcial o total)
Que el entrevistador aplicó los procedimientos correctos de entrevista (mostró
tarjetas, etc, si correspondía).
Cómo se seleccionan las encuestas a supervisar
El total de encuestas a supervisar debe oscilar entre un 20% a 30% de la muestra. El
Jefe de la Unidad de Control de Calidad (UCC) es quien determina la cifra final. Lo
relevante es que todo encuestador debe ser supervisado. Se exige que cada
encuestador se le debe supervisar entre un 20% a 30% de sus encuestas.
Un segundo principio básico, es que las encuestas a supervisar deben ser
elegidas aleatoriamente. Quien debe elegirlas es el jefe de la UCC; por ningún
motivo puede ser el mismo Jefe de Campo o Director de Campo quien determina a
su arbitrio las encuestas a supervisar. El Jefe de la UCC debe ser absolutamente
soberano y autónomo para elegir las encuestas a supervisar y no puede ser
interferido en esta tarea por terceras personas.
El porcentaje de encuestas elegidas aleatoriamente debe ser mínimo el 20%. Un
10% adicional puede usarse para una supervisión dirigida, cuando exista sospecha
del trabajo de un encuestador o cuando el Jefe de Campo solicite la supervisión de
alguno de ellos en particular (ya sea para verificar la calidad de su trabajo o existan
razones para dudar de él).
La supervisión puede ser telefónica o con revisita del hogar. Obviamente la
supervisión telefónica es mucho más económica y más rápida, pero es más limitada
en cuanto los aspectos que se pueden supervisar. Se recomienda usarla para
verificar la veracidad de la entrevista (verificar que la entrevista realmente se hizo y
se hizo completa) o para chequear la consistencia de la entrevista, pero es menos
adecuada para chequear el respeto a los procedimientos de selección de la muestra.
Inversamente, la entrevista con revisita al hogar permite una supervisión más
completa, pero es más costosa y requiere de mucho más tiempo. Por lo tanto el
Instituto podrá establecer una combinación de ambos métodos.
Cómo se realiza la Supervisión
Por regla general, la supervisión debe hacerse dentro del menor tiempo posible a la
fecha de la entrevista (no más de 3 días después de dicha fecha). Supervisiones de
las entrevistas posteriores son aceptables sólo cuando se encuentran graves
discrepancias en el trabajo de una persona, que hayan hecho necesario ampliar la
supervisión a todo su trabajo.
La supervisión debe hacerse con la persona entrevistada, no es aceptable reentrevistar a otra persona diferente. Los resultados de la supervisión se registran en
un documento denominado “FICHA DE SUPERVISIÓN” donde el Supervisor
chequea los siguientes puntos:
• EMPADRONAMIENTO MANZANA:
o La encuesta se hizo en manzana/sector asignado
o Respetó normas de procedimientos de selección del Hogar
o Llenó correctamente la Hoja de Ruta/Empadronamiento
o Aplicó los filtros a todos los hogares que correspondía
• SELECCIÓN ENTREVISTADO:
o El entrevistado es quien aparece señalado en la encuesta
o El entrevistado pertenece al Hogar
o
o
Datos de Clasificación del entrevistado están correctos (edad, género, rol
dentro del hogar)
El entrevistado pertenece al Grupo objetivo (se aplicaron correctamente
lo Filtros específicos del Estudio)
• CONDUCCION ENTREVISTA
o Fecha de la entrevista correcta
o Duración de la entrevista correcta
o Tema de la entrevista (selección de preguntas claves)
o Usó las tarjetas de respuesta / material de apoyo visual
o Aplicó los saltos correctamente
o El Cuestionario está completo.
o Hoja de datos está completa.
• CONDUCTA DEL ENCUESTADOR
o El encuestador mostró Tarjeta de identificación
o Su comportamiento fue educado y correcto en todo instante
• DATOS DE LA SUPERVISION
o Tipo de supervisión (telefónica, presencial, re-visita del Hogar)
o Fecha de la supervisión
o Nombre y N° Identidad del Supervisor
o Si la supervisión no se pudo realizar, causa (no se encontró dirección, no
se encontró a la persona, la encuesta no fue realizada)
• RESULTADO FINAL:
o Estado de la encuesta (Todo OK, con reparos menores solucionados por
el Supervisor, anulada)
El Instituto deberá usar una ficha de supervisión similar a esta, la cual deberá ser
remitida al Consultor. Asimismo el consultor podrá solicitar los resultados parciales
de las supervisiones realizadas, razón por la cual estas deben digitarse o registrarse
en formato digital.
Tratamiento de las discrepancias halladas en la supervisión
Ante algunas irregularidades que pueden encontrarse en la supervisión y que son
consideradas graves se daría lugar a la anulación de la entrevista, decisión que
corresponde al Jefe de Control de Calidad.
Estas irregularidades graves son las siguientes:
i. Se detecta que el entrevistador ha hecho la entrevista a un conocido,
ii. Se detecta que la entrevista no tuvo lugar y que las contestaciones se las ha
inventado el entrevistador.
iii. Se detecta que el entrevistador sólo ha hecho parte de la entrevista y el resto ha
sido falseado.
iv. El encuestador entrevistó una persona que no perteneciente al hogar (servicio
doméstico, visita, amigo, etc) o a un informante no calificado.
Si se ha comprobado una falta grave como la descrita, que implica manifiesta mala fe
y distorsión de la verdad, se debe anular automáticamente todo el trabajo del
encuestador, sin necesariamente seguir supervisándole otras encuestas.
Reporte Consolidado de Supervisión
Cada encuesta supervisada deberá estar marcada en el mismo cuestionario, al igual
que la identificación del entrevistador. Esto permitirá emitir un informe de supervisión,
el cual es una tabla con la siguiente información:
• Nombre del encuestador
• Número de encuestas realizadas por él
• Número de encuestas supervisadas de ese encuestador
• % de supervisión
• Número de encuestas con problemas menores
• Número de encuestas anuladas.
Este reporte es de carácter obligatorio y deberá ser entregado al Consultor una vez
terminado el trabajo de campo.
4.3
Revisión de Gabinete
Por su propia naturaleza, la supervisión rara vez puede aplicarse al 100% de las
entrevistas. Por ello que en paralelo debe existir otro mecanismo de control de
calidad, la revisión de gabinete. Esta tarea se orienta más bien a analizar el
contenido de la información del cuestionario, pero obviamente también implica un
chequeo de las características del entrevistado y la aplicación de los filtros previos.
En esta parte es un gran complemento de la supervisión.
La norma es realizar una revisión en gabinete del 100% de los cuestionarios
completados en cada estudio. Esta tarea es realizada por la Unidad de Control de
Calidad (UCC), tarea que debiera ser realizada simultáneamente al trabajo de campo
o con la mínima diferencia de tiempo posible. Según como haga las encuestas el
Instituto seleccionado, este trabajo deberá hacerse en forma manual, o mediante un
software de validación, pero en ambos casos los principios de control de calidad son
los mismos.
Objetivos de la Revisión
El objeto de esta tarea es asegurar que el trabajo de campo haya sido hecho
correctamente, respetando las normas de calidad de la empresa. Para ello se deben
revisar las encuestas, filtros y hojas de ruta. Los objetivos específicos de la revisión
(para todos y cada uno de los cuestionarios que se revisan en gabinete/oficina) son
los siguientes:
• Chequear los procedimientos de muestreo:
cotejar la correspondencia de los cuestionarios con los recorridos
establecidos en la Hoja de Ruta/Recorrido;
chequear si el informante cumple con los requisitos (mayor de edad y
residente en el hogar en forma permanente, con exclusión del servicio
domestico)
• Chequear el correcto llenado del cuestionario:
si se han rellenado todas las preguntas pertinentes del cuestionario;
si los saltos han sido aplicados correctamente;
si hay suficiente información en las respuestas a las preguntas abiertas,
de tal modo que éstas aporten mayor información que un simple “si” o
“no” u otra respuesta similar.
• Revisar la Coherencia del cuestionario:
Si las respuestas están dentro de los rangos permitidos para la variable
(validación de rangos)
Si las preguntas que se encadenan lógicamente tiene respuestas
consistentes entre ellas (análisis de consistencia)
A veces hay errores en el registro de la información o problemas de consistencia
entre respuestas que pueden corregirse en oficina o automáticamente mediante un
software de validación. La norma es que la validación y revisión de consistencia
debe ser igual a la validación computacional que se hará de la Base de Datos
Digitada. Por ello es que estos criterios deben ser definidos por el Director a cargo
del Estudio en la empresa adjudicante.
Es importante recalcar que durante el proceso de revisión, los revisores NO
PUEDEN BORRAR NI CAMBIAR NADA de lo que viene escrito en el cuestionario.
Cualquier corrección debe hacerse con un lápiz de otro color (verde por ejemplo),
marcando con una línea oblicua lo que está incorrecto y colocando al lado la
corrección realizada. En caso que se trabaje en formato digital, los cambios deben
hacerse en un archivo diferente, guardando un respaldo del archivo original.
Problema detectado
Acción a seguir
La encuesta está incompleta
El entrevistado no cumple el target o la cuota especificada
No hay datos personales para poder realizar la supervisión.
Se le devuelve el cuestionario
al Jefe de Campo
Hay saltos incorrectamente realizados
Hay poca información en las preguntas abiertas
Hay evidencia que la entrevista ha sido mal realizada o ha
sido falseada
Se informa al Jefe de UCC
para que resuelva si realiza
una supervisión dirigida al
encuestador o la devuelve al
Jefe de Campo
Hay errores en el registro de la información o problemas de
inconsistencia, según la Guía de Revisión
Se corrige con lápiz verde
Está todo OK, no hay problema
Se pasa a Digitación
Guía de Revisión
Los criterios de revisión del contenido del cuestionario (reglas de validación y
consistencia) deben ser definidos por el Director de Estudios del Instituto en un
documento o instructivo llamado “Guía de Revisión” y en base a éste los Revisores
deben revisar el cuestionario; estos mismos criterios serán aplicados luego en la
validación computacional, de modo que haya coherencia en el trabajo realizado por
los diferentes puntos de control. En general, deberá establecerse criterios respecto
de:
•
•
•
•
•
•
Validación de rangos
Coherencia aritmética
Preguntas encadenadas con exclusión
Preguntas encadenadas con inclusión
Consistencia de saltos
Consistencia cruzada
La Guía de Revisión debe ser entregada con antelación al Consultor, máximo 4 días
después de iniciado el trabajo de campo.
4.4
Reportes de avance
El Instituto deberá entregar un reporte del avance del trabajo de campo, referido
siempre a las encuestas recibidas efectivamente y no a las encuestas que se están
haciendo o a los cuestionarios entregados, ni siquiera a las encuestas que un
encuestador reportó telefónicamente como hechas y que vendrá a dejar al día
siguiente. La única manera de evitar estos problemas es trabajar siempre con un
mismo concepto a medir: las encuestas recibidas en oficina. El informe de avance
deberá entregarse los días martes de cada semana a las 12:00 hrs
V.
LA DIGITACIÓN DE LAS ENCUESTAS
Una vez terminada la revisión de una encuesta (y eventualmente la supervisión de
ella), si todo está correcto, debe pasar a la siguiente etapa, la digitación o
transcripción. En esta etapa se transcribirá la encuesta en una Base de Datos digital,
de modo que ella pueda ser procesada computacionalmente. Evidentemente si el
Instituto realizó la recolección de data con medios digitales esta fase ya estará
automáticamente realizada.
5.1
Ingreso de los datos (o Digitación)
El problema fundamental que debe resolver el Instituto en el ingreso de datos es el
tratamiento de errores. Debemos distinguir dos tipos de errores, muy diferentes en su
naturaleza y en su tratamiento:
Los errores del digitador
Los errores del digitador son aquellos errores que comete la persona que digita en el
ingreso de datos, por ejemplo se le fue un cero de más (digitó 100 en vez de 10) ,
confundió un número con otro (digitó 8 en vez de 3) o traspuso el orden de las cifras
en un número (digitó 57 en vez de 75). La encuesta estaba correcta, pero el ingreso
se hizo en forma errónea.
Algunos de estos errores pueden detectarse si la máscara de digitación contempla
validaciones instantáneas, que controlen por ejemplo los rangos de valores
permitidos, los saltos de una pregunta a otra, el tipo de carácter que contempla la
respuesta, etc. Estos controles básicos deben hacerse obligatoriamente al
momento de la digitación, pues permiten mejorar notablemente la calidad del
trabajo y no interrumpen el flujo del trabajo, dado que el digitador puede corregir él
mismo el error.
Hay otra parte de errores que no se pueden detectar con ningún programa de
validación (a menos que se digite dos veces la misma encuesta). Las estrategias
para evitar o disminuir al máximo estos errores son las siguientes:
• Mejorar la calidad misma de la digitación, teniendo buenos digitadores
• Disponer de más tiempo para que el digitador pueda revisar lo que digitó,
antes de abandonar la encuesta.
• Realizar doble digitación de todas las encuestas
• Realizar doble digitación a una muestra de encuestas de cada digitador para
controlar la calidad de su trabajo.
• Hacer doble digitación sólo de los datos numéricos (distintos de 0,1), pues en
ellos es más difícil detectar errores como los mencionados arriba.
El Instituto deberá especificar la forma en que abordará este problema.
Los errores del encuestador
El problema más complicado es cuando los errores provienen del encuestador. En
este caso, el programa validador podría reclamar por el valor que se está
introduciendo, pero el digitador no está en condiciones de resolver el problema, dado
que él no puede modificar la encuesta. Una alternativa es parar la digitación y
preguntar (si ello fuera posible) al jefe de campo qué hacer. Evidentemente esto es
poco práctico, por lo que habitualmente se continúa la digitación y se “marca” la
celdilla donde se ha detectado el error (por ejemplo, se deja en blanco o se introduce
un código de error; también se puede introducir el valor erróneo, pues será detectado
por el mismo programa validador cuando se chequee la base de datos).
El Instituto deberá especificar qué métodos de control usará.
5.2
La depuración de la Base de Digitada (data cleaning)
Si bien es cierto algunos controles de calidad pueden efectuarse mientras se digita,
no es seguro ni siquiera conveniente, dejar éste como único punto de control. Ello
debido a que algunos aspectos de la revisión de coherencia, como el caso de las
preguntas encadenadas y la consistencia cruzada es más fácil y productivo de
resolver vía instrucciones de programación. Por ello, una vez armada la Base de
Datos, ya con la totalidad de las encuestas digitadas, es necesario ejecutar un
último proceso de validación, con el objeto de dejar la base totalmente limpia o
depurada de cualquier error, lista para ser procesada.
Evidentemente este último proceso de depuración debe contemplar las mismas
reglas contenidas en la Guía de Revisión, con las cuales se efectuó la revisión y
parte de las cuales se implementaron durante la digitación.
Es importante que esta última validación se haga, ella es un punto de control
absolutamente obligatorio en la cadena de tareas de la realización de un estudio. El
Instituto deberá entregar la Base de Datos totalmente depurada en SPSS, con el
correspondiente diccionario de variables.
VI.
LA CODIFICACIÓN DE LAS ENCUESTAS
Una pregunta “abierta” es una pregunta cuyas alternativas de respuesta no se
conocen a priori; o bien, aún cuando podamos prever el tipo de respuestas que nos
dará el entrevistado, queremos rescatar textualmente lo que nos va a decir. Dada
la riqueza casi infinita del lenguaje, cada entrevistado puede dar una respuesta
diferente, con ligeras variaciones de palabras o de énfasis. Para rescatar los
patrones comunes de respuestas de los entrevistados, pero sin perder la riqueza de
la información se necesita un trabajo complejo de análisis denominado “codificación”.
6.1
El objetivo de la codificación
El propósito de la codificación es reducir la variedad de respuestas dadas en una
pregunta abierta, a un número más pequeño de contestaciones tipo. Ello se realiza a
partir de la información contenida en las encuestas mismas; es decir, alguien debe
leer las respuestas dadas por todos los entrevistados y luego proponer una lista
más reducida de “respuestas tipos”, que resuma la esencia de las diferentes
alternativas contenidas en las respuestas registradas.
Esto implica que quien hace esta tarea debe comprender profundamente los
objetivos de la investigación y, en particular, el propósito de la pregunta abierta. Sólo
de esta manera se podrá hacer un análisis útil para el cliente, donde el patrón de
respuestas entregue la información que se anda buscando.
6.2
Los métodos de codificación
La codificación podrá hacerse en forma manual o semi-automática (usando
programas de apoyo como Excel o programas especializados como SPSS-TAfS).
También hacerse antes o después de la digitación, según prefiera el Instituto. Pero
en cualquier caso, los listados de códigos deberán ser aprobados por el Consultor
antes de proceder a aplicarlos a las encuestas.
Debe tenerse en cuenta, en todo caso, que el cuestionario tendrá muy pocas
preguntas abiertas (o codificadas parcialmente), puesto que todas las preguntas
relativas a los indicadores socioeconómicos son cerradas, a la excepción de
preguntas como el cargo o trabajo que desempeña.