MODOS MIXTOS CONCURRENTES: UN ESTUDIO DE CASO OBTENIDA

MODOS MIXTOS CONCURRENTES: UN ESTUDIO DE CASO
CONSIDERANDO EL COSTE Y CALIDAD DE LA INFORMACIÓN
OBTENIDA
Vidal Díaz de Rada (*)
Juan Antonio Domínguez Álvarez(**)
(*) Universidad Pública de Navarra, Dpto de Sociología, 31006 Pamplona.
Tfno: 948-168903. Fax: 948-169169, Correo electrónico:
[email protected]
(**) IESA-CSIC. C/ Campo Santo de los Mártires, 7 14004 Córdoba (España)
RESUMEN
Una visión longitudinal de las modalidades de recogida de información desvela que
“nuevas” modalidades están paulatinamente reemplazando a las tradicionales formas de
recogida de información. Este proceso se ha producido por la aplicación de desarrollos
informáticos a la investigación con encuestas, destacando el gran avance que supone la
sustitución de cuestionarios de papel por cuestionarios mediante ordenador. Estos
cuestionarios son más sencillos de administrar al llevar a cabo –de forma automática–
“saltos” provocados por preguntas filtro, rutas complicadas y “descomposiciones” de
preguntas en varias partes, etc.1. No menos importante es que llevan a cabo la edición de
datos con gran rapidez, así como el establecimiento de reglas que serán comprobadas
antes de grabar la información: rango de las variables, consistencia, relaciones entre
preguntas, test aritméticos o lógicos, ajuste de mensajes de error, etc.
El fin de este trabajo es considerar hasta que punto estas características,
señaladas por la mayor parte de la literatura, son aplicables a una población general de
españoles residentes en el extranjero. La población objeto de estudio fue contactada
mediante el correo recibiendo un sobre que incluye un cuestionario de papel, un sobre a
franquear en destino, y una carta de presentación firmada por un responsable
gubernamental. En la carta se exponen los motivos por los que se realiza la
1
Nos referimos, concretamente, a las escalas de Liker donde una pregunta analiza si se está de
“acuerdo” o “desacuerdo”, y la segunda el nivel de intensidad del acuerdo/desacuerdo (muy o
bastante); preguntas muy utilizadas en encuestas sin ayudas visuales.
1
investigación, se anima a responder y se explican las formas de respuesta: cuestionario
de papel, cuestionario disponible en un sitio web o encuesta telefónica.
La hipótesis a comprobar es que el cuestionario electrónico presenta una
mayor calidad de respuesta y tiene un menor coste que el cuestionario tradicional
(papel). El tema del cuestionario es conocer la situación de los emigrantes de una
comunidad española en el extranjero respondido con una encuesta autoadministrada
(metodología de observación). Respecto a la descripción de los datos, el cuestionario
incluye todo tipo de preguntas (abiertas y cerradas, y dentro de estas últimas de una
respuesta, respuesta múltiple y baterías. Los resultados principales desvelan que la
encuesta web consigue una mejor respuesta, aunque presenta un coste ligeramente
superior a la encuesta por correo.
PALABRAS CLAVE: calidad de la respuesta, encuestas autoadministradas, encuestas
web, encuestas por correo.
2
1. Encuestas autoadministradas
El aspecto básico que caracteriza a una encuesta autoadministrada, y que permite
distinguirlas del resto de métodos de recogida de información, es la ausencia de un
entrevistador que lea las preguntas y apunte las respuestas, siendo en este caso el propio
entrevistado el que realiza estas tareas (Dillman, 2000). La recogida de datos de la
presente investigación se efectuó utilizando una variante de ésta, concretamente una
encuesta autoadministrada a través de Internet.
La emergencia de las encuestas por Internet es consecuencia del gran desarrollo
producido por los métodos de recogida de información ocurrida en los últimos veinte
años del siglo XX (Tourangeau, 2004). La elevada utilización de la encuesta telefónica
en las décadas de 1960 y 1970, promovidas por el encarecimiento de la recogida de
información con encuesta cara a cara, dieron lugar al desarrollo de sistemas
automatizados de recogida de información (Computer Assisted Telephone InterviewCATI) en los años 70 y 80. Los grandes avances en los ordenadores ocurridos en la
última década del siglo XX –por la reducción de tamaño y peso de los equipos, así
como al aumento de la autonomía de las baterías– supusieron un gran desarrollo de las
encuestas face to face asistidas con ordenador (Computer Assisted Personal InterviewCAPI) en los últimos años del siglo XX. En el desarrollo de las encuestas sin
entrevistador (autoadministradas) debe considerarse, por un lado, su elevado uso debido
al gran descenso respuesta en la cooperación en las encuestas en la primera década del
siglo XX y, por otro, las enormes posibilidades que ofrece Internet para realizar la
distribución y reenvío de un gran número de cuestionarios con gran rapidez,
precisamente uno de uno de los grandes inconvenientes de las encuestas por correo.
La penetración/difusión de Internet ha sido una condición necesaria para la
utilización de la red como método de recogida de datos, por lo que otras encuestas
electrónicas como la encuesta electrónica autoadministrada (entre otros Saltzman,
1993; Jacobset al., 1994; Skim, 1996) y la encuesta electrónica por correo electrónico
(Methta y Sivadas, 1995; Tse, 1995; Tse, 1998; Couper et al., 1999) son consideradas
como los antecedentes inmediatos a las encuestas por Internet. Ambas demostraron la
idoneidad de la utilización del ordenador (del entrevistado) para la recogida de
información, al tiempo que se constató que combinan las ventajas del cuestionario
3
autoadministrado tradicional (como la baja "deseabilidad social" en las respuestas) con
las ventajas propias del sistema CAPI: utilización de cuestiones complejas,
aleatorización de las opciones de respuesta para eliminar el efecto del orden, posibilidad
de reducir la influencia de unas preguntas sobre otras, introducción de respuestas en
tiempo real que permite el empleo de controles que comprueban la consistencia de las
respuestas, etc.
Todas estas innovaciones se han trasladado a las encuestas por Internet, tanto a
las Computer Assited Web Inteviewing (CAWI) como a las más populares web site
surveys (Kent y Lee, 1999); en la que un determinado portal web invita a la persona que
visita esa página a responder un cuestionario de fácil acceso. A mediados de la década
de 1990 tienen lugar las primeras utilizaciones de Internet para llevar a cabo
investigaciones con encuestas (Fricker y Schonlau 2002), aumentando notablemente a
medida que se incrementa el número de usuarios de Internet. De hecho, uno de los
mayores expertos mundiales en el tema señala que, a pesar de su corta historia, se trata
de un modo (procedimiento) ha tenido un gran impacto en la investigación con
encuestas (Tourangeau et al., 2013).
Esta gran utilización está originada por el gran potencial de crecimiento de las
encuestas web debido a su escaso coste, comodidad, accesibilidad y el reducido número
de errores de trascripción de la información (Kent y Lee, 1999; Fricker y Schonlau
2002, Ilievaet al., 2002; Manfreda y Vehovar, 2008a y 2008b). Las ventajas más
importantes son la gran rapidez y el menor coste de la investigación, debido a la
eliminación de los encuestadores (cuando se compara con encuestas presenciales y
telefónicas) y la ausencia de franqueo y la no necesidad de papel al ser comparada con
encuestas autoadministradas (Ilievaet al., 2002; Lozar Manfreda y Vehovar, 2008a). Se
eliminan también los gastos de administración e introducción de la información, así
como la impresión y fotocopiado de cuestionarios; si bien aparece una nueva partida de
gastos relacionada –en encuestas a paneles– con el cuidado del panel (Duffyet al., 2005;
Toepoel, et al., 2009).
De forma adicional, las encuestas online presentan un alcance geográfico muy
amplio, difícil de conseguir en un contexto físico tradicional (Ileva et al., 2002), por lo
que se convierte en una metodología adecuada para cross-sectional studies y/o
4
comparaciones internacionales. No menos importante es la desaparición de los efectos
del encuestador y la menor deseabilidad social (McCullough, 1998; Dillman, 2000), lo
que genera estimaciones más precisas en encuestas políticas y en temáticas delicadas
(Duffyet al., 2005).
Son encuestas que permiten acceder a personas muy ocupadas y/o difíciles de
localizar con encuestas personales y telefónicas, y permite superar las barreras físicas de
acceso al domicilio tanto en estratos altos (porteros que regulan la entrada, perros
guardianes, etc.) como en estratos bajos (peligrosidad de barrios marginales, etc.).
Más relevantes son los beneficios relacionados con la calidad de la información
recogida consecuencia de las mejoras en el instrumento de recogida de información al
pasar de un cuestionario “de papel” a un innovador documento virtual que interactúa
con el entrevistado empleando recursos visuales e, incluso, auditivos (Manzano et al.
2003; Tourangeau et al., 2013). Esto reduce la tasa de respuesta parcial (ítem
nonresponse) al tiempo que permite la utilización a de reglas de consistencia cuando se
responde el cuestionario, lo que supone una mayor veracidad de las respuestas. Las
encuestas web presentan también una interacción más visual con el encuestado al
permitir mostrar fotografías, colores, logotipos, etc. (Manzano y Andreu, 2005) para
que el entrevistado los analice o exprese su opinión sobre ellos, lo que las configura
como un procedimiento flexible e interactivo, fundamentalmente cuando se compara
con la encuesta telefónica.
Al igual que sucede en el resto de encuestas autoadministradas la ausencia de
entrevistador permite que el entrevistado decidir el momento en el que acceder al
cuestionario y su cumplimentación, lo que permite reflexionar las respuestas o la
consulta de archivos y documentos necesarios (Ficker et al., 2005). Se produce también
un mayor control sobre el encuestado en la medida que se conoce el tiempo transcurrido
entre el visionado de la entrevista y el proceso de respuesta, al tiempo que limita
notablemente las posibilidades de responder varios cuestionarios (de una misma
investigación).
No obstante, este tipo de encuestas también presentan algunas desventajas. Así,
una primera hace referencia a la incertidumbre sobre la identidad de la persona que
5
responde el cuestionario y la posible influencia de otras personas en su
cumplimentación, ya que ha podido ser contestado por varios individuos al mismo
tiempo. El uso de encuestas autoadministradas relativamente extensas puede resultar
contraproducente dado que cuestionarios excesivamente largos pueden ocasionar el
cansancio del encuestado y el abandono del mismo.
Sin embargo la principal limitación de las encuestas online autoadministradas es
la dificultad de llevar a cabo una correcta selección de la población objeto de estudio,
generando sesgos en la representatividad de la muestra. Al no existir ningún listado de
usuarios de Internet no es posible garantizar la equiprobabilidad en la selección, lo que
impide la realización de un muestreo probabilístico (entre otros Couper, 2000; Couper,
2008; Couper y Bosnjak, 2010; Duffyet al., 2005). Totalmente relacionado con este
aspecto está el gran número de población sin acceso a la red y que las diferencias ambas
poblaciones, lejos de descender, están aumentando (Couper y Miller, 2009). Otras
limitaciones aluden a la menor tasa de respuesta de las encuestas on line en torno un
11% inferior según Manfreda et al. (2008)– y a los sesgos originados por la
autoselección de los participantes. Otras críticas aluden a la dificultad para hacer llegar
el cuestionario a un individuo concreto que, en consecuencia, dificulta el cumplimiento
de diversas cuotas que representen adecuadamente todos los estratos de la población
objeto de estudio. No menos importante resulta la desconfianza en la seguridad de la
red, aspecto vital para determinados segmentos no familiarizados con ésta, y la
dificultad de representar a determinados colectivos (Kent y Lee, 1999; Roster et al.,
2004, Manfreda y Vehovar, 2008).
Algunas de estas desventajas, más que referidas a las encuestas web, están
relacionadas con la metodología de la encuesta como tal. De hecho, la enumeración de
desventajas queda mitigada cuando se consideran las distintas investigaciones que
comparan, utilizando split-ballot, los resultados de encuestas web con encuestas
presenciales (entre otros Duffy et al., 2005; Schneider et al., 2005; Heerwehg y
Loosveldt, 2009), telefónicas (Sparrow y Curtice, 2004; Schneider et al., 2005; Blair y
Blair, 2006) y mail surveys (McDonald y Adam, 2003; Aklet al., 2005; Bech y Bo
Kristensen, 2009).
6
En España se han realizado escasas investigaciones sobre el tema, y apenas hay
publicaciones al respecto, sin duda por la lenta expansión de internet entre la población
Española. En el primer trimestre del año 2015, según AIMC, un 73,3% accedieron a
Internet en el último mes, porcentaje que se reduce al 65,4% cuando se considera el día
anterior a ser entrevistados para el Estudio General de Medios, porcentaje que se reduce
al 65,4% (AIMC, 2015).
2. Aplicación a un estudio concreto
En el año 2009 se llevó a cabo una investigación con el fin conocer la situación en el
extranjero de los emigrantes de una comunidad autónoma, empleando para ello un
cuestionario con 59 preguntas (137variables). La mayor parte del cuestionario estaba
formado por preguntas cerradas, utilizando 33 preguntas de una respuesta, 11 preguntas
multirespuesta y tres preguntas de batería. También se incluyeron doce preguntas
abiertas, siete precisan con respuestas numéricas y cinco se responden con unas palabras
o una frase (en cada una hay espacio para expresar hasta tres respuestas). El
cuestionario permitía dejar preguntas sin responder y fue respondido –en su versión
Web– en un promedio de 20,7 minutos.
En encuestas con encuestador (presenciales o telefónicas) es habitual la
presencia de categorías donde se recogen las respuestas desconocidas (no sabe) o los
deseos manifiestos de no responder (no responde), respuestas que –habitualmente– no
son mostradas ni leídas al entrevistado; anotándolas solo cuando el entrevistado las
señala de modo espontáneo. En las encuestas autoadministradas, en la que el
entrevistado contempla todo el cuestionario, el investigador debe decidir si incluirlas o
no. La consulta de diversas investigaciones desvela que la ausencia de estas respuestas y
que apenas afecta diferencias significativas en la fiabilidad y validez (entre otros, Alwin
y Krosnick, 1991). Así, por ejemplo, Poe (1988) concluye que colocar estas categorías
de respuesta en encuestas por correo reduce el número de respuestas sustantivas dadas a
las preguntas2. Fundamentados en estos hallazgos, y teniendo en cuenta que la mayor
parte de las preguntas del cuestionario tratan sobre comportamientos, se decidió que
ninguna pregunta –ni abierta ni cerrada– tuviera las opciones “no sabe” o “no responde”
2
Otras investigaciones (entre otros, Scherpenzeel y Saris, 1997; Wikman y Wärneryd, 1990)
han detectado los mismos resultados en preguntas sobre conducta o comportamientos
7
tal y como han procedido investigaciones con propósitos similares (entre otras Fricker
et al., 2005). La encuesta web permite pasar a otra pregunta sin necesidad de responder
la anterior, aunque realizando una advertencia que será explicada en el próximo párrafo
Todas las preguntas fueron incluidas en un cuestionario de 7 páginas, que
contemplaba siete temas o bloques temáticos: a) rasgos sociodemográficos; b)
convivencia y condiciones de la vivienda, c) preocupaciones, trabajo e ingresos; d)
utilización de instituciones de asistenciales; e) evaluación de diversas instituciones de la
comunidad autónoma (de origen) y del país, satisfacción con su vida; f) cercanía/lejanía
a la comunidad autónoma; y, g) situación social de la comunidad autónoma de origen y
motivos de la emigración (respondida únicamente por los nacidos en la comunidad
autónoma). Esta división en temas, inapreciable para la encuesta postal, tiene gran
importancia en el cuestionario web en la medida que cada tema da acceso a una nueva
página y el entrevistado puede navegar libremente por todas las preguntas del tema3; sin
tener acceso al resto de preguntas del cuestionario.
Figura 1: aviso de falta de respuesta
3
El número de preguntas de cada bloque temático es mayor que el tamaño del monitor, por lo
que el entrevistado debía desplazarse por las preguntas utilizando la barra de estado (parte
derecha del monitor) o el ratón.
8
Cuando el entrevistado finalizado un bloque temático y solicita una nueva
página, en el cuestionario web se comprueba automáticamente que todas las preguntas
han sido respondidas y, cuando no es así, se activa una alerta sonora y un mensaje
visual que le indica el número de preguntas que ha dejado sin responder, ofreciéndole la
posibilidad de “volver atrás para corregir” o “seguir sin responder”. Ambos mensajes
aparecen indicados con los términos “Verificar” y “pinche aquí si desea continuar sin
verificar”, escritos con un color diferente (ver gráfico 1).
Al utilizar como marco muestral el Censo Electoral de Residentes en el
Extranjero el objeto de estudio se centró en las personas residentes en el extranjero con
derecho a voto en la comunidad autónoma. El proceso de implementación ha sido
análogo al realizado en investigaciones similares (Dillman et al., 2014), aunque no se
utilizó ningún incentivo monetario ni se cambió el tipo de contacto.
3. Resultados
Las 15.657 cartas enviadas obtuvieron 2.493 respuestas, que supone una tasa de
cooperación del 18,9% (AAPOR, 2015). La cooperación fue muy superior a través del
correo (2.083 cuestionarios) que en las otras dos: 359 cuestionarios recibidos a través de
la web y 51 mediante encuesta telefónica CATI4.
3.a. Calidad de la respuesta.
El número medio de preguntas no respondidas por cada entrevistado fue de 11,18, una
tasa relativamente baja si se tiene en cuenta que el cuestionario recoge información de
137variables. Una primera explicación de este número de no respuesta está relacionada
con el tipo de preguntas utilizadas, esperando menos respuestas de las preguntas
abiertas y, dentro de ésas, de las preguntas abiertas “tipo texto”. De hecho, estas
constituyen más de la mitad de la no respuesta (5,5 preguntas no respondidas), siendo
más numerosa en la encuesta telefónica (media 5,7) y más baja en la encuesta web (4,4);
como se puede apreciar en la tabla I.
4
Debido al escaso tamaño muestral, recomendamos SUMA PRUDENCIA en la generalización
de los resultados de la encuesta telefónica; precisando que se ha dejado aquí por la posibilidad
que “apunte” tendencias.
9
Menor magnitud presentan las respuestas abiertas numéricas, cuyo número
medio de preguntas no respondidas no llega a la unidad (media 0,42), aunque vuelve a
ser una cifra con una gran variación entre las 0,47de la encuesta por correo, 0,18en la
encuesta CATI y 0,17en la web.
Tabla I: Distribución de las no respuestas, según tipo de pregunta.
Número de no respuestas (medias)
Encuesta correo
No respuestas (total)
12,00
No respuesta (cerrada)
5,89
No respuesta (abierta numérica) 0,47
No respuesta (abierta texto)
5,64
Web
t-valor y p
6,90
2,28
0,17
4,45
7,62**
7,05**
9,64**
6,43**
Porcentaje respecto al total de preguntas del cuestionario
Mail Survey
No respuestas (total)
No respuesta (cerrada)
No respuesta (abierta numérica)
No respuesta (abierta texto)
(*)
(**)
9,7%
5,7%
0,004%
4,5%
Web
5,9%
2,3%
0,1%
3,7%
t-valor y p
7,09**
6,26**
6,31**
6,40**
Significación al 0,05.
Significación al 0,01.
Resulta sorprendente el elevado número de no respuestas de las respuestas
cerradas, que alcanza una media de 5,3 y que supone un 47% de la no respuesta total
(5,3/11,18). El análisis por modalidades de recogida de información muestra una baja
tasa en las encuestas web y telefónica (2,3 y 1,9 respectivamente), frente al elevado
número de no respuestas de la encuesta por correo (5,9).
Considerando conjuntamente el número de preguntas no respondidas, el
promedio de 11,18 presenta grandes diferencias según la modalidad de cuestionario
utilizado; aumentando en los cuestionarios por correo ordinario (12,0) y disminuyendo
notablemente en el cuestionario web (6,9); situándose el teléfono en una posición
intermedia (7,8).iVisto en términos porcentuales respecto al total de preguntas, una tasa
media de 9,1% de preguntas no respondidas que oscila entre el 5,9% de la encuesta web
al 9,7% de la encuesta por correo, situándose la encuesta telefónica CATI entre ambas
(6,1%).
10
Las diferencias en la modalidad de administración, sin considerar otras
variables, podría llevar a una impresión equivocada cuando, un análisis pormenorizado,
permite apreciar que la encuesta por correo ha sido la modalidad elegida
fundamentalmente por personas de alta edad y bajo nivel educativo, justo lo contrario a
lo que sucede en la encuesta web, respondida mayoritariamente por jóvenes con altos
estudios.
3.b. Una posible explicación a la mejor respuesta de la encuesta web.
Una posible interpretación de las diferencias anteriormente detectadas podría
estar en el hecho que la encuesta web alerta periódicamente al encuestado que ha dejado
sin completar alguna pregunta, ofreciéndole la posibilidad de corregirlas o dejarlas sin
respuesta.
Los 359 entrevistados que respondieron la encuesta Web recibieron 474 alertas,
aunque 101 personas (un 28% de la muestra) respondieron todas las preguntas del
cuestionario y, por lo tanto, no recibieron ninguna. Casi un 34% de los entrevistados
recibieron una alerta, 88 personas (un 25%) recibieron dos alertas, un 8% recibió tres
alertas, un 3,3% cuatro; y tan sólo 8 personas recibieron cinco y seis alertas (gráfico 25).
Del conjunto de alertas, en 227 ocasiones los entrevistados decidieron “volver
atrás” y proceder a completar las respuestas no respondidas; lo que implica que 191
entrevistados (el 53,2% de los alertados) hicieron caso omiso y continuaran
respondiendo el cuestionario. Es lógico que las partes que producen más alertas reciban
más correcciones, pero el escaso número de cambios realizados en el bloque D (25% de
las alertas y 18% de las correcciones) parece indicar la ausencia de relación entre el
número de alertas y correcciones.
Relacionando el número de alertas con las “vueltas atrás para corregir” (tabla II)
es posible obtener un mejor conocimiento de la situación. Así, de los que recibieron una
alerta, un 41% dejó las preguntas sin responder y siguió respondiendo el resto de
bloques. De los que recibieron dos alertas casi uno de cada tres no corrigió, de los que
5
La mayor parte de las alertas se reciben por dejar sin responder preguntas del bloque D,
relativo a la utilización de instituciones de asistenciales donde se recoge información de 30
variables, y preguntas del bloque B dedicados a la convivencia y condiciones de la vivienda. En
estos dos bloques se reciben la mitad (el 47,8%) de todas las alertas, seguido a continuación por
el bloque C (preocupaciones, trabajo e ingresos), que recibe 87.
11
recibieron tres alertas tan sólo un 21% no volvió “atrás” para corregir; mientras que de
los que recibieron cuatro alertas no volvieron a corregir uno de cada tres, cifra que
aumenta al 38% entre los que recibieron cinco y seis alertas.
Gráfico 2: Alertas recibidas y correcciones efectuadas.
60
53,2
Correcciones
Alertas
50
En porcentajes
40
33,7 33,7
32,3
28,1
30
20
12,8
8,1
10
3,3
1,7 1,4
0,6 0,3
0
Ninuna
Una
Dos
Tres
Cuatro Cinco
Seis
Visto de modo más general, de las 359 personas que respondieron el
cuestionario Web 258 recibieron avisos de “falta de respuesta” y, de éstas, 191 (el 53%)
hicieron caso omiso de las alertas y siguieron respondiendo el cuestionario.
Tabla II: Relación entre alerta de preguntas sin responder y corrección de respuestas en la
encuesta web (porcentajes verticales)
Número de alertas
Ninguno
Uno
Dos
Tres
Cuatro
41%
59%
0%
0%
31%
31%
39%
0%
21%
41%
24%
14%
33%
17%
33%
8%
88
29
12
(24%)
(8%)
(3%)
Cinco
y seis
Bloques corregidos
(vuelta atrás: % col.)
Ninguno
Uno
Dos
Tres y cuatro
Número entre-.
vistados que
reciben alertas
(% horizontal)
100%
101
(28%)
121
(34%)
12
38%
50%
12%
0%
8
(2%)
El análisis del colectivo “que no corrige” indicará hasta qué punto la mejora en
la respuesta en la encuesta web tiene su origen en el empleo de las alertas, o si se debe a
otros factores. La respuesta del grupo que hace caso omiso de las alertas, comparada
con los que “vuelven atrás” (tabla III), desvela una diferencia de dos preguntas no
respondidas a favor de los que corrigen (8,8 vs. 6,7), una diferencia que únicamente es
significativa en los entrevistados de la primera ola que reciben recuerdo. No obstante, el
número de preguntas no respondidas en los que no corrigen es muy inferior a la
localizada en los cuestionarios por correo, como puede comprobarse al comparar los
datos de la tabla III con la tabla I; lo que lleva a rechazar la hipótesis que la mejor
respuesta de la encuesta web sea debida al empleo de alertas cuando no se expresa una
respuesta.
Tabla III: preguntas no respondidas según modalidad y momento de respuesta
Promedio
Primera oleada
Sin recuerdo Recuerdo Total
Alertas y
>no corrigen
>corrigen
N
7,6
6,8
155
10,9*
6,5
76
8,6
6,7
231
Segunda
oleada
10,2
6,6
28
Total
8,8
6,7
259
3.c. Disponibilidad de la información
La lentitud en la recogida de información ha sido, sin duda, otro de los grandes
inconvenientes de la encuesta por correo. De hecho, en la presente investigación se
estuvieron recibiendo cuestionarios por correo durante más de tres meses (103 días), a
los que habría que añadir 43 días tras el envío del recuerdo, lo que supone un total de
146 días para disponer de la información. Frente a esto, la encuesta web precisó de 78
días tras el primer envío (25 días menos), y otros 35 tras el recuerdo (8 menos), que
agrupados supone una duración de la recogida de información de 113 días, 33 menos
que la encuesta por correo.
La encuesta telefónica, cuyo escaso número de cuestionarios (51) recomienda
prudencia en la interpretación, se sitúa en un nivel cercano a la encuesta por correo al
tardar 101 días para entrevistar a las personas del primer envío, y otros 47 días para las
que decidieron coopera tras el recuerdo. El empleo de estos 148 días se explica por la
forma empleada para hacer la entrevista telefónica. Ante la imposibilidad de utilizar un
13
teléfono “sufragado directamente por el receptor” (una línea 900) se optó por solicitar
de los entrevistados (que optaron por colaborar a través del teléfono) que
cumplimentaran y enviaran una parte de la carta de presentación indicando su número
de teléfono y las mejores horas para contactar. Este envío podría hacerse por correo, en
una página web preparada a tal efecto, o incluso llamando por teléfono a un contestador
automático.
El escaso uso de la red por parte de este colectivo6, y el elevado coste de realizar
esta llamada (internacional) a un número telefónico de España, lleva a suponer que la
mayor parte de los entrevistados procedieron con el envío por correo. El tiempo
empleado en el “viaje de retorno” explica este retraso en disponer de resultados, puesto
que las entrevistas telefónicas se realizaron en el momento en que llegó el número de
teléfono. Proceder de esta forma puede explicar la baja tasa de elección de esta
modalidad.
3.c. Recursos para el trabajo de campo
Para la valoración de este aspecto se considerará únicamente el importe de recepción de los
cuestionarios válidos, excluyendo los costes de impresión, manipulación y envío de
cuestionarios, que no varía entre modalidades. Tampoco se considera el análisis de datos,
al no cambiar en función de la modalidad empleada.
Centrando la atención en la modalidad autoadministrada, una vez constatado el
escaso éxito de la participación telefónica7, debe tenerse en cuenta la diferente estructura
de costes. La mayor parte del coste de la encuesta web es fijo, lo que implica que
disminuye el coste unitario a medida que aumenta el número de cuestionarios recibidos. La
encuesta postal, por su parte, presenta un coste variable que se incrementa en función del
número de cuestionarios.
En el coste del cuestionario web hay que considerar que fueron necesarias 50 horas
en la programación y test del cuestionario, el coste del servidor web donde se instaló el
cuestionario (150 Euros año), y una supervisión para solucionar –en el momento que se
producen– los problemas generados en los primeros días del trabajo de campo
6
El análisis de una pregunta del cuestionario relativa a la utilización de internet indica que el
50% nunca lo utiliza y un 12% lo hace una vez al mes.
7
Y su consiguiente “peligrosidad” al tratar de hacer estimaciones de coste de 50 cuestionarios
14
(aproximadamente 40 horas). Los costes del cuestionario por correo se limitan a la
recepción de cuestionarios postales y la grabación de la información: el pre-franqueo –del
sobre de 40 gramos– tiene un coste unitario de 1,33 € si el cuestionario proviene de Europa
y de 1,80 € cuando proviene de otros países. Por su parte, la grabación del cuestionario se
empleó un promedio de 7 minutos por cuestionario.
Considerando para ambos un coste de recursos humanos en 15 € / hora, el trabajo
de campo web ascendió a 1.500 Euros, aumentando el postal hasta los 6.853,7 Euros.
Ahora bien, los 359 cuestionarios web suponen un coste unitario de 4,18 euros; mientras
que los 1.151 cuestionarios por correo procedentes de Europa y los 932 procedentes del
resto del mundo –en los que fueron necesarios emplear 2438 horas de grabación– implica
un coste unitario de 3,29 euros por cuestionario.
4. Conclusiones.
Los resultados anteriores desvelan, en primer lugar, una mayor preferencia en responder
el cuestionario a través del correo que a través de la red. Esta forma de proceder no se
explica por la falta de infraestructura o la falta de habilidades en el uso de Internet,
puesto que dos preguntas del cuestionario sobre uso de internet revela que el 60% de
este colectivo tiene conexión a internet en su domicilio (65% en toda la muestra). Un
36% se conecta a la red diariamente y un 18% todas las semanas, lo que implica que
más de la mitad de los que responden por correo presentan utilizan Internet
habitualmente.
Un 38% nunca utiliza Internet, porcentaje similar a los hogares sin acceso, que
implica que tienen en el cuestionario por correo la única forma de difundir sus
opiniones. Resulta sorprendente, por otro lado, que un 8% de los que responden la
encuesta por Internet no tiene conexión en su hogar.
Pese a esta preferencia, a lo largo del trabajo se ha señalado la mejora de los
cuestionarios electrónicos al conseguir un menor número de preguntas sin respuesta y
una mayor rapidez en el acceso a la información, que genera un acortamiento del trabajo
de campo. Si esta mejora se ha conseguido con dos cuestionarios idénticos, exactamente
iguales excepto en el soporte de la información, las mejoras serán muy superiores
8
Número de cuestionarios por tiempo promedio dividido entre minutos de hora: 2083 * 7 / 60
15
cuando se aprovechen todos los recursos que ofrece el modo web para la recogida de
información. Tourangeau et al. (2013) distinguen tres criterios a la hora de explicar la
reducción de errores de medición que supone la encuesta web:
•
El primero está referido a la nueva “comunicación visual” predominante en la
encuesta web, donde los elementos visuales predominan sobre los orales. Dentro
de este aspecto aparecen elementos como la definición de la pantalla (del
ordenador) y el color empleado, tipo de letra y su tamaño, uso de elementos para
enfatizar, influencia de los diferentes elementos de navegación, facilidad para
utilizar los diferentes tipos de pregunta disponibles (respuesta múltiple, abierta…),
etc. En definitiva, facilidad y sencillez para emplear una gran cantidad de
elementos visuales (tipos y tamaños de letra, colores, sombreados, símbolos,
dibujos, fotografías, etc.) precisa tener claro sus mejoras en el proceso de
comunicación pregunta/respuesta.
•
El segundo se refiere a elementos del diseño más concretos como el espaciado,
etiquetas en las escalas, influencia del “formato de respuesta”9en preguntas
abiertas, posibilidad de empleo de imágenes en las preguntas, y cómo colocar (en
la pantalla) los elementos en determinados “niveles de visibilidad (considerando
siempre que no toda la pantalla se visualiza de la misma forma, existiendo partes
con mayor visibilidad).
•
El tercero está referido al incremento de la interactividad, donde se incluyen
aspectos como el uso de una barra de progreso que indica al entrevistado cuanto
falta para finalizar, empleo de preguntas de cálculo automático, preguntas de
batería interactivas (que se “desactivan” –o se marcan de otro color– una vez el
entrevistado ha respondido), mejora en la respuesta a preguntas con términos
complejos mediante uso de definiciones desplegables automáticas (que se activan
automáticamente después de un tiempo de inactividad), facilidad en advertir al
entrevistado cuanto se considera que ha respondido demasiado rápido y, por
último, el uso de “entrevistadores virtuales” (vídeos de personas leyendo las
preguntas del cuestionario) cuyos rasgos, incluso, pueden ser elegidos por los
entrevistados).
9
Referido al lugar donde se anota la información proporcionada por la pregunta.
16
Sin olvidar estas mejoras en la comunicación, conviene tener presente que el
cuestionario web –al menos en esta investigación– presenta un coste superior a la
encuesta por correo (diferencia de 0,89 céntimos por cuestionario). En la última parte
del apartado anterior se aludió a que cambiar el medio de contacto con el entrevistado –
del correo a la web– podría aumentar el número de cuestionarios conseguidos a través
de la red y así reducir notablemente el coste de la investigación. Tres aspectos deben
tenerse en cuenta antes de proceder de esta forma:
•
En primer lugar la menor tasa de colaboración de la encuesta a través de Internet
en comparación con la encuesta postal, algo que ha sido constatado en numerosas
investigaciones (entre otras, Lozar Manfreda et al., 2008; Tourangeau et al.,
2013).
•
En segundo lugar las dificultades de acceso al entrevistado, algo reseñado por la
mayor parte de la literatura internacional que recomienda SIEMPRE realizar un
primer contacto a través de otro modo; emplear encuestas web apoyadas en
encuestas (tradicionales) por correo (Hansen et al., 2012).
•
En tercer lugar, la gran trascendencia de la herramienta empleada para establecer
el primer contacto con el seleccionado. Crawford et al. (2004), por ejemplo,
consideran
que
el
correo
ordinario
consigue
una
tasa
de
respuesta
significativamente mayor que el correo electrónico (tasas de respuesta del 52,5%
y 44,9% respectivamente), mientras que Harmon et al. (2005) comparan el correo
electrónico con carta adjunta del patrocinador de la investigación, email con carta
adjunta de la empresa que realiza el trabajo de campo, y carta por correo del
patrocinador de la investigación, logrando tasas de respuesta del 64,4%, 63,6% y
69,9% respectivamente. Bosnjak et al. (2008) demuestran que el envío de
mensajes SMS es más efectivo que el aviso por correo, con tasas del 84% y
71%.Otros aspectos influentes son la extensión de la comunicación (largas
invitaciones son más efectivas que las cortas) y el tono (formal/informal)
empleado en ella (Tourangeau et al., 2013).
REFERENCIAS BIBLIOGRÁFICAS
Alwin, D.F. Krosnick, J.A. (1991). The Reliability of Survey Attitude Measurement.
Sociological Methods and Research, 20, 139-181.
17
American Association for Public Opinion Research-AAPOR (2015).Standard
Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys.
Edición
abril
2015.
AAPOR
(en
línea).
http://www.aapor.org/AAPORKentico/AAPOR_Main/media/publications/Stand
ard-Definitions2015_8theditionwithchanges_April2015_logo.pdf, último acceso
25 de mayo de 2015.
Akl, E. A., Marroun, N. Klocke, R.A. (2005). Electronic mail was not better than postal
mail for surveying residents and faculty. Journal of Clinical Epidemiology, 58,
425-429.
AIMC-Asociación para la investigación de los medios de comunicación (2015).
Audiencia en Internet según el EGM, febrero/marzo de 2015
Bech, Michael, Bo Kristensen, Morten (2009). Differential response rates in postal and
web-based surveys among older respondents. Survey Research Methods, 3 (1), 1-6.
Blair, E., Blair, J. (2006). Dual frame web and telephone sampling for rare groups.
Journal of Official Statistics, 22(2), 177-190.
Bosnjak, M. et al (2008). Prenotification in web-based access panel survey: the
influencie of mobile test messaging versus e-mail on response rates and sample
compositivon. Social Survey Computer Review, 26, 313-233.
Crawford, S.D. (2004). Gaining respondent cooperation in college web-based alcohol
surveys. Findings from experiment at two universities. Paper presented at the 59th
annual conference of the American Association for Public Opinion Research,
Phoenix, AZ.
Couper, M. P., Blair, J. (1999). Comparison of mail and e-mail for a survey of
Employees in U.S. Statistical Agencies. Journal of Official Statistics, 15(1), 3956.
Couper, M.P. (2008). Designing effective web surveys. Nueva York: Cambridge
University Press.
Couper, M.P. (2008). Designing effective web surveys, Nueva York: Cambridge
University Press).
Couper, M.P., Bosnjak, M. (2010). Internet Surveys. En Peter V. Marsden & James D.
Wright, Handbook of Survey Research (pp. 527-550), Bingley (UK):
Emerald Group Publishing Limited.
Couper, M.P., Miller, P.V. (2009). Web surveys methods: Introduction. Public Opinion
Quarterly, 72(5), 831-835.
18
Dillman, D.A., Smith, J., Christian, L.M. (2014). Internet, Phone, Mail, and MixedMode Surveys: The Tailored Design Method, 4th Edition. Nueva York: Willey.
Dillman, D.A. 2000. Mail and Internet Surveys: The Tailored Design Method. Nueva
York: John Wiley.
Duffy, B., Smith, K., Terhanian, G. (2005). Comparing data from online and face-toface surveys. International Journal of Market Research, 47, 615-639.
Fricker, R., Schonlau, M. (2002). Advantages and disadvantages of internet research
surveys: evidence tom the literature. Field Methods, 14, 347-367.
Fricker, Scott, Galesic, Mirta, Tourangeau, Roger (2005). An Experimental Comparison
of Web and Telephone Surveys. Public Opinion Quarterly, 69(3), 370-392.
Hansen, K.M., Tue Pedersen, Rasmus (2012): Efficiency of Different Recruitment
Strategies for Web Panels. International Journal of Public Opinion Research,
24, 238-249.
Harmon, M.A.. (2005). Does type of pre-notification affect web-surveys response
rates?. Paper presented at the 60th annual conference of the American Association
for Public Opinion Research, Miami.
Heerwegh, D., Loosveldt, G. (2009). Explaining the intention to participate in a web
survey: a test of the theory of planned behavior. International Journal of Social
Research Methodology, 12, 181-195.
Ilieva, J., Baron, S. , Healey, N.M. (2002). Online surveys in marketing research.
International Journal of Market Research, 44, 361-376.
Jacobs, M., Cross, J. Smailes, E. (1994). CIM: Computer Interviewing by Mail. Quality
and Quantity, 28, 137-150.
Kent, R., Lee, M. (1999). Using the Internet for Market Research: A Study of Private
Trading on the Internet. International Journal of Market Research, 41, 377-385.
Lozar Manfreda, K.,, Vehovar, V., Koren, G. (2008a). Internet surveys. En W.
Donsbach & M.W. Traugott (eds), Handbook of public opinion research (pp.
271-283). Thousand Oaks, CA: Sage.
Lozar Manfreda, K., Vehovar, V. (2008b). Internet surveys. En E.D. de Leeuw, J.J. Hox
& D.A. Dillman (eds.). International Handbook of Survey Methodology (pp.
264-284). Nueva York: Lawrence Erlbaum Associates & European Association
of Methodology.
McCullough, D. (1998). Web-based market research ushers in new age. Marketing
News, 32(9), 27-28.
19
Manzano, V., Andreu, J. (2005). Formatos para ítems en las encuestas electrónicas.
Antecedentes y propuestas. Metodología de Encuestas, 2, 61-101.
Manzano, V., Lozano, O., Fernández Prados, J.S. (2003). Medidas subjetivas para
formatos de respuesta en encuestas informatizadas. Metodología de Encuestas,
5, 213-226.
McDonald, H. , Adam, S. (2003). A comparison of online and postal data collection
methods in marketing research. Marketing Intelligence and Planning, 21, 85-95.
Metha, R., Sivadas, E. (1995). Comparing response rates and response content in mail
versus electronic mail surveys. International Journal of Market Research, 37,
429-439.
Poe, G.S. (1988). ’Don’t know’ boxes in factual questions in a mail questionnaire:
Effects on level and quality of response. Public Opinion Quarterly, 6: 378-397.
Saltzman, A. (1993). Improving Response rates in Disk-By-Mail Surveys. Marketing
Research, 5, 32-39.
Schneider, S. J., Cantor, D., Malakhoff, L. (2005). Telephone, Internet, and Paper Data
Collection Modes for the Census 2000 Short Form. Journal of Official Statistics,
21 (1), 89-101.
Scherpenzeel, A., Saris, W.E. (1997). The validity and reliability of survey questions.
Sociological Methods and Research, 25: 347-383.
SKIM Software Division (1996). Disk-by-Mail and Disk-by-Mail benefist. SKIM
Software Division Newsletter, autum, p. 3.
Sparrow, N., Curtice, J. (2004). Measuring the attitudes of the general public via
internet polls: an evaluation. International Journal of Market Research, 46 (1),
23-44.
Toepoel, V., Das, M., Van Soest, Arthur (2009). Effects of design in web surveys.
Public Opinion Quarterly, 72(5), 985-1007.
Tourangeau, r. Couper, M.P., Conrad, F.G. (2013). The science of web surveys, Oxford:
Oxford University Press.
Roster, C.A., Rogers, R.D. Albaum, G. (2004). A comparison of response
characteristics from web and telephone surveys. International Journal of Market
Research, 46(3), 359-373.
Tse, A. C.B. (1998). Comparing Response Rate, Response Speed and Response Quality
of Two Methods of Sending Questionnaires: E-mail vs. Mail. International
Journal of Market Research, 40, 13-35.
20
Tse, A. C.B. (1995). Comparing two methods of sending out questionnaires: e-mail
versus mail. International Journal of Market Research, 37, 20-25.
Wikman, A., Wärneryd, B. (1990). Measurement errors in survey questions: explaining
response variability”. Social Indicators Research, 22: 199-212.
21