Reduciendo costos, mejorando la calidad y

Febrero 2011 Número 166
www.worldbank.org/enbreve
Una serie regular de notas destacando las lecciones recientes del programa operacional y analítico
de la región de Latinoamérica y el Caribe del Banco Mundial (LAC).
Reduciendo costos, mejorando la calidad y recopilando información en tiempo real –
Lecciones aprendidas de una Encuesta a Beneficiarias a través de
teléfonos celulares para fortalecer el Programa de Transferencias
Monetarias Condicionadas en Guatemala
por Christian Schuster y Carlos Pérez Brito
En 2010, un proyecto piloto en Guatemala financiado con fondos del programa Gobernabilidad y Lucha contra la Corrupción en
el País (CGAC por sus siglas en ingles), empleó teléfonos celulares conjuntamente con EpiSurveyor, un software gratuito en línea,
para una encuesta nacional representativa de beneficiarias del Programa de Transferencias Monetarias Condicionadas. Su uso,
demuestra el potencial para utilizar teléfonos celulares como mecanismo de colección de datos para fortalecer el monitoreo,
la evaluación y la implementación del programa, particularmente, en áreas remotas y marginalizadas de población indígena.
1. Aprovechar el potencial para el desarrollo que ofrece la revolución en la telefonía celular
El auge de los teléfonos celulares en la última década ha sido excepcional. Se prevé que para finales de 2010, las suscripciones
mundiales a teléfonos celulares superen la cifra de 5 mil millones. Los usuarios de teléfonos celulares en países en desarrollo, incluida
la población pobre, han sido particularmente beneficiados por esta tendencia; con frecuencia han saltado directamente a la tecnología
celular sin pasar por la infraestructura de las líneas telefónicas fijas y ahora representan dos terceras partes del total de suscriptores
de teléfonos celulares. Esta tendencia se refleja en América Latina, donde los teléfonos celulares han pasado de ser un artículo de
lujo, a convertirse en un bien esencial. Casi el 90% de la población de esta región posee ahora un teléfono celular. En Guatemala, el
número de suscriptores activos de teléfonos celulares –17,3 millones– supera la población del país de 13,3 millones de habitantes y
la cobertura de las redes se extiende a la mayor parte del territorio nacional, incluidas numerosas zonas que, históricamente, han sido
marginadas y que son habitadas principalmente por pueblos indígenas.
Debido a este rápido crecimiento, las aplicaciones basadas en telefonía celular han penetrado áreas tan diversas como la
administración pública, la salud, la educación, la banca, la agricultura y el desarrollo empresarial –incluso en las zonas más remotas
del mundo. Por ejemplo, aplicaciones basadas en telefonía celular pueden ahora emplearse en múltiples intervenciones de desarrollo
específicas: servicios financieros para guardar y enviar dinero, alertar a refugiados acerca de la entrega de ayuda alimentaria, cursos
de educación a distancia, vigilancia en estaciones de votación ciudadana, consultas y diagnósticos médicos remotos e información
oportuna del mercado para pescadores, por mencionar algunas de una lista en rápido crecimiento.
A pesar de que las investigaciones para evaluar estas intervenciones de telefonía celular han aumentando, existen relativamente pocos
estudios sobre el uso mismo de la tecnología celular como instrumento de investigación en los países en desarrollo. Mientras que proyectos
de recolección de datos para medir resultados son abundantes, encuestas complejas y a gran escala utilizando teléfonos celulares aún son
escasas. El potencial que representan los teléfonos celulares en este sentido es asombroso; en comparación con un proceso tradicional
en base a formularios para completar con papel y lápiz, para luego transcribirlos a un sistema computarizado, los celulares ofrecen la
digitalización inmediata y la transmisión de los datos recabados en el momento de la encuesta, seguida por una agregación automatizada.
Como tal, los teléfonos celulares presentan un potencial para realizar encuestas más rápidas, exactas y eficaces en función de los costos.
Frente a estas ventajas y para ampliar la base empírica sobre el uso de teléfonos celulares como instrumento de investigación, en 2010
se llevó a cabo una encuesta nacional a beneficiarias del Programa de Transferencias Monetarias Condicionadas (TMC) de Guatemala,
1
Mi Familia Progresa (Mifapro), en la que se utilizaron teléfonos celulares de bajo costo y un software gratuito para la recolección de
datos como parte de las actividades financiadas por el programa Gobernabilidad y Lucha contra la Corrupción en el País (CGAC).
2. Contexto y objetivos del proyecto
En marzo de 2008, el Gobierno de Guatemala desarrolló el programa de TMC en respuesta a los elevados niveles de exclusión
históricos en el país –con un 51% de la población por debajo de la línea de pobreza y cerca de la mitad de los niños sufriendo de
desnutrición crónica. A finales de 2010, más de 900.000 mujeres se beneficiaban del programa. Si bien Mifapro tiene el potencial
de disminuir de forma significativa la pobreza extrema, el manejo eficaz de su sistema de monitoreo y evaluación, en particular el
monitoreo de las condicionalidades de salud y educación, representa un reto para la organización. Una medida crítica para superar
este reto es lograr obtener acceso rápido a información exacta y de primera mano sobre actividades en clínicas y escuelas rurales
en lugares aislados del país. Esta necesidad requiere de un mecanismo eficaz y de costo efectivo para la recolección de información
de campo.
Como parte de la estrategia sectorial de CGAC del Banco Mundial en el país, en 2009 se financió una encuesta de papel y lápiz
a 200 beneficiarios de Mifapro en cinco de los municipios más pobres, con el fin de proporcionar información sobre la demanda
para fortalecer la ejecución del programa de TMC. El Instituto de Investigaciones Económicas y Sociales (IDIES) de la Universidad
Rafael Landívar1 llevó a cabo dicha actividad. Información cuantitativa sobre elementos cruciales del programa –que incluían la
efectividad de la focalización del programa, el cumplimiento y conocimiento de las condicionalidades, costos de cumplimiento
para los hogares beneficiarios y cambios de comportamiento a raíz del programa– suministraron insumos esenciales al sistema de
monitoreo y evaluación del Gobierno.
En 2010 se repitió la encuesta con la misma institución, como parte de las actividades y de la estrategia financiada por CGAC. Sin
embargo, en esta ocasión se cambió la metodología de recolección de información de formularios de papel a teléfonos celulares.
Con esto, se pudo llevar a cabo un análisis comparativo del costo, exactitud y velocidad de ambas metodologías.
3. Abordaje metodológico
Aunque la recolección de información por medio de formularios de papel ha sido el método estándar durante décadas, tiende a
ocasionar errores frecuentes, problemas de almacenamiento y altos costos debido a la duplicación en el ingreso y digitalización de
datos. Dispositivos portátiles –principalmente asistentes digitales personales (mejor conocidos por sus siglas en ingles PDA)– han
venido reemplazando a los métodos basados en papel, pero no dejan de presentar sus propias desventajas: los datos se deben
descargar frecuentemente a computadores personales, no están disponibles en tiempo real y pueden borrarse o perderse si los
PDA se descomponen, se pierden o son robados.
Los sistemas de recolección de información a través de teléfonos celulares ofrecen la posibilidad de vencer estas dificultades.
Se pueden utilizar con diferentes clientes para recolectar datos, dentro de los cuales los más comunes son el SMS de formato
fijo, la recolección de datos mediante voz, los formularios basados en la Web y las aplicaciones basadas en Java. Las encuestas
por medio de Servicios de Mensajes Cortos (SMS por sus siglas en inglés) y voz resultan especialmente útiles para la recolección
de información corta y administrada por el sujeto. Encuestas basadas en voz son preferibles en regiones con alto nivel de
analfabetismo. Sin embargo, cuando se trata de encuestas más complejas, los formularios basados en la Web y las aplicaciones
basadas en Java ofrecen ventajas en términos de costo y facilidad de uso. Primeramente, facilitan la elaboración de cuestionarios
que dependen del contexto, ya que pueden determinar qué preguntas se deben contestar y cuáles saltarse. Segundo, permiten
subir a bajo costo las encuestas terminadas a servidores por
medio del servicio general de paquetes vía radio (GPRS por sus
siglas en ingles) sin restringir el tamaño de la encuesta –como,
por ejemplo, es el caso del SMS. Contrariamente a formularios
basados en la Web que requieren celulares con capacidad de
navegación en la propia Web, las aplicaciones basadas en Java
se pueden descargar a celulares sencillos y baratos.
Fuente: Universidad Rafael Landivar (2010)
1
2
http://www.url.edu.gt/Portalurl/
Por tales motivos, la encuesta de TMC de 2010 decidió emplear
EpiSurveyor, una aplicación basada en Java. EpiSurveyor es
una herramienta de recolección de datos mediante teléfonos
celulares, financiada, entre otros, por Naciones Unidas, la
Fundación Vodafone y una donación de la Feria del Desarrollo
del Banco Mundial. EpiSurveyor funciona con un modelo
“freemium”, el cual ofrece una versión básica gratuita (en uso
por más del 99% de los suscriptores) y una versión pagada de
características más avanzadas, que en menos de un año después
de su lanzamiento, ya contaba con más de 2000 usuarios.
EpiSurveyor es la primera aplicación de computación en nube para la recolección de datos en el sector de desarrollo internacional.
Usuarios con destrezas básicas de computación pueden ingresar en línea a la dirección www.episurveyor.org y crear allí
formularios y preguntas de encuestas, incluyendo selección múltiple, texto libre, numérico, datos y otros tipos. Subsecuentemente,
los formularios de las encuestas se pueden descargar a cualquier celular con Java y GPRS. Entonces, los celulares se pueden utilizar
para recolectar y subir datos en tiempo real y a través de un servidor seguro a una cuenta de EpiSurveyor o a una computadora
portátil, según sea necesario. El sitio web de EpiSurveyor permite visualizar en tiempo real las respuestas a las encuestas y analizar
los datos agregados y desagregados mediante gráficos, cuadros y mapas, así como exportar datos a programas estándares de
análisis e información de terceros tales como Microsoft Excel o Access (véase la Figura 1). Adicionalmente, los propios teléfonos
celulares se pueden utilizar para visualizar y analizar la información agregada. En este contexto, todos los datos de la encuesta se
codifican para mantener la confidencialidad de las respuestas. El acceso a los datos está restringido mediante una contraseña, con
la posibilidad de ofrecer diversos privilegios de acceso a diferentes tipos de usuarios.
Figura 1: Visualización de EpiSurveyor
Pregunta ilustrativa de la encuesta: ¿Qué compromisos u obligaciones adquirió usted con MIFAPRO para tener derecho al
beneficio en efectivo?
Opción
A
B
Marcadas
(%)
Sin marcar
(%)
Total
(%)
Llevar regularmente a los
niños a la escuela
376 (75)
124 (25)
500 (100)
Llevar a los niños a control
en el centro de salud
360 (72)
140 (28)
500 (100)
Fuente: EpiSurveyor, Encuesta del Banco Mundial sobre TMC, 2010
600
500
400
300
200
100
0
124
140
376
360
380
120
A
B
C
437
63
D
Sin marcar
487
13
E
457
458
43
42
F
G
495
5
H
Marcadas
La encuesta de TMC del Banco de 2010, fue el primer estudio representativo a nivel nacional por medio de EpiSurveyor en el país.
Un equipo de nueve recolectores de información entrevistó a 500 beneficiarias de Mifapro (principalmente mujeres indígenas)
en 25 municipios, así como a los 200 beneficiarios que habían sido entrevistados en cinco municipios de la encuesta de 2009. La
muestra incluyó a beneficiarios que vivían en algunos de los municipios más pobres y aislados del país, lo cual muestra el potencial
de esta tecnología para monitorear y mejorar la ejecución del programa en zonas rurales.
4. Resultados
En comparación con la encuesta en papel de 2009, la encuesta con teléfonos celulares de 2010 probó ser altamente superior en términos
de costos y mostró mejorías en control de calidad y en la velocidad de la implementación de la encuesta.
El ahorro en costos relacionado con la digitalización inmediata y la transmisión de la información recopilada, junto con la
agregación automática de datos, compensó los costos de adquisición y transmisión de la información mediante teléfonos
celulares. En particular, el costo promedio de la recolección y digitalización de datos por entrevista se redujo en un 71 por ciento, lo
que permitió aumentar el tamaño de la muestra de la encuesta de 200 a 700 entrevistados y lograr una representatividad nacional
sin aumento en el presupuesto.
Además, la recolección de información en tiempo real facilitó el control de calidad de parte de los supervisores del trabajo de campo.
El sistema registró la fecha y hora de cada entrevista, en vez de la hora de transmisión; cuando no se disponía de cobertura celular,
las encuestas se almacenaban en el teléfono hasta que se dispusiera de señal. La interfaz de la Web permitió a los supervisores
monitorear la velocidad del trabajo, la hora de inicio y finalización de la labor, y detectar cualquier inconsistencia en la información.
Cuando fue necesario, los supervisores podían responder en
forma inmediata llamando a los entrevistadores. Además, el
Ganancias en eficiencia:
aumento en la facilidad de ingreso de los datos mejoró su
Recolección de datos por medio de celulares
exactitud: la mayoría de los entrevistadores observaron que
comparada con formularios de papel
los celulares reducían la probabilidad de errores al ingresar
Costo promedio por entrevista
-71%
la información. De igual modo, la automatización al subir los
Duración
promedio
por
entrevista
-3.6%
datos al sistema evitó la necesidad de digitalizarlos, un factor
que tendía a ampliar los errores entre 1 y 2 por ciento en la
Calidad de la información recopilada
Mejoró
encuesta anterior. Por último, la encuesta nunca sufrió de
% de entrevistadores que prefieren
pérdida de datos, como suele suceder frecuentemente con
88.9%
celulares para recopilar información
formularios de papel y PDAs.
3
Aparte del mejor costo y mayor exactitud, los celulares también contribuyeron a acortar el tiempo de
las entrevistas. Según las medidas tomadas en el taller de capacitación inicial, los celulares redujeron
el tiempo requerido para las entrevistas en un 3,6 por ciento. Después de la encuesta, casi el 90 por
ciento de los entrevistadores concluyó que las entrevistas se pudieron realizar de manera más rápida
con celulares que con formularios de papel.
Estos resultados positivos se reflejan en las percepciones favorables de los entrevistadores respecto al
uso de celulares para recopilar información. Todos los entrevistadores manifestaron que era ‘fácil’ o
‘muy fácil’ aprender a utilizar los teléfonos celulares para recopilar información –en parte gracias a su
gran familiaridad con celulares en su vida cotidiana. Cerca del 90 por ciento preferiría recopilar datos
utilizando celulares en futuras encuestas.
La encuesta, no obstante, también señaló un riesgo potencial en el uso de celulares. Poco más del 20%
de los entrevistadores observaron reacciones negativas entre sus entrevistados respecto al uso de los
celulares para recopilar información. Aunque el cada vez mayor acceso y disponibilidad de celulares en
áreas rurales puede reducir tales resistencias, su empleo como mecanismo para encuestas se debería
basar en una evaluación previa de su aceptación por parte de la población meta, en especial en caso
de poblaciones indígenas pobres.
5. Limitaciones y conclusiones
Para la encuesta de TMC del 2010, el uso de celulares en conjunto con el software gratuito EpiSurveyor disminuyó drásticamente los
costos, facilitó el control de calidad y aumentó la velocidad de ejecución. Gracias a estas mejoras frente a los métodos tradicionales,
el estudio ya ha producido un importante efecto multiplicador en referencia a la adopción de esta tecnología tanto en el país,
como en el Banco Mundial. Para ejemplificar, el Gobierno anunció que adoptará este método no sólo para el sistema de monitoreo
y evaluación del programa de TMC, sino también para una encuesta nacional sobre nutrición a cargo del Ministerio de Salud.
Subsecuentemente, en 2011 se financiará un proyecto (Uso de celulares para recopilar y procesar información para fortalecer el
monitoreo, control y rendición de cuentas de los programas de TMC en América Latina), basado en la experiencia de Guatemala,
con recursos del competitivo Fondo de Innovación del Banco Mundial.
Si bien estos hallazgos aportan argumentos importantes a favor de la viabilidad de emplear teléfonos celulares como herramienta
de recolección de información en los países en desarrollo, la cantidad de estudios que brindan evidencia empírica semejante es
aún escasa.2 No menos importante es el hecho de que las soluciones basadas en telefonía celular no se deben considerar como una
panacea para resolver todos los problemas concernientes a la recolección de información. Para citar un ejemplo, si bien facilitan
el control de la calidad, no pueden detectar todos los tipos de fabricación de información; las respuestas aleatorias, por ejemplo,
continuarían pasando inadvertidas.
Como lo indican el presente estudio y la adopción creciente del software EpiSurveyor, los teléfonos celulares constituyen una
herramienta cada vez más poderosa para la recolección de información. En el futuro, los permanentes avances tecnológicos
combinados con un creciente acceso mejorarán aún más el potencial de los teléfonos celulares en este ámbito. Celulares con el
Sistema de Posicionamiento Global (GPS), por ejemplo, podrían llegar a detectar la fabricación de información antes mencionada.
El reconocer y aprovechar este potencial puede conllevar altos retornos en ejercicios futuros de encuestas y, de esta manera,
fortalecer la gobernabilidad de programas de una manera rápida, exacta y eficaz en función de costos –especialmente en zonas
rurales y marginadas.
Consúltese, por ejemplo: Tomlinson, Mark y colabs. (2009). The use of mobile phones as a data collection tool: A report from a household survey in South
Africa. BMC Medical Informatics and Decision Making, 9:51. Disponible en: http://www.biomedcentral.com/content/pdf/1472-6947-9-51.pdf
2
Sobre los autores
Christian Schuster es Economista en la Oficina del Banco Mundial en Guatemala y Carlos Pérez Brito es Especialista en Desarrollo
Humano en la Región de América Latina y el Caribe del Banco Mundial.
Limitación de responsabilidad: Las opiniones, interpretaciones y conclusiones expresadas en este documento son las de su(s) autor(es) y no necesariamente reflejan
la opinión de los Directores Ejecutivos del Banco Internacional de Reconstrucción y Fomento / Banco Mundial o los gobiernos que representan. El Banco Mundial no
garantiza la exactitud de los datos incluidos en este trabajo. Las fronteras, colores, denominaciones y demás datos que aparezcan en cualquier mapa que forme parte
de este trabajo no implican ningún juicio por parte del Banco Mundial sobre la condición jurídica de cualquier territorio ni la aprobación o aceptación de tales fronteras.
Acerca de “en breve”...
4
“en breve” es producido por el equipo de Knowledge and Learning del
Departamento de Servicios Operativos de la región de Latinoamérica y el
Caribe del Banco Mundial - http://www.worldbank.org/lac Consulte la
colección completa de “en breve” visitando: www.worldbank.org/enbreve