Informe final de la Evaluación Externa del Programa Vivienda Rural 2006

Informe final de la Evaluación Externa del Programa
Vivienda Rural 2006
Anexo metodológico de trabajo de campo
El Colegio Mexiquense, AC
19 de marzo de 2007
Informe final de la Evaluación Externa del Programa Vivienda
Rural 2006
Introducción
El trabajo de campo se realizó en tres etapas: la primera se realizó durante
septiembre y la primera semana de octubre de 2006 para elaborar el Informe
preliminar de trabajo de campo en cumplimiento de los TR-PVR-06 pero aún no
concluía el proceso de captura y validación de las solicitudes. Las entidades
visitadas fueron: Baja California, Campeche, Hidalgo, Guanajuato, Guerrero,
Querétaro y Veracruz.
La segunda etapa se realizó en diciembre para tener posibilidades de observar
obras terminadas, pero nuevamente quedó pendiente esta actividad porque aún
no se habían entregado los apoyos. Las entidades visitadas en esta etapa fueron:
Aguascalientes y Zacatecas.
Finalmente, en enero de 2007 se visitó nuevamente Guerrero y se realizó el
trabajo de campo en el Estado de México, pero sólo en este último se tuvo
oportunidad de entrevistar beneficiarios y ver obras concluidas pues en el primero
apenas se estaban entregando los materiales.
El presente documento describe las actividades de gabinete previas y trabajo de
campo realizadas como parte de la metodología de la evaluación. Los anexos
contienen los instrumentos y la bitácora del trabajo de campo.
1.
Actividades de gabinete preparatorias
Previo al trabajo de campo se realizaron las siguientes actividades:
a)
Elaboración de cuestionarios (cédulas)
De acuerdo con lo solicitado en los TR-PVR-06 era necesaria la obtención de
información primaria que recogiera la percepción de los actores clave y que, al
mismo tiempo, coadyuvara a tener una visión concreta y real de sus operadores y
beneficiarios.
Para proceder a la obtención de esta información es fundamental la selección
idónea de las personas a entrevistar. Se elaboraron diferentes tipos de cédula
para obtener la información de los actores principales que son los responsables de
las acciones y los beneficiarios.1 Estos cuestionarios contienen preguntas sobre
diversos aspectos del programa fundamentalmente en lo que se refiere a su
operación, percepción y beneficios así como la prospectiva que ellos prevén en un
futuro inmediato y las recomendaciones que los participantes realicen.
1
Aunque los TR-PVR-06 no solicitaban entrevistas a beneficiarios, con posterioridad a la entrega de
la metodología se elaboró una cédula para este tipo de actor.
AM-11
Informe final de la Evaluación Externa del Programa Vivienda
Rural 2006
Estos cuestionarios están contenidos en un instrumento llamado “cédula”, la cual
se caracteriza por tres aspectos fundamentales:
Confiabilidad
Una pregunta es confiable si significa lo mismo para todos los que la van a
responder.
Se puede confiar en una escala cuando produce constantemente los mismos
resultados al aplicarla a sujetos similares. La confiabilidad implica
consistencia.
Validez
Una pregunta es válida si estimula información exacta y relevante. La
selección y la redacción influyen en la validez de la pregunta.
Algunas preguntas que son válidas para un grupo de personas, pueden no
serlo para otro grupo.
Diseño del cuestionario
Sobre todo se verifica que cada opción o respuesta en la cédula que se
presente sea excluyente.
La cédula es el principal instrumento de captación de la información a beneficiarios
y se centra principalmente en el método de escalamiento tipo Likert2 que consiste
en un conjunto de ítems presentados en forma de afirmaciones o juicios antes los
cuales se pide la reacción de los sujetos; las respuestas califican al objeto de
actitud que se está midiendo y deben expresar sólo una reacción lógica; en la
cédula se acorta o se incrementa el número de categorías dependiendo tanto de la
capacidad de discriminación como del tema en cuestión.
b)
Capacitación a encuestadores
Aunque los integrantes del equipo evaluador cuentan con experiencia previa en
levantamiento de encuestas y entrevistas para este tipo de evaluaciones, se
efectúa una capacitación previa al trabajo de campo para repasar los conceptos
básicos de muestreo, ubicar el levantamiento en el proceso de generación de
resultados y resolver las dudas específicas de los cuestionarios que se aplicarán.
El instrumento utilizado es una presentación en Power Point que se adjunta en
esta entrega como anexo electrónico.3
2
3
Likert, Séller y Hough, “Criterios técnicos de la encuesta”, Editorial Mc Graw Hill, 1976.
Véase el archivo Capacitación operador de campo v1.ppt
AM-12
Informe final de la Evaluación Externa del Programa Vivienda
Rural 2006
Asimismo, se realiza otra capacitación con base en el código de ética del
encuestador.
c)
Percepción de los actores clave
El análisis de la opinión de los actores con respecto al Programa se realiza a partir
de la información proporcionada directamente por los propios sujetos mediante
técnicas cualitativas.
De acuerdo con lo anterior, en las entrevistas se procura que la aplicación de los
cuestionarios se realice en condiciones que permitan que los beneficiarios revelen
su percepción acerca del funcionamiento y beneficios del programa sin ningún tipo
de presión externa.
El equipo evaluador está consciente de que la subjetividad inherente a la
recopilación de estos datos puede generar poca confiabilidad; sin embargo, esto
se reduce parcialmente con preguntas adicionales que confirman o invalidan
algunas respuestas. Asimismo, la observación del entorno y el registro sistemático
de las características de los beneficiarios se convierten en elementos
indispensables para neutralizar dicha subjetividad.
Se elaboraron cuatro instrumentos para la captación de información:
1: Guía de entrevista a profundidad (aplicable a funcionarios del nivel
central)
CEPVR
2: Cédula para funcionarios en las delegaciones estatales de la
Sedesol.
CEPVR
3: Cédula para funcionarios de los Institutos Estatales de Vivienda,
Autoridades municipales y Dirigentes de OSC. 4
CEPVR
CEPVR
4: Cédula para beneficiarios
El objetivo de los cuestionarios fue detectar la percepción de los actores clave en
la operación del PVR en cuanto a los siguientes aspectos:
Acceso al programa y atención recibida
•
Conocimiento e identificación del Fonhapo.
•
Entendimiento de la forma en que opera el PVR.
4
Para conocer la problemática de la instrumentación de programa desde el punto de vista de otros
actores clave.
AM-13
Informe final de la Evaluación Externa del Programa Vivienda
Rural 2006
•
Opinión sobre la accesibilidad al PVR desde el punto de vista de difusión,
cercanía, solicitud de información y realización de trámites, horarios de
atención, entre otros.
•
Planteamiento de problemas o quejas. Oportunidad de respuesta del PVR a
los trámites de solicitud de apoyo y a las quejas.
Apoyos obtenidos
•
Opinión sobre la calidad, suficiencia de los apoyos.
•
Opinión sobre el cumplimiento de los objetivos del PVR.
Transparencia y rendición de cuentas
•
Percepción sobre la transparencia en operación y ejecución del PVR.
•
Percepción de actores clave sobre la rendición de cuentas y sobre el uso
y manejo de los recursos del PVR.
La aplicación de los instrumentos se realizó en diez entidades del país con la
finalidad de conocer el desempeño del programa en los tópicos anteriormente
señalados así como el grado en que persisten los retos señalados en
evaluaciones anteriores, analizando además si las medidas correctivas propuestas
fueron adecuadas.5
d)
Control de calidad
Dado que una parte del análisis proviene de los resultados obtenidos de la
encuesta, se efectúa un control de calidad6 para evitar dos tipo de errores: de no
respuesta y de medición.
El error de no respuesta se controla sustituyendo beneficiarios o bien aplicando la
cédula a beneficiarios indirectos cuando es imposible obtener la información del
beneficiario directo.7
Los errores de medición se generan cuando el encuestado responde de forma
imprecisa, inexacta o cuando las respuestas de los encuestados no pueden ser
comparadas útilmente de forma alguna. Para evitarlo al máximo, se discute
minuciosamente, el cuestionario y se capacita a los entrevistadores.
5
En cada una de las aseveraciones que se realicen acerca del funcionamiento del PVR se indicará
la fuente de información utilizada (análisis de gabinete, trabajo cualitativo, encuesta representativa
u otra fuente de información).
6
El control de calidad usualmente pretende evitar cuatro tipo de errores: muestral, de no respuesta,
de cobertura y de medición.
7
Edad, enfermedad o ausencia.
AM-14
Informe final de la Evaluación Externa del Programa Vivienda
Rural 2006
2.
Trabajo de campo
Los cuestionarios fueron sometidos a algunas pruebas de validación y aplicados in
situ en los estados visitados.
La visita se realizó por una o dos personas, mismas que están plenamente
capacitadas y cuentan con experiencia en este tipo de investigación.
Esta es la parte central del estudio para responder el apartado de Percepción de
los actores clave por lo que se le da especial atención por parte del equipo de
trabajo. Por ser un elemento clave en la construcción de recomendaciones se
registran notas de campo que complementan la información cuantitativa obtenida
por los cuestionarios.
El operativo de campo comprende las siguientes etapas:
a. Levantamiento de entrevistas.
b. Crítica, codificación de la información y control de calidad del proceso.
Además, se realizan las siguientes actividades:
o Establecimiento del calendario definitivo de visitas a las localidades.
o Elaboración, discusión y reproducción de los cuestionarios.
o Contacto con la Sedesol y el Fonhapo para programar las visitas y
establecer los requerimientos logísticos.
3.
Instrumentos de trabajo de campo
A continuación se presentan los instrumentos definitivos utilizados en el operativo
de campo.
AM-15