Evaluación del Programa de Apoyo a Jornaleros Agrícolas (PAJA) COLMEX

Evaluación del Programa de Apoyo a Jornaleros
Agrícolas (PAJA)
COLMEX
Informe Metodológico
Índice
1. Marco general de la evaluación externa.........................................................................4
1.1 El proceso de evaluación en el análisis de Políticas Públicas .......................................4
1.2 La evaluación como herramienta de mejoramiento de la gestión pública ....................7
1.3 Propuesta metodológica general para la evaluación del Programa de Apoyo a
Jornaleros Agrícolas ....................................................................................................10
1.3.1 Los momentos metodológicos del proceso de investigación cualitativa para la
evaluación del Programa de Jornaleros Agrícolas (PAJA) ............................................12
2. Metodología propuesta para el análisis del diseño del programa ...................................17
2.1 Método Propuesto .................................................................................................17
2.2 Preguntas clave ...................................................................................................19
2.3 Fuentes de información .........................................................................................21
3. Metodología propuesta para el análisis de operación del programa ...............................22
3.1 Método propuesto .................................................................................................23
3.2 Cumplimiento de metas .........................................................................................24
3.4 Análisis de costos..................................................................................................25
3.5 Fuentes de información .........................................................................................29
4. Metodología propuesta para el análisis de focalización del programa .............................30
4.1 Método propuesto .................................................................................................32
4.2 Preguntas clave ....................................................................................................37
4.3 Fuentes de información .........................................................................................38
5. Metodología propuesta para el análisis de resultados (impacto) del programa ...............39
5.1 Preguntas clave ....................................................................................................40
5.2 Estudios cuantitativos............................................................................................44
5.2.1 El análisis costo-beneficio ................................................................................45
5.2.2 Evaluación de Impactos de los apoyos de PAJA sobre el bienestar de los jornaleros
agrícolas. ................................................................................................................49
2
5.2.3 Índice de asistencia.........................................................................................50
5.3 Fuentes de Información.........................................................................................50
6. Metodología propuesta para el análisis de satisfacción de los beneficiarios del programa 51
6.1 Método propuesto .................................................................................................52
6.2 Preguntas clave ....................................................................................................53
6.3 Fuentes de información .........................................................................................55
Marco Referencial Básico................................................................................................56
Anexo A - Diseño Muestral Propuesto..............................................................................59
Anexo B - Propuesta de Esquema del Informe final de evaluación.....................................63
Anexo C - Planes de la Encuesta Piloto............................................................................65
Anexo D -Instrumentos de campo Propuestos .................................................................68
3
1. Marco general de la evaluación externa
1.1 El proceso de evaluación en el análisis de Políticas Públicas
En las últimas dos décadas se han sucedido una serie de reformas políticas, económicas y
sociales en los Estados y los gobiernos, con el objetivo de lograr mayores grados de
democracia y desarrollo económico, sin embargo, nunca habían sido más notorias las
desigualdades sociales y los profundos y crecientes desequilibrios existentes no sólo entre
países, sino entre regiones de un mismo estado e incluso al interior de sus divisiones
políticas entre sus microregiones.
No obstante que los avances en materia de democracia se encuentran más consolidados, se
presentan retrocesos en la calidad de vida de las sociedades, lo cual ha llevado a que en
diversos escenarios se plantee la urgencia de reorientar los patrones regionales de
desarrollo, en torno a la equidad como reducción de la desigualdad social.
Independientemente de las causas de esta situación, externas o internas a los países y a su
relación con el modelo económico imperante basado en la apertura de mercados, es un
hecho que los gobiernos han reorientado sus acciones a emprender para modificar tal
situación de inequidad e injusticia, además de tener que combatir en contra de la escasez
de recursos de los propios aparatos gubernamentales. En este contexto es generalizado el
desprestigio y desuso de las políticas de receta que se aplican de manera repetitiva, aunado
a que la atención de los organismos multilaterales y las economías dominantes, se ha
reorientado a una seria preocupación acerca del tema de la pobreza mundial.
La Ciencia política, las Políticas Públicas y la Administración pública, tienen un rol
protagónico en este escenario. Independientemente del modelo de Estado del que se hable,
existe una necesidad muy justificable de diseñar políticas realmente exitosas para mejorar
las condiciones de vida de la población, implantar nuevas formas de relación entre la
4
sociedad-Estado-Organismos No Gubernamentales, mejorar el desempeño del Estado, así
como reflejar transparencia y responsabilidad en las acciones del gobierno para reforzar la
confianza de la sociedad.
Una de las formas de contribuir a este proceso es la generación de aprendizaje social e
institucional, que permita aprender de las experiencias, negativas y positivas, que analice la
conveniencia y resultados de las acciones políticas, sociales y económicas y que facilite el
establecimiento de acuerdos sociales y políticos sobre lo que se debe emprender.
La evaluación es una disciplina que en el campo político y social, es al mismo tiempo un
efectivo instrumento de aprendizaje para la ciudadanía que permite además dar seguimiento
a las acciones del gobierno. Pedir cuentas a los gobernantes, requiere conocimiento e
información y esta se consigue con procesos evaluativos que develen ante la opinión pública
y la ciudadanía lo que el gobierno hace y los resultados de sus políticas o programas.
Por otra parte, para el gobierno, la evaluación es un instrumento útil para diseñar políticas,
particularmente aquellas orientadas al mejoramiento de la condición de vida de la población,
evaluar su gestión, producir ajustes convenientes y reconstruir el aparato institucional. La
evaluación, más que un mecanismo instrumental, representa una cultura de gobierno, que
no se limita a ser un proceso meramente técnico. Aunque es una herramienta práctica para
tomar decisiones por parte del gobernante y generar control político y social por la
ciudadanía, su utilidad más trascendental radica al verse como un proceso deliberativo que
permite analizar la acción específica del Estado, el contexto en el que se desarrolla esta
acción, su relación con el sistema institucional y político vigente.
En la tendencia a la reducción del tamaño del Estado, la orientación hacia el mercado y el
auge de las escuelas gerencialistas de la administración pública, la evaluación deja de
concentrarse en la reforma de la sociedad y se convierte en un mecanismo de reforma del
Estado, buscando aumentar su eficacia. Durante los últimos años se han ido conformando
5
diversas corrientes teóricas fundamentales que, tanto en Europa como en los Estados
Unidos (principalmente), orientan la evaluación hacia diversos usos tales como la decisión
pública, el aprendizaje social, el fomento a la democracia, el mejoramiento de la gestión,
entre otros.
La teoría y práctica evaluativa poseen una particularidad interesante por cuanto en ella
confluyen diversas disciplinas: la ciencia política, la ciencia de las políticas públicas, la
investigación económica y social, la sociología, la administración, entre otras, hecho que la
convierte en un amplio campo de exploración temática. Sin embargo, la literatura aborda de
manera independiente el tratamiento de la filosofía política liberal, de la gestión pública, de
las políticas públicas y de la evaluación económico-social. En el caso de las políticas públicas,
generalmente la evaluación se presenta como un paso más dentro del ciclo de políticas, con
una fuerte orientación teórica. Por el contrario, la literatura sobre evaluación presenta un
fuerte carácter instrumental, desligado del contexto político y filosófico. La gestión pública
por su parte se ocupa de la evaluación desde una perspectiva netamente administrativa o de
desempeño. A pesar de lo anterior, es evidente la fuerte relación teórica que existe entre
ellas y cómo la teoría política, así como lo hace con las políticas públicas, ofrece
implícitamente en algunos casos y explícitamente en otros, la fundamentación principal para
el desarrollo de la teoría evaluativa.
La evaluación es una herramienta que apoya efectivamente diversas formas de
responsabilización, tales como el control parlamentario, la lógica de resultados en la
administración pública y el control social. En el primer caso, el control parlamentario, la
evaluación puede ser encomendada o desarrollada por el Congreso para obtener
información objetiva que facilite su labor de control del ejecutivo. En el segundo caso, la
introducción de lógicas de control y evaluación de resultados en la administración y la
realización de evaluaciones independientes de las entidades ejecutoras proveen elementos
6
para determinar el éxito o fracaso de una gestión en función de la consecución de cambios
objetivos y valoradles.
1.2 La evaluación como herramienta de mejoramiento de la gestión pública
Aunque la teoría administrativa y de las políticas incluye la evaluación como parte de la
gestión de las organizaciones y del proceso de las políticas públicas, ésta ha adquirido gran
relevancia, particularmente con la nueva administración pública en los años 90. La “nueva
administración pública” presenta una clara orientación hacia la gestión por resultados, y la
calidad de los servicios. Este frente de trabajo de la evaluación como herramienta de gestión
de gobierno, se orienta a determinar el funcionamiento del aparato institucional, sus
programas de acción, la consecución de resultados, medir los niveles de eficiencia, y la
generación de impacto. Este compromiso requiere diversos niveles evaluativos;
•
el primer nivel es macro, consiste en la evaluación del desempeño del gobierno
entendido como el compromiso democrático con la ciudadanía a partir de
determinadas políticas públicas y sus logros;
•
el nivel dos tiene que ver con el desempeño de los programas que cruzan varias
organizaciones;
•
el nivel tres corresponde al desempeño de cada organización que ejecuta algún
aspecto de las políticas públicas y
•
Cada
finalmente el nivel del desempeño de los empleados en una organización.
nivel
evaluativo
alimenta
procesos
de
mejoramiento
institucional
(en
la
implementación) o de política general (en el diseño y formulación de políticas).
La investigación evaluativa provee evidencia empírica que puede facilitar la construcción de
visiones más realistas en un sistema democrático. Este punto de vista de conocimiento y de
investigación, actúa en diversos niveles y se construye a partir de la conjunción de cada uno
7
de los ejercicios evaluativos que se realizan desde las diversas perspectivas que han sido
descritas.
La evaluación en su definición más amplia es un tipo de investigación aplicada que intenta
determinar el valor de un esfuerzo, de una innovación, de una intervención o de algún
servicio o enfoque determinado. La teoría evaluativa ha sido desarrollada con el concurso de
diversas ciencias y disciplinas como parte integral de los procesos y organizaciones que son
su objeto de estudio. Su conformación ha contado, entre otros, con el aporte de la
sociología, la ciencia política, la educación (cuya contribución a la evaluación ha sido
definitiva), la administración, la psicología, la economía y la investigación social. Su ámbito
de aplicación se encuentra en cualquier organización objeto de estudio por parte de las
diferentes áreas del conocimiento -entre ellas las organizaciones políticas para la ciencia
política y los mercados-, y utiliza diversas fuentes para la construcción de sus modelos y
enfoques en las cuales existe un denominador común: el ser humano como sujeto de
acciones con propósitos definidos.
La evaluación, como se trata aquí, tiene que ver con las intervenciones del gobierno desde
la perspectiva de la ciencia política, las políticas públicas (Political Science y Policy Science),
y la gestión pública (Public Management), en la dimensión de bienestar del Estado liberal,
estudiando el cambio social generado por el Estado y el gobierno a través de políticas,
programas y proyectos públicos. Desde esta óptica, la evaluación se concibe de manera
amplia, y tiene que ver con los problemas públicos, la búsqueda de soluciones, el análisis del
aparato institucional que las desarrolla y la ideología que soporta el cambio.
La definición del concepto de evaluación, particularmente en el campo de las intervenciones
públicas y sociales, ha estado marcada por el debate sobre su alcance y utilidad. Una
primera tendencia define a la evaluación de manera instrumental, como un proceso
sistemático que recoge información, la procesa, y determina los resultados de una
8
intervención con el objeto de tomar decisiones en el ámbito político o gubernamental,
generalmente con un alcance determinado por los límites que impone la intervención
evaluada. Una segunda tendencia que plantea la evaluación como algo inherente al proceso
de construcción social, que sirve para conocer la realidad, percibir los problemas sociales,
construir colectivamente propuestas y mejorar la sociedad; esta última le da a la evaluación
un alcance social más amplio y deliberativo, que traspasa la simple intervención
e
incursiona en el cuestionamiento de la sociedad, el Estado y la ideología política que lo
respalda.
La evaluación de políticas públicas se considera parte integral del proceso de las políticas
públicas, la cual permite a los gobiernos aprender sobre las consecuencias de sus acciones y
tomar decisiones sobre el futuro de la política, ya sea a manera de ajuste o de formulación
de nuevas políticas y acciones.
La visión racional y de toma de decisiones de las políticas publicas considera a la evaluación
como una fase, ubicada al final de un ciclo que incluye la identificación de políticas, el
desarrollo, la puesta en marcha, la evaluación y la terminación, en el cual se evidencian los
resultados del programa, mediante la definición de criterios comparativos, la medición de
datos, el análisis y las recomendaciones. En los modelos de procesos, la evaluación se
concibe como una etapa del proceso de políticas públicas, ubicada generalmente al final de
la implementación.
La evaluación en el proceso político también puede verse como un proceso deliberativo,
multidimensional, en el que se busca dilucidar mediante el diálogo la brecha existente entre
el discurso normativo y el empírico, usando enfoques metodológicos múltiples, intentando
poner en evidencia diversos enfoques de conocimiento y de la realidad, en oposición al
excluyente discurso racional de la toma de decisiones.
9
1.3 Propuesta metodológica general para la evaluación del Programa de Apoyo a
Jornaleros Agrícolas
En virtud de las especificidades que caracterizan el proceso evaluativo desde la óptica del
modelo Gerencial de Política Pública, se propone utilizar técnicas combinadas de análisis
cuantitativo y cualitativo, llamado en la literatura pertinente “Enfoque múltiple”, para
obtener una visión de amplio espectro acerca del funcionamiento del Programa de atención
a Jornaleros Agrícolas (PAJA). Este método se utiliza para evitar sesgos y complementar las
fortalezas de los diferentes métodos.
Esta técnica combinada permite:
•
Entender fenómenos sociales complejos
•
Incluir una mayor pluralidad de puntos de vista e intereses
•
Reforzar la comprensión, tanto en casos típicos como atípicos
•
Generar análisis más amplios y profundos
El análisis cuantitativo se enfoca a medir un número finito de resultados especificados
previamente y apropiados para juzgar impacto, atribuir causas, comparar y construir rangos,
clasificar y generalizar resultados. Este método permite:
•
Manejar información a gran escala y sistematizarla
•
Analizar relaciones causa-efecto (modelar)
•
Aceptar las conclusiones como creíbles gracias a su naturaleza “exacta”
•
Aplicar las conclusiones generalizables a una población mayor
10
Los métodos cualitativos1 toman muchas formas, incluyendo descripciones detalladas de
personas, lugares, conversaciones y comportamiento. Se utilizaran en este caso:
•
Análisis de documentos
•
Entrevistas personales o en grupo
•
Observación participante
•
Encuestas
Cabe mencionar que este ejercicio de análisis no puede estar enmarcado en una postura
positivista o post-positivista2, ya que el tipo de estudio no permite tener una consideración
previa a manera de hipótesis verificable.
Es por eso que se propone que la metodología utilizada a lo largo del estudio se ubique
desde la perspectiva del grupo representado por el constructivismo, la teoría crítica y el
paradigma dialógico, en los cuales la indagación es guiada por un diseño emergente (los
acontecimientos observados le darán dimensión y sentido al estudio), en contraposición a un
diseño previo (no existe hipótesis verificable). Aquel, a diferencia de este último, se
estructura a partir de los sucesivos hallazgos que se van realizando durante el transcurso de
la investigación, es decir, sobre la plena marcha. La validación de las conclusiones obtenidas
se hace aquí a través del diálogo (entrevista, encuesta), la interacción y la vivencia
1
El Diseño muestral se encuentra en el apéndice A
En este tipo de posturas el experimento y la estadística constituyen las principales (aunque no las únicas)
herramientas de las que
dispone el investigador para construir el conocimiento1. El marco de observación y de análisis está orientado por
la formulación previa de hipótesis y preguntas, que pretenden anticipar el comportamiento de la realidad objeto
de estudio. Unas y otras permanecen
invariables a lo largo de toda la investigación., recurriendo, para el efecto, a procedimientos de contraste y
verificación, que suplen la imposibilidad de un control directo por parte del investigador de las variables en
juego, pero que sí le posibilitan cumplir la condición de demostrabilidad exigida desde una visión de la ciencia
que se remonta a Aristóteles.
Carlos A. Sandoval Casilimas, “Investigación Cualitativa”Instituto Colombiano Para el Fomento de la educación
Superior, ICFES
Colombia, 2002.
2
11
(observación de procesos, de documentos, en cada una de las unidades estatales y
unidades de trabajo que se verifiquen); las que se van concretando mediante consensos
nacidos del ejercicio sostenido de los procesos de observación, reflexión, diálogo,
construcción de sentido compartido y sistematización de la información recabada.
1.3.1 Los momentos metodológicos del proceso de investigación cualitativa para
la evaluación del Programa de Jornaleros Agrícolas (PAJA)
1) La formulación
Basada en los términos de referencia del programa de Jornaleros Agrícolas, en esta etapa se
precisa ¿Qué es lo que se va a investigar y por qué? En la lógica multicíclica que tipifica a la
investigación cualitativa esto da lugar a por lo menos tres submomentos, que podemos
denominar:
•
Formulación inicial, Acceso al conocimiento de los objetivos de investigación por
medio de la revisión de los planteamientos iniciales vertidos por las autoridades de
SEDESOL en sus Términos de Referencia (TDR)
•
Formulación intermedia, en esta etapa se incorporan las correcciones derivadas de
los comentarios, juntas, intercambios que se den entre las autoridades de SEDESOL
y el STAFF de especialistas. Se obtendrá un nuevo documento con ideas más
concretas y con mayor proclividad a ser mesurables
•
Formulación final, en esta etapa (dinámica) se va amoldando el objeto y objetivos de
estudio de acuerdo a los resultados que se vayan obteniendo al aplicar los métodos
de aproximación cognoscitiva a los participantes del ejercicio.
12
2) El diseño
Está representado por la preparación de un plan flexible (o emergente) que orientará tanto
el contacto con la realidad humana objeto de estudio como la manera en que se construirá
conocimiento acerca de ella. En otras palabras, buscará responder a las preguntas ¿Cómo se
adelantará la investigación? y ¿en qué circunstancias de modo, tiempo y lugar? Al igual que
la formulación, el diseño atravesará por varios submomentos:
•
Diseño inicial, se determina con base en las propuestas preeliminares provenientes
de las autoridades de SEDESOL. Se tienen en cuenta 120 días de trabajo contando
desde el 15 de Septiembre hasta el 14 de marzo. Se tienen contempladas fechas de
entrega de resultados, 13 de octubre, 20 de octubre, 30 de noviembre, 15 de
febrero, 14 de Marzo. SEDESOL se compromete a entregar información de gabinete
necesaria para las evaluaciones preeliminares, sobre todo en lo referente a las
evaluaciones estratégicas y de impacto. Además de facilitar la visita a los lugares de
levantamiento de encuestas.
•
Diseño intermedio en este caso se va determinando un sub-calendario de actividades
que incluye, además de las fechas de entrega de reportes, un desglose de entregas
de información, visitas a las unidades muestra, trabajo de campo, aplicación de
encuestas, registro de la información, fechas para contrastación, discusión y
corrección.
•
Diseño final, el calendario de trabajo real resultante del proceso dinámico de
construcción del diseño de la evaluación
13
3) La gestión
Este momento corresponde al comienzo visible de la investigación y tiene lugar mediante el
empleo de una o varias estrategias de contacto con la realidad o las realidades objeto de
estudio. Este momento, al igual que los de formulación y diseño, atraviesa por varios
submomentos, que, en síntesis, corresponden a los de gestión Inicial, Intermedio(s) y Final.
A continuación examinaremos brevemente cada uno de ellos.
•
Gestión inicial, Aplicación de las herramientas de análisis a la llamada Información
preeliminar (estadísticas, indicadores, metas operativas, registro de logros, avances
programáticos, informes de acciones, informes de iniciativas, convenios de
colaboración) entregados por parte de SEDESOL al STAFF de especialistas
Interpretación, análisis, contrastación, verificación, estandarización, de la
información proporcionada para lograr conclusiones propias del análisis y actividades
de gabinete
•
Gestión intermedia, aplicar las herramientas de análisis en el trabajo de campo
(entrevistas, encuestas), sistematización e interpretación preeliminar de la
información recabada a las personas involucradas con las distintas etapas de la
aplicación del programa
•
Gestión final, en esta etapa se observan, contrastan, discuten, corrigen, los
resultados obtenidos de las aproximaciones a la problemática a través del análisis de
gabinete y de la aplicación del trabajo de campo. Se presentan de una manera
preeliminar los primeros resultados de análisis y existe la oportunidad de
retroalimentar el diseño de la investigación para lograr los objetivos iniciales o los
que surjan a través de la conformación del estudio.
14
4) El cierre
Las actividades desarrolladas en esta etapa de la investigación buscan sistematizar de
manera progresiva el proceso y los resultados del trabajo investigativo. Para ello, parte de la
estructuración preliminar de lo que denominaremos un …
•
cierre preliminar inicial, el cual tiene lugar inmediatamente después de
a) concluir el primer episodio de análisis derivado (del trabajo de gabinete, en este
caso la revisión de documento oficiales, y de cifras e indicadores proporcionados por
SEDESOL), a su vez,
b) de la conclusión del primer evento de recolección o generación de información
(resultados de las sucesivas encuestas realizadas en los lugares determinados).
Ulteriormente a lo ya mencionado, van a desarrollarse los que llamaremos…
•
cierres intermedios. Esta etapa o etapas se refieren a los momentos en
los que se presentan los resultados del análisis del:
a) Diseño,
b) Operación,
c) Focalización,
d) Resultados (impacto) y
e) Satisfacción de los beneficiarios del Programa de Atención a Jornaleros Agrícolas
Los cuales se ceñirán a una lógica análoga a la del cierre preliminar inicial. Al acopiarse de
manera total y ordenada el conjunto de la experiencia investigativa se dará comienzo al
último momento del proceso,
•
cierre final, para esta etapa de la investigación será necesario conjugar dos
tipos de trabajo:
15
a) El ejercicio de comprensión que materialice el acercamiento a los
horizontes de sentido derivados de los diversos procesos de análisis divididos
en temas u objetivos de estudio (diseño del programa, operación,
focalización, resultados (impacto) y satisfacción de los beneficiarios del
programa
b) Desarrollo de esfuerzos de tematización generalizadora mediante los
cuales se buscará relacionar las conclusiones de los apartados temáticos con
una teoría formal o evidencias empíricas existentes de programas aplicados
en otros países.
16
2. Metodología propuesta para el análisis del diseño del programa
Si se entiende por programa a “un conjunto de recursos y actividades dirigidas hacia uno o
más objetivos comunes”; el mismo consituye una intervención social deliberada sobre
procesos de la realidad que se quieran modificar, generando resultados deseables.
Para entender la lógica sobre la cual operan los programas, a saber: supuestos,
instrumentos, resultados esperados; es necesario revisar que exista una lógica normativa
que defina los principios operativos del programa y que supuestamente aseguren la
obtención de los objetivos planteados con eficiencia y eficacia. También debe revisarse la
lógica causativa del programa. Esta labor es de suma importancia para otras etapas de la
evaluación, como la de impacto, ya que define si lo que se está haciendo coincide con lo que
se quiere obtener.
2.1 Método Propuesto
El método adecuado (Santoyo 2002) para analizar el diseño del programa es la revisión
documental. Para ello se procederá a la verificación de la información disponible, su revisión
y la contrastación
de los principales documentos que sustentan las generalidades del
Programa en términos de objetivos, participantes, población objetivo y operación interna.
Además la revisión de algunos documentos teóricos, oficiales y otros nacionales e
internacionales para determinar el grado de congruencia del diseño del programa con las
posturas vigentes.
Esta metodología, desde el punto de vista de la evaluación de la Política pública, está ligada
al análisis de la actuación del gobierno (orientaciones, políticas, programas, patrones de
gobierno etc.) desde un escenario social determinado, y tiene que ver con la validación de la
relevancia y pertinencia (coherencia) de la acción pública al menos en dos sentidos:
17
•
con relación a la problemática social. La evaluación se concentra en
determinar la pertinencia de la acción con el contexto inmediato
•
Con relación a las condiciones políticas existentes. La evaluación responde
preguntas con respecto a la contribución de las políticas (o programas) hacia
el interés público y el bien común, y su coherencia con el sistema de valores
vigente.
La revisión de las posturas ideológicas tiene como objetivo soportar teóricamente la
aplicación del programa y la conformación de su estructura, representando ciertos valores,
sin perjuicio de que exista concurrencia con otros postulados ideológicos. En este plano
evaluativo participan conjuntamente las concepciones filosóficas y políticas con respecto a la
justicia, la equidad, la distribución social, los modelos económicos, los derechos civiles, la
libertad de los individuos, sus supuestos morales, etc. se trata de validar concepciones e
intentar construir un consenso alrededor de valores sociales y poner en evidencia las
bondades y defectos del sistema de ideas que rige el programa.
De acuerdo con la solicitud de la dirección, expresados en los TDR, el análisis de diseño se
divide en cuatro partes fundamentales:
•
Análisis de la congruencia del diseño del programa con la estrategia de
Política Social CONTIGO. Revisión de que los objetivos generales declarados
en la estrategia social CONTIGO se incluyan en los objetivos generales del
diseño del programa
•
Análisis de la congruencia Interna de los diversos componentes del diseño del
programa entre Objetivos y mecanismos para su logro (operación). Revisión
de que los objetivos generales declarados en el programa incluyan una
descripción detallada de los mecanismos para lograrlos.
Revisar que los
18
objetivos no sean demasiado amplios y que se encuentren bien establecidos
además de que se expresen en objetivos específicos con un adecuado nivel
de concreción. Además de la revisión de los objetivos y la intencionalidad del
programa es preciso señalar las acciones que realiza, los productos que
entrega a los beneficiarios, los criterios de elegibilidad para poder participar y
el marco normativo de operación.
•
Análisis
de
la
observancia
de
las
recomendaciones
de
organismos
internacionales. Revisión de las opiniones de los principales organismos
internacionales en lo referente a programas de combate a la pobreza y si
estás se incluyen de alguna forma en el diseño del programa.
•
Análisis de congruencia con programas similares exitosos en México o en
otros países.
Revisión de las evidencias empíricas existentes, y posterior
contrastación de su diseño con el del PAJA para localizar áreas susceptibles
de mejora o bien señalar si su diseño es adecuado con respecto a otras
experiencias exitosas.
•
Análisis de la posible persistencia de problemas de diseño señalados en
evaluaciones anteriores y si las medidas correctivas fueron adecuadas y se
implementaron de acuerdo a lo planeado.
Revisión de de las anteriores
evaluaciones y de los documentos que sustentan el diseño del programa
localizando las posibles modificaciones llevadas a cabo a partir de las
recomendaciones emitidas.
2.2 Preguntas clave
En estas secciones antes descritas se intentará dar respuesta a las preguntas específicas
que expresan las TDR tales como:
19
•
¿El diseño del programa cumple con los principios de equidad, transparencia,
corresponsabilidad, cohesión social e integralidad, planteados en la Estrategia
CONTIGO?
•
¿Están previstos en las Reglas de Operación (ROP) los mecanismos
necesarios y suficientes para garantizar el cumplimiento de cada uno de estos
principios?
•
¿Hay una definición clara y adecuada de los elementos clave del diseño del
programa tales como objetivos, población objetivo, tipo y monto de los
apoyos otorgados, criterios de eligibilidad y requisitos, entre otros?
•
¿Existe congruencia entre los distintos elementos del diseño del programa
según las ROP: objetivos, lineamientos generales y específicos, apoyos
otorgados, operación y seguimiento?
•
¿Es clara y apropiada la definición de las características que diferencian los
tipos de zonas de atención a jornaleros agrícolas (atracción, intermedias y
expulsión)? ¿Dicha definición es adecuada para la ejecución de los apoyos del
Programa?
•
¿Fueron adoptadas las recomendaciones hechas en evaluaciones anteriores?
¿Qué cambios concretos se expresaron en el diseño del programa a partir de
ellas? ¿Han persistido los problemas de diseño?
•
¿El diseño del programa guarda congruencia con las recomendaciones de los
principales organismos internacionales en lo referente a programas de
combate a la pobreza, desarrollo social, o de desarrollo rural? ¿En que
documentos se expresan estas recomendaciones y como se definen en los
documento internos del programa?
•
¿El diseño del programa tiene similitud con alguna otra experiencia a nivel
nacional o internacional? ¿Cuáles son sus áreas susceptibles de mejora de
acuerdo a la contrastación entre ambas experiencias? ¿Cuáles son las
20
coincidencias entre ambas experiencias? ¿Qué tipo de mecanismos han hecho
a estas experiencias exitosas? ¿Están presentes en el diseño del programa?
2.3 Fuentes de información
Las fuentes de información de este apartado son los documentos que tienen que ver con la
definición, diseño, operación del programa.
Documentos oficiales
Programa Intersectorial de Atención a jornaleros agrícolas, relatoría de la reunión del 10-072003
Programa Intersectorial de Atención a Jornaleros agrícolas Marzo, 2004.
Jornaleros Agrícolas. Secretaría de desarrollo social, subsecretaria de desarrollo regional
Manual de promoción social
Manual de programación y formulación de proyectos, 2003
Estructura orgánica de las representaciones estatales
Reglas de operación 2002
Reglas de operación 2003
Organigrama del programa
Referencias en Línea
21
3. Metodología propuesta para el análisis de operación del programa
La evaluación de la operación (o implementación) es considerada en la literatura (Alvira
1991) una precondición de la evaluación de resultados. Esta se desarrolla en varios
procesos:
•
Lista del conjunto de rasgos y actividades que realmente definen y
constituyen el programa contenidos en las Reglas de Operación (ROP) y en
otros documentos internos
•
Contrastación de las acciones llevadas a cabo en la práctica para alcanzar los
objetivos planteados en las Reglas de Operación
•
Verificación de la estructura Operativa a nivel central y estatal y la calidad de
comunicación existente en la misma
•
Verificación de las relaciones del programa con otras áreas administrativas de
SEDESOL
•
Información numérica basada en la recolección de datos (cuantitativos), de
los sistemas de información existentes y datos cualitativos a partir de las
entrevistas estructuradas y de encuestas3 que se recaben aplicadas a los
operadores del Programa (delegaciones estatales y/o Representaciones
Estatales de SEDESOL, Unidad Responsable del Programa, dirección de
seguimiento y dirección del Programa Operativo Anual)
3
El tamaño de la muestra se define en el apartado correspondiente.
22
•
Contraste del comportamiento real del programa con lo inicialmente previsto
en los documentos de diseño del programa
3.1 Método propuesto
En esta sección se combinarán métodos cualitativos y cuantitativos descritos anteriormente.
El objetivo general del apartado es:
•
Averiguar y describir como funciona el programa
•
Analizar hasta que punto hay diferencias entre el funcionamiento real
y el previsto en los documentos que lo fundamentan
Los métodos cualitativos utilizarán como herramienta para acceder al conocimiento, las
técnicas de investigación documental, la entrevista semi-estructurada, y la observación
narrada a través de los reportes del trabajo en campo. También se utilizarán las
herramientas de la estadística de los sistemas de información disponibles.
•
Investigación documental. Se refiere a la revisión y contrastación de los principales
documentos que describen la operación del programa (principalmente las Reglas de
Operación vigentes). Además se revisará la literatura correspondiente a esta etapa
de la evaluación, documentos en línea, datos censales, estudios, acuerdos
institucionales, etc.
•
Entrevista semi-estructurada con participantes del programa y otros informadores
clave. Consiste en una guía de entrevista que enlista los temas a cubrir y las
preguntas abiertas a formular. Esta herramienta se utilizará en el caso de
autoridades de niveles Estatales y federales, ya que son útiles en situaciones
complejas en las que las respuestas no tienen porque estar predeterminadas
23
3.2 Cumplimiento de metas
Se documentó el proceso a través del cual se establecen las metas que posteriormente son
monitoreadas y medidas a final del ejercio.
Utilizando la información de las diferentes bases de datos del programa (SIIPSO y SIBSI,
primordialmente) se evalúa el cumplimiento de las metas establecidas. Las metas están
divididas en: 1)físicas y, 2)financieras. A su vez, se subdividen en metas i)estatales y,
ii)nacionales.
Las metas físicas y financieras deben ser interpretaciones cuantitativas, de los objetivos que
están planteados en términos cualitativos. Como lo menciona Cohen, “en algunos proyectos
es viable transformar los objetivos en metas, esto es, que los fines cualitativos se expresen
en magnitudes cuantitativas que deben existir en el proyecto formulado”.4
Se revisó la existencia del Programa Operativo Anual así como la existencia de planeación de
más largo alcance y cuan determinante resultan amos documentos para la construcción de
una estrategia mejor definida de acción y planteamiento de las siguientes metas.
A través de estadística descriptiva se realiza el análisis de este componente, desagregando
el análisis para encontrar los niveles de cumplimiento en cobertura por entidad federativa y
por proyectos, éstos desagregados por ámbitos de acción, y por tipos de proyectos, ya sean
de capital físico o de capital humano.
4
Cohen, Ernesto; Franco Rolando. Evaluación de Proyectos Sociales. GEL, 1988. Buenos Aires, Argentina. P. 239
24
3.4 Análisis de costos.
A partir de TDR donde se pide calcular cuánto cuesta llevar un peso de inversión a la
población jornalera, el análisis de costos del programa trata de aclarar las siguientes
cuestiones:
•
¿Cuál es la estructura básica de asignación de costos del programa?
•
¿Qué categorías inciden directamente en la ejecución de proyectos?
Se procedió a utilizar la técnica de ABC (Activity Based Costs) que permitiera identificar los
diferentes procesos que identifican por separado las distintas actividades que lleva a cabo el
programa.
Originalmente se plantearon una serie de cuestionamientos que trataban de ampliar la
información. Sin embargo, al no contar con la información requerida oportunamente, el
análisis se tuvo que acotar la descripción e identificación que los procesos que le dan
sentido a la técnica ABC, sin llegar a cuantificar los mismos.
Para este componente se recurrió primordialmente a la investigación documental,
identificando procedimientos en lineamientos específicos así como de características propias
de la operatividad.
Necesidades a atender
•
¿A través de qué procesos las oficinas centrales y las representaciones estatales del
Programa realizan la detección de necesidades?
•
¿Cuál es el mecanismo a través del cual se recopila la información característica de
las unidades de trabajo? ¿De qué forma se definen las actividades a realizar en cada
unidad de trabajo?
25
•
¿Se realizan diagnósticos situacionales, y de procesos de planeación participativa y
microplaneación operativa por unidad de trabajo? ¿Se elaboran Expedientes Técnicos
por Proyecto para determinar la factibilidad de los proyectos?
•
¿A través de qué medios los jornaleros agrícolas conocen el tipo de apoyos del
Programa? ¿Los beneficiarios reconocen al Programa como ejecutor de acciones?
Selección de Zonas de atención, Unidades de Trabajo y Beneficiarios
•
¿La selección de zonas de atención, unidades de trabajo y beneficiarios cumplen con
los criterios de elegibilidad y requisitos establecidos en las ROP?
•
¿Existen procedimientos estandarizados y adecuados para la selección de zonas de
atención, beneficiarios y unidades de trabajo? ¿En qué medida es un proceso
transparente y expedito?
•
¿Se cumple con el procedimiento de proposición y validación de beneficiarios por
medio de asambleas generales comunitarias, comités de jornaleros o en su caso
comisiones de trabajo? ¿Cuáles son las funciones que se realizan dentro de dichas
asambleas, comités o comisiones? ¿Existe algún mecanismo que dé seguimiento a
las acciones realizadas?
Promoción Social
•
¿Cuántos promotores sociales existen por unidad de trabajo? ¿Cuál es el promedio
de jornaleros atendidos por promotor social?
•
¿Cuál es el nivel de rotación de los promotores sociales entre unidades de trabajo?
•
¿De qué forma participan los promotores sociales en el seguimiento de las acciones
implementadas por el Programa? ¿Qué mecanismos implementan para priorizar las
acciones de acuerdo a las necesidades de los jornaleros?
•
¿El tipo de relación y organización dentro de las unidades de trabajo ha cambiado
respecto al año anterior?
26
•
¿Cuáles son las modificaciones en la realización de diagnósticos situacionales, y de
procesos de planeación participativa y microplaneación operativa por unidad de
trabajo?
Contraloría social
•
¿Existen los mecanismos de contraloría social establecidos en las ROP? ¿Funcionan
de acuerdo a lo estipulado en la normatividad?
•
¿Cuál es la composición de la contraloría social? ¿De qué forma se eligen a los
responsables?
•
¿Los beneficiarios participan en las actividades de vigilancia del Programa? ¿De qué
forma se insertan? ¿Qué tipo de actividades realizan?
Ejecución de acciones
•
¿Existe información sistematizada sobre las obras, acciones y unidades de trabajo en
las que opera el Programa?
•
¿Se tiene información sistematizada que permita dar seguimiento oportuno a la
ejecución de acciones? ¿Existe concordancia entre la situación real de la acción y los
registros oficiales del programa?
•
¿Las acciones ejecutadas son consistentes con los lineamientos de las ROP? ¿Se
respetaron los montos de apoyos estipulados en las ROP?
•
¿Se cumplió oportunamente con la entrega de los recursos por parte de cada coparticipante de acuerdo al tipo de zona de atención (gobierno federal, estatal,
municipal, productores y otros)? ¿Se realizaron las acciones en las fechas
establecidas? ¿Fueron pertinentes las fechas de entrega de recursos para las
actividades realizadas?
27
Coordinación Interinstitucional
Para conocer los procesos que permiten interactuar con diversas instituciones y
dependencias de los tres órdenes de gobierno, federal, estatal y municipal, a través del
COPLADE, con el fin de establecer bases sólidas de coordinación y corresponsabilidad;
compartir conocimientos y experiencias; vincular esfuerzos; establecer compromisos
corresponsables; optimizar recursos; generar programas de trabajo apropiados para los
jornaleros agrícolas; etc. (según los TDR)
Se analizará la participación institucional que desarrolla como estrategia operativa la Unidad
Responsable del Programa, verificando:
•
la realización de trabajo coordinado en beneficio de los jornaleros agrícolas
atendidos
•
Se compararán los cambios a nivel operativo en las unidades de trabajo de atracción
entre el grupo de entidades que actúan conjuntamente con una red de instituciones
y el grupo de entidades que no han establecido directamente acuerdos entre
instituciones.
Preguntas:
•
¿Cuáles han sido los efectos del Programa Intersectorial de 2002 en las actividades
realizadas dentro del Programa Atención a Jornaleros Agrícolas?
•
¿En qué medida los acuerdos interinstitucionales se han reflejado en los beneficios
que reciben los jornaleros atendidos en dichas entidades?
•
¿Se tiene información sistematizada sobre las actividades desarrolladas dentro de la
coordinación institucional?
•
¿Comparativamente en las entidades piloto y no piloto, cuáles han sido los impactos
generados por los acuerdos interinstitucionales?
28
•
¿Qué tipo de diferencias en operación se presentan en las entidades con acuerdos
interinstitucionales respecto de entidades que no han establecido acuerdos de este
tipo?
•
¿Quién coordina las acciones entre las diferentes instituciones que participan en la
problemática de los jornaleros agrícolas?
•
¿Cuáles son las funciones de la Representación Estatal y/o las coordinaciones
operativas donde se articulan las redes de promoción social y los equipos técnicos?
3.5 Fuentes de información
Las fuentes de información utilizadas serán documentales y estadísticas, entrevistas a
profundidad, reportes del trabajo en campo, resultados de encuestas y los documentos
oficiales que siguen:
• Programa Intersectorial de Atención a jornaleros agrícolas, relatoría de la reunión del
10-07-2003
• Programa Intersectorial de Atención a Jornaleros agrícolas Marzo, 2004.
• Jornaleros Agrícolas. Secretaría de desarrollo social, subsecretaria de desarrollo
regional
• Manual de promoción social y Manual de programación y formulación de proyectos,
2003
• Estructura orgánica de las representaciones estatales
• Reglas de operación 2002 y 2003
• Organigrama del programa
29
4. Metodología propuesta para el análisis de focalización del programa
La evaluación de la focalización se centra en las zonas de expulsión de los jornaleros
emigrantes y pone atención en la asignación de recursos y la recepción de los mismos por
parte de la población a la cual están destinados. Para ello se utiliza información de gabinete
(fuentes estadísticas) proporcionadas por SEDESOL y se buscan mecanismos objetivos para
clasificar y seleccionar a quienes serán objeto de los beneficios de los programas. En este
enfoque subyace una preocupación por el costo efectividad de las prestaciones sociales: el
estado debe gastar menos dinero pero, al mismo tiempo, debe ser más efectivo con la
distribución del mismo (Sojo 1990, Raczynski 1992).
Desde esta perspectiva los eventuales grupos beneficiarios de los programas sociales
quedan clasificados en distintas categorías en función del grado de pobreza o de
necesidades básicas que requieren satisfacer.
Dado que los recursos del programa se destinan a proyectos de muy diversa índole y en una
gran cantidad de comunidades, en este apartado se pretende evaluar si los proyectos
realizados se destinaron a mejorar las condiciones de vida de la población jornalera en
zonas de expulsión, primordialmente de aquellos que viven en condiciones de mayores
índices de marginación.
En este apartado se pretende evaluar y analizar en qué medida los proyectos realizados por
el PAJA, de 2002 a 2004, contribuyeron a mejorar las condiciones de vida de la población
jornalera atendida por el programa en zonas de expulsión, de acuerdo a los grados de
marginación municipal y local, y a partir de las obras realizadas por el PAJA.
30
Los objetivos específicos de la evaluación son los que siguen:
•
Conocer cuál es el nivel de marginación de los municipios y las localidades de
expulsión que son atendidas por el PAJA durante el año 2004.
•
Comprobar si existe una relación entre el índice de marginación de las localidades y
las zonas de expulsión atendidas por el programa.
•
Cuantificar los municipios y la población atendida en zonas de expulsión en 2004,
clasificada por grados de marginación.
•
Cuantificar la inversión total y per cápita ejercida en proyectos en zonas de
expulsión, para cada uno de los años de 2002 a 2004, clasificada por grados de
marginación.
•
Cuantificar las localidades y población atendida en zonas de expulsión en 2004,
clasificada por grados de marginación.
•
Cuantificar la inversión por vertiente en zonas de expulsión para cada uno de los
años de 2002 a 2004, desagregada por grados de marginación.
•
Cuantificar los proyectos por vertiente para cada uno de los años de 2002 a 2004,
desagregados por grados de marginación.
•
Cuantificar las localidades y la población beneficiada en zonas de expulsión, para
cada uno de los años de 2002 a 2004, clasificadas por grados de marginación
•
Conocer el nivel de correlación entre la inversión total por municipio, y los grados de
marginación municipales, para el periodo 2002 a 2004 y para cada uno de los años
comprendidos.
•
Conocer el nivel de correlación entre la inversión por proyecto, clasificada por
vertiente, y los grados de marginación de las localidades donde se llevaron a cabo
los proyectos, para el total del periodo de 2002 a 2004 y para cada uno de los años
comprendidos.
31
•
Conocer el nivel de correlación entre la vertiente de los proyectos realizados y las
carencias principales relacionadas con cada vertiente analizada, a nivel municipal,
para el total del periodo de 2002 a 2004 y para cada uno de los años comprendidos.
4.1 Método propuesto
Para la realización de este apartado se han elegido métodos de análisis cuantitativo, tales
como las estadísticas descriptivas, frecuencias y la correlación de datos estadísticos. Las
bases de datos del PAJA se encuentran clasificadas en dos grandes rubros:
•
Listado de Unidades de Trabajo (UT en adelante) del PAJA, con las respectivas
localidades y municipios donde se localizan
•
Listado de Proyectos para el periodo 2002 a 2004, clasificados por localidad,
vertiente, tipo de proyecto y tipo de UT
Para conocer el nivel de marginación de los municipios de zonas de expulsión atendidos por
el PAJA, se consulta y contrasta el estudio de marginación de CONAPO de 2000.
Utilizando como referencia la proyección de población municipal de CONAPO para 2004, así
como los datos de cobertura del PAJA para 2002, 2003 y 2004, se calcula la población de
cada uno de los municipios en zonas de expulsión donde opera el programa, así como la
población atendida por el programa en cada uno de dichos municipios, para los años de
2002 a 2004. Se utilizan los datos de población atendida por cada UT para calcular la
población atendida.
32
Población
Atendida por el
PAJA en zonas
de expulsión,
para cada año,
a nivel
municipal
 e habitantes en zonas de expulsión
d
(tomados del documento de Cobertura
= PAJA 2004) de todas las localidades del
municipio con proyectos realizados en el
año de estudio.
Una vez hechos los cálculos de población y utilizando la información de marginación de cada
municipio, se cuantifica la población atendida por grados de marginación.
Población Atendida
por el PAJA en
zonas de expulsión
para cada año, a
nivel municipal, por
grados de
marginación
 e habitantes en zonas de expulsión
d
(tomados del documento de Cobertura
PAJA 2004) de todas las localidades del
= municipio con proyectos realizados en el
año de estudio y agregados por grados
de marginación de acuerdo al índice de
marginación de CONAPO.
Con la información de las fuentes citadas al inicio de este apartado, se procede a elaborar
una matriz de datos para cada municipio, incluyendo la cantidad de localidades registradas
por municipio, la inversión anualizada, la cantidad de proyectos, la población y localidades
atendidas para cada año del análisis, población estimada actual, grado y principales
indicadores de marginación. Se incluirán todos los municipios que al menos tienen un
proyecto registrado para cualquiera de los tres años que cubre el estudio. Este documento
también incluye la cuantificación de las localidades atendidas.
33
Base de datos de
Inversión
2002 a 2004
PAJA
Base de datos de
Cobertura PAJA
de 2004
Estudio e Índice
de
Marginación
Municipal 2000
CONAPO
Proyección
Poblacional 2000
– 2050 Municipal
CONAPO
Matriz Municipal de
Inversión y Población Atendida en zonas de
expulsión Anualizada;
con indicadores y grado de marginación 2000,
y;
población estimada 2004
Se anexa la sábana de datos, denominada “Apéndice Estadístico 1”.
Posteriormente, se procederá a cuantificar la inversión total y per cápita, para cada año,
agregando los totales para cada grado de marginación. Esto se llevó a cabo de la forma que
a continuación se define.
Inversión total
anualizada en zonas
de expulsión por
grados de
marginación
de la inversión en cada proyecto en
zonas de expulsión, desagregados para
= cada año y agregados por el grado de
marginación de la localidad donde se
realizó el proyecto.
Inversión per cápita
de población
atendida por el
PAJA en zonas de
expulsión,
de la inversión en cada proyecto en
zonas de expulsión desagregados para
cada año y agregados por el grado de
marginación de la localidad donde se
realizó el proyecto.
34
anualizada por
grados de
marginación
Inversión per cápita
municipal en zonas
de expulsión,
anualizada por
grados de
marginación
 e habitantes de zonas de expulsión
d
(tomados del documento de Cobertura
= PAJA 2004) de todas las localidades del
municipio con proyectos realizados en el
año de estudio.
de la inversión en cada proyecto en
zonas de expulsión, desagregados para
cada año y agregados por el grado de
marginación de la localidad donde se
realizó el proyecto.
=
de habitantes (tomados del documento
de Proyección de Población 2000-2050)
para 2004 de todos los municipios de
zonas de expulsión con proyectos
realizados en el año de estudio.
En los cuadros presentados para estos cálculos, se incluye la población atendida
directamente y la cantidad de localidades que recibieron proyectos para cada año.
Para la cuantificación de inversión y proyectos por vertiente, para cada grado de
marginación se realizan los siguientes cálculos.
de la inversión en zonas de expulsión
Inversión total
de cada proyecto desagregados para cada
anualizada en zonas de
expulsión, para cada = año y por vertiente, y agregados por el
grado de marginación de la localidad
vertiente, por grados
donde se realizó el proyecto.
de marginación
35
Proyectos Totales en
de la cantidad de proyectos en zonas
zonas de expulsión
de expulsión, desagregados para cada año
anualizados, para cada = y por vertiente, y agregados por el grado
de marginación de la localidad donde se
vertiente, por grados
realizó el proyecto.
de marginación
En el apartado final del análisis se realizarán tres análisis estadísticos para saber si el nivel
de correlación entre las variables de inversión y el grado de marginación de las localidades
que reciben las inversiones es significativo, utilizando la prueba de Pearson. Se eligió utilizar
este método porque es el de mayor rigurosidad al calcular el nivel de correlación entre dos
variables de tipo continuo (racionales o proporcionales): “En orden ascendente de fuerza la
(escala de medición) más débil es la nominal, seguida por la ordinal, la de intervalo y la de
proporción”5
Este método se basa en el producto de las desviaciones de los valores para cada una de las
variables, con respecto a sus respectivas medias.
Coeficiente de Correlación de Pearson
r=
(Xi - x) (Yi - y)
(n - 1) (SxSy)
X= Valor de X para la i-ésima observación.
Y= Valor de Y para la i-ésima observación.
x= Media muestral de X.
y= Media muestral de Y.
SX= Desviación estándar de X.
Santoyo, Horacio; Ramírez, Pablo; CIESTAAM-PAI, Universidad Autónoma de Chapingo. Manual
para la evaluación de programas de desarrollo rural. 2da. Edición. Mundi-Prensa México; p.118
5
36
SY= Desviación estándar de Y.
n= Tamaño muestral.
Para poder aplicar la prueba de Pearson, y calcular el nivel de correlación entre la inversión
municipal por año y el grado de marginación por municipio se convierte el grado de
marginación en una variable continua. Para ello se utiliza el índice de marginación de cada
municipio, que es una variable continua.
El mismo método se utiliza para calcular la correlación de la inversión por proyecto total y
por vertientes con los grados de marginación de las localidades donde se llevaron a cabo
dichos proyectos.
De igual forma, ya que las principales características de marginación de los municipios están
expresadas en porcentaje que carece de niveles de escolaridad, servicios, etcétera; es
metodológicamente válido utilizar la prueba de Pearson para correlacionarlos con las
vertientes que corresponden a solventar dichas carencias.
4.2 Preguntas clave
A través de la evaluación de la focalización se intentará dar respuesta a las siguientes
interrogantes:
•
¿Cuál es el nivel de marginación de las localidades atendidas por el Programa?
•
¿Existe una relación entre el índice de marginación de las localidades y las zonas de
expulsión atendidas por el Programa?
•
¿Es adecuada la focalización del Programa?
37
4.3 Fuentes de información
En este apartado se consultaran fuentes documentales y estadísticas (de gabinete)
Documentos oficiales
-
Programa Intersectorial de Atención a jornaleros agrícolas, relatoría de la reunión del
10-07-2003.
-
Programa Intersectorial de Atención a Jornaleros agrícolas Marzo, 2004.
-
Jornaleros Agrícolas. Secretaría de desarrollo social, subsecretaria de desarrollo
regional
-
Manual de promoción social
-
Manual de programación y formulación de proyectos, 2003
-
Estructura orgánica de las representaciones estatales
-
Reglas de operación 2002
-
Reglas de operación 2003
-
Organigrama del programa
-
Sistemas de información o bases de datos: Sistemas de información SIIPSO, SIBCI
-
Sistemas de registro de apoyos proporcionados por el Programa.
-
Listado de Unidades de Trabajo (UT en adelante) del PAJA, con las respectivas
localidades y municipios donde se localizan
-
Listado de Proyectos para el periodo 2002 a 2004, clasificados por localidad,
vertiente, tipo de proyecto y tipo de UT
38
5. Metodología propuesta para el análisis de resultados (impacto) del programa
La evaluación de impacto se enfoca a determinar el éxito global, la efectividad y los
resultados económicos, sociales y ambientales de un programa. Ayuda a tomar decisiones
sobre la continuación, expansión, reducción e incluso terminación de un programa.
En este componente de la evaluación se pretende tratar de determinar si las acciones del
programa:
•
Provocaron cambios en la realidad social que le ocupa
•
En qué medida lo hicieron
•
A qué segmentos de la población objetivo afectaron y en qué medida
•
Que contribución realizaron los distintos componentes del proyecto al logro de los
objetivos del mismo
A partir de estas respuestas se pretende elaborar sugerencias, tanto para reprogramar las
actividades futuras del Programa como para aumentar el conocimiento disponible a efectos
de manejar mejor situaciones análogas.
La Dirección de evaluación solicita en sus TDR que la evaluación de resultados se enfoque al
componente de infraestructura en las unidades de trabajo de atracción, con el objetivo de:
•
medir los resultados del programa en relación a la sostenibilidad física y operativa de
las obras
•
el cambio en el acceso y utilización de los servicios provistos así como de las
condiciones de bienestar social de los jornaleros agrícolas
•
evaluar las acciones de promoción social asociadas con las obras de infraestructura.
39
•
delimitar el ámbito de responsabilidad del Programa y de otras instancias públicas y
privadas que participen en la ejecución, operación y mantenimiento de las obras.
La evaluación de resultados utilizará la muestra de unidades de trabajo de atracción en las
que se verificarán las obras de vivienda y saneamiento ambiental, alimentación y abasto y
educación realizadas en el 2002 y 2003 para responder las preguntas que se presentan en
los TDR referente a la verificación de obras; mientras que para el caso de las obras y
acciones de 2004 se verificará el cumplimiento de metas.
En la evaluación de impacto se estudiarán los siguientes tipos de obra:
a. Vivienda y Saneamiento Ambiental/Vivienda Transitoria
•
Albergues, galeras y campamentos
•
Módulos de servicios sanitarios
•
Tomas de agua comunitarias
•
Pies de casa y rehabilitación de pisos, techos y muros, construcción de
letrinas y módulos sanitarios en viviendas unifamiliares
b. Alimentación y abasto
•
Construcción, rehabilitación y equipamiento de infraestructura de alimentación y
abasto
c.
Educación
•
Construcción, rehabilitación y equipamiento de guarderías y aulas educativas
5.1 Preguntas clave
Los objetivos y las preguntas correspondientes a la evaluación de impacto se dividen en
varias secciones que serán descritas a continuación.
Sostenibilidad física y Operativa (Coordinación Interinstitucional)
40
Análisis de la sostenibilidad de las acciones en las unidades de trabajo, para lo cual se
verificará la coordinación institucional de acuerdo al tipo de acción realizada por el Programa
en las unidades de trabajo de atracción:
•
Vivienda y Saneamiento Ambiental. Se analizará si existen relaciones que mejoren el
desarrollo de este tipo de acciones, es decir, si el Programa ha establecido acuerdos
con instituciones responsables tales como productores agrícolas, autoridades de los
gobiernos estatales y/o municipales, etc.
•
Alimentación y Abasto.- Se evaluará la existencia de acciones conjuntas entre el
Programa y otras instituciones relacionadas con estos proyectos. Para ello, el
evaluador deberá verificar si el Programa ha establecido acuerdos con instituciones
tales como DIF, Liconsa, Diconsa, programas estatales de alimentación y nutrición,
productores agrícolas, etc.
•
Educación. Se analizará si el Programa tiene acuerdos que mejoren y faciliten la
ejecución de estas acciones con las instituciones competentes, tales como
productores agrícolas, CONAFE, SEP, INEA, etc.
Preguntas a contestar en la evaluación de impacto:
•
¿Cuál es el estado actual de los apoyos a un año (o más) de su construcción?
¿Reciben el mantenimiento adecuado?
•
¿Quién es el responsable de dar mantenimiento a las obras? ¿Cuenta con recursos
suficientes para llevar a cabo las tareas de mantenimiento? ¿Cuál es el nivel de
participación de los beneficiarios en las actividades de mantenimiento?
•
¿Las unidades que así lo requieren, cuentan con el mobiliario necesario para cumplir
sus funciones (por ejemplo aulas, guarderías, comedores, etc)?
•
¿El funcionamiento de las obras es adecuado?
41
•
¿Cuál es la participación de las instituciones responsables de acuerdo al tipo de
apoyo (INEA, SEP, instituciones de salud, etc.)?
•
¿Se observan diferencias en la operación de las acciones en entidades donde existen
acuerdos interinstitucionales respecto a los que no cuentan con dicho acuerdo?
•
¿Cuál es la participación de los productores agrícolas en las actividades de
mantenimiento y operación de las acciones? ¿Existen diferencias entre el tipo de
productores agrícolas que participan, ya sea por su tamaño o mercado al que dirigen
su producción?
Con el apoyo de especialistas se diseñará un instrumento de encuesta que exprese el
estado, funcionamiento, acceso y utilización de instalaciones, con un módulo específico para
cada tipo de obra (acciones de vivienda y saneamiento ambiental, alimentación y abasto, y
educación) y que se utilicen estos datos para responder las preguntas anteriores. La
información se obtendrá de:
•
cédulas de verificación de obras,
•
Cuestionarios a informantes clave (promotores sociales, profesores, etc.)
•
encuesta a jornaleros agrícolas y productores agrícolas en las unidades de trabajo de
atracción para los tres tipos de apoyos.
Acceso y utilización de la infraestructura
Se analizará, entre otros temas, el cambio en el número de instalaciones por tipo de apoyo,
el nivel de utilización de las instalaciones comparado con su capacidad máxima, el tipo de
actividades realizadas en dichas instalaciones y las características de los usuarios (por edad,
42
sexo, unidad de trabajo6, etc.), mediante la información obtenida a través de los
cuestionarios de campo.
Vivienda y Saneamiento Ambiental
Comprende acciones de construcción y rehabilitación de espacios para pernoctar
(dormitorios, galeras, etc.), implementación de módulos sanitarios, tomas de agua
comunitarias y construcción de unidades de servicios integrales; así como la construcción de
pies de casa y rehabilitación de pisos, techos y muros en viviendas unifamiliares, y la
construcción e instalación de unidades de servicios integrales (USI). Se pretende medir el
alcance de la intervención y la satisfacción de los beneficiarios; los indicadores de resultados
relevantes serían: nivel de hacinamiento, condiciones de salubridad de las instalaciones
(limpieza, ventilación, etc), características de las edificaciones (materiales de construcción,
disponibilidad de servicios básicos a poca distancia, etc.), condición en que se encuentra la
infraestructura, número de jornaleros por letrina o servicio sanitario, entre otros.
Alimentación y Abasto
Comprende principalmente albergues o asentamientos de jornaleros la construcción,
rehabilitación y equipamiento de infraestructura de alimentación y abasto (comedores y
tiendas). Los indicadores de resultados relevantes para esta acción serían:
•
número y características de los usuarios de comedores,
•
disponibilidad de locales de abasto en la zona,
•
productos disponibles en la tienda,
•
equipamiento en las instalaciones,
•
uso de las instalaciones,
•
participación de los usuarios en su administración, entre otros.
La unidad de muestreo son las unidades de trabajo de atracción, las cuales se localizan en las zonas de
atracción y las zonas intermedias. El evaluador debe considerar las diferencias entre el tipo de acciones de
acuerdo a la zona de atención.
6
43
Educación
Este tipo de apoyos contempla la construcción, rehabilitación y equipamiento de guarderías
y aulas. Los indicadores de resultados relevantes serían:
•
asistencia regular a clase,
•
incidencia de trabajo infantil,
•
participación de los usuarios en la administración de los servicios,
•
matriculación de niños y adultos,
•
niños atendidos en las guarderías,
•
asistencia del profesor,
•
grados escolares que se imparten,
•
tasas de repetición escolar,
•
características de la población en edad escolar,
•
horarios de clases,
•
otros tipos de apoyos en especie recibidos (becas, despensas, etc.).
Se analizará la forma en la que están organizados los beneficiarios para operar los proyectos
educación, alimentación y abasto, específicamente guarderías y comedores. Verificará la
forma en la que eligen al responsable de la operación y mantenimiento, así como la
participación de los beneficiarios, el productor y/o los promotores sociales.
5.2 Estudios cuantitativos
La evaluación de resultados del PAJA incluye tres conjuntos de estudios cuantitativos: el
primero se basa en la metodología del costo-beneficio, el segundo en la de componentes
principales y el tercero en la construcción de un Índice de Asistencia
44
5.2.1 El análisis costo-beneficio
El análisis costo-beneficio es una metodología considerada como una herramienta muy
importante en la evaluación de programas de desarrollo ya que provee un medio para
cuantificar y comparar los beneficios y costos del programa. Su utilidad radica en:
•
Valorar la viabilidad financiera del programa y permitir decidir sobre su continuación
•
Aportar elementos para la toma de decisiones sobre la elección de una alternativa de
inversión
•
Permite comparar la efectividad financiera relativa entre varios programas
Definición de componentes
•
Beneficios: Se consideran todos los efectos positivos que trae consigo la operación
del programa para el objeto de estudio
•
Costos: Es todo el flujo de recursos que se destina hacia la ejecución de un
programa, y los efectos negativos producidos hacia el objeto de estudio
Existen diferentes métodos utilizados para calcular la relación Costo-Beneficio. Los métodos
más sofisticados consideran el tiempo-valor del dinero como parte del análisis CostoBeneficio. El tiempo-valor del dinero, también conocido como el factor de descuento, es
simplemente un método utilizado para convertir el Valor Futuro del dinero en Valor Presente
(pesos futuros en pesos presentes). Se basa sobre la premisa de que el peso de hoy tiene
más valor que un peso en unos años en el futuro debido a los intereses o a la ganancia que
se pueda obtener. Incluir el tiempo-valor del dinero puede ser crucial para la salud
financiera de una organización ya que los esfuerzos por mejorar pueden requerir de
compromisos de capital por un periodo de tiempo prolongado.
45
Punto de equilibrio. Observar el punto de equilibrio para realizar un esfuerzo por mejorar
una de las formas más sencillas de hacer el análisis Costo-Beneficio. El punto de equilibrio
es el tiempo que tomaría para que el total de los ingresos incrementados y/o la reducción de
gastos sea igual al costo total. Sin embargo, no toma en cuenta el valor del dinero en el
tiempo.
Periodo de Devolución. El periodo de devolución es el tiempo requerido para recuperar el
monto inicial de una inversión de capital. Este método calcula la cantidad de tiempo que se
tomaría para lograr un flujo de caja positivo igual a la inversión total. Toma en cuenta
beneficios, tales como el valor asegurado. Este método indica esencialmente la liquidez del
esfuerzo por mejorar un proceso en vez de su rentabilidad. Al igual que el Análisis de Punto
de Equilibrio, el análisis de periodo de devolución no tiene en cuenta el valor del dinero en el
tiempo.
Valor Presente Neto. El Valor Presente Neto (VPN) representa el valor presente (VP) de los
flujos salientes de caja menos la cantidad de la inversión inicial (I).
VPN=VP-I
El Valor Presente del flujo de caja futuro es calculado utilizando el costo del capital como un
factor de descuento. El propósito del factor de descuento es convertir el Valor Futuro del
dinero en Valor Presente (pesos futuros a pesos presentes) y se expresa como 1 + la tasa
de interés (i).
Tasa Interna de Retorno. La Tasa Interna de Retorno es la tasa de interés que hace la
ecuación de la Inversión inicial (I) con el Valor Presente (VP) de los flujos de caja entrantes.
Esto es, a la Tasa Interna de Retorno, I = VP o VPN=0.
46
Para el análisis será necesario desglosar por tipo de proyecto las inversiones realizadas por
PAJA dirigidas a mejorar directa e indirectamente las condiciones de vida de la población
jornalera.
Para alcanzar todos los objetivos del análisis de costos se utilizará información financiera
sobre la operación del programa y las bases de datos del programa. De ser necesario, se
apoyará en las entrevistas con operadores para un mayor nivel de comprensión de ciertos
rubros de costos y su incidencia en la operación. Se ofrecerán referencias sobre esos
posibles cruces de información.
El objetivo de todo programa social es procurar que las inversiones representen la mayor
parte de los recursos asignados, y con ello tener un impacto mayor en la población objetivo.
Se analizará si la proporción actual es susceptible de ser mejorada y cuáles rubros de costos
deberían mejorarse para ello.
Otras preguntas adicionales que se buscará responder son las siguientes:
•
¿Cuál es el costo promedio por proyecto?
•
¿Existe variación significativa de costo por proyecto para las diferentes vertientes?
•
¿La entidad federativa donde se ejecute el proyecto representa un factor para los
costos de cada proyecto?
•
¿Los niveles de marginación de las localidades tienen incidencia sobre el nivel de
costo por proyecto?
•
¿Qué categorías no inciden en la ejecución de proyectos?
•
¿Cuál es la proporción de costos de estas categorías de forma conjunta e individual
con respecto a la inversión directa en proyectos?
47
Pasos a seguir:
Identificación de los actores (stakeholder), (Scriven 1991) principales en la operación del
programa:
•
Responsables son las personas que están a cargo del programa y proporcionan la
información necesaria para la evaluación (diseñadores, personal normativo,
aportadores de recursos, autoridades intermedias y operadores del programa
•
Instituciones y agentes del programa, que son todos aquellos que están involucrados
en la operación del programa.
•
Beneficiarios y clientela final o bien población objetivo del mismo
Elaboración un diagrama de flujo identificando los principales procesos operativos definidos
en las ROP del Programa:
•
Para cada proceso identificado, se deberá verificar la disponibilidad de información
confiable y sistematizada que permita el seguimiento adecuado de cada proceso
operativo y que permita la atención oportuna de deficiencias en la operación.
•
Se Comprobará el cumplimiento de las ROP y el adecuado funcionamiento de los
procesos
Se determinará en qué medida se han corregido las principales debilidades operativas
señaladas en evaluaciones anteriores, analizando si las medidas correctivas propuestas
fueron adecuadas y si se implementaron de acuerdo a lo planeado
Por otro lado, se medirán los beneficios a través de la cuantificación del costo de
oportunidad del jornalero de haber recibido el beneficio a precios de mercado. Si en la
48
comunidad o lugar de atracción de jornaleros no hay mercados para alguno de los productos
que otorga el PAJA, se realizarán aproximaciones a partir del cálculo de precios sombra,
que puedan auxiliar en el cálculo de los beneficios recibidos por los jornaleros y/o por sus
familias. Por ejemplo: se puede obtener el costo de mantener a un niño en una guardería
privada de la localidad, constituyéndose como el beneficio que tendría la familia jornalera si
tuviera que incurrir en ese gasto.
5.2.2 Evaluación de Impactos de los apoyos de PAJA sobre el bienestar de los
jornaleros agrícolas.
Para la evaluación de los impactos se conformó un grupo de control que permitiera la
comparación de los beneficios de los jornaleros PAJA con los que no son beneficiarios del
programa.
El grupo de control es una submuestra de todos aquellos jornaleros agrícolas de la Encuesta
Nacional de Hogares Rurales o ENHRUM que no recibieron transferencias de ningún
programa gubernamental.
Una vez construido el grupo de control se eligen las características que permitan la
comparación de los apoyos de infraestructura que otorga PAJA, a partir de la metodología
de Componentes Principales.
Puesto que solamente existen datos comparativos de infraestructura en ambas encuestas, el
enfoque de componentes principales se utiliza para la evaluación de impactos en dos de las
tres vertientes estudiadas: Vivienda y Saneamiento Ambiental y Alimentación y Abasto.
49
Una vez construidos los índices se calcula el "Kernel Density" de ambos grupos para conocer
su distribución y saber si las distribuciones de PAJA están orientadas hacia puntos positivos
de la distribución. Además se obtienen las estadísticas descriptivas que presentan los
índices.
5.2.3 Índice de asistencia
Respecto a la Educación, el enfoque para evaluar esta vertiente toma en cuenta que uno de
los objetivos del PAJA es promover que los niños se eduquen y evitar que trabajen en el
campo. Con esta base, la evaluación de la vertiente Educación se realizó a través de la
construcción de un Índice de Asistencia, que mide la probabilidad de que el niño en cuestión
haya asistido a la escuela según su edad correspondiente.
5.3 Fuentes de Información
Documentos oficiales:
-
Programa Intersectorial de Atención a Jornaleros agrícolas Marzo, 2004.
Jornaleros Agrícolas. Secretaría de desarrollo social, subsecretaria de desarrollo
regional
Estructura orgánica de las representaciones estatales
Reglas de operación 2002 y 2003
Organigrama del programa
Encuestas realizadas
Encuesta Nacional a Hogares Rurales de México (ENHRUM)
50
6. Metodología propuesta para el análisis de satisfacción de los beneficiarios del
programa
Esta herramienta de evaluación incorpora sustancialmente la perspectiva de las poblaciones
beneficiarias en el proceso de análisis de las fortalezas y debilidades de los programas y de
los impactos que generan en las condiciones de vida de esas poblaciones.
La aplicación de este tipo de evaluación permite que los beneficiarios y las instituciones
ejecutoras de los programas sociales incorporen la noción de sustentabilidad a las políticas
sociales. Esta última esta asociada a la formación y desarrollo de capacidades para la
autoorganización entre los destinatarios de los programas sociales.
La evaluación desde la perspectiva de los beneficiarios es una investigación sistemática que
busca generar información y facilitar la toma de decisiones para la gestión de los programas
sobre aspectos relacionados con:
•
la adecuación entre el programa y las necesidades de la población
•
los efectos que el programa tiene sobre las condiciones de vida de los beneficiarios
•
las condiciones de vida de la población beneficiaria del programa
•
niveles, grados y características de la participación de los beneficiarios en el
programa
•
el logro de los resultados
•
el impacto generado
•
los principales problemas, prioridades y demandas identificados desde la percepción
de los beneficiarios
51
La evaluación con la perspectiva de los beneficiarios implica el análisis del programa sobre al
menos cinco aspectos fundamentales:
•
focalización y accesibilidad
•
contribución al mejoramiento de las condiciones de vida de la población beneficiaria
•
percepción de los beneficiarios de la adecuación de las respuestas del programa
(beneficios, forma de operación) a su problema social
•
Participación (intensidad, grado, características, canales y mecanismos)
•
Identificación de problemas y demandas de las poblaciones beneficiarias.
6.1 Método propuesto
Se propone el uso de herramientas de análisis cualitativo, encuesta específicamente a los
lugares de atracción aplicada a beneficiarios-jornaleros y a productores que participan en el
programa. Se ha elegido este método porque:
•
Garantiza la confidencialidad del entrevistado
•
El costo es moderado
•
Es fácil de alcanzar a un número relativamente grande de personas
•
Se prestan a manejos estadísticos complejos
La encuesta será personal o “cara a cara”
(Santoyo 2002), aplicadas individualmente
hablando con el encuestado y registrando sistemáticamente sus respuestas a cada
pregunta, con las siguientes ventajas:
•
Puede usarse con una población altamente dispersa
•
Es adecuada para poblaciones donde no puede obtenerse un marco de muestreo
adecuado
52
•
Puede usarse donde hay una proporción de alfabetización o de infraestructura
baja
•
Existe alto grado de control sobre quién contesta el cuestionario
6.2 Preguntas clave
La encuesta se aplicará con especial énfasis en los ejercicios 2002-2003, con respecto de los
siguientes aspectos del programa:
Percepción de los productores agrícolas
•
¿En qué medida los productores agrícolas identifican correctamente el Programa,
entienden la forma en la que opera y los apoyos que otorga?
•
¿Cuál es la percepción de los productores agrícolas sobre la accesibilidad al programa
en términos de difusión de información?
•
¿Cuál es el tipo de coordinación de acciones que el productor agrícola establece con
los promotores sociales?
•
¿El productor agrícola nombra a alguno de sus trabajadores como gestor ante el
Programa para la solicitud de apoyos ó el gobierno estatal, municipal o local le
solicita su participación en las acciones?
•
¿Qué tipo de información proporcionaron los promotores sociales a los productores
agrícolas?
•
¿Qué tipo de actividades realizan con el promotor social? ¿Consideran importantes
las acciones emprendidas por el promotor social?
•
¿El productor agrícola pertenece a algún tipo de asociación de agricultores? ¿Cuál ha
sido su experiencia con los apoyos recibidos por parte del Programa?
53
Percepción de los jornaleros agrícolas
•
¿Los objetivos iniciales del programa se corresponden con los requerimientos de la
población jornalera Agrícola?
•
¿las actividades del programa son efectivas considerando la percepción que los
destinatarios tienen de sus resultados?
•
¿En qué medida los jornaleros agrícolas identifican correctamente el Programa,
entienden la forma en la que opera y los apoyos que otorga?
•
¿Los jornaleros agrícolas nombran a algún representante ante el Programa y/o el
productor agrícola para la solicitud de apoyos?
•
¿Cuál es la percepción de los jornaleros agrícolas beneficiados en las unidades de
trabajo de atracción sobre la promoción social? ¿Consideran que los cambios
implementados en la promoción social han generado impactos en la atención que
reciben?
•
¿Qué tipo de información y atención proporcionaron los promotores sociales a los
jornaleros agrícolas?
•
¿Qué mecanismos establecen los promotores sociales para actuar con los jornaleros
agrícolas en las diferentes unidades de trabajo?
•
¿Cuál es la percepción de los beneficiarios sobre el tipo de apoyos realizados o
recibidos? ¿Se mejoraron las condiciones de bienestar de los jornaleros agrícolas?
•
¿La forma de selección de las acciones implementadas por el Programa es adecuada
para dar respuesta a las necesidades de los jornaleros agrícolas?
•
¿Cuál es la opinión de los beneficiarios sobre el tipo de apoyos en especie que se les
entregan? ¿Qué tipos de apoyo reciben?
•
¿Reciben otro tipo de apoyos por parte de SEDESOL (Diconsa, Liconsa,
Oportunidades, etc)?
54
•
¿Los jornaleros agrícolas atendidos reconocen al Programa como el responsable de
los apoyos que reciben? ¿Consideran importante la participación del productor
agrícola?
•
¿Qué tipo de actividades realizan con el promotor social? ¿Consideran importantes
las acciones emprendidas por el promotor social? ¿Los jornaleros agrícolas confían en
el promotor social?
•
¿Cuál es el valor que los jornaleros agrícolas asignan a los beneficios recibidos?
Como parte de la evaluación se realizarán encuestas a jornaleros agrícolas, informantes
clave de las instituciones en el caso de acciones de educación (por ejemplo, el profesor) y
con productores agrícolas en las diferentes unidades de trabajo de atracción.
Se determinará en qué medida persisten deficiencias señaladas en evaluaciones anteriores,
analizando si las medidas correctivas propuestas fueron adecuadas y si se implementaron de
acuerdo a lo planeado.
6.3 Fuentes de información
Programa Intersectorial de Atención a Jornaleros agrícolas Marzo, 2004
Jornaleros Agrícolas. Secretaría de desarrollo social, subsecretaria de desarrollo regional
Reglas de operación 2003
Encuestas a beneficiarios del programa y a productores
55
Marco Referencial Básico
Bibliografía
Aguilar, Luis. La hechura de las políticas públicas, antología. Porrúa, México, 2000.
Alvira Martin Francisco, “Metodología de la evaluación de programas”, en cuadernos
metodológicos. Centro de Investigaciones sociológicas, Madrid, España, 1991.
Arroyo Alejandre Jesús. Economía regional y migración. Juan Pablos Editor, 1998.
Barry Bozeman. La gestión pública su situación actual. Fondo de cultura económica.
México, 1998.
Bojórquez León César. Sistemas de información y elaboración de indicadores. Instituto para
el desarrollo técnico de las haciendas públicas INDETEC. México, 2001.
Cohen, Ernesto y Rolando Franco, Evaluación de proyectos sociales. Instituto
Latinoamericano y del Caribe de Planificación económica y Social (ILPES/ONU) y Centro
Interamericano de Desarrollo Social Argentina, México, 1988
Cortés Fernando y Rosa Maria Ruvalcaba. Técnicas estadísticas para el estudio de la
desigualdad social. El Colegio de México, México, 1982
Graham, C. 1998. Private Markets for Public Goods: Politics, Equity, and Institutional
Performance. Paper prepared for panel on “Market Reforms, Distribution, and
Conflict Latin American Studies Association”, Annual Meeting, Chicago,
septiembre 24-26.
González Cornejo Aurelio. Desarrollo organizacional. Editoral PAC, México 2000
Kreitner Robert y Angelo Kinicki. Comportamiento de las organizaciones. Mc Graw hill,
México, 1998.
Lindblom, Charles. The Policy Making process, ,Prentince Hall, 1990.
Lindblom , Charles. Democracy and Market Sistem, Scandinavian University Press,
Koldstadgaten, Noruega, 1988.
Martinic, Sergio. Diseño y evaluación de proyectos sociales. Colectivo Mexicano de Apoyo a
la Niñez COMEXANI y centro juvenil de promoción integral. México, 1997.
56
Rojas Soriano Raúl. Guía para realizar Investigaciones sociales. Plaza y Valdez editores.
Mexico, 1993.
Santoyo Horacio, Pablo Ramírez, Murari Suvedi. “Manual para la evaluación de programas
de desarrollo rural”. Universidad Autónoma de Chapingo y Michigan State University,
ANRECS Center for Evaluative Studies. 2000.
Sistema de Información, Monitoreo y evaluación de Programas Sociales, Banco mundial,
Secretaria de desarrollo Social, UNESCO. Gestión integral de Programas Sociales Orientada
a Resultados. Fondo de Cultura Económica, Argentina, 1999.
Trejo Guillermo y Jones Claudio Contra la Pobreza por una estrategia de política social, ed.
Cal y arena, CIDAC, México, 1993.
Documentos oficiales
• Programa Intersectorial de Atención a jornaleros agrícolas, relatoría de la reunión
del 10-07-2003
• Programa Intersectorial de Atención a Jornaleros agrícolas Marzo, 2004.
• Jornaleros Agrícolas. Secretaría de desarrollo social, subsecretaria de desarrollo
regional
• Manual de promoción social
• Manual de programación y formulación de proyectos,2003
• Estructura orgánica de las representaciones estatales
• Reglas de operación 2002
• Reglas de operación 2003
• Organigrama del programa
• Referencias en Línea
Fuentes de información en línea
http://www.cis.org/articles/2000/back400.htm
http://www.iadb.org/indes/spanish/index_spanish.htm
http://www.dnp.gov.co/01_CONT/EVALUACI/FOCALIZADAS.HTM
http://www.iadb.org/indes/spanish/index_spanish.htm
http://www.unesco.org/worldreport/html_eng/tables2.shtml
http://www.fao.org/documents/show_cdr.asp?url_file=/DOCREP/006/x0570t/x0570t00.HTM
http://www.ansto.gov.au/fnca/indicators.html
http://www.urban.org/nnip/acipprinciples.html
57
http://www.b-k.co.uk/best.htm
http://www.hec.ca/ijam/415.htm#espanol
http://www.undp.org.mx/desarrollohumano/
http://lnweb18.worldbank.org/external/lac/lac.nsf/Sectors/ChiefEconPres/FBA6F0C081AAA1
D585256BCF00576D73?OpenDocument
58
Anexo A - Diseño Muestral Propuesto
Para obtener información significativa que se requiere en varias etapas del proceso de
evaluación, se procederá a la aplicación de encuestas tipo (esquematizadas), entre los
participantes en el programa del lado de operación del programa y del lado de los
beneficiarios del mismo.
Para ello es necesario definir el marco muestral del cual se va a seleccionar la muestra que
nos permita hacer inferencias significativas.
Es importante señalar algunas limitaciones
propias de la naturaleza del programa que reducen el universo, o los elementos susceptibles
de ser muestreables.
•
De acuerdo a las especificidades del estudio, del programa y de acuerdo a la petición
de la dirección se tomarán en cuenta sólo los proyectos ubicados en zonas de
atracción
•
De ellos se seleccionaran solo las relacionadas con las tres se verifican los proyectos
relacionados con vivienda, alimentación y educación (las vertientes que se solicitan
en los Términos De Referencia)
•
De ellos se tomarán en cuenta solo los proyectos ubicados en Unidades de trabajo
activas cuando se aplique la encuesta, para que sea posible la obtención de la
información. Estimamos que la encuesta se aplicará entre los meses de NoviembreEnero.
59
En virtud de lo anterior el marco muestral incluye Proyectos en las tres vertientes
requeridas, vivienda, alimentación y educación, en zonas de atracción, activas en los meses
de noviembre 2004-enero 2005.
Método elegido para la obtención de datos
Se propone la utilización del método de Censo de las obras focalizadas para satisfacer el
número requerido por los términos de referencia, el cual nos permitirá, hacer inferencias
válidas para toda una población delimitada (o focalizada) por obras de infraestructura física,
activas, en temporalidad y en zonas de atracción, para las vertientes de Alimentación y
abasto, educación y vivienda.
Se eligieron todos los elementos existentes con estas características. El resultado fueron
583 obras en 14 estados de la república. Sin embargo después de discusiones se decidió
eliminar del censo a dos estados: Durango y Puebla, porque tenían pocas obras y de poca
representatividad para el estudio. Finalmente se la muestra estuvo conformada por 578
obras en 12 estados con la distribución en el cuadro de la siguiente página.
El censo incluye solo los proyectos en unidades de atracción, de las tres vertientes elegidas
(Vivienda, Alimentación y Educación) y que se encuentren activas respecto a la
temporalidad. Para lo anterior se revisaron las bases de datos proporcionadas por el
programa.
•
Primero se procedió a determinar el número de proyectos susceptibles de ser
encuestados (universo)
60
Matriz de obras por vertiente y estado
Estado
Baja California
Baja California Sur
Chihuahua
Colima
Guerrero
Hidalgo
Jalisco
Michoacán
Morelos
Nayarit
Oaxaca
San Luis Potosí
Sinaloa
Sonora
Tamaulipas
Veracruz
Total
Vivienda y
Educación,
Alimentacion
Saneamiento
cultura y
y Abasto
ambiental
Recreación
20
1
10
0
0
0
13
47
74
29
0
10
42
20
15
18
299
3
2
0
0
0
0
2
3
17
21
0
0
8
4
0
1
61
36
9
2
0
0
0
10
22
32
38
0
6
45
15
0
3
218
Total
59
12
12
0
0
0
25
72
123
88
0
16
95
39
15
22
578
Aunque en los TDR se recomendaba visitar 10 estados, los cuatro con sobremuestreo y 6
del interés del evaluador, fue necesario visitar proyectos en unidades de trabajo de
atracción activas en 12 estados para poder cubrir el tamaño de la muestra en las tres
vertientes elegidas.
Por tanto la muestra total fue de 578 obras y si se considera entrevistar a 3 beneficiarios
(jornaleros) en cada obra tendremos alrededor de (1,734) entrevistas a beneficiarios.
Según los encargados del programa cada unidad de trabajo tiene en promedio dos obras de
los tipos seleccionados, algunas llegan a tener hasta 6 obras de los tipos seleccionados en la
misma UT, por lo cual se estima que se visitarán aproximadamente 346 unidades de trabajo.
61
Del mismo modo, en cada localidad existen en promedio dos unidades de trabajo, en
algunas localidades llegan a existir 19 UT, por lo que se estima que se visitarán
aproximadamente 173 localidades en aproximadamente 90 municipios.
62
Anexo B - Propuesta de Esquema del Informe final de evaluación
1) Portada y título
En esta parte se presenta el equipo de trabajo, la institución evaluadora y la fecha del
informe
2) Resumen ejecutivo
Breve relato de alrededor de cuatro páginas describiendo los objetivos de la evaluación
externa, método, procedimiento de trabajo, principales resultados, conclusiones y
recomendaciones. El resumen se escribe una vez finalizado el informe.
3) Introducción
En ella se describen los antecedentes y objetivos de la evaluación externa. Se indica la
importancia del programa y el sentido de la evaluación. Se explican los principales
elementos del enfoque evaluativo y el procedimiento de trabajo. Se presentan los capítulos
y secciones que componen el informe.
4) El Programa de Atención a Jornaleros Agrícolas (PAJA)
Se presentara el Programa de Atención a Jornaleros Agrícolas. Se definirán los grupos de
interés, los beneficiarios, los problemas a enfrentar, los objetivos, resultados esperados y
principales actividades realizadas. Se describe su funcionamiento, cambios y etapas de
desarrollo. Contexto y factores que inciden o afectan su viabilidad.
5) Diseño y metodología de la evaluación externa
Se define el objeto o foco de evaluación para cada componente entregado (diseño,
focalización, reporte del piloto, operación y resultados (impacto) y percepción (satisfacción)
de los beneficiarios se presenta el modelo de evaluación, criterios e indicadores. El diseño
metodológico, la estrategia de recolección de información, el diseño maestral y los
instrumentos utilizados.
63
6) Presentación y discusión de resultados
Descripción del foco y objetivos de la evaluación externa. Descripción del resultado de los
productos de la evaluación. (Análisis de diseño, Focalización y cobertura, operación,
resultados (impacto), percepción). Análisis Gráfico, cuadros, mapas y fotos que ilustren el
desarrollo del texto, recuadros, citas, observaciones de entrevistados. Contiene una breve
explicación del proceso de análisis y comparación con resultados de otras evaluaciones
externas en programas similares.
7) Conclusiones y recomendaciones
Conclusiones en relación a los resultados obtenidos y preguntas iniciales de la evaluación.
Discusión de estos resultados en comparación con resultados de otros programas similares.
Se expresan los logros no previstos y las hipótesis interpretativas.
Se enuncian las recomendaciones en torno a objetivos, diseño y procedimiento de trabajo
del proyecto evaluado. Aprendizajes y medidas para mejorar el proyecto y si se recomienda
su continuidad.
8) Bibliografía
9) Anexos
Presentación de diseño de proyecto de evaluación, instrumentos, cronograma de trabajo,
mapas, cuadros estadísticos, transcripciones, u otra información relevante para el lector.
64
Anexo C - Planes de la Encuesta Piloto
La encuesta piloto (EP) se realiza al menos quince días antes del levantamiento de las
encuestas (de hecho se hizo durante la tercera semana de noviembre de 2004).
Los cuestionarios que se probarán en la encuesta piloto son:
•
Encuesta de instalaciones
•
Encuestas a empresarios agrícolas o capataces
•
Encuesta a beneficiarios
La preparación de la encuesta piloto requiere que los evaluadores cuenten con al menos dos
semanas de anticipación al inicio de la EP, los comentarios de los funcionarios de la DGEMPS
a los borradores de los cuestionarios entregados por los primeros el 27 de Octubre del año
en curso como parte de l informe metodológico.
Durante las dos semanas transcurridas entre la entrega y comentarios mencionados en el
párrafo previo, los evaluadores elaborarán un borrador de manual para las personas que
realicen las encuestas y un plan de trabajo para la realización de las mismas. Dicho plan
incluirá el itinerario del levantamiento, un listado de los coordinadores regionales y de los
encuestadores, sus compromisos, pagos, así como los procedimientos a seguir para el
vaciado de los datos en forma electrónica y validación de los resultados de las encuestas.
Por último, los evaluadores se podrán en contacto con los promotores sociales y otros
funcionarios de las UT y estatales del PAJA para preparar la EP (es decir, para precisar el
itinerario, para establecer entrevistas, etc.)
El objetivo de la EP es el de probar los cuestionarios para las cuatro encuestas.
65
Se pretende aprovechar la prueba para iniciar el entrenamiento de encuestadores, por lo
que invitaremos a un par de encuestadores potenciales. Con su participación contaremos
con opiniones adicionales sobre la calidad de los cuestionarios. Así mismo, su participación
contribuirá a refinar el texto del manual para las encuestas.
La encuesta piloto se realizará en unidades de trabajo del estado de Morelos. A partir de la
cantidad de obras y variedad de las mismas, se decidió hacer la prueba piloto en el
municipio de Ciudad Ayala.
Municipio de
Ciudad Ayala
El municipio de Ayala tiene un total de 85 proyectos realizados durante los 3 años que cubre
la evaluación. Las obras se llevaron a cabo en 12 distintas localidades y por 25 diferentes
UT.
66
Estas son las características encontradas en la base de datos para este municipio.
Obras
Tipos de
Obras
Vivienda y
Saneamiento
ambiental
26
5
Alimentación y Abasto
26
4
Educación, cultura y
Recreación
33
8
Total
85
15
Las UT de Ciudad Ayala funcionan todo el año en su mayoría. Aquellas que no funcionan
todo el año tienen periodos de Noviembre a Abril o Noviembre a Julio, por lo que no hay
ningún inconveniente en realizar la prueba piloto en esta zona.
De las 12 localidades, se presentan las 3 que mejores posibilidades tienen para aplicar la
prueba con éxito, ya que tienen la mayor cantidad de obras de los tres tipos seleccionados.
Localidad
Tenextepango
Olintepec
Chinameca
Vivienda y
Educación,
Alimentación
Saneamiento
cultura y
y Abasto
ambiental
Recreación
2
8
11
1
7
6
9
1
4
Total
21
14
14
67
Anexo D -Instrumentos de campo Propuestos
Incluimos como anexos formatos con encuestas tipo para jornaleros, productores e
inversiones (encuesta de instalaciones), así como el de las entrevistas a profundidad.
68