1.- Metodología de evaluación

1.- Metodología de evaluación
Con el objetivo de evaluar sistemáticamente y adecuadamente los objetivos
específicos. El proceso de evaluación se desarrollará a través de tres etapas
fundamentales, que son: La supervisión del programa, la evaluación de los
procesos y la medición de los impactos económicos y sociales.
Diagram a 1. Metodología para la evaluación del Program a de
Coinversión Social
Super
visión
Procesos
Impactos
La supervisión a yuda a evaluar si el Programa de Coinversión Social,
revisando lo implementado de acuerdo a lo planificado. Es decir, se
evaluará la congruencia que guardan el programa
con los objetivos
planteados a nivel sectorial, estatal y nacional; particularmente deberá
analizarse la congruencia de la reglas de operación en cada objetivo
especifico
de
evaluación.
Este
ejercicio
permitirá
retroalimentar
constantemente al programa sobre el estado en que se encuentra su
implementación e identificar los cambios específicos a medida que estos se
presentan en referencia a lo programado. De la misma manera, se verificará
que los funcionarios y operadores tengan conocimiento sobre los objetivos,
estrategias y metas que se propone el Programa.
La evaluación de procesos se relaciona con la forma en que funciona el
programa en sus distintas etapas y procesos de operación, y se centra en
la evaluación de las externalidades positivas y/o negativas que se derivan
de la cadena de acuerdos y acciones que resultan de seleccionar los
proyectos y asignarles recursos económicos. En la medida en que?la forma
en que se realizan los diferentes procesos tiene algún efecto sobre los
alcances e impactos del Programa, sería de esperarse que los procesos
fueran los adecuados, de acuerdo con la planeación y normatividad que se
estableció en el Programa y se estableció en la supervisión.
La evaluación del impacto tiene el objeto de determinar los efectos que
se producen con las acciones que realiza el programa, evaluadas en los
procesos. Este análisis se realizara tomando como línea basal los objetivos
específicos a evaluar establecidos en los términos de en
referencia.
Considerando a los actores que intervienen en todo el proceso de
implementación
del
programa.
Esto
permitirá
examinar
las
externalidades no previstas, ya sean positivas o negativas.
Considerando lo anterior a continuación se plantea la forma de cómo se evaluará
de forma sistemática cada uno de los objetivos planteados en Términos de
Referencia.
Cada punto a desarrollar tendrá el siguiente esquema:
Diagrama 2. Esquema M etodológico de Sistematización y Fuentes de información
Sistematización
Fuentes de Información
Objetiv o(s)
Términos de Referencia y
Equipo evaluador
Hipótesis
Equipo evaluador
Marco Metodológico:
• Superv isión
• Procesos
• Impactos
Reglas de Operación,
Términos de Referencia,
Ev aluaciones anteriores
y Equipo ev aluador
Productos
Términos de Referencia y
Equipo evaluador
Alternativ as de Obj etivos
de evaluación
en caso de ser necesario
Equipo evaluador y
Evaluación evaluaciones
anteriores
Pertinencia y metodología para la comprobación de cada una de las hipótesis y
obtención de indicadores, así como su relación con los objetivos de la
evaluación.
2.- Del diseño
La evaluación del diseño del programa incluirá cinco aspectos centrales:
•
Análisis de congruencia entre los objetivos y las acciones del Programa,
frente a la estrategia y políticas de combate a la pobreza establecidas en el
Plan Nacional de Desarrollo 2001-2006 y en el Programa de Desarrollo
Social 2001-2006;
•
Análisis de complementariedad, o en su caso,
de duplicidad de las
acciones del Programa frente a otros programas sociales de combate a la
pobreza que operan en el país;
•
Análisis de congruencia entre reglas de operación que regulan el Programa
y las actividades realizadas por los operadores del mismo;
•
Estudio comparativo a nivel internacional con otros programas de combate
a la pobreza basados en el desarrollo de infraestructura social básica y
productiva a nivel regional y local.
•
Análisis de logros de las modificaciones a las reglas de operación de los
últimos dos años.
2.1Objetivos
•
Se analizará la congruencia que guarda el diseño y operación del Programa
Coinversión Social con los principios y líneas de acción establecidos por el
Plan Nacional de Desarrollo 2001-2006, el Programa de Desarrollo Social
2001-2006, la Estrategia Nacional de Combate a la Pobreza (CONTIGO), con
el objetivo de alinear las políticas, estrategias y acciones, para potencializar
los esfuerzos y resultados.
•
En la medida en que se considera que el Programa de Coinversión Social es
un programa para fomentar el desarrollo social integral de la población en
situación de pobreza, exclusión, marginación, desigualdad por genero o
vulnerabilidad social. Teniendo un carácter detonador de procesos en las
vertientes: social, económica, fortalecimiento institucional, capacitación e
investigación, por lo que los distintos programas que engloba la estrategia
contigo tienen un carácter de complemento ante las líneas de acción
establecidas en el programa de Coinversión Social, deberá realizarse un
análisis de complementariedad, o en su caso, de duplicidad de las acciones
del Programa frente a otros programas sociales de combate a la pobreza que
son operados a nivel federal, estatal y municipal. Si se encuentra que las
acciones son complementarias, deberán tomarse medidas para consolidar
esa complementariedad y mejorar los resultados e impactos. De lo contrario,
si no se percibe complementariedad, y además hay duplicidad de acciones,
se deberán tomar medidas correctivas para el establecimiento de una política
directiva que coordine las diferentes acciones de todos los programas, sean
estos federales, estatales y/o municipales.
•
Se analizará el grado de cumplimiento de las reglas de operación y su
congruencia con las actividades realizadas por los funcionarios y operadores
del Programa, sobre todo, en aspectos como la alineación con los objetivos
del Programa, la focalización de población objetivo y la transparencia en los
apoyos otorgados, entre otros aspectos.
•
De manera adicional, se realizará un estudio comparativo a nivel
internacional con programas de combate a la pobreza que operan con base
en el desarrollo de infraestructura social básica y productiva a nivel regional y
local. El objetivo de este estudio es identificar las debilidades y restricciones
que enfrenta en su diseño y operación el programa de Desarrollo Local, así
como detectar sus fortalezas y áreas de oportunidad. De aquí deberán surgir
elementos para replantear una estructura de operación del Programa más
eficiente que permita mejorar los impactos positivos sobre la población
objetivo. Este apartado consistirá básicamente en investigación de gabinete,
y el proceso será la revisión de los distintos programas internacionales de
combate a la pobreza cuya naturaleza sea similar a la del Programa de
Desarrollo Local. El resultado será un estudio comparativo que sistematicé
las “mejores practicas” en términos de impactos sobre la población objetivo.
•
Análisis de pertinencia del programa de Coinversión Social con la Ley de
Fomento a las Actividades de Organizaciones de la Sociedad Civil, en
especifico con el perfil de los actores sociales que son los agentes últimos de
gestión del programa.
•
Análisis de las modificaciones realizadas a las reglas de operación bajo un
esquema de metas cumplidas. El objetivo de este ejercicio seria el establecer
causa de modificación, objetivos de las modificaciones, metas establecidas
para las modificaciones y cobertura de las metas establecidas, con el fin de
evaluar establecer la consistencia entre modificaciones y logros esperados.
2.2 Hipótesis
H1: El objetivo, la estrategia, las políticas y las acciones del Programa de
Coinversión Social son congruentes con los lineamientos de la política de combate a
la pobreza establecidos por el Plan de Desarrollo Social 2001-2006
y el
Plan
Nacional de Desarrollo 2001-2006.
H2: Las acciones del Programa de Coinversión Social son complementadas con las
acciones de otros programas de la Estrategia Contigo, dando como resultado
mayores y mejores impactos sobre los beneficiarios.
H3: Las reglas de operación que regulan el Programa son funcionales y posibilitan
la ejecución de sus acciones, además de que los operadores y funcionarios del
Programa se apegan estrictamente a la normatividad que estas establecen
2.3 Metodología
Para evaluar el Diseño del Programa, será necesario recurrir tanto a la investigación
de gabinete como a la de campo
2.3.1 La supervisión
De acuerdo con sus reglas de operación el Programa de Coinversión Social éste
forma parte de la estrategia de corresponsabilidad en la Política Social, por ello se
deberá analizar la congruencia que guarda el diseño y operación del Programa
Coinversión Social con los principios y líneas de acción establecidos por el Plan
Nacional de Desarrollo 2001-2006, el Programa de Desarrollo Social 2001-2006, la
Estrategia Nacional de Combate a la Pobreza (CONTIGO). Este análisis involucrará
no sólo la revisión documental sobre el Programa y las políticas y estrategias de
combate a la pobreza, sino que además requerirá que los evaluadores visiten y
entrevisten a los funcionarios y operadores del Programa, para valorar el grado de
conocimiento que los mismos poseen sobre estos lineamientos y políticas. En el
mismo sentido, deberá evaluarse la existencia de complementariedad, o en su caso,
de duplicidad de acciones del Programa frente a otros Programas que operan en el
país
2.3.2 Los Procesos
Se realizará un análisis de congruencia entre reglas de operación que regulan
el Programa y las actividades realizadas por los funcionarios y operadores del
mismo. De manera particular se revisarán la forma como se encuentra
integrado el programa y cómo funcionan los distintos procesos en los que se
incurre para seleccionar un proyecto y asignarle recursos, con el propósito de
detectar cuellos de botella que podrían estar limitando los alcances de los impactos.
A partir de la revisión de los distintos procesos del Programa, se deberán crear, si
es necesario, mecanismos alternativos que hagan más eficiente su operación y
funcionamiento, estos mecanismos pueden implicar la modificación de las mismas
reglas de operación, y/o bien, la adecuación de las acciones a la normatividad
establecida, en especifico la ley de Fomento a las Actividades de Organizaciones de
la Sociedad Civil.
2.3.3 Los Impactos
El análisis del impacto del diseño, consistirá en detectar externalidades
positivas y/o negativas que son causadas por la forma en que opera y fue
diseñado el Programa. Así mismo, se deberá valorar en qué medida la
complementariedad del programa frente a las acciones de otros programas sociales,
permite mejorar los impactos positivos sobre las localidades objetivo, o bien, en qué
medida la duplicidad de acciones restringe la generación de esos impactos
positivos.
En cuanto al cumplimiento de las reglas de operación, es muy importante valorar en
qué medida, el adecuado cumplimiento de la normatividad por parte de los
funcionarios, operadores del Programa y los Agentes Responsables de la Ejecución
de los Proyectos (AREP), se ve reflejado en mayores y mejores impactos sobre las
beneficiarios, ya que sería de esperarse que la falta de cumplimiento de las reglas
de operación sería un factor que favorecería al manejo poco transparente y
discrecional del Programa.
En lo que respecta al estudio comparativo a nivel internacional, se estarían tomando
las “mejores practicas” de aquellos programas que mayores y mejores impactos
generan sobre sus beneficiarios.
2.3.4 Productos
•
Un diagnóstico de Plantación Estratégica, para la alineación de las
políticas, las estrategias y las acciones del Programa,
•
Diseño de una matriz de complementariedad
•
Construcción de una matriz de restricciones
•
Construcción de un proyecto de reestructuración
•
Reporte de comprobación de hipótesis
2.2 Operación
Según los términos de referencia el apartado de operación tienen como propósito
establecer un análisis de los procesos operativos, de la verificación del
cumplimiento de metas físicas y financieras, así como un análisis de costos.
2.2.1Procesos Operativos
2.2.1.1Objetivo
Se le dará seguimiento a cada proceso operativo conforme lo establecen las
reglas de operación, identificando la información adecuada de cada proceso para
detectar posibles restricciones y deficiencias en la operación.
2.2.1.2 Hipótesis:
H1: La generación de información en cada proceso operativo cumple con la
normatividad establecida en reglas de operación.
H2: La operación actual del programa cumple con sus objetivos establecidos en
reglas de operación.
2.2.1.3 Metodología
2.2.1.3.1 Supervisión
El proceso operativo que establecen las reglas de operación para la conformación
y realización se puede sistematizar de manera general de la siguiente forma:
1. Oferta de apoyos. El INDESOL emite las convocatorias correspondientes
al ejercicio fiscal del año lectivo, bajo un criterio de oferta de apoyos
etiquetados según lo establecido por reglas de operación en las vertientes
de
social,
investigación.
económica,
fortalecimiento
institucional,
capacitación
e
2. Demanda de Apoyos. La demanda es realizada por los actores sociales
dentro de estos se considera a las organizaciones de la sociedad civil
(OSC), a los gobiernos municipales y a las instituciones académicas de
educación superior o de investigación que participan en este Programa
presentando proyectos. Los cuales deberán presentar un proyecto que
tenga como fin
alguno de los siguientes objetivos: reducir la pobreza
extrema; generar la igualdad de oportunidades para los grupos más pobres
y vulnerables; reducir las desigualdades entre hombres y mujeres; apoyar el
desarrollo de las capacidades de las personas en condición de pobreza;
fortalecer el tejido social, fomentando la participación y el desarrollo
comunitario; generar conocimientos con diferentes actores sociales que
permitan mejorar las acciones públicas de política social, y aumentar el
impacto de las inversiones de los tres órdenes de gobierno.
3. Clasificación de proyectos. Una vez que la demanda es ubicada se
clasifican los proyectos bajo un criterio de priorización dando preferencia a
proyectos que Involucren a municipios comprendidos en las micro regiones;
presenten un mejor esquema de coinversión; que promuevan la equidad de
género; tengan impacto en dos o más entidades federativas; se dirijan a
comunidades o grupos con población indígena; se articulen o coordinen con
uno o más programas gubernamentales dirigidos a la superación de la
pobreza.
4. Oferta y demanda realizada. Una vez validados los proyectos la oferta y
demanda se realizan a partir de la participación de los actores sociales
mediante la aportación de recursos humanos, materiales y financieros en
complemento a los recursos federales aportados por el Gobierno Federal a
través del INDESOL para la ejecución de los proyectos convenidos.
Además, el INDESOL podrá brindar servicios de formación, capacitación,
asesoría e información a los actores sociales
En referencia a lo anterior se establece el siguiente diagrama:
Diagram a 3. Proceso de Implementación del Programa de Coinversión Social
Acciones del INDESOL: Emisión de convocatoria, validación de
proyectos, dictamen sobre los proyectos, ajuste de proyectos,
su scripción del convenio, ministración de recursos federales,
seguimiento y evaluación.
Oferta de
Apoyos por
parte del
Indesol
Demanda de
Apoyos por parte
de actores
sociales
Acciones de Actores Sociales: contar con la documentación
establecida en reglas de operación, presentar un proyecto en
congruencia con los objetivos del programa de coinversión
social, una vez que se les ha elegido para realizar su proyecto
deberán cumplir todas las obligaciones establecidas en reglas de
operación para los Agentes Responsables de la Ejecución de los
Proyectos (AREP)
Con base en el anterior esquema se desarrollará cada proceso establecido en las
reglas de operación, en especifico, en el apartado de mecánica de operación. Ello
permitirá disponer de un marco evaluador detallado sobre los procesos operativos,
sus responsables e información que deberá generarse.
2.2.1.3.2 Procesos
Una vez realizada la supervisión de los procesos operativos se tendrán
identificadas cada uno de los procesos particulares sobre los cuales la operación
del Programa se basa. El siguiente paso será constatar que cada uno de los
procesos se lleve a acabo de forma adecuada y que se genere la información
necesaria para sustentar la operación de cada proceso.
La constatación de los procesos establecidos se realizara con sistemas de
seguimiento y entrevistas a profundidad a responsables de la operación del
programa a nivel central y una encuesta a los operadores del Programa
(Delegación Estatal SEDESOL, Oficinas centrales de INDESOL) e instancias
ejecutoras (Agentes responsables de la Ejecución de los Proyectos ).
2.2.1.3.3 Impacto
Al termino de la aplicación de las herramientas de seguimiento se realizará la
sistematización de la información recabada y en forma complementaria se
construirá una Matriz de Fortalezas, Oportunidades, Debilidades y Amenazas
(FODA) bajo cuatro tipos de estrategias, entendiendo una estrategia el conjunto de
acciones que se implementa para alcanzar los objetivos, dichas estrategias son:
Fortalezas y Oportunidades (FO), Debilidades y Oportunidades (DO), Fortalezas y
Amenazas (FA) y Debilidades y Amenazas (DA).
•
Las estrategias de tipo FO tienen como objetivo usar las fortalezas para
aprovechar oportunidades.
•
Las estrategias tipo DO tienen como propósito la mejora de las
debilidades, valiéndose de la oportunidades externas.
•
Las estrategias tipo FA se basan en la utilización de las fortalezas de la
institución para evitar o reducir el impacto de las amenazas externas.
•
Las estrategias tipo DA tienen como objetivo derrotar las debilidades
internas y eludir las amenazas.
2.2.1.3.4 Productos
•
Reporte de Supervisión
•
Reporte de Procesos
•
Herramientas de seguimiento
•
Análisis y sistematización de herramientas de seguimiento
•
Entrevistas a profundidad a gestores del programa
•
Sistematización de las entrevistas a profundidad de los gestores del
programa
•
Matriz FODA
•
Reporte de comprobación de hipótesis
2.3 Financiera o de costos
2.3.1 Costo Efectividad (primera parte)
2.3.1.1 Objetivo
Verificar el cumplimiento de las metas físicas y financieras de 2004 a nivel estatal
y nacional.
2.3.1.2 Hipótesis
H1: Las metas físicas y financieras se cumplen en un 100%.
H2: Las metas físicas se concluyen de acuerdo a lo programado (cierre del 2004).
2.3.1.3 Supervisión
La asignación del gasto durante el ejercicio fiscal pasa por dos
primero de ellos
es
procesos: el
el gasto comprometido, que se refiere a montos
comprometidos para realizar acciones. El segundo proceso, es el gasto ejercido,
es decir, el que realmente ya se desembolso. El estudio de estos dos rubros de
gasto sería necesario para supervisar adecuadamente el cumplimiento o
incumplimiento de las metas financieras.
Ahora bien, en lo que se refiere a metas físicas se tendría que establecer junto con
la dirección de evaluación, los períodos de tiempo en que finaliza una obra, en
este caso, para obras de agua, luz y CCA, ya que los rastrazos en obras la
mayoría de las veces son a causa de la tardanza en la entrega de recursos
monetarios.
2. 3.1.4 Procesos
Una vez analizados y sistematizados los gastos comprometidos y ejercidos del
2004, se estará en condiciones de realizar un ejercicio de cumplimiento de metas
financieras.
En lo que se refiere al cumplimiento de metas físicas, el tabulador de tiempo de
término de una obra a partir de la entrega de recursos, que será elaborado
conjuntamente por el equipo evaluador y la INDESOL.
2. 3.1.5 Impactos
Una vez realizado el proceso de sistematización de la información de
cumplimiento financiero y la aplicación de herramientas sobre el cumplimiento
físico, se podrá establecer un sistema preventivo de semáforos por municipio
y acción, de las visitas en campo. El sistema se regirá por tres colores: VERDE,
AMARILLO y ROJO.
•
El color VERDE significará que la meta comprometida si se está
cumpliendo, y por consiguiente al programa o política se le deberá dar
continuidad, y/o bien, reforzarlo.
•
El color AMARILLO significará que la meta comprometida tiene problemas
para cumplirse, y por lo tanto se deberán adoptar medidas correctivas,
tendientes a reorientar las acciones para mejorar sus impactos y resultados,
y poder lograr el color VERDE.
•
El color ROJO significará que la meta comprometida no se está
cumpliendo, y por lo tanto, se deberán adoptar medidas correctivas,
tendientes a reorientar las acciones para mejorar sus impactos y resultados,
de no ser posible se deberá adoptar otra política o programa. .
2. 3.1. 6 Productos
•
Reporte de supervisión
•
Reporte de procesos
•
Tabulador de cumplimiento de metas físicas
•
Sistema preventivo de semáforos
•
Reporte de comprobación de hipótesis.
2.3.2Costo- Efectividad (segunda parte)
2.3.2.1 Objetivo
.
•
Análisis de la estructura de costos directos e indirectos, expresados en
costo total anual y costo por unidad.
2.3.3 Metodología
2.3.3.1 Supervisión
Para realizar un análisis de costos lo más certero posible se tendrá que establecer
junto con la SEDESOL, una ruta crítica la cual considere todas las áreas de la
SEDESOL que están involucradas en la ejecución de los recursos del programa.
Para ello, se tendrán que considerar las áreas que participan directamente e
indirectamente por ejemplo área directa: departamento de gestión del programa en
oficinas centrales de SEDESOL. Área indirecta: dirección de información y
seguimiento de la SEDESOL. Posteriormente se realizara una ponderación de
horas hombre destinadas al programa y se relacionará con el costo de hora
hombre, según nivel de funcionarios. También se requerirá un costo aproximado
de capital de trabajo que utilizan los funcionarios.
2.3.3.2 Procesos
A partir de determinar la ruta critica de costos y obtener los datos necesarios, se
podrá disponer de un análisis de
los costos financieros en que incurre el
programa para llevar y hacer llegar un peso a los beneficiarios.
El estudio de costos se basará en un sistema de costeo por absorción,
separando los costos en constantes y variables dado que ello permite un mejor
entendimiento de las fuentes de costos.
Las cuatro fuentes de costos que se considerarán son:
•
Gestión central del programa
•
Administración del programa
•
Dispersión del programa
•
Finanzas del programa
Una vez determinado el costo total en el cual incurrió la SEDESOL en llevar un
peso a los beneficiarios, se procederá a realizar un cuadro de resultados
económicos, determinando así la relación de costos respecto al presupuesto.
El estudio de costos finaliza con la determinación de un punto de equilibrio. En
conocimiento de los costos totales (constantes + variables) y presupuesto del
programa. Se
construye el diagrama de equilibrio, el cual nos dirá la relación
costo-presupuesto, obteniendo así el margen entre estas variables. .
Gráfica 2. Relación Costo –Presupuesto
$
Costos
Variables
Costos
Constantes
25%
Punto de equilibr io
Costos – Pr esupuesto
100%
Operación
del
programa
Coinversión
Social
Presupuesto
2.3.3.3 Impactos
Una vez realizado el proceso de costos en relación con el presupuesto se podrán
obtener:
•
Costo por área
•
Costo por cada peso de gasto desembolsado
•
Productividad
•
Costos Directos e Indirectos
2.3.3.4 Productos
•
Matriz de origen de costo
•
Matriz de destino de gasto
•
Análisis de sensitividad (elasticidad gasto – costo)
Costo Beneficio
Objetivo
Comparación de los costos unitarios con los beneficios generados por el programa
a un beneficiario promedio.
Hipótesis
H1: Los costos unitarios son menores a los beneficios generados
Metodología
Debido a que el programa cuenta con diferentes vertientes de acción los
beneficios son diferenciados y algunos de mediano y largo plazo
a. Cada acción tiene un impacto diferenciado sobre la población ya que
no todas las acciones necesariamente afectarán directamente al total
de la población.
b. Por lo tanto, se tendrá un esquema de atención diferenciado, es
decir, hay una relación entre el tipo de acción y el número de
beneficiarios, la cual deriva en una cobertura segmentada de las
acciones
del Programa en la población de las
localidades
beneficiadas.
En razón de lo anterior, se pueden definir tres tipos de beneficio de la población
según tipo de acción, tal y como se presenta en el siguiente:
Tipos de cobertura en la población según acción
Cobertura Baja
Cobertura Media
Cobertura Alta
Acciones del Programa
Población Especifica
Toda la Población
Población que se atiende
Así pues, se tienen tres niveles de atención a la población: cobertura baja, media y
alta. De esta manera, cuando se hace referencia a la población específica (Ver
Cuadro1), se está mencionando solamente a la población que se beneficia de la
acción.
Por lo tanto, la relación entre las acciones del Programa y el tipo de cobertura a la
cual pertenecen, se puede Ver siguiente Cuadro
Tipología de cobertura según Vertiente
Cobertura Baja
Cobertura Media
Cobertura Alta
Investigación
Económica
Fortalecimiento
Social
Capacitación
Institucional
Población Especifica
Toda la Población
Población que se atiende
Dentro de la cobertura baja, podemos encontrar a la investigación, pues son
proyectos los cuales su fin es proponer no ejecutar, por lo tanto los beneficios no
serán tan palpables y específicos
En cobertura media, estas acciones tienen repercusiones directas, pero sobre
una población en específico, en una visión de costos, los costos pueden ser
mucho mayores a menor número de beneficiados.
Por ultimo, encontramos a las acciones de cobertura alta, las cuales se
consideran así debido a que tienen un beneficio general en la población, toda la
comunidad puede ser beneficiaria por su implementación y los beneficios se
incrementan.
El anterior planteamiento deberá ser discutido con la INDESOL y la SEDESOL
para llegar a un consenso de parámetros sobre los beneficios.
2.4. Evaluación de la Cobertura
Objetivo
Según los términos de referencia, la evaluación de la cobertura del PCS consistirá
en evaluar los alcances que el Programa tiene sobre la población objetivo. Para
ello se habrán de considerar el número de proyectos apoyados y las localidades
beneficiadas, vía el análisis de su variación con respecto a los dos años anteriores
por tipo de apoyo, a nivel nacional y por entidad federativa.
El PCS tiene cobertura a
nivel nacional, enfocándose a brindar apoyo a los
proyectos que benefician directa o indirectamente a la población en situación de
pobreza, vulnerabilidad, marginación, desigualdad de género o exclusión social. El
PCS es operado por el INDESOL a nivel central y por las delegaciones federales
de la SEDSOL a nivel estatal.
Hipótesis
H1. El Programa ha tenido una cobertura creciente en los últimos tres años.
H1: La cobertura en obras realizadas y localidades beneficiadas ha sido eficiente.
H2: La cobertura del Programa ha permitido disminuir la marginalidad
Metodología
Para cumplir con el objetivo planteado se propone llevar a cabo los siguientes
pasos metodológicos.
Supervisión
Según reglas de operación el PCS impulsar la corresponsabilidad de los actores
sociales para fomentar el desarrollo social integral de la población en situación de
pobreza, exclusión, marginación, desigualdad por género o vulnerabilidad social
por medio de la coinversión en proyectos Los recursos financieros del PCS vienen
a complementar los recursos humanos, materiales o financieros aportados por los
Actores Responsables de la Ejecución de los Proyectos (AREP).
En esta perspectiva se deberá valorar que tanto el Programa ha llegado a las
localidades que presentan las cuatro dimensiones socio-económicas sobre las
cuales CONAPO elaboro el IMM: educación, vivienda, ingresos monetarios y
distribución de la población, vía los proyectos apoyados.
En 2003 se apoyaron 1,290 proyectos, de los cuales a nivel central INDESOL
apoyo 709 y las delegaciones federales de SEDESOL apoyaron 581. Esto
represento una erogación de 222.534 millones de pesos. Del total de proyectos
1,116 se asignaron a organizaciones de la sociedad civil, 159 a gobiernos
municipales y 15 a instituciones académicas. Será necesario conocer la cantidad
de beneficiarios directos e indirectos de estos proyectos.
.
Diagrama 4. Definición base de la cobertura del programa de Desarrollo Local por
apoyo a partir de variables cen sales.
VIVIENDA
VIVIENDA
•Viviendas particulares con
•Viviendas particulares con
piso de tierra
piso de tierra
•Viviendas particulares sin
•Viviendas particulares sin
drenaje, ni servicio sanitario
drenaje, ni servicio sanitario
•Viviendas particulares sin
•Viviendas particulares sin
energía eléctrica
energía eléctrica
•Viviendas particulares sin
•Viviendas particulares sin
agua entubada
agua entubada
IINGRESOS MONETARIOS
IINGRESOS MONETARIOS
•Población ocupada que
•Población ocupada que
percibe hasta dos salarios
percibe hasta dos salarios
mínimos
mínimos
EDUCACIÓN
EDUCACIÓN
• Analfabetismo
• Analfabetismo
•Población sin primaria
•Población sin primaria
completa
completa
DISTRIBUCIÓN DE LA POBLACIÓN
DISTRIBUCIÓN DE LA POBLACIÓN
••Localidades con menos de
de 5,000
5,000
•Localidades con menos de 5,000
habitantes
habitantes
habitantes
2.5 Procesos
La evaluación de los procesos consistirá en analizar en qué forma se ve afectada
la cobertura del programa por factores de implementación, es decir, en qué
medida la buena o mala implementación del Programa está influyendo sobre el
grado de cobertura del Programa.
El desarrollo del Programa comprende las siguiente etapas operativas:
Emisión y Dif usión
de Convocatorias
Ajuste de
Proyectos
Seguimiento y
Evaluación
Presentación y
Recepción de
Pro yectos
Suscrip ción del
convenio
Valid ación d e
Pro yectos
Ministración d e
Recursos
Federales
Dictaminación de
Proyectos y
Difusión de
Resultados
Ejercicio del
Recurso
Cierre
Impacto
El impacto de cobertura se cuantificara en una primera parte por el análisis del
número de obras realizadas y las localidades beneficiadas, también se realizara
un comparativo de estas variables con los dos años anteriores.
La segunda parte del impacto en cobertura será medido en función del grado de
avance contra la marginación, es decir, en qué medida se han disminuido las
condiciones de marginación de la población. Por medio de una matriz de cobertura
como se presenta a continuación:
Matriz de Cobertura
Dimensiones
Socioeconómicas
Según CONAPO
Pro yectos
apo yados por el
programa
que
afectan
directam ente a la
variable cen sal
Educación
Viv ienda
Ingresos
monetarios
Distribución de la
población
Beneficiarios
directos
Avance de Cobertura
(Población
beneficiada/pobl ación
total marginada)
Meta de
2003-2004
cobertura
Toda la población
sabe leer
Toda la población
tiene
primaria
terminada
Todas
las
viv iendas
tiene
piso firme
Todas las
viv iendas tiene
drenaj e y servicio
de sanitario
exclusiv o
Todas las
viv iendas tiene
energía eléctrica
Todas las
viv iendas tiene
agua entubada
Toda la población
ocupada
recibe
mas de 2 SM
No
hay
localidades
con
menos de 5000
habitantes
Productos de Cobertura:
•
Reporte de supervisión:
•
Reporte de Procesos
•
Análisis comparativo (2002-2004) de cobertura vía numero de obras
realizadas y localidades beneficiadas
•
Matriz de Cobertura
2.6 Evaluación de la Focalización
Objetivo
El objetivo de evaluar la focalización consiste en determinar en qué medida los
recursos monetarios y las acciones del Programa se han dirigido a las zonas mas
marginadas del País, este análisis se hará por medio de una caracterización de los
municipios a partir de los índices de marginación municipal elaborados por el
Consejo Nacional de Población (CONAPO), para así establecer de qué manera
se ha utilizado la inversión municipal asignada por el Programa en los diferentes
apoyos que inciden directamente en las condiciones de vida de la población.
Hipótesis
H2. La focalización del Programa en términos de recursos monetarios esta
dirigida a poyar proyectos en las zonas más marginadas del país.
1
H3. Los actores sociales de las localidades de mayor marginación del país
son quienes demandan la mayor parte de los apoyos ofrecidos por el
Programa.
H4. Los recursos son aplicados y utilizados adecuadamente en zonas de alta y
muy alta marginación.
H5. Los apoyos seleccionados son los prioritarios para las localidades
marginadas del país.
Metodología
Para realizar los objetivos establecidos se propone llevar a cabo los siguientes
pasos metodológicos para poder cubrir de manera satisfactoria los objetivos.
Supervisión
1
Se entiende por Actores Sociales, a las organizaciones de la sociedad civil (OSC), a las instituciones
académicas de educación superior o investigación y gobiernos municipales que presentan proyectos para ser
apoyados.
Según reglas de operación el programa debe de apoyar a los proyectos de las
zonas de mayor marginación en el país, de acuerdo con los criterios de marginación
municipal establecidos por el CONAPO. Por consiguiente, se deberá analizar en
qué medida el Programa, con este criterio de marginalidad, logra una adecuada
focalización de sus apoyos
Para ello se deberán analizar las siguientes variables a nivel nacional, estatal y
municipal.
Los
criterios
que
se
utilizan
para
focalizar
los
apoyos,
la
corresponsabilidad entre la demanda de apoyos y la oferta de acciones por parte
del Programa, por tipo de proyecto y por vertiente, la factibilidad de la continuidad
de los proyectos, y analizar la forma en que son presentadas las convocatorias
como instrumento de focalización.
El análisis de focalización a nivel municipal se realizara utilizando los índices de
marginación de CONAPO (IMM),
Procesos
Una vez establecidos los parámetros de cobertura y focalización a partir del destino
2
de recursos monetarios por tipo de proyecto y vertiente de apoyo , se dispone de
elementos suficientes para poder ubicar los procesos de gestión que determinan la
focalización de los recursos y acciones. Teniendo una base que permita identificar
tanto la inclusión como la exclusión de proyectos a ser apoyados en términos
monetarios y de acciones, la evaluación de los procesos se hará con la ayuda de
las cifras proporcionadas por la INDESOL en cuanto a recursos y acciones llevadas
acabo en el periodo de 2002 a 2004.
2
El programa cuenta con las siguientes vertientes de apoyo: la social, la económica, el fortalecimiento
institucional, la capacitación y la investigación.
2.6 Impacto
Una vez que se tengan las correlaciones de los recursos monetarios asignados
según el IML y las acciones realizadas, se obtendrán los indicadores suficientes
para determinar si la focalización a sido la adecuada o no. El impacto se analizara
por medio de las siguientes matrices que medirán la focalización de los recursos del
programa a nivel municipal (y localidad) según grado de marginación; la distribución
de los recursos y los proyectos y grado de marginación; y los recursos destinados
por vertiente de apoyo, la población atendida y el gasto per cápita; así mismo, el
grado de error en la focalización a través de un cuadro de errores de inclusión y
exclusión
Tabla 1. Focalización de los recursos del Programa a nivel municipal (y localidad) según grado de
marginación
Clasificación
Municipal (por
localid ad) de
Marginación
Número de
Municipios
(localidades)
atendidos
2004
% de población
en municipios
Atendidos
(localidades)
2004
Gasto ejer cido en municipio s
(Localidades) atendido s
(millones d e pesos
2002
2003
2004 2002-04 2002
$
$
$ % $
atendidos 2004
Muy alta
Alta
Media
Baja y M uy baja
Sin clasificación
TO TAL
FUENTE
%
%
%
Gasto per cáp ita
(pesos)
2003
2004
Promedio
Tabla 2. Distribu ción de los r ecur sos y los pro yectos y grado d e marginación (% )
Vertiente o tipo de
apoyo
Ni vel
de
marginación
Recursos
2002
2003
2004
Acciones (proyec tos)
Promedio
2002
2003
2004
Promedio
Gasto por acción (proyec to)
2002
2003
2004
Promedio
TO TAL
Muy alta
Alta
Media
Baja
Muy baja
Sin clasificación
FUENTE
Tabla 3. Distribu ción de los r ecur sos y la población y grado de margin ación (% )
Vertiente o tipo de
apoyo
Ni vel
de
marginación
Recursos
2002
2003
2004
Acciones (proyec tos)
Promedio
2002
2003
2004
Promedio
Gasto por acción
2002
2003
2004
Promedio
TOTAL
Muy alta
Alta
Media
Baja
Muy baja
Sin clasificación
FUENTE
Tabla 4.
Errores de in clusión y exclusión
Localidades
Poblaci ón
Error Tipo I
Error Tipo II
El impacto en la focalización se podrá medir por medio de una ponderación que se
le de a la inversión ejercida ($), el número de apoyos (total de apoyos), así como la
diversidad de los apoyos (en las zonas mas marginadas debe de existir una mayor
variedad de apoyos) en cada nivel de marginación, en cada Estado y sus
Municipios. Es decir, se evaluará en que medida los recursos y los apoyos han sido
focalizados de manera prioritaria en las zonas más marginadas del País. Las
calificaciones serán: Muy Buena (MB), Buena (B), Regular (R) y Mala (M). La
manera de determinar cual será la calificación es por medio de la correlación que
debe existir de que a mayor nivel de marginación, más inversión y, más número y
diversidad de apoyos. Este análisis se presentara por medio de una matriz de
focalización por Estado:
Matriz de Focalización por Estado.
Estado
Nivel de
Marginación
Municipios
por nivel de
marginación
Inversión
Número de
Diversidad de
Calificación de
Ejercida por
Apo yos por
Apo yos por
Focaliz ación por
nivel de
nivel de
nivel de
nivel
marginación ($)
marginación
marginación
de margin ación
Muy Alta
Estado 1
Alta
Media
Baja y Mu y Baja
TOTAL
CALIFICACIÓN DEL EST ADO:
FUENTE: Elaboraci ón propi a en base a los datos proporcionados por la Secretaria de Des arrollo Soci al.
Productos:
•
Reporte de supervisión.
•
Reporte de Procesos.
•
Análisis comparativo (2002-2004) de focalización por medio de las
acciones realizadas y el proceso de los recursos destinados para
ejercer los diferentes ejercicios.
•
Matriz de Focalización de recursos entre los Municipios según su
marginación 2002 – 2004.
•
Matriz de Focalización de los recursos en las Localidades según
niveles de marginación 2002 – 2004.
•
Matriz de distribución de la Inversión 2002 – 2004 por vertiente de apoyo
y Nivel de Marginación Municipal (%).
•
Matriz de distribución de las Acciones 2002 – 2004 por vertiente de
apoyo y Nivel de Marginación Municipal (Número de acciones).
•
Matriz de distribución de la Inversión 2002 – 2004 por vertiente de apoyo
y Nivel de Marginación de la Localidad (%).
•
Matriz de distribución de las Acciones 2002 – 2004 por vertiente de
apoyo y Nivel de Marginación de la Localidad (Número de acciones).
•
Matriz de Focalización por estado y municipio.
•
Matriz de errores de inclusión y e xclusión
Impacto y grado de satisfacción (Resultados).
El objetivo de este apartado es evaluar si los proyectos apoyados están incidiendo
favorablemente en beneficio de la población marginada, vulnerable, o en situación
de desigualdad de género o exclusión social del país. Para ello se deberán
analizar los beneficios por vertiente, tales como el ahorro, mejoras en la salud, en
educación, en capacitación, gestión de recursos en la comunidad, fortalecimiento
del tejido social, el arraigo de la población, generación de una cultura de
confianza, fortalecimiento de la corresponsabilidad y de la organización de los
operadores, entre otros.
De igual forma se deberá evaluar la opinión que tienen los beneficiarios sobre los
proyectos apoyados y cómo es que estos han impactado sobre sus condiciones de
vida. Valorar que tanto conocen los AREP sobre la operación del Programa, y
como es que perciben su funcionamiento.
H1. Los objetivos generales y particulares del Programa se cumplen al cien por
ciento
H2. Los proyectos apoyados por el Programa han incidido favorablemente en las
condiciones de vida de las comunidades marginadas
H3. Los Agentes Responsables de la Ejecución de los Proyectos (AREP) están
satisfechos con montos económicos y los tiempos de entrega de los apoyos que
les han sido otorgados por el Programa.
H4. La atención recibida por parte de los funcionarios y operadores del Programa
es la adecuada para los AREP
Metodología
Para dar cumplimiento satisfactoriamente a los objetivos antes planteados, se
seguirán los siguientes pasos.
Supervisión
Evaluar en los contenidos de las diferentes vertientes de apoyo del Programa su
forma de operación, por medio de encuestas de opinión y entrevistas a
profundidad a los AREP. Con el propósito de conocer la forma en que el Programa
logra impactar las condiciones de vida de las comunidades marginadas. De
manera particular, se deberá analizar la vinculación de los proyectos con
programas o procesos más integrales de largo plazo, que tengan mayor cobertura
territorial.
Procesos
Mediante las encuestas y entrevistas a profundidad, se evaluara la opinión que los
AREP tienen sobre la forma en que operan los distintos procesos del Programa,
que van desde la emisión y difusión de convocatorias, la presentación y recepción
de proyectos, hasta la ministración de recursos y su seguimiento y evaluación. De
igual forma se recogerá información sobre lo que los beneficiarios y los AREP
piensan de la transparencia, el acceso a la información, la accesibilidad al propio
PCS, la forma en que se lleva acabo su difusión, la cercanía de las oficinas para
solicitar información y realizar trámites, entre otros aspectos.
Impactos
Se evaluará si los proyectos apoyados están incidiendo favorablemente en las
condiciones de vida de la población marginada, vulnerable, o en situación e
desigualdad de género o exclusión social del país. Para ello, se construirán
indicadores de impacto por vertiente de apoyo, tales como el ahorro, mejoras en la
salud, en educación, en capacitación, gestión de recursos en la comunidad,
fortalecimiento del tejido social, el arraigo de la población, generación de una
cultura de confianza, fortalecimiento de la corresponsabilidad y de la organización
de los operadores, entre otros.
Productos.
•
Reporte de Supervisión
•
Reporte de Procesos
•
Matriz de impactos y percepción por vertiente de apoyo
•
Matriz de cumplimiento de objetivos del Programa
Reporte de comprobación de Hipótesis
Equidad de género
El objetivo de este apartado es evaluar en qué medida el Programa contribuye al
bienestar, la equidad, la igualdad y la no discriminación de las mujeres. Esta tarea
abarca tanto el análisis de las reglas de operación del Programa, como la
evaluación en campo, de
indicadores de impacto y de percepción sobre la
equidad de género.
H1. Las reglas de operación del Programa dan atención especial al apoyo de los
proyectos que incorporan la perspectiva de género.
H2. El Programa apoya proyectos que
identifican la generación de procesos
favorables a las necesidades específicas de las mujeres
H3. Las mujeres beneficiadas tienen una buena percepción sobre la perspectiva
de género del Programa
H4. El Programa ha incidido favorablemente en las condiciones de vida de las
mujeres beneficiadas
Metodología
Para dar cumplimiento satisfactoriamente a los objetivos antes planteados, se
seguirán los siguientes pasos.
Supervisión
Se deberá identificar y determinar cómo las reglas de operación del Programa
incorporan la perspectiva de género, y analizar si en esta normatividad están
incorporadas las recomendaciones elaboradas por la Dirección de Seguimiento de
Género y Equidad de INDESOL; se deberán identificar las diferencias en el diseño
de las convocatorias específicas de género con el resto de las convocatorias. Así
mismo, mediante las encuestas y entrevistas a profundidad, se deberá recoger
información sobre la percepción que las beneficiarias sobre las reglas de
operación y la atención que les da el Programa.
Procesos
A partir de los proyectos apoyados, se deberán identificar y analizar la generación
de los procesos (p.ej. la capacitación, la atención, entre otros) que tienen que ver
con las necesidades especificas de las mujeres. Es decir, analizar qué tanto los
procesos están diseñados para responder a una demanda específica de género.
Impactos
Mediante el trabajo de campo se deberán evaluar los cambios en las condiciones
de vida de las beneficiarias, como resultado de los proyectos apoyados. Así,
también se deberá identificar la percepción que las beneficiarias tienen sobre las
diferentes convocatorias, respecto a la pertinencia de los contenidos, los
conocimientos y habilidades adquiridos, los cambios en los niveles de
participación en los proyectos y las comunidades, así como los cambios en la
toma de decisiones a nivel familiar. En este ejercicio se deberán identificar
aquellos mecanismos que han sido exitosos para favorecer la equidad, la igualdad
y la no discriminación de las mujeres.
Productos.
•
Reporte de Supervisión
•
Reporte de Procesos
Matriz de impactos y percepción sobre la equidad, la igualdad y la no
discriminación de las mujeres.
•
Reporte sobre los mecanismos exitosos en la perspectiva de género
•
Reporte de comprobación de Hipótesis