PI 3x1

1
EVALUACIÓN DE CONSISTENCIA Y
RESULTADOS 2011-2012
DEL PROGRAMA
3x1 PARA MIGRANTES
POSICIÓN INSTITUCIONAL
ABRIL DE 2012
Página 1 de 8
Programa 3X1 para
Migrantes
Posición Institucional
I.
Consideraciones generales
De acuerdo al numeral 23 del Programa Anual de Evaluación 2011; artículo 74 de la Ley General de
Desarrollo Social; numeral décimo sexto y décimo octavo de los Lineamientos Generales para la
Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), se
realizó la Evaluación de Consistencia y Resultados (ECyR) para el ejercicio fiscal 2011 y parte de
2012.
La ECyR tiene por objeto evaluar a través de 51 preguntas la consistencia y orientación a
resultados de los Programa Federales, agrupadas en 6 temas: diseño del programa, planeación y
orientación a resultados, cobertura y focalización del programa, principales procesos operativos,
instrumentos para medir el grado de satisfacción de los beneficiarios, y finalmente resultados del
programa respecto a la atención del problema para el que fue creado.
Dicha evaluación se realizó mediante trabajo de gabinete, con base en información
proporcionada por esta dependencia a través de las entidades o unidades administrativas responsable
del programa, así como información adicional que la instancia evaluadora hubiere considerado
necesaria para justificar su análisis.
El modelo de Términos de Referencia de la ECyR fue establecido por el Consejo Nacional de
Evaluación de la Política de Desarrollo Social (CONEVAL), buscando con ello disponer de
instrumentos homogéneos que permitan realizar un análisis estandarizado de los programas de la
Administración Pública Federal que faciliten la comparación de los resultados.
Al ser la segunda ocasión en que se efectúa una ECyR, la consolidación del proceso de
mejora continua de los programas en los últimos diez años se refleja en los avances que han tenido
éstos como resultado de la atención a las recomendaciones de la primera ECyR efectuada en 2007.
La Secretaría de Desarrollo Social (SEDESOL) a través de la Dirección General de Evaluación
y Monitoreo de los Programas Sociales coordinó y supervisó la realización de estas evaluaciones
mediante un proceso participativo, donde intervinieron tanto las unidades responsables de la
operación de los programas como otras áreas de la dependencia que coadyuvan en temas de diseño,
planeación, seguimiento, elaboración de padrones, monitoreo y evaluación. En este proceso, se
mantuvo siempre un diálogo del punto de vista independiente que deriva del carácter externo del
evaluador, el cual se refleja en las valoraciones que hace del programa durante los documentos de
evaluación.
Página 2 de 8
Programa 3X1 para
Migrantes
Posición Institucional
En este documento se presenta la postura a la ECyR, tanto de la Dirección General de
Evaluación y Monitoreo de los Programas Sociales como del Programa 3x1 para Migrantes, y en su
caso se señalan las posibles diferencias de criterio respecto de las opiniones vertidas por el
evaluador, señalando en todos los casos las razones objetivas que las sustentan, desde el punto de
vista institucional.
II. Comentarios Específicos Dirección General de Evaluación y Monitoreo (DGEMPS)
La DGEMPS reconoce el esfuerzo realizado por parte del (CONEVAL) por sistematizar y
homogeneizar el instrumento para la ECyR. También reconoce el esfuerzo de síntesis del evaluador
para presentar sus valoraciones de forma concisa, sin embargo se considera pertinente advertir al
lector de los siguientes aspectos respecto de la evaluación:
La complejidad de los problemas de desarrollo social requiere de programas cuya
estrategia de atención incluye diversos tipos de apoyo, desde aquellos que demandan
mecanismos de selección a nivel personas u hogares (pisos firmes), los que atienden a
las personas o territorios mediante obras o acciones de carácter comunitario
(infraestructura social) y aquellos para actores sociales intermedios o beneficiarios, según
los Lineamientos normativos para la integración del padrón único de beneficiarios de la
SEDESOL. Esta multiplicidad de tipos de apoyo generó controversias respecto de la
interpretación que debe darse a aspectos evaluados, como las características de los
beneficiarios, su cuantificación, los criterios de selección, los procedimientos de entrega
de apoyos y el seguimiento a la ejecución de dichos apoyos. Si bien el criterio que
prevalece en la evaluación es el del evaluador, dicho criterio puede ser distinto del
empleado en otras evaluaciones de programas con características similares.
Controversias similares se presentaron en conceptos generales para el análisis de
preguntas específicas como “no beneficiarios” o “demanda total”. Las interpretaciones
discutidas vinculaban los conceptos a población potencial o a solicitantes (sean o no
población potencial). Nuevamente se respetó el criterio del evaluador pero puede ser
distinto del empleado en otras evaluaciones.
Página 3 de 8
Programa 3X1 para
Migrantes
Posición Institucional
III. Comentarios Específicos Programa 3x1 para Migrantes
La Unidad de Microrregiones, responsable de la operación del Programa, reitera el reconocimiento a
la labor realizada el equipo Evaluador, sin embargo considera pertinente mencionar el total
desacuerdo respecto a las opiniones vertidas por éste en los temas que refieren al Diseño y algunos
temas de Planeación y Orientación a Resultados y Cobertura y Focalización a saber:
El equipo evaluador señala que “La justificación teórica y empírica no es consistente con el
diagnóstico del Programa”, y recomienda “Actualizar las causas y efectos del problema […]
partiendo del objetivo específico que se busca alcanzar con la conjunción de recursos de los
migrantes y los distintos órdenes de gobierno”. La recomendación del evaluador parte del
argumento de que la definición del Problema deja “abierto el espacio para apoyar cualquier
tipo de obra…y de que no se puede establecer una clara delimitación de los apoyos que debe
otorgar el Programa”. De ahí que las segunda recomendación (ligada a la primera) refiera que
“el problema especifico que se busca solucionar …se limita a señalar que “incida en el
desarrollo de las comunidades”, lo que deja abierto el espacio para cualquier tipo de obra,
dificultando la medición de resultados específicos del Programa”
En opinión de los Operadores del Programa, el evaluador confunde el Diseño de Política
Pública y el Problema Público que se atiende. Como claramente está definido en los
documentos normativos del Programa (Matriz de Indicadores de Resultados, Reglas de
Operación, entre otros), el objetivo específico del Programa es Fortalecer la coordinación
entre autoridades gubernamentales y los migrantes, para impulsar las iniciativas de
infraestructura, servicios comunitarios y actividad económica..., de este modo tal cual se
señala en la redacción del objetivo, el Programa delimita los apoyos que otorga y establece
que el objetivo es fortalecer la coordinación de esfuerzos de inversión para tal propósito.
En este sentido, el evaluador deja de lado la particularidad que define al Programa 3x1 para
Migrantes: la intervención y aportación de recursos por parte de un sector social (los
migrantes organizados), que se moviliza y solidariza ante una “necesidad” o problema
específicos en un determinado momento y lugar, que no necesariamente integra o forma parte
de la agenda pública gubernamental. Un sector social que ha asumido su rol de “socio” en el
esquema financiero del proyecto, a partir del cual se desencadenan mecanismos de
articulación y coordinación necesarios entre los tres órdenes de gobierno.
Página 4 de 8
Programa 3X1 para
Migrantes
Posición Institucional
Bajo la perspectiva del evaluador, los clubes de migrantes estarían adhiriendo a una “agenda
preestablecida de política pública” y adoptando el carácter de “filántropos” que suman sus
aportaciones a las gubernamentales para atender una demanda o un marco de “necesidades
ajenas” a ellos. Cabe la pregunta, entonces, acerca de si el evaluador ha logrado distanciarse
lo suficiente de los parámetros que definen la generalidad de los programas públicos para
evaluar un programa que pierde (por lo menos en su cuarta parte) esa naturaleza.
Por otro lado, es destacable que tanto el objetivo general como el específico y el Problema
Identificado en el Diagnóstico del Programa son consistentes y alineados al Programa
1
Nacional de Desarrollo 2007-2012 y el Programa Sectorial de Desarrollo Social 2007-2012 .
Con base en estas evidencias, se considera que la opinión del evaluador no está
correctamente argumentada por lo que se descarta su validez.
El evaluador señala una amenaza sobre la incompatibilidad entre lo establecido en el
Problema, las Reglas de Operación del Programa y la Nota de Población Potencial y Objetivo
y recomienda definir con base en la necesidad que se busca atender no sólo en función de
que sean comunidades de origen. Nuevamente confunde el sentido del Diseño del Programa
por las razones argumentadas en el apartado anterior. Además, esta recomendación se
contradice con la siguiente que enuncia: “Establecer claramente la definición y cuantificación
de la población potencial y objetivo en términos de las localidades de origen…”
Sobre el tema en particular, se proporcionó evidencia suficiente para demostrar que, debido a
que la acción pública que promueve el programa es detonada por la demanda ciudadana
(decisiones de clubes de migrantes) no es factible establecer ex ante un subconjunto de
población objetivo, y que no obstante a esto, el Programa ha realizado esfuerzos para hacer
una estimación con base en el presupuesto otorgado y el dato histórico de municipios
atendidos. Asimismo, se demostró que la definición de la población potencial es consistente
en tanto cualquier municipio del país es susceptible de ser apoyado por el programa (cfr.
Reglas de Operación).
Respecto a la unidad de medida utilizada, se demostró que el Municipio, instancia aportarte
1
El Programa 3x1 para Migrantes se alinea con la Estrategia 9.2 del Eje 5.9 del Plan Nacional de Desarrollo 2007-2012: Fortalecer los vínculos
económicos, sociales y culturales con la comunidad mexicana en el exterior, especialmente en Estados Unidos. También se alinea con el Objetivo
3 – Estrategia 3.3 del Programa Sectorial de Desarrollo Social 2007- 2012, que plantea Impulsar el ordenamiento territorial nacional y el desarrollo
regional mediante acciones coordinadas entre los tres órdenes de gobierno y concertados con la sociedad civil.
Página 5 de 8
Programa 3X1 para
Migrantes
Posición Institucional
de recursos, tomador de decisiones en el COVAM, principal ejecutor de los proyectos del
Programa y responsable (en la mayoría de los casos) de operar y dar continuidad a los
proyectos, es la unidad de gobierno con mayor cercanía a las necesidades de la población
que habita los territorios atendidos por el Programa por lo que es factible utilizar esta unidad
de medida en la cuantificación de la población potencial y atendida.
El equipo evaluador menciona que “el programa no cuenta con un padrón de beneficiarios
apegado a lo establecido en sus documentos normativos”. En este contexto, la redacción del
evaluador tampoco es acertada, ya que da a entender que el Programa incumple con la
normatividad, lo que no es necesariamente cierto. Nuevamente el evaluador realiza un
análisis bajo los esquemas de los programas sociales que realizan transferencias monetarias
o en especie a beneficiarios individualizados. En este sentido vale la pena recalcar que la
mayoría de los proyectos que se llevan a cabo con el Programa tienen el carácter de
comunitario (urbanización, hospitales, aulas escolares, bibliotecas, ambulancias, etc,), lo que
dificultaría la construcción de un padrón de beneficiarios, por lo menos en los términos
convencionales. El evaluador no considera la información que, a detalle, fue entregada para la
realización de la presente evaluación.
Respecto al Plan Estratégico del Programa, el evaluador señala que “no contempla los
resultados que busca el Programa en el mediano y largo plazo, ni contiene metas ni
indicadores que mermita evaluar el alcance de sus mismas (sic)”, así como la recomendación
que deriva de ésta; es importante señalar que el documento al que se refiere en el texto, es
resultado de una planeación que se realizó –en su momento– con base en lo establecido tanto
en el Plan Nacional de Desarrollo 2007-2012 como en el Programa Sectorial de Desarrollo
Social 2007-2012, por lo que los resultados esperados sobre la planeación estratégica tienen
vigencia y están en el termino de acuerdo con los documentos de Planeación Nacional.
Además, apegados a la normatividad el Programa cuenta con las Reglas de Operación y con
la Matriz de Indicadores para Resultados, a través de los cuales se da seguimiento al
desempeño y los resultados del Programa.
Es improcedente afirmar que el Documento Estratégico no contiene una visión de mediano y
largo plazo; en tanto que los programas presupuestarios están sujetos a la definición y
aprobación a través del Presupuesto de Egresos de la Federación, el cual es un documento
con carácter anual.
Página 6 de 8
Programa 3X1 para
Migrantes
Posición Institucional
En relación con la debilidad: “La información recolectada para monitorear el desempeño del
Programa no está actualizada y disponible para dar seguimiento de manera permanente”, es
necesario indicar que la MIR del 3x1 cuenta con indicadores que tiene información completa y
con una frecuencia de medición definida. Otro tipo de información de monitoreo son los
Informes trimestrales que la SEDESOL emite con el objeto de promover no sólo el
seguimiento en el avance de dichas indicadores, sino la transparencia en el ejercicio del
gasto. La información de MIR e Informes Trimestrales fue comentada con el evaluador.
Es notable que, a lo largo del informe, el equipo evaluador no reconozca los esfuerzos y
contribuciones alcanzados en evaluaciones anteriores, incluso las practicadas por la misma
institución evaluadora. Los argumentos y comparaciones que presenta respecto de las
conclusiones de la ECyR de 2007 son desatinados, en tanto la mayoría de las
recomendaciones de ese tiempo ya no son aplicables al Programa.
Con relación a los textos que conforman el apartado Resumen ejecutivo, Anexo 19
“Valoración Final del Programa”, apartado IV.3 Cobertura y Focalización, Conclusiones,
presentan ideas categóricas que no fueron expuestas en las preguntas relacionadas con el/los
temas en referencia; en algunos casos la pregunta correspondiente presenta la máxima
calificación posible de otorgar, mientras que en los apartados en comento se leen argumentos
con una tesitura muy distinta, la mayoría de las veces negativa, la cual puede sesgar la
opinión del lector que de manera ejecutiva no pueda consultar la totalidad del documento.
Es destacable el trabajo realizado por el CONEVAL en la elaboración de los TdR para la evaluación;
no obstante se considera que el formato aún tiene oportunidades de mejora sobre todo porque las
respuestas binarias y el reducido espacio para responder puede conducir a respuestas categóricas
poco argumentadas o necesariamente restringirla a parámetros y diseños, que no necesariamente
representan las particularidades de un programa, tal el caso del 3x1 para Migrantes.
Finalmente, se agradece a los funcionarios de CONEVAL por los esfuerzos implicados en esta
evaluación, así como al evaluador externo por su dedicación y la retroalimentación aportada. Se
valorarán las debilidades observadas con la perspectiva de continuar trabajando en mejorar
continuamente los Programas Sociales, así como de mantener el compromiso de potenciar las
fortalezas detectadas.
Los avances reportados dan cuenta del esfuerzo de la Secretaría por consolidar una política social
institucional, orientada a resultados, con transparencia y rendición de cuentas. Contar con una política
Página 7 de 8
Programa 3X1 para
Migrantes
Posición Institucional
social de Estado incentiva a realizar ejercicios similares en los tres niveles de gobierno.
Página 8 de 8