PAIMEF METAEVALUACION

Secretaría de Desarrollo Social
Meta evaluación 2007-2012 del
Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas,
para Implementar y Ejecutar Programas de Prevención de la Violencia contra las
Mujeres
Informe Final
Institución a cargo del proyecto:
Universidad Autónoma de Chiapas
Centro Universidad – Empresa
Coordinador General:
Jorge Mario Soto Romero
Responsable Administrativo
Alfredo Martínez de la Torre
Investigadores:
Rosalva Pineda Juárez
Alida Marcela Gutiérrez Landeros
Marco Antonio Lara Martínez
Blanca I. Catillejos Suástegui
Tuxtla Gutiérrez, Chiapas
23 de octubre de 2012
0
Resumen ejecutivo
La presente Meta evaluación 2007-2012 del Programa de Apoyo a las Instancias de Mujeres en
las Entidades Federativas, para Implementar y Ejecutar Programas de Prevención de la Violencia
contra las Mujeres (PAIMEF), tiene como objetivo analizar los avances y logros en materia de
evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad
que permitan al programa obtener mejores resultados.
Así, los principales resultados del PAIMEF en materia de evaluación son los siguientes:
Principales fortalezas y oportunidades:
El PAIMEF es uno de los instrumentos más importantes para desarrollar proyectos
relacionados con la prevención, detección y atención de la violencia de género en México.
El programa ha hecho más transparente y eficiente el proceso para la asignación de recursos.
Ha fortalecido el proceso de validación de proyectos, a través de las mesas de validación,
particularmente al eliminar la discrecionalidad con la instalación de una instancia externa
conformada por la academia, la sociedad civil y el sector público.
El programa cuenta con acciones de monitoreo y seguimiento de los proyectos para atender
mujeres que sufren situaciones de violencia.
Tiene procedimientos claros y mecanismos ágiles para los trámites relacionados con la
presentación, revisión, selección, seguimiento y evaluación de proyectos de las Instancias de
Mujeres en las Entidades Federativas (IMEF).
Principales debilidades y amenazas:
El presupuesto es bajo en relación con la magnitud del problema que se quiere atender: el
fortalecimiento institucional de las IMEF para prevenir y atender la violencia de género.
El programa no tiene evaluaciones que reflejen sus resultados, tanto en la disminución de la
violencia contra las mujeres como en el fortalecimiento institucional de las IMEF.
Carece de una especificación lógica-conceptual de cómo sus acciones permiten materializar
el objetivo de fortalecer institucionalmente a las IMEF, y de cómo estas a su vez contribuyen
a disminuir la violencia de género.
Las IMEF solamente reportan acciones realizadas y presupuesto ejercido, sin una orientación
a resultados en términos de su capacidad para prevenir y atender la violencia de género.
No existe una planeación estratégica de mediano y largo plazo.
Hallazgos sustantivos y metodológicos relevantes de otros programas similares:
El fortalecimiento de las capacidades institucionales y la efectividad de los programas y
políticas contra la violencia de género se puede medir y evaluar rigurosamente1. Se pueden
1
Si bien, no se ubicaron evaluaciones de impacto de programas que contribuyen a disminuir la violencia contra las
mujeres, existen metodologías que pueden considerarse técnicamente adecuadas para evaluar el PAIMEF, ya sea
1
utilizar índices compuestos o variables y dimensiones relevantes específicas, considerando
mediciones de desempeño organizacional así como encuestas propias y de organismos
oficiales especializados, para trabajar con información basal y de seguimiento.
Las experiencias de otros programas que buscan ampliar las capacidades de las
organizaciones sociales, pueden ser de gran ayuda para refinar y levantar mediciones sobre el
Índice de Fortalecimiento Institucional que calcula el PAIMEF. Tal es el caso del Hispanic
Capacity Project (HCP), que incorpora la herramienta Organizational Assessment Tool (OAT).
Para medir la efectividad de las políticas contra la violencia de género, es pertinente revisar
Violence Against Women: The State of Batterer Prevention Programs, el cual revisa
información científica sobre la efectividad de los programas. También es conveniente revisar
los Lineamientos para realizar evaluaciones de los proyectos que apoya la Entidad de las
Naciones Unidas para la Igualdad de Género y el Empoderamiento de las Mujeres.
Propuesta de Agenda de evaluación:
2013: Diagnóstico y propuestas de atención
2014: Evaluación de diseño
2015 y 2016: Evaluación de impacto
2017: Evaluación de procesos
2018: Evaluación de consistencia y resultados
Sugerencias para la evaluación de impacto:
Investigación basada en métodos mixtos, con mediciones cuantitativas y cualitativas.
En la parte cuantitativa, para el nivel de Fin y en la forma en que se define actualmente, la
medición resulta especialmente difícil, dada la magnitud y complejidad del problema de
la violencia contra las mujeres así como los limitados recursos del programa. Como una
aproximación prometedora, se recomienda medir la variación en la prevalencia y
probabilidad de que las mujeres sufran violencia de género, por entidad federativa y
ajustando por los recursos que las IMEF y el PAIMEF asignan a la prevención y atención de
este fenómeno. El modelo estaría basado en una regresión que deberá probarse con
diferentes especificaciones, con datos de la ENDIREH o la ENVIM así como de registros
administrativos. Habría retos y limitaciones metodológicas relevantes, pero se debe
empezar a abordarlas. Asimismo, para el nivel de Propósito se recomienda la medición
antes y después de un índice de capacidad institucional para prevenir y atender la
violencia contra las mujeres, compuesto de dimensiones y variables relevantes para
medir el fortalecimiento de las IMEF.
En la evaluación cualitativa se recomienda realizar estudios de caso con proyectos de las
IMEF, para arrojar más luz sobre los procesos de fortalecimiento institucional y valorar su
porque utiliza una estrategia que ha sido empleada en un contexto diferente (como el fortalecimiento institucional,
que si ha sido evaluado) o porque existen programas con objetivos con las mismas dimensiones como las del
PAIMEF.
2
relación con el PAIMEF. Asimismo, ante la dificultad de medir cuantitativamente el
impacto sobre la disminución de la violencia de género, los estudios en torno a proyectos
pueden proveer evidencia casuística pero relevante de cómo una mayor capacidad de las
IMEF para prevenir y atender la violencia contra las mujeres, puede eventualmente
disminuir la incidencia de este fenómeno.
Para la parte cuantitativa, las fuentes de información propuestas se basan en información
de gabinete, complementada en su caso con una encuesta específica aplicada a las IMEF.
La parte cualitativa requiere de observación en sitio, entrevistas semiestructuradas y
entrevistas profundas con operadores y responsables de las IMEF así como con
beneficiarias de los proyectos apoyados.
En materia de monitoreo, y considerando el diseño actual del programa, se emiten las siguientes
recomendaciones:
Propuesta para mejorar los resúmenes narrativos:
Fin: Contribuir a la disminución de la violencia contra las mujeres, mediante el
fortalecimiento de las capacidades de las Instancias de Mujeres en las Entidades Federativas.
Propósito: Las Instancias de Mujeres en las Entidades Federativas fortalecen sus capacidades
institucionales para prevenir y atender la violencia contra las mujeres.
Propuesta para mejorar los indicadores:
Fin: a) Variación promedio en la tasa de prevalencia de violencia contra las mujeres por
entidad federativa, ajustada por los recursos per cápita que las IMEF asignan a la prevención
y atención de la violencia y la proporción de estos que representa el PAIMEF; o b) variación
de la probabilidad de que las mujeres sufran violencia de género.
Propósito: Variación anual promedio en el Índice de fortalecimiento institucional para
prevenir y atender la violencia contra las mujeres de las IMEF.
Las principales reflexiones y recomendaciones complementarias del metaevaluador son:
El problema focal del programa, centrado en la capacidad institucional limitada de las
IMEF para prevenir y atender la violencia contra las mujeres, no es consistente con el
objetivo general, centrado la prevención y atención de la violencia contra las mujeres.
Asimismo, en la lógica causal del programa, no queda claro que para prevenir y atender la
violencia contra las mujeres sea necesario y suficiente fortalecer institucionalmente a las
IMEF, siendo que hay otras instancias públicas y civiles que también tienen acciones en
esta materia, y que hay otros enfoques de intervención que pueden tener igual o mayor
impacto. Así, en todo caso las IMEF podrían ser sólo unas entre diversas instancias, y el
fortalecimiento institucional sólo uno entre otros componentes.
Así, el PAIMEF trata con dos problemas distintos, en niveles distintos de lógica causal, por
lo que se recomienda redefinir el problema focal y los objetivos para fortalecer su diseño
y mejorar sus resultados. Ello implica definirse por la prevención y atención de la
3
violencia contra las mujeres —lo cual se considera adecuado— o alternativamente por el
fortalecimiento de las IMEF para mejorar su capacidad de intervención.
Derivado de lo anterior, las poblaciones potencial y objetivo, referidas al fortalecimiento
de las IMEF, son inconsistentes con el objetivo general, referido a la violencia contra las
mujeres. Se recomienda redefinir ambas poblaciones, alineándolas a su vez con la
redefinición propuesta para el problema focal. Ello implica reenfocar el programa para
dar prioridad a las mujeres violentadas o con alto riesgo de sufrir violencia —que a juicio
del equipo metaevaluador es lo más adecuado— o mantenerlo centrado en las IMEF.
Cualquier decisión que se tome puede significar mover el foco de atención, modificar la
operación y replantear los resultados esperados. Sin embargo, arrastrar las
inconsistencias actuales necesariamente afectará de forma negativa el desempeño del
programa, pues no quedaría claro siquiera qué se debe esperar del mismo.
4
Índice de contenidos
1
2
3
Introducción .................................................................................................................... 7
Descripción del programa................................................................................................. 8
2.1
ANTECEDENTES Y OBJETIVOS ................................................................................................................ 8
2.2
PROBLEMA FOCAL Y ÁRBOL DE PROBLEMAS ............................................................................................. 9
2.3
POBLACIÓN POTENCIAL Y OBJETIVO...................................................................................................... 11
2.4
APOYOS OTORGADOS ........................................................................................................................ 11
2.5
EVOLUCIÓN DE LA COBERTURA............................................................................................................ 13
Reporte de evaluación ................................................................................................... 14
3.1
PRINCIPALES HALLAZGOS DE LAS EVALUACIONES 2007-2011 .................................................................. 15
3.1.1
Evaluación de Diseño (ED 2007) .............................................................................................. 15
3.1.2
Evaluación Específica de Desempeño 2008 (EED 2008) .......................................................... 16
3.1.3
Evaluación de Procesos 2009 (EP 2009) .................................................................................. 17
3.1.4
Evaluación Específica de Desempeño 2009 (EED 2009) .......................................................... 18
3.1.5
Evaluación Específica de Desempeño 2010 (EED 2010) .......................................................... 19
3.1.6
Evaluación de Consistencia y Resultados 2011 (ECR 2011) ..................................................... 20
3.2
ANÁLISIS DE EVALUACIONES DE RESULTADOS O DE IMPACTO EN EL ÁMBITO NACIONAL O INTERNACIONAL DE
PROGRAMAS SIMILARES .................................................................................................................................. 22
3.2.1
Hispanic Capacity Project (HCP), Estados Unidos .................................................................... 22
3.2.2
Violencia contra las mujeres: el estado de los programas de prevención, Estados Unidos y
Canadá 27
3.2.3
Lineamientos para la evaluación de resultados o impactos de los proyectos financiados por el
Fondo de la UNIFEM para eliminar la violencia contra las mujeres ..................................................... 31
3.2.4
3.3
PROPUESTA DE AGENDA DE EVALUACIÓN PARA EL PERÍODO 2013-2018 .................................................. 33
3.3.1
2013: Diagnóstico y propuestas de atención........................................................................... 35
3.3.2
2014: Evaluación de Diseño ..................................................................................................... 36
3.3.3
2015-2016: Evaluación de Impacto ......................................................................................... 37
3.3.4
2017: Procesos ......................................................................................................................... 37
3.3.5
2018: Evaluación de Consistencia y Resultados ...................................................................... 38
3.4
3.4.1
5
Comentarios del metaevaluador: ............................................................................................ 33
ANÁLISIS DE VIABILIDAD Y PERTINENCIA PARA LAS EVALUACIONES DE IMPACTO ........................................... 39
Pertinencia de la evaluación .................................................................................................... 39
3.4.2
Aspectos a evaluar................................................................................................................... 40
3.4.3
Metodologías y fuentes de información .................................................................................. 40
3.4.4
Viabilidad técnica y financiera................................................................................................. 45
3.5
PRINCIPALES FORTALEZAS, OPORTUNIDADES, DEBILIDADES, AMENAZAS Y RECOMENDACIONES DERIVADAS DE LAS
EVALUACIONES 2007-2011 Y DE LA METAEVALUACIÓN 2012 .............................................................................. 47
3.6
4
Reporte de monitoreo.................................................................................................... 61
4.1
INTRODUCCIÓN ................................................................................................................................ 61
4.2
ANÁLISIS HISTÓRICO DE LA MATRIZ DE INDICADORES PARA RESULTADOS 2007-2012 ................................. 62
4.2.1
PRINCIPALES CAMBIOS DE LA MATRIZ DE INDICADORES 2007-2012 ......................................................... 62
4.3
4.4
7
Principales comentarios a la Matriz de Indicadores 2007-2012 ............................................. 71
ANÁLISIS DEL RESUMEN NARRATIVO DE LA MATRIZ DE INDICADORES PARA RESULTADOS 2012 ..................... 85
4.4.1
Análisis de la MIR y vínculo con las ROP .................................................................................. 85
4.4.2
Propuesta de mejoras para MIR 2013 ..................................................................................... 86
4.5
5
6
REFLEXIONES Y RECOMENDACIONES COMPLEMENTARIAS DEL METAEVALUADOR.......................................... 56
ANÁLISIS DE LOS INDICADORES DE FIN Y DE PROPÓSITO........................................................................... 87
4.5.1
Indicadores de la MIR 2012 ..................................................................................................... 87
4.5.2
Propuesta de mejoras para indicadores MIR 2013 ................................................................. 87
Conclusiones generales .................................................................................................. 90
Bibliografía .................................................................................................................... 92
6.1
DOCUMENTOS SOBRE EL PROGRAMA ................................................................................................... 92
6.2
DOCUMENTOS DE OTROS PROGRAMAS SIMILARES .................................................................................. 93
6.3
DOCUMENTOS NORMATIVOS Y PROGRAMÁTICOS ................................................................................... 93
6.4
DOCUMENTOS TEÓRICOS Y METODOLÓGICOS ........................................................................................ 94
Anexos........................................................................................................................... 96
7.1. ANEXO 1 “SÍNTESIS DE EVALUACIONES 2007-2012”. .................................................................................. 96
7.2. ANEXO 2 “SÍNTESIS DE EVALUACIONES DE PROGRAMAS SIMILARES INTERNACIONALES”. ..................................... 96
7.3. ANEXO 3. “AGENDA DE EVALUACIÓN” ....................................................................................................... 96
7.4. ANEXO 4. “FODA”................................................................................................................................. 96
6
1
Introducción
Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la
Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define a las
evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa
Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que
identifiquen las dependencias o entidades. En este sentido, al ser interés particular de la Sedesol
contar con información acerca del desempeño y resultados de los Programas Sociales, y con
base en la información disponible de evaluación y monitoreo, se plantea una evaluación
complementaria, denominada “Meta-evaluación 2007-2012 para el Programa de Apoyo a las
Instancias de Mujeres en las Entidades Federativas”.
El objetivo general de la metaevaluación es analizar los avances y logros en materia de
evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad
en dichos temas, que permitan al programa obtener mejores resultados en el periodo 20132018. Este objetivo general posteriormente se desarrollará en una serie de objetivo específicos, a
los cuales se les da cumplimiento formal en los diversos apartados del documento.
El desarrollo de la metaevaluación del PAIMEF comienza con la descripción general del programa
a partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las
evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en
aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de
causa y efecto asociadas a dicho problema.
Posteriormente, en el Reporte de evaluación se presenta una síntesis de cada una de las
evaluaciones externas que se realizaron al programa en el período 2007-2012; se revisan
artículos y documentos sobre experiencias internacionales relacionadas con el PAIMEF, ya sea en
sus objetivos o en su estrategia de apoyo; se propone una agenda de evaluación para el periodo
2013-20118; se enuncian las principales fortalezas, oportunidades, debilidades, amenazas y
recomendaciones derivadas de las evaluaciones realizadas al programa, y se exponen las
conclusiones y recomendaciones más relevantes del equipo metaevaluador.
En el Reporte de Monitoreo se hace un análisis de la evolución de la Matriz de Indicadores de
Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los
principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz,
que surgieron como resultado de las observaciones y recomendaciones de diversas instancias
normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Asimismo,
se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la matriz hacia
el inicio de la próxima administración federal.
Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y
se incluye una serie de anexos que refiere el contenido del documento.
7
2
Descripción del programa
En este apartado se presenta una descripción general del programa a partir de lo establecido en
diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP) 2012, el
Diagnóstico de la Capacidad Institucional Frente al Problema de la Violencia contra las Mujeres
de 2009 (en adelante, el Diagnóstico), la Nota de Actualización de la Población Potencial y
Objetivo de 2011 (en adelante, la Nota), así como las evaluaciones externas recientes. Inicia con
una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el
problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho
problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus
beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuanta de la
evolución de la cobertura durante los años recientes.
2.1
Antecedentes y objetivos
El Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas, para
implementar y ejecutar Programas de Prevención de la Violencia contra las Mujeres (PAIMEF),
con clave programática S155, inició sus operaciones en 2006 y depende del Instituto Nacional de
Desarrollo Social (Indesol), órgano desconcentrado de la Secretaría de Desarrollo Social
(Sedesol).
En sus inicios, el programa fue establecido en el Presupuesto de Egresos de la Federación (PEF)
como Programa de Apoyo a las Instancias de Mujeres en las Entidades Federativas, con el fin de
elaborar un Diagnóstico sobre la Violencia contra las Mujeres, que dio paso, a partir de 2006, al
PAIMEF. Este programa es parte de los compromisos adquiridos por México en el marco de la
Convención Interamericana para prevenir, sancionar y erradicar la violencia, conocida como la
“Convención Belem do Para”. Asimismo, en la Convención sobre la eliminación de todas las
formas de discriminación contra la mujer (CEDAW, por su acrónimo en inglés), en el marco de las
Naciones Unidas. Finalmente, este programa también se enmarca en los compromisos que
México adquirió con la firma de la Declaración y Plataforma de Acción de Beijing que promueve
la defensa, garantía e impulso de la plena aplicación de los derechos y la dignidad humana de
mujeres y hombres.
Las Reglas de Operación del Programa (ROP) 2012 señalan que su objetivo general es: “Contribuir
a prevenir y atender la violencia contra las mujeres, a través de las acciones que realizan las
Instancias de Mujeres en las Entidades Federativas.” Este objetivo se pretende cumplir
atendiendo el objetivo específico que es “fortalecer a las Instancias de Mujeres en las Entidades
Federativas para prevenir y atender la violencia contra las mujeres.”
El medio que utiliza el programa para la consecución de sus objetivos es el apoyo a proyectos
anuales con acciones específicas que, a iniciativa y a través de las IMEF, ejecuten los gobiernos
estatales en tres vertientes: (a) Acciones tendientes a la institucionalización de la prevención y la
8
atención de la violencia contra las mujeres, (b) Acciones y prácticas de prevención de la violencia
contra las mujeres, dirigidas a la población en general conforme a las características
sociodemográficas y necesidades de los diferentes grupos a atender, y (c) Atención especializada
a las mujeres, y en su caso, a sus hijas e hijos, en situación de violencia, desde la perspectiva de
género y en el marco de los derechos humanos, el desarrollo humano y la multiculturalidad.
2.2
Problema focal y árbol de problemas
En el Diagnóstico 2009 y la Nota 2011 el problema central se definió como “Capacidad
institucional limitada frente al problema de la violencia contra las mujeres”. El Diagnóstico del
PAIMEF destaca que en México, recientemente se ha comenzado a conocer, cuantificar, legislar,
y, por ende, a estructurar una respuesta institucional ante el problema de la violencia contra las
mujeres. No obstante, a pesar de los esfuerzos por reconocer y atender dicha problemática,
existe una limitada capacidad institucional para tomar acciones ante este fenómeno. Las causas
principales del problema son: 1) la deficiente procuración e impartición de justicia, 2) Instancias
de mujeres en las entidades federativas con limitaciones institucionales, 3) Escasa y deficiente
oferta institucional de servicios especializados de atención directa a las mujeres en situación de
violencia, 4) No reconocimiento de la violencia contra las mujeres como problema y 5) Escasa
coordinación entre actores sociales.
Por su parte, los efectos más importantes del problema son la pérdida de credibilidad en las
instituciones y el no ejercicio de derechos, el ineficaz ejercicio de recursos, y la limitada y
desigual cobertura de servicios. Estos efectos en conjunto llevan a una alta incidencia y
prevalencia de casos de violencia contra las mujeres.
A continuación se presenta el árbol de problemas que el programa construyó en torno al
problema focal.
9
Árbol de problemas del PAIMEF
Fuente: INDESOL s/f. Diagnóstico de la Capacidad Institucional Frente al Problema de la Violencia Contra las Mujeres, p.6.
http://www.Sedesol.gob.mx/es/Sedesol/Diagnosticos_de_los_Programas_ de_Desarrollo _Social
10
2.3
Población potencial y objetivo
La población potencial del PAIMEF, es decir, el conjunto de la población que presenta el
problema principal, se definió en el Diagnóstico 2009 y la Nota 2011 como las 32 Instancias
de Mujeres de las Entidades Federativas (IMEF) que pueden ser Institutos o Secretarías.
Las IMEF son actores relevantes para el PAIMEF por las funciones que desempeñan y las
competencias que tienen, entre ellas:
Elaborar y ejecutar los Programas Estatales de las Mujeres.
Generar estadísticas.
Canalizar a las instancias correspondientes los casos de violencia.
Operar y coordinar refugios de mujeres violentadas en caso de que se cuente con
ellos en la entidad.
Apoyar con las diferentes instancias de la administración pública federal, estatal y
municipal y cooperar con ellas en la formulación de políticas públicas
gubernamentales, así como promoverlas en la sociedad.
Proponer y promover la creación de Consejos o Institutos de la Mujer en cada uno de
los municipios del estado.
Promover estudios e investigaciones para instrumentar un sistema de información,
registro, seguimiento y evaluación de las condiciones sociales, políticas, económicas y
culturales de las mujeres en los distintos ámbitos de la sociedad, entre otras.
En la Nota 2011 se establece que la población objetivo que pretende atender el programa
son las 32 Instancias de Mujeres en las Entidades Federativas que desarrollan acciones para
prevenir y atender la violencia contra las mujeres.
2.4
Apoyos otorgados
De acuerdo con sus ROP, el PAIMEF está financiado por los subsidios del Ramo 20 para
apoyar instancias de mujeres a efecto de Implementar y Ejecutar Programas de Prevención
de la Violencia contra las Mujeres en las entidades federativas. Asimismo, dentro de este
marco, el programa apoya proyectos anuales con acciones específicas que se realizan a
través de las IMEF; se desarrollan acciones de detección, prevención y atención de la
violencia contra las mujeres que ejecuten los gobiernos estatales relacionados con alguna de
las siguientes temáticas:
Proyectos de acciones tendientes a la institucionalización de la prevención y la atención
de la violencia contra las mujeres en planeación y desarrollo organizacional; procesos de
formación, actualización y profesionalización (para las IMEF, dependencias
gubernamentales de los tres órdenes de gobierno, organizaciones de la sociedad civil,
instituciones académicas, medios de comunicación, magisterio e instituciones educativas,
líderes sociales y promotores comunitarios); gestión del conocimiento; mecanismos de
11
monitoreo, seguimiento, evaluación y sistematización de la información, y creación y
consolidación de sinergias interinstitucionales e intersectoriales que impulsen la agenda
y la política pública en la materia.
Proyectos de acciones y prácticas de prevención de la violencia contra las mujeres,
dirigidos a la población en general, conforme a las características sociodemográficas y a
las necesidades de los diferentes grupos a atender en materias de información y
sensibilización sobre temas relativos a los derechos humanos de las mujeres y la violencia
de género; difusión y promoción de los servicios especializados de atención que brinda la
IMEF; proyectos de atención especializada a las mujeres, y en su caso, a sus hijas e hijos
en situación de violencia, desde la perspectiva de género y en el marco de los derechos
humanos, el desarrollo humano y la multiculturalidad para la creación y apoyo de
servicios especializados e integrales de atención ya sean jurídicos, psicológicos, de trabajo
social y derivación médica en servicios de atención externa y de protección y atención;
acciones para la promoción de la autonomía económica y para el empoderamiento de las
usuarias de los servicios como contención emocional y autocuidado personal.
De acuerdo con las ROP, todas las IMEF son susceptibles de ser apoyadas. Para conocer el
desempeño de los proyectos de las IMEF en años anteriores, los integrantes de las mesas de
revisión podrán utilizar el Índice de Fortalecimiento Institucional (IFI), que caracteriza las
diferencias en los avances entre las entidades federativas, ponderando cuatro dimensiones
(dicho índice se encuentra en proceso de actualización):
IMEF corresponsable. Comparten la responsabilidad las distintas instituciones
involucradas en el logro de los objetivos de prevención y atención de la violencia contra
las mujeres, con relación a factores como la mezcla de recursos federales y estatales, la
continuidad en el personal y las plazas presupuestales.
IMEF con capacidades institucionales básicas. Son los atributos organizacionales para
ejercer las responsabilidades, establecer objetivos y mover recursos para alcanzar las
competencias necesarias. Los factores considerados para este rubro son el Reglamento
de la Ley General de Acceso a las Mujeres a una Vida Libre de Violencia, la información
sobre la problemática estatal en materia de prevención y atención de la violencia contra
las mujeres, la planeación estratégica, el establecimiento de un Programa Institucional, la
institucionalización de los programas de prevención y atención, la sistematización de la
información, la capacitación del personal y, finalmente, el desarrollo de capacidades.
IMEF con operación eficiente y calidad operativa. Es el grado de optimización del uso del
tiempo y recursos utilizados para la operación de los programas, procesos y actividades
de las organizaciones para que éstas sean eficientes. Los factores considerados son los
siguientes: calidad del proyecto, desarrollo de protocolos interinstitucionales,
continuidad operativa, atención directa institucionalizada, modelos validados de atención
y la operación del PAIMEF.
IMEF eficaz en sus resultados. Mide la brecha entre las metas y los objetivos planteados,
y su ejecución y la administración de recursos humanos, financieros, técnicos y físicos.
12
Entre las variables consideradas están la capacidad instalada de atención externa y
albergues y la presencia del tema de violencia de género en la agenda estatal.
2.5
Evolución de la cobertura
El PAIMEF tiene cobertura nacional. La última evaluación de Consistencia y Resultados ofrece
datos de la cobertura para el período 2008 a 2011, donde se constata un comportamiento
constante de la misma. En este último año se atendieron 31 IMEF lo que equivale a 96.88%
de la población objetivo y el mismo porcentaje de la potencial, pues en este programa ambas
poblaciones se cuantifican con igual cantidad de unidades.
Cuadro 1: Cobertura del PAIMEF
Fuente: ECR 2011-2012, Anexo 11
La Nota 2011 del PAIMEF menciona las acciones que ha llevado a cabo el Programa para la
distribución de recursos a nivel nacional. En el periodo 2006-2007 la distribución fue
equitativa. No obstante, para 2008 se comenzó a considerar factores que permitieran
reconocer las diferencias entre las entidades federativas para hacer un uso eficiente de los
recursos. Por ello, para ese ejercicio fiscal se utilizó el Índice de Rezago Social del CONEVAL y
el porcentaje de mujeres mayores de 15 años con algún tipo de violencia establecido en el
Índice de Rezago Social de la Encuesta Nacional sobre la Dinámica de las Relaciones en los
Hogares (ENDIREH 2006), publicada por el INEGI. Para 2009 y 2010, los recursos se asignaron
también utilizando el 90% del monto base para distribuir a entidades federativas, además de
lo ya mencionado. Finalmente, para 2011, la Unidad de Planeación y Relaciones
Internacionales, y el Órgano Interno de Control de la Sedesol recomendaron incluir un
componente poblacional y reducir el componente inercial, ofreciendo 70% de monto base
para entidades; 15% de componente poblacional, según la Encuesta Nacional de Ocupación y
Empleo (ENOE) del INEGI, y otro 15% del componente del Índice de Rezago Social.
13
3
Reporte de evaluación
En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se
realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los
principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más
relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de
las evaluaciones —el Anexo 1 facilita una visión esquemática de este ejercicio.
Para establecer un punto de referencia con experiencias a nivel internacional,
posteriormente se muestra una síntesis de artículos y documentos que pueden tener
relación con los objetivos, las estrategias del PAIMEF, o incluso por la relevancia del sus
recomendaciones. Se trata de obtener información útil para valorar en qué medida las
acciones o estrategias del programa han obtenidos resultados en otras realidades, así como
de analizar y aprovechar aquellos aspectos del esquema metodológico es posible para
próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de estos
documentos.
A continuación, se propone una agenda de evaluación para el período 2013-2018, que
pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme
a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada
evaluación y el período de duración, señala los componentes específicos para analizar, hace
una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas
en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las
evaluaciones durante todo el período. La esquematización de la propuesta puede observarse
en el Anexo 3.
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta más detallada para someter al programa a una evaluación de impacto. Se
describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo
de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de
las características específicas del programa. La propuesta se acompaña de un análisis de
pertinencia y de viabilidad técnica y financiera.
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de
sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e
implicaciones para el desempeño del programa, así como vigentes, en el sentido que la
situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemática se presenta en el Anexo 4.
14
Finalmente, se incorpora una sección de conclusiones y recomendaciones del
metaevaluador, que si bien en su mayoría se construyen sobre el análisis de las evaluaciones
antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios
metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se
enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del
programa, y son responsabilidad exclusiva del metaevaluador.
3.1
Principales hallazgos de las Evaluaciones 2007-2011
En esta sección se presenta una síntesis para cada una de las evaluaciones externas
realizadas al programa durante el período 2007-2012. En ellas se especifican la metodología,
los principales resultados y se enuncian las recomendaciones que los evaluadores derivaron
en su momento de las evaluaciones —el Anexo 1 facilita una visión esquemática de las
mismas.
Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación
en el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo
metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad
respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se
incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de
mejora, que en su momento fueron atendidos por los responsables de los programas. Sin
embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los
problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden
seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. En los casos
en que esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones se
retomarán en el análisis FODA de la sección 3.5.
3.1.1 Evaluación de Diseño (ED 2007)
Esta evaluación tuvo como objetivo evaluar mediante trabajo de gabinete y apoyado en
información proporcionada por el programa, la dependencia o entidad, el diseño del
programa. Lo anterior, con el fin de que las recomendaciones de este análisis puedan
retroalimentar el diseño y la gestión del programa. La institución encargada de realizar la
evaluación fue la Universidad Autónoma de la Ciudad de México (UACM). A continuación se
exponen los aspectos más relevantes de los temas que comprende la misma.
Características del programa
El problema está identificado y claramente definido en términos de favorecer el
desarrollo de procesos interinstitucionales para prevenir, detectar y atender la
violencia contra las mujeres.
No hay diagnóstico sobre la problemática detectada.
15
Tiene definidas las poblaciones potencial y objetivo como las IMEF.
El Fin y el Propósito están claramente definidos y corresponden a la solución del
problema.
Tiene como respaldo o fundamento las ROP, no se mencionan estudios ni
investigaciones nacionales ni internacionales.
Se establece una relación con el Plan Nacional de Desarrollo respecto de Ia igualdad
de Oportunidades e Igualdad entre hombres y mujeres.
Matriz de indicadores para resultados (MIR)
Componentes necesarios y suficientes para el logro del Propósito.
El logro del Propósito contribuye al logro del Fin, desde la MIR.
Los indicadores son claros, relevantes, económicos, adecuados y monitoreables.
Los indicadores incluidos en la MIR tienen identificada su línea de base y
temporalidad.
En la lógica horizontal de la MIR, no se observa la consistencia de los supuestos de la
MIR.
La lógica horizontal de la MIR no es válida en su totalidad por la falta de consistencia
de los supuestos.
Población potencial y objetivo
La Población Objetivo está cuantificada mas no caracterizada.
Existe información sistematizada y actualizada de quiénes reciben los apoyos.
Vinculación con las ROP
Los criterios y mecanismos para determinar las unidades de atención están
establecidos en las ROP, mas no son los adecuados.
Los objetivos de las ROP no coinciden con el fin ni el propósito de la MIR.
Coincidencias, Complementariedades y Duplicidades
No hay programas con los que debía haber habido complementariedad o sinergia.
Probabilidad de duplicidad si no se logra articular la transversalidad de género a partir
del PND 07–12.
No existe información que detecte complementariedades y/o duplicidades.
3.1.2 Evaluación Específica de Desempeño 2008 (EED 2008)
El Colegio de la Frontera Norte, realizó la presente evaluación siendo coordinada por René
Martín Zenteno Quintero, en ésta se reportaron los avances en materia de indicadores
conforme a la información disponible así como para identificar los avances en los Aspectos
Susceptibles de Mejora (ASM).
16
Indicadores
En cuanto a los resultados de la MIR, se menciona que cuatro de cinco indicadores
estratégicos presentan resultados por encima de la meta, en un rango de 28.5 a 119
puntos porcentuales.
Respecto de los indicadores de gestión, tres de cinco están por encima de la meta.
Algunos indicadores tienen dificultades de definición, por lo que es necesario especificar
acciones y poblaciones a atender, para una mejor medición de los alcances.
Los indicadores estratégicos de acciones tienen dificultades en su definición mientras que
los de gestión están formulados con mayor claridad y precisión.
Cobertura
En materia de cobertura, las poblaciones potencial, objetivo y atendida tienen las mismas
unidades de medida y se encuentran claramente definidas.
Se presentan datos de cobertura 2008, pero no es posible valorar su evolución.
La cuantificación de las poblaciones es de 32 IMEF, es decir, en este año existe una
cobertura de 100%.
Aspectos Susceptibles de Mejora
En los Aspectos Susceptibles de Mejora se identificaron cinco aspectos de mejora:
perfeccionar las ROP, la realización de una MIR más completa, un documento para
detectar duplicidades y sinergias con otros programas, y mecanismos de evaluación
externa.
3.1.3 Evaluación de Procesos 2009 (EP 2009)
La evaluación fue realizada por el Instituto Nacional de Salud Pública, y se llevó a cabo con el
objetivo de analizar de manera sistemática la operación del Programa, mediante trabajo de
gabinete, entrevistas y observación directa en los distintos niveles en que opera. El
documento integra la descripción de las características de los procesos, examina sus
ventajas, presenta los problemas que enfrenta el Programa y emite recomendaciones.
Descripción de los procesos
Se describen y se detectan los procesos operativos: difusión, presentación de los
proyectos, validación, revisión de proyectos, ajuste de los proyectos, suscripción del
instrumento jurídico, entrega y ejercicio de los recursos, informe parcial, informe final,
acta de terminación, control y auditoría.
Identificación y clasificación de los procesos
El modelo de procesos contempla el diseño del programa, planeación, difusión, solicitud
de apoyos, selección de beneficiarios, producción y compra de apoyos, entrega de
apoyos, seguimiento a la utilización de apoyos y evaluación de resultados.
17
Análisis y medición de atributos
Diseño
Dado que las IMEF tienen sus propios procedimientos, no existe un diseño homogéneo al
que puedan sujetarse.
No hay procesos uniformes para la aplicación de recursos en los estados.
Planeación
La planeación que realizan las IMEF no integra objetivos de largo plazo para el PAIMEF y
se reduce a una planeación operativa.
Difusión
No existe una estrategia de difusión general, ya que a nivel estatal las IMEF son las que
hacen difusión de sus acciones.
Solicitud de apoyos
Opera por oferta y no mediante recepción de solicitudes, de tal forma que no existe un
proceso de discriminación de proyectos.
Selección de beneficiarios
No existe un proceso de discriminación de proyectos.
Entregas y ejercicio de apoyos
Para realizar las entregas y el ejercicio de apoyos, existen documentos que especifican
características y necesidades del apoyo.
Seguimiento a la utilización de apoyos
Existen planes y mecanismos de seguimiento de los apoyos federales, mas no de los
estatales ni municipales.
La entrega de apoyos va en función de la disponibilidad a través de planes en función de
la demanda.
Transversales
No se cuenta con un sistema informático optimizado; sin embargo, la información del
PAIMEF está sistematizada.
Será necesario considerar la creación de estos sistemas para agilizar los procesos internos
del Programa.
3.1.4
Evaluación Específica de Desempeño 2009 (EED 2009)
El Colegio Mexiquense realizó la presente evaluación siendo coordinada por Israel Benegas
González, en ésta se reportan los avances en materia de indicadores conforme a la
información disponible así como para identificar los avances en los ASM.
18
Indicadores
En los indicadores de la MIR, se observa que casi todos superaron sus metas y la mayor
parte fue sustituida durante 2008.
En los indicadores de resultados es necesario reelaborar indicadores que tengan relación
con el problema que se desea atender a nivel de Fin y de Propósito.
La medición de la institucionalización de las IMEF es un buen paso de mejora de los
indicadores.
En los indicadores de gestión hay aciertos en la medición de las etapas de aprobación,
financiamiento y ejecución de proyectos, pero es necesario un número menor de
indicadores y corregir algún error de medición.
Las cuatro vertientes cuentan con al menos un indicador pertinente, relevante y
confiable.
Cobertura
La población potencial y objetivo son las mismas (32 IMEF); estos componentes son
claros y definidos.
Las ROP establecen que la población objetivo son las IMEF de las 32 entidades
federativas.
La población atendida difiere porque la IMEF de Nuevo León declinó participar.
Aspectos Susceptibles de Mejora
El documento de trabajo señala que se realizaron las acciones al 100%.
En el Documento Institucional se observa la incorporación de los lineamientos de la
Evaluación de Diseño 2007.
Se elaboró la Matriz de Marco Lógico, el diagnóstico de capacidad institucional del país, la
MIR y un diagnóstico.
Se realizaron dos evaluaciones externas y se analizó la duplicidad con otros programas.
3.1.5 Evaluación Específica de Desempeño 2010 (EED 2010)
C-230 Consultores S.C., realizó la presente evaluación siendo coordinada por Raúl Abreu
Lastra, en ésta se reportan los avances en materia de indicadores conforme a la información
disponible así como para identificar los avances en los ASM.
Indicadores
La valoración final de esta evaluación menciona que cinco de siete indicadores cumplen
sus metas o las rebasan.
Los indicadores de Propósito y de Componente no alcanzaron sus metas, aunque este
último presentó un avance de 96%.
En avances de mejora se apoyaron 11 proyectos en 10 entidades federativas.
19
Las Mesas de Recepción de Proyectos acordaron criterios homólogos para valorar
propuestas.
Se instrumentan acciones para medir el Índice de Fortalecimiento Institucional de las
IMEF.
Se integró el Documento Metodológico para visitas de seguimiento físico.
Se instalaron y ajustaron las Mesas de Recepción.
Cobertura
En cuanto a la cobertura, la población potencial, y objetivo son las mismas; son claras,
definidas y cuantificadas.
La población atendida es de 31 IMEF, igual que en 2008 y 2009, y no se cuenta con
información desagregada por municipio de la atendida.
La IMEF de Tamaulipas declinó participar. El Sistema de Evaluación de Desempeño no
reporta la o las razones por las que decidió declinar.
Aspectos Susceptibles de Mejora
Los Aspectos Susceptibles de Mejora sugieren elaborar un documento marco de
monitoreo y seguimiento físico de proyectos que implementan las IMEF.
Garantizar la continuidad de los proyectos IMEF en cambios de administración.
Implementar acciones de fomento estratégico y desarrollo organizacional de las IMEF.
La valoración final de los ASM señala que en los Reportes de Avances de 2008 a 2010, se
encontraron ocho aspectos, de los cuales en siete se ha tenido un porcentaje de avance
de 100%.
Sin embargo, no ha sido finalizada la elaboración de un documento de Planeación
Estratégica, el cual reporta un avance de 70%.
3.1.6 Evaluación de Consistencia y Resultados 2011 (ECR 2011)
La evaluación fue realizada por El Colegio de México y los objetivos de la misma fueron:
Analizar la lógica y congruencia en el diseño del programa, su vinculación con la
planeación sectorial y nacional, la consistencia entre el diseño y la normatividad
aplicable, así como las posibles complementariedades y/o coincidencias con otros
programas federales.
Identificar si el programa cuenta con instrumentos de planeación y orientación hacia
resultados.
Examinar si el programa ha definido una estrategia de cobertura de mediano y de largo
plazos y los avances presentados en el ejercicio fiscal evaluado.
Analizar los principales procesos establecidos en las ROP o en la normatividad aplicable;
así como los sistemas de información con los que cuenta el programa y sus mecanismos
de rendición de cuentas.
Identificar si el programa cuenta con instrumentos que le permitan recabar información
para medir el grado de satisfacción de sus beneficiarios y sus resultados, y
20
Examinar los resultados del programa respecto a la atención del problema para el que fue
creado.
Diseño:
El problema se encuentra identificado en las ROP 2011 y cuenta con un diagnóstico de
2009, en el que se observa la limitada capacidad institucional de las IMEF para atender el
problema; asimismo, está vinculado con el Programa Sectorial y el Plan Nacional de
Desarrollo, y de manera indirecta con las Metas del Milenio.
La población potencial y objetivo son iguales y se encuentran definidas en documentos
oficiales.
Falta claridad y consistencia en la MIR, pero es posible identificarla en las ROP.
Del 85% al 100% de las Fichas Técnicas así como de las metas de los indicadores tienen
las características establecidas.
Existe complementariedad con otros programas federales.
La información sobre la población beneficiara no está sistematizada, pero sí cuenta con
mecanismos documentados para su actualización.
Del 85 al 100% de las metas de los indicadores tienen las características establecidas.
Planeación Estratégica
El PAIMEF tiene un programa anual de operación, pero no de planeación de mediano y
largo plazos.
Se ha identificado que se han solventado la mayor parte de los ASM (85%), y la
implementación de las acciones para ello están de acuerdo con lo establecido en los
documentos de trabajo e institucionales.
Cobertura y Focalización
Tiene una estrategia de cobertura documentada para atender a su población objetivo.
Durante los últimos tres años la cobertura ha sido de 96.88%, con respecto a las metas de
coberturas anuales.
Sin embargo, no tiene estrategia de cobertura de mediano y a largo plazos.
Operación
No cuenta con información sistematizada para conocer la demanda total de apoyos y las
características de los solicitantes
Dispone de procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo
La selección de beneficiarios incluye criterios de elegibilidad que están estandarizados y
difundidos públicamente, pero el proceso no está sistematizado.
Cumple con los mecanismos de transparencia y rendición de cuentas.
Percepción de la población objetivo
No cuenta con un instrumento de medición de la satisfacción de las IMEF.
21
Resultados
Documenta los resultados de Fin y de Propósito con la Evaluación Específica de
Desempeño y con los informes trimestrales.
Los resultados a nivel Fin muestran problemas para su medición, aunque éste retoma la
contribución del programa por disminuir la violencia, el indicador seleccionado refiere al
número de mujeres atendidas a través de los servicios, que son un medio para lograr el
Fin.
No tiene evaluaciones de impacto.
Las evaluaciones externas han identificado faltas relacionadas con el Fin y el Propósito,
tales como las metodologías para calcular los indicadores. Sin embargo, no identificaron
las dificultades de la lógica vertical ni la horizontal de la MIR.
3.2
Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o
internacional de programas similares
El equipo metaevaluador realizó una busqueda de programas diseñados para reducir la
violencia contra las mujeres que hubieran pasado por un proceso de evaluación para medir
su desempeño en el logro de sus objetivos. A pesar de que existan políticas a nivel nacional o
internacional para reducir la violencia de género, no se encontraron evaluaciones de impacto
sobre estos programas. Por ello, se recurrió al análisis de programas que utilizan los
mecanismos de apoyo del PAIMEF, artículos académicos; así como una guía de evaluación
para este tipo de programas. A continuación se presenta una síntesis de los principalez
hallazgos.
3.2.1 Hispanic Capacity Project (HCP), Estados Unidos
Nombre de la evaluación:
Can Government Funding Stengthen the Third Sector? The Impact of Capacity Building
Program n Faith-Based and Community-Based Organizations
Año de la evaluación:
2008-2010
Objetivos de la evaluación:
Estimar la efectividad de los programas federales para la construcción de capacidades
necesarias en las organizaciones no gubernamentales y religiosas que trabajan con grupos
étnicos específicos.
Determinar qué factores influyen en la sostenibilidad de estas organizaciones.
Metodologías empleadas:
22
Se realizó un diseño mixto de evaluación para medir la efectividad y el impacto del HCP.
Se trataron 140 organizaciones de seis regiones geográficas distintas establecidas en los
Estados Unidos orientadas a la población latina que fueron observadas durante tres años.
Para todas ellas se realizó una medición de una línea basal estableciendo cuatro niveles
de desarrollo organizacional en función de sus objetivos, logros, programas que ofrecen,
necesidades y niveles de desarrollo de capacidades.
Los resultados del enfoque cuantitativo están orientados en el crecimiento
organizacional, la sostenibilidad organizacional medida como la capacidad o
diversificación de los fondos que obtienen las organizaciones, el desarrollo de las redes
de la sociedad civil y la diversificación de los servicios. En este orden de ideas, es
importante definir algunos conceptos utilizados en la evaluación.
En primer lugar, la capacidad de financiamiento se refiere a la habilidad de la
organización para obtener financiamiento de fuentes distintas a sus propios miembros
utilizando fondos existentes y disponibles para este tipo de organizaciones; el objetivo es
utilizar el fondo del HCP como palanca para diversificar las fuentes de financiamiento de
la organización.
En segundo lugar, las redes de la sociedad civil están definidas como tres o más
organizaciones o grupos de la sociedad civil que se unen voluntariamente con un objetivo
común de desarrollo social o comunitario.
Finalmente, la diversificación de servicios se refiere a la habilidad de la organización para
utilizar encuestas de satisfacción del cliente y otras mediciones de efectividad para
mejorar los servicios existentes en dicha organización, mientras la oferta de estos
servicios se incrementa o ajusta en función de las necesidades de la población objetivo
que atienden.
Para la selección de grupos para la muestra se utilizaron los recursos existentes para
atraer la atención de organizaciones latinas de base religiosa y/o líderes en la comunidad
latina. Para el proyecto fueron seleccionadas 140 organizaciones: 87% de ellas se
autodefinían religiosas y 13% fueron organizaciones basadas en la comunidad. Todas ellas
fueron invitadas a participar en la evaluación. Un dato relevante es que 131 de estas 140
organizaciones permanecen activas después de los 3 años de la evaluación. Dichas
organizaciones estaban divididas en seis regiones geográficas distintas establecidas en los
Estados Unidos orientadas a la población latina que fueron observadas durante tres años.
El equipo de trabajo del HCP definió una herramienta para la evaluación de las
organizaciones que permitió determinar el estado inicial de cada una de ellas a la que
llamaron “Organizational Assessment Tool (OAT), traducida como herramienta de
evaluación organizacional”. En esta herramienta se definieron, a criterio de los
evaluadores, cuatro niveles de desarrollo organizacional midiendo 16 áreas específicas y
5 categorías de capacidad organizacional: liderazgo estratégico, estructura
organizacional, administración y operaciones, evaluación de programas, recursos y
desarrollo de recursos. Los cuatro niveles de desarrollo de la organización son los
siguientes:
o El primer nivel (organizaciones incipientes) busca principalmente construir
infraestructura y aumentar su área de influencia, sus alcances y objetivos son
23
principalmente reactivos, sus programas son de corto plazo respondiendo a las
necesidades inmediatas de la población, y dentro de sus principales necesidades
como organización están: mejorar habilidades, recursos para financiar sus
servicios actuales y definir su estatus legal.
o En el segundo nivel (organizaciones principiantes) se tiene como propósito la
búsqueda de construir y expandir sus capacidades de gestión, dentro de sus
objetivos y alcances están el desarrollo de un programa y la sostenibilidad
organizacional, sus programas son de corto plazo dependiendo de los fondos
disponibles y sus necesidades están enfocadas a obtener recursos para tener una
estabilidad fiscal, tener programas más robustos y el desarrollo de redes.
o En el tercer nivel (organizaciones intermedias) se tiene como propósito articular y
expandir su misión y objetivos, entre sus alcances y objetivos está mejorar la
administración de la infraestructura y evaluar para robustecer sus impactos, sus
programas tienden a buscar un cambio sostenible en la comunidad en aras del
desarrollo y construcción de la comunidad, y dentro de sus necesidades estarían
el desarrollo de financiamiento y la diversificación de redes.
o En el cuarto nivel (organizaciones avanzadas) se tiene como propósito la
diversificación y expansión de servicios y áreas objetivos, entre sus objetivos y
alcances se encontrarían convertirse en intermediarios regionales, servir de
mentores, pares para capacitación, modelos para mejores prácticas, entre otros;
sus programas son complejos y desarrollados, y sus necesidades están enfocadas
al mejoramiento de su posición como líderes de redes de la sociedad civil,
diversificación de fondos y desarrollo de éstos.
Con la información antes referida, se realizó una medición inicial sobre el perfil de las
organizaciones como: características de la organización, etnicidad de los líderes, tipo de
servicios otorgados, fuentes de financiamiento, entre otros.
A todas las organizaciones se les otorgaron 510 horas de capacitación sobre gobierno,
aspectos legales, tecnología, evaluación de programas, planeación, recursos humanos,
procuración de fondos, entre otros. Cada una de las capacitaciones fue evaluada ex post.
También, dentro del tratamiento aplicado, todas las organizaciones fueron beneficiadas
con asistencias técnicas con una inversión aproximada de $342,986 USD con 239 visitas
en las seis regiones uno a uno o en pequeños grupos.
Finalmente, el proyecto otorgó un monto total de $1,539,900.00 USD para fondear la
diversificación y el desarrollo de habilidades de las propias instituciones para buscar
fondos diversos que obtuvieron a través de las asistencias técnicas y capacitación antes
mencionada.
Síntesis de los principales resultados:
El proyecto fue evaluado en tres puntos en el tiempo. Como se ha mencionado
anteriormente, los resultados de esta evaluación tienen sólo antes y después sin grupo de
control. Uno de los primeros resultados que arroja la investigación es que 95% de las
organizaciones apoyadas, siguen operando después del tercer año del tratamiento. Esto
quiere decir que la gran mayoría fue sostenible en el tiempo. No obstante, no es posible
24
determinar con certeza si la sostenibilidad se debe a la participación de dichas
organizaciones en el proyecto.
La efectividad de los apoyos se refleja en los resultados específicos en las organizaciones.
En la situación inicial cuando se aplicó el Organizational Assessment Tool (OAT) la mayor
parte de las organizaciones eran incipientes (37%) o principiantes (47%). Solamente 11%
de las organizaciones eran nivel tres y 5% son nivel cuatro. Después de recibir el
tratamiento, 69% de las organizaciones apoyadas se movieron al menos un escalafón en el
nivel de desarrollo. Esto implica que basados en los estudios organizacionales establecidos
al inicio del proyecto, la mayor parte de las organizaciones eran de tamaño mediano y con
limitada experiencia en el otorgamiento de servicios, y muy pocas de ellas habían tenido
acceso a fondos importantes y después de los apoyos, se creó el capital social para mover
la organización a otro nivel.
En específico, se tienen resultados importantes derivados de las capacitaciones y
asistencias técnicas. No obstante, el resultado más significativo es la contribución que
tuvieron para la creación de capacidades organizacionales con la incorporación legal de 68
organizaciones que obtuvieron su certificación de entidades no lucrativas, lo cual
posiciona a las organizaciones para su crecimiento e incrementa la posibilidad de obtener
financiamiento sustancial en el futuro para ser sostenibles en el tiempo. De las 16 áreas en
donde fue provista la asistencia técnica las que tuvieron mejores resultados fueron:
estructura organizacional, gobernabilidad, aspectos legales, tecnología y evaluación de
programas; mientras que las capacitaciones con resultados menos satisfactorios fueron:
planeación, administración de recursos humanos y recaudación de fondos. Para esta
última a pesar de que en el resultado global (OAT) la recaudación de fondos se
incrementó, el promedio de la evaluación de las capacitaciones se mantuvo bajo.
Para el caso de la recaudación de fondos se realizó un análisis sobre las habilidades
iniciales de las organizaciones para atraer fondos públicos y privados, diversificar sus
fuentes de financiamiento y construir una credibilidad social para la atracción de fondos
externos. Una de las observaciones más relevantes hechas por esta evaluación fue que la
credibilidad que se genera entre los diferentes donadores y agencias en las comunidades,
genera también mayor visibilidad hacia afuera, permitiendo la diversificación de su
fondeo. Las organizaciones participantes lograron recolectar cerca de 15 millones de
dólares de fondos externos gracias a la capacitación, asistencia técnica y al
apalancamiento del fondo creado por HCP.
Las redes de la sociedad civil organizada son conocidas en el mundo por su capacidad para
incrementar el desarrollo social de los grupos vulnerables y marginados. Asimismo,
cuando grupos de la sociedad civil pertenecen a redes de la sociedad civil pueden generar
redes para conseguir objetivos comunes y, adicionalmente, se generan sociedades que
incrementan la legitimidad de los participantes de la organización. A nivel mundial, la
sociedad civil organizada ha logrado tener la función democrática de alcanzar cambios
sociales importantes para los grupos vulnerables. Dentro de los elementos a resaltar al
final del HCP es que las organizaciones niveles uno y dos tienden a utilizar eventos
informales para estar en contacto con sus redes; no obstante, las organizaciones niveles
25
tres y cuatro tienden a involucrarse intensivamente en redes de desarrollo comunitario y
proyectos vecinales.
Finalmente, uno de los resultados importantes es que 68% de los participantes pudo
incrementar el nivel de servicios a partir de la intervención del HCP. En particular, las
organizaciones nivel uno tienden a ofrecer servicios de asesorías familiares, clases para
mejorar la vida familiar, distribución de ropa y comida para necesitados y donaciones
internacionales. Por otro lado, las organizaciones nivel dos tienden a tener programas más
establecidos en servicios familiares como programas para padres solteros, violencia
familiar, servicios de inmigración, servicios recreativos para jóvenes y cuidados para
adultos mayores. Las organizaciones nivel tres tenían servicios relacionados con empleo,
educación para adultos, preparación de inmigrantes para el trabajo, guarderías y
estancias, ferias de salud, mejoramiento de espacios públicos y talleres para mejorar la
economía familiar. Finalmente, las organizaciones nivel cuatro tenían un espectro
completo de servicios para el empleo: capacitación, asesoría de vida y carrera,
reclutamiento de personal, entre otros; también, programas de prevención contra el
abuso de infantes, programas especializados para “jóvenes banda”; asesoría legal para
inmigrantes; servicios de comidas y visitas para adultos mayores y otros muchos servicios
de salud pública relacionados con la prevención: drogas, alcohol, educación sexual,
nutrición, preparación para desastres e incluso, programas para emprendedores.
Valoración técnica:
A pesar de no tener grupo de control para establecer un contrafactual, el modelo de
evaluación se considera adecuado para la medición de la creación de capacidades en una
organización y de la derrama de servicios que ofrecen a población vulnerable.
Asimismo, la agrupación temática y por tipo de organización se considera un acierto para
comparar los resultados entre los miembros del mismo grupo y la medición estándar de
capacidades puede resultar adecuada para valorar los resultados de cada uno de los
apoyos otorgados.
A pesar de que este modelo de evaluación no permite conocer si el hecho de que se dé
seguimiento puntual a los proyectos y al otorgamiento de recursos produce efectos
adicionales o bien, si dada la capacidad humana de las organizaciones se pudieran
generar efectos similares, es posible identificar tendencias generales de los apoyos y
cuantificar la efectividad en materia de recaudación de fondos privados como una
derrama del programa inicial.
Esta evaluación no controla los factores que pudieran contribuir al crecimiento
organizacional.
Resumen de las fortalezas, oportunidades, debilidades, amenazas y recomendaciones:
El programa tiene un modelo virtuoso que permite establecer una contribución
compartida entre el gobierno federal como proveedor de fondos, las organizaciones
intermedias que administran el proyecto y las organizaciones que son el principal motivo
de este proyecto.
26
El proyecto generó las capacidades en las organizaciones para ser sostenibles, buscando
fondos federales y privados que les permitan subsistir en el tiempo. En este sentido, los
fondos públicos gubernamentales pueden complementarse con fondos privados que
permitan a las organizaciones crecer y ser sostenibles para seguir apoyando a la población
vulnerable generando capital social tanto en la organización que apoya el Programa como
en la población que a su vez es apoyada por dicha organización.
Se creó un mayor nivel de credibilidad en las organizaciones involucradas dado el nivel de
compromiso que mostraron.
Se apoyó a las organizaciones en la medición e identificación de las necesidades y esto se
tradujo en un mejor desarrollo de las asistencias técnicas destinadas a las organizaciones
latinas. Es necesario entender las necesidades que tienen las organizaciones de la
sociedad civil para poder contar con mejores herramientas para su apoyo y así, lograr el
fin último que es el de mejorar las condiciones en población vulnerable.
El estudio concluye que los apoyos financieros federales o estatales para organizaciones
tienen un impacto positivo en la credibilidad y el desarrollo en las organizaciones no
gubernamentales pequeñas para el crecimiento de las redes de la sociedad civil y apoya la
sustentabilidad y la efectividad de estas organizaciones.
3.2.2 Violencia contra las mujeres: el estado de los programas de prevención, Estados
Unidos y Canadá
Nombre del artículo:
Violence against women: the state of batterer prevention programs
Año:
2002
Objetivos:
Analizar la prevalencia y naturaleza de la violencia doméstica para identificar las normas
en el tratamiento del agresor, reflejados en los programas de prevención de la violencia
en Estados Unidos y Canadá.
Observar la naturaleza, efectividad y limitaciones de las normas para identificar si ellos
son apropiados.
Explorar las implicaciones de la violencia de pareja y observar la eficacia del tratamiento
hacia el agresor dentro de los programas de intervención.
Observar la experiencia del estado de Georgia en la atención al problema de la violencia
doméstica con el involucramiento de la comunidad.
Observar la experiencia de Kentucky que trata la violencia doméstica como crimen.
Metodologías empleadas:
27
Revisa información científica sobre la efectividad de los programas de intervención en el
agresor doméstico y discute las implicaciones legales y sobre la política pública que ésos
tienen. Se propone responder a las interrogantes de si los programas han sido efectivos o
no; en qué dimensiones los programas están relacionados con un programa de
efectividad; si hay cierta clase de programas más efectivos para ciertos individuos; el
estado actual sobre los programas estatales certificados; sobre qué bases los estados
certifican sus programas; qué sugieren los datos y la información sobre las dimensiones
en las cuales los estados deberían certificar sus programas; cuál es la relación entre
investigación científica, defensa y política pública sobre los programas de tratamiento a
agresores.
Utiliza análisis y encuestas nacionales sobre normas de programas de intervención y
prevención para agresores dirigidas por Juergen Dankwort y Juliet Austin. Las encuestas
fueron producidas bajo contrato con el Centro Nacional de Recursos sobre la Violencia
Doméstica, un proyecto de la Coalición de Pensilvania contra la Violencia Doméstica y
Financiamiento de la Universidad de Houston.
La encuesta examina las normas existentes en Estados Unidos y Canadá para regular la
práctica de trabajar con los autores de la violencia doméstica.
La encuesta se realizó en forma telefónica a las coaliciones y organizaciones contra la
violencia doméstica, creando siete categorías temáticas: a) Filosofía de las normas; b)
Propósitos y procedimientos de las normas; c) Protocolo y Programa d) Ética y
calificaciones del equipo; e) Procedimientos de Ingreso; f) Intervención; formato, modo
de contenidos y duración; y g) Criterios de descargo.
Síntesis de los principales resultados:
Las normas desarrolladas para tratar la violencia doméstica son más o menos uniformes
desde los años 80. La racionalidad se enfoca en maximizar la seguridad para las víctimas y
tratamientos de intervención para el agresor.
En Canadá, a través de comités designados, la racionalidad de las normas se basa en la
necesidad de accesibilidad y rendición de cuentas de programas bajo el acuerdo de la
agencia de financiamiento gubernamental en coordinación con servicios contra la
violencia doméstica y seguridad de la víctima.
Existen dos categorías de normas: los impuestos por la ley, con o sin legislación, y las
voluntarias a las cuales se adhieren algunos programas aunque hay pocos incentivos para
el cumplimiento de ellas. Sin embargo, hay un mayor seguimiento a normas voluntarias
que obligatorias porque se conocen mejor; pero es importante destacar que la
obligatoriedad no implica una observancia estricta.
La contribución de las normas de los programas de violencia doméstica incluyen: a)
promoción de la prioridad de la seguridad de la víctima y la rendición de cuentas del
agresor; b) facilitación del proceso de trabajar conjuntamente con los interesados en la
violencia doméstica; c) promoción de consistencia entre programas y la rendición de
cuentas a la comunidad; d) educación y publicidad de contenidos de los programas y sus
limitaciones; e) reconocimiento de la experiencia por la defensa de las víctimas; f) aliento
28
a la respuesta coordinada de la comunidad para parar la violencia doméstica; g) énfasis
en las dimensiones sociales de la violencia doméstica; h) esfuerzo por desarrollar nuevos
programas con base en los existentes y facilitar el desarrollo de normas en otras regiones
y, i) legitimización de la necesidad de conocimiento y entrenamiento especializados, así
como enfoques de intervención en relación con el trabajo de los agresores.
Las limitaciones encontradas se vinculan con lo siguiente: a) carecen de especificidad o
falla para explicar su racionalidad; b) las normas no consideran como intervenir con
personas de preferencia sexual diversa; c) las normas mandatadas se observan como un
control no deseado si su modificación debe ser cabildeada; d) el cumplimiento con las
normas es complejo y problemático en varios niveles, por ejemplo, se puede obtener
aquiescencia superficial sin compromiso real por los practicantes; e) una ausencia de
monitoreo de las normas; f) las normas son inadecuadas si sólo se requiere que los
agresores atiendan un número de sesiones para completar el programa; g) las normas se
han desarrollado sin incluir investigadores profesionales de la salud mental, sin los
consejeros de los ofensores.
La seguridad de las víctimas y los programas hacia agresores son criterios decisivos por
los cuales cualquier cambio propuesto en las normas debe ser medido.
En realidades sin evidencia científica concluyente el contenido soporte de las normas
existentes debe ser el conocimiento basado en la experiencia adquirido por los
movimientos feministas a lo largo de dos décadas como fundamento confiable para las
prácticas de intervención.
Considerando que los programas de intervención deben verse en un contexto amplio con
formas de violencia sofisticadas (amenazas, manipulación, maltrato emocional), la
posibilidad de que la víctima no desee salirse de la relación, que falsee la información a la
policía; que los hombres no se enrolan en programas de intervención; las estructuras
culturales y sociales que aprueban la violencia, se apoyó a la Organización Hombres
Parando la Violencia en el estado de Georgia para desarrollar normas mínimas para
complementar las ya existentes sobre la seguridad de la víctima y la rendición de cuentas
del ofensor. Con estas premisas el programa se conduce hacia las comunidades pues
después de 24 semanas de tratamiento el agresor se lleva a la comunidad para
testimoniar el trabajo hecho, así se corresponsabiliza a las comunidades en la agresión
del problema de la violencia a la vez que se le permite desarrollar las soluciones.
En el estudio de Gondolf sobre percepción de las víctimas se encontró que 95% creen que
sus agresores terminarán el tratamiento, pero sólo la mitad de ellos completaron el
tratamiento, 95% de mujeres dijeron que sus victimarios aceptaron su problema, pero no
hay relación respecto a la reincidencia, 60% de mujeres dijeron sentirse más seguras, 44%
creen que no volverán a ser abusadas. Después de 4 años 47% de perpetradores han
reincidido, sobre la misma o diferente víctima o en ambas.
En un estudio adicional sobre percepción del mismo autor resalta el hecho de que las
víctimas se sienten más en riesgo cuando sus victimarios entran a los programas de
atención. En la extensión del estudio a 2001 para analizar la percepción después de que
los victimarios terminaron el tratamiento, se encontró que casi 2/3 de mujeres se sienten
29
mejor después de 15, 30 y 48 meses de tratamiento, 85% se siente más segura, y con
bajas probabilidades de ser nuevamente abusada con 30 y 48 meses de tratamiento,
En un estudio de percepción de mujeres (Ver Austin 1999) sobre los programas de
tratamiento del agresor se concluyó que las víctimas involucradas reportan sentirse más
seguras, aumentado su bienestar, sentirse revaloradas y eliminar la culpa sobre el abuso,
haber adquirido nuevos conocimientos sobre la violencia doméstica, todo en conjunto se
observa en forma positiva.
Otro estudio (Ver Ferris) señala que 86% de las víctimas están satisfechas con los
programas, 81% sienten protegida su confidencialidad, 25% reconocen al programa como
el primer espacio para hablar de su problema; 25% se sintieron influenciadas para
terminar su relación; 39% se sintieron impulsadas a buscar ayuda por sí mismas; 10% se
sintieron influenciadas para interponer demandas por abuso infantil, 50% dijo haber
enfrentado consecuencias.
Se requiere monitorear el comportamiento del agresor, así como dar soporte de
seguimiento a las víctimas; tomar en cuenta el riesgo de reincidencia.
Las parejas no deben ser coaccionadas en conjunto.
Incluir en la discusión sobre los programas de tratamiento a agresores las voces de las
víctimas y su defensa.
Con el propósito de rendir cuentas los programas deben proveer retroalimentación e
información a las víctimas.
La perspectiva legislativa de Kentucky, que considera la violencia doméstica como crimen
y que permitió la implementación de la Orden de Protección de Emergencia (EPO), ha
demostrado tener resultados efectivos inmediatos porque faculta a la policía para
intervenir y se limita el contacto entre la víctima, el agresor y su familia. En el estado se
ha instituido una división especial de crímenes domésticos reconociendo la situación y
necesidades especiales para su atención para su mejor manejo.
La intervención efectiva requiere necesariamente de una combinación efectiva entre los
programas de intervención para los agresores y un sistema de castigos. Así funciona
Kentucky y trabaja sobre ofensores jóvenes y con poco o ningún historial criminal; se
trabaja en forma interdisciplinaria por 9 meses.
Kentucky ha concluido que la violencia en la familia alimenta muchas otras enfermedades
que afectan a los contribuyentes para aplicar tratamiento médico y/o separar las víctimas
de sus agresores.
Valoración técnica:
La metodología es acorde a la integración de un artículo de investigación.
Resumen de las fortalezas, oportunidades, debilidades, amenazas y recomendaciones:
Fortalezas
Cada vez se atiende en forma más interdisciplinaria el problema de la violencia contra las
mujeres.
Se avanza en la concientización del problema de la violencia doméstica incorporando
formas de difusión y atención de la problemática.
30
Debilidades
Se requiere de hacer normas que atiendan a mujeres agredidas; personas de preferencia
sexual diversa; origen cultural, étnico, racial y religioso de grupos minoritarios.
Dirimir las controversias en las normas entre la desviación y los enfoques de intervención
y los métodos prácticos para la seguridad de las víctimas.
Alentar a los sistemas judiciales a funcionar en forma acorde con las normas.
Desarrollar formas económicas efectivas para el monitoreo y cumplimiento de programas
e impulsar investigación innovadora adicional enfocada al impacto de los programas,
planes de estudios deseables, protocolos de intervención y sobre todo, la efectividad e
impacto de las normas.
Encontrar formas novedosas de manejar que la víctima no desee romper la relación
motivada también por la dependencia económica.
Sigue confirmándose un problema cultural en la presencia de la violencia de género.
3.2.3 Lineamientos para la evaluación de resultados o impactos de los proyectos
financiados por el Fondo de la UNIFEM2 para eliminar la violencia contra las mujeres
Nombre del documento:
Guidelines for Impact or Outcome Evaluation for Projects Funded by the UNIFEM Trust Fund
to Eliminate violence Against Women
Características similares o tipos de apoyo que entrega el programa
El UNIFEM, a través de su fondo fiduciario, apoya a ONG’s con experiencia en temas de
género. Los apoyos consisten en proporcionar financiamiento (50 mil dólares en promedio)
durante 1 o 2 años —se espera ampliar el rango de 100 mil a 200 mil para 2 o 3 años. El
financiamiento incluye fondos para una evaluación de impacto —10% del total.
Año del documento:
2006
Objetivos del documento:
Presentar las líneas generales para definir y diseñar una evaluación de impacto de
intervenciones y modelos innovadores que buscan eliminar la violencia de género.
Proveer con bases sólidas, subvenciones a proyectos que puedan servir más tarde como
ejemplos para ser replicados.
Facilitar el rigor y la consistencia necesarios para la evaluación de impacto del proyecto.
2
United Nations Entity for Gender Equality and the Empowerment for Woman (UNIFEM)
31
Reducir la brecha entre los mecanismos protectores y los beneficios reales en los
beneficiarios últimos.
Metodología recomendada:
El diseño de la evaluación puede basarse en cuatro modelos aceptados por el Banco
Mundial: 1) diseño aleatorio; 2) diseño cuasi-experimental o diseño de grupos de control;
3) comparación ex post de los beneficiarios con grupo de control y 4) evaluación o
revisión ex post.
Para la evaluación de impacto se requiere que el proyecto a evaluar cuente con
información que incluya objetivos realistas, alcanzables por el proyecto de la evaluación
en tiempo y recursos definidos. Son importantes también aspectos como tener
claramente delineados la población objetivo o los beneficiarios; que los objetivos sean
verificables con indicadores. Es importante establecer hipótesis con una priorización
previa del problema y vínculos coherentes entre las causas y efectos del problema y con
la estrategia de intervención con la que se propone el cambio (árbol de problemas y árbol
de objetivos).
Para poder someter a evaluación de impacto un proyecto, éste debe contar con objetivos
específicos, medibles, ejecutables, realistas y relacionados con el tiempo; contar con una
población objetivo bien definida, con indicadores de evaluación para verificar que el
cambio se atribuya al programa y que ellos estén vinculados a los objetivos. Se requiere
tener claros los supuestos para saber qué podría afectar o facilitar la consecución de
objetivos; hacer un análisis jurídico y sobre derechos humanos.
La evaluación requiere de una estrategia de recolección de información primaria y
secundaria, verificación de fuentes que incluya métodos cuantitativos y cualitativos;
protocolo de entrevistas, método de análisis.
El muestreo es importante, ya sea que se haya definido en forma probabilística, aleatoria
o intencional; su tamaño es fundamental para lograr representatividad de los datos.
Como complemento, la muestra requiere de un grupo de comparación.
En la evaluación debe plantearse una estrategia de procesamiento y análisis de la
información tanto del diferente tipo de fuentes como de la información cualitativa y
cuantitativa.
Síntesis de los principales resultados:
No aplica
Valoración técnica:
No aplica
Resumen de las fortalezas, oportunidades, debilidades, amenazas y recomendaciones:
No aplica
32
3.2.4 Comentarios del metaevaluador:
3.2.4.1 Hispanic Capacity Project (HCP
La evaluación del HCP proporciona evidencia empírica que indica que destinar recursos
financieros a las organizaciones puede apoyar su fortalecimiento institucional —definido en
parte como la mejora de las redes de la organización, así como su credibilidad. Este resultado
sugiere que si el objetivo del PAIMEF es el fortalecimiento institucional de las IMEF, existe
plena evidencia de los impactos pueden ser positivos, cuando el diseño del programa es
adecuado —el metaevaluador considera que el diseño actual tiene áreas de oportunidad, ya
que mantiene dos problemas, cada uno con diferentes poblaciones objetivo.3 De tal forma, el
programa puede generar cambios importantes al interior de la organización, que le permita
ser sostenible en el tiempo, mejorar los servicios que ofrecen a la población vulnerable e
incluso, obtener financiamiento privado.
3.2.4.2 Violencia contra las mujeres: el estado de los programas de prevención, Estados
Unidos y Canadá
El documento es un artículo que hace una revisión de las normas de tratamiento de la
violencia de género y es concluyente respecto a la necesidad de abordar conjuntamente el
problema con una óptica de seguridad de la víctima y un sistema adecuado de castigos con
fuerte anclaje legal. La revisión bibliográfica incluye únicamente evaluaciones sobre
percepción y encuestas telefónicas con organizaciones interesadas en la atención del
problema. Una conclusión apuntaría a la necesidad de llevar a cabo otro tipo de evaluaciones
como los propios autores refieren.
3.3
Propuesta de Agenda de Evaluación para el período 2013-2018
En esta sección se propone una agenda de evaluación para el periodo 2013-2018,
incorporando una justificación técnica y/o empírica sobre la importancia que cada ejercicio
tendría para el programa, con base en los principales resultados de las evaluaciones en el
periodo 2007-2012 y el análisis de la información proporcionada. Se señalan también los
periodos de ejecución y el orden en el que se deberán ir implementando cada una de las
evaluaciones consideradas. Como referencia general para elaborar la agenda, tomaron los
3
Ver el apartado de conclusiones.
33
Lineamientos generales para la evaluación de los programas federales de la Administración
Pública Federal, publicados en el DOF el 30 de marzo de 2007. El Anexo 3 facilita una visión
esquemática de la propuesta.
La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse
en el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y
rigurosa la problemática focal que se pretende resolver a través del programa, así como
analizar, valorar y seleccionar las estrategias y mecanismos de atención que resulten más
adecuados. Este estudio deberá cumplir cabalmente con los criterios y requisitos mínimos
establecidos en los Lineamientos generales para la elaboración de diagnósticos de cuyos
resultados se obtienen propuestas de atención de Programas de Desarrollo Social, publicados
el 7 de mayo de 2009, e incorporar asimismo las metodologías y mejores prácticas en la
materia. Los resultados de este ejercicio pretenden brindar una base sólida de datos, análisis
y estrategia para anclar sólidamente el diseño, la operación y los resultados del programa
durante la siguiente administración federal, y de manera inmediata informar los cambios que
se pretendan hacer durante el primer año de la misma.
Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la
justificación de la creación y diseño del programa, especificar su vinculación con la
planeación sectorial y nacional, valorar la consistencia entre su diseño y la normatividad
aplicable, así como identificar posibles complementariedades y/o coincidencias con otros
programas federales. Esta evaluación deberá proveer información y análisis que
retroalimente el diseño conceptual y operativo del programa, así como los resultados que se
deben esperar del mismo. De forma inmediata, se pretende que sirva para valorar los
cambios que se hayan hecho al programa del primer al segundo año de la gestión, y generar
recomendaciones para refinarlos hacia el tercer año.
Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar
los cambios en la situación de la población objetivo del programa que se reflejan a través de
los indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme
a los estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de
información confiables con representatividad nacional; para ello, se propone la combinación
de enfoques cuantitativos y cualitativos así como el levamiento de información en campo a
través de diversos instrumentos, los cuales de describen a mayor detalle en la sección
subsecuente. La evaluación de impacto propuesta busca estimar en qué medida el programa
está alcanzado sus objetivos y qué condiciones y factores pueden afectar sus logros, de
forma tal que el programa pueda consolidar elementos clave de diseño y operación, o en su
caso cambiarlos para mejorar su efectividad. Por sus características y complejidad se
recomienda que la evaluación comprenda dos años —entre 18 y 24 meses, para ser más
precisos— a efecto de poder realizar mediciones basales y de seguimiento.
En el año 2017 se plantea hacer una Evaluación de procesos. Se pretende realizar un análisis
sistemático de la operación del programa mediante trabajo de campo y de gabinete, con la
34
finalidad de conocer cómo sus procesos —traducidos en sus Componentes, productos o
entregables— conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se
busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que
realiza, de manera que se puedan detectar áreas de oportunidad y emitir las
recomendaciones correspondientes. A través de una serie de preguntas específicas que
descomponen la operación y la aplicación de técnicas especializadas para el mapeo y análisis
de procesos, se pretende valorar el funcionamiento y la organización del programa,
permitiendo así conocer los factores que sustentan la implementación y hacer ejercicios
comparativos para la medición y la mejora de su gestión en el tiempo.
Finalmente, para el año 2012 se propone una Evaluación de consistencia y resultados. Este
ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más
importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos
de planeación y de orientación hacia resultados, la estrategia de cobertura y los avances
presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable,
los sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos
para medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros
respecto a la atención del problema para el que fue creado. El propósito de esta evaluación
es contar con una visión integral y comprensiva de cómo ha sido, qué tan bien ha funcionado
y cuáles han sido los logros del programa al cierre de la administración federal, a manera que
la siguiente pueda tener una sólida base para tomar decisiones informadas.
A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas,
en el año y secuencia en que corresponden.
3.3.1 2013: Diagnóstico y propuestas de atención
Objetivos
Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al
programa, a partir de la identificación del problema que se busca resolver así como la
caracterización y análisis detallado de los aspectos principales del mismo.
Plantear posibles alternativas de solución y seleccionar las más apropiada, a efecto de
mejorar el diseño, la operación y los resultados del programa.
Componentes a evaluar
Identificación del problema
Caracterización del problema
Experiencias de atención a la problemática
Definición, cuantificación y caracterización de la población potencial y objetivo
Propuesta de diseño
Marco de actuación de la propuesta
Proyecciones financieras y metas para la solución propuesta
Previsiones para integración y operación de padrones
35
Justificación e importancia
El Diagnóstico presenta inconsistencias importantes, particularmente en:
La definición del problema focal, ya que éste es más amplio que el definido en su diseño.
Los mecanismos idóneos para la asignación de recursos entre las IMEF, que no
contemplan referencias directas al problema focal.
Adicionalmente, el diagnóstico no incluye una propuesta de atención, que:
revise otras experiencias nacionales e internacionales para atender el problema;
especifique, valore y seleccione las alternativas de atención, y
proponga elementos de rediseño así como proyecciones y previsiones para mejorar
sustancialmente el desempeño del programa.
Insumos necesarios:
Metodologías robustas de planeación estratégica y marco lógico.
Información de censos, conteos y encuestas nacionales.
Información estadística interna de carácter operativo y financiero, actualizada y
confiable.
Estudios y evaluaciones nacionales e internacionales sobre programas similares.
Periodo de ejecución
3 -4 meses
3.3.2 2014: Evaluación de Diseño
Objetivos
El objetivo general es evaluar mediante trabajo de gabinete y apoyado en información
proporcionada por el programa, el diseño del programa. Lo anterior con el fin de que las
recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa.
Objetivos Específicos:
Analizar el diseño del programa.
Identificar y analizar su vinculación con la planeación sectorial y nacional.
Analizar la consistencia entre su diseño y la normatividad aplicable.
Identificar posibles complementariedades y/o coincidencias con otros programas.
Componentes a evaluar
Características del programa
Contribución a los objetivos estratégicos
Matriz de indicadores
Población potencial y objetivo
Vinculación con las ROP
36
Coincidencias, complementariedades y duplicidades con otros programas
Justificación e importancia
Valorar la integración del marco conceptual y normativo construido con el Diagnóstico,
en particular en cuanto a la redefinición de la población potencial y objetivo
Valorar el análisis para la selección de la alternativa de intervención, basado en la revisión
de experiencias internacionales y nacionales
Constatar la correspondencia entre las ROP y la MIR
Periodo de ejecución
3 – 4 meses
3.3.3 2015-2016: Evaluación de Impacto
Objetivo
Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del programa,
en la prevención de la violencia contra las mujeres así como otras variables asociadas al
fortalecimiento institucional de los interesados y responsables de la intervención.
Componentes a evaluar
Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y
Propósito de la MIR, así como otras mediciones complementarias. Dependiendo del rediseño
del programa se buscará medir:
Impactos en el fortalecimiento de las IMEF para mejorar la prevención y atención de la
violencia de género.
Efectos sobre el comportamiento de los indicadores de violencia de género, asociados a
los niveles de intervención del programa.
Justificación e importancia
El rediseño de un programa requiere medir su contribución en el cumplimiento de sus
objetivos.
En más de 6 años no se han realizado evaluaciones de impacto rigurosas al programa, por
lo que se desconoce en qué medida cumple con los objetivos establecidos.
Periodo de ejecución
12 - 16 meses.
3.3.4 2017: Procesos
Objetivo
37
El objetivo consiste en realizar un análisis sistemático, mediante trabajo de campo y de
gabinete, sobre la operación del programa con la finalidad de conocer cómo se conducen al
logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se
enfrenta y las buenas prácticas que se realizan, de manera que se puedan emitir
recomendaciones que permitan mejorar su gestión.
Componentes a evaluar
Operación del programa.
Identificación y clasificación de los procesos.
Análisis y medición de atributos de los procesos.
Análisis global de la operación del programa.
Justificación e importancia
Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya
que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de
las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo
tanto, el logro del Propósito.
Periodo de ejecución
3 -6 meses
3.3.5 2018: Evaluación de Consistencia y Resultados
Objetivo
Su objetivo consiste en evaluar mediante trabajo de gabinete y apoyado en información
proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación
estratégica, cobertura y focalización, operación, percepción de la población objetivo y
resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan
retroalimentar el diseño y la gestión del programa, para incidir positivamente en su
desempeño.
Componentes a evaluar
Diseño
Planeación Estratégica
Cobertura y Focalización
Operación
Percepción de la Población Objetivo
Resultados
Justificación e importancia
Se considera pertinente analizar el programa de forma global y sistemática, al menos una vez
durante cada administración, a efecto de valorar la consistencia y los resultados del mismo.
38
Periodo de ejecución
6 meses
3.4
Análisis de viabilidad y pertinencia para las evaluaciones de impacto
Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas
son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una
propuesta más detallada para someter al programa a una evaluación de impacto. Se
describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo
de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de
las características específicas del programa. La propuesta se acompaña de un análisis de
pertinencia y de viabilidad técnica y financiera.
3.4.1 Pertinencia de la evaluación
Desde su creación en 2006, el PAIMEF no se ha sometido a ninguna evaluación de sus efectos
e impactos. En su periodo de existencia ha mantenido un presupuesto entre los 180 y 200
millones de pesos anuales, que entrega en apoyos económicos para desarrollar acciones de
detección, prevención y atención de la violencia contra las mujeres que ejecuten los
gobiernos estatales. Esto hace necesario medir el cambio generado por los apoyos en el fin
último del programa que es impactar en la alta incidencia y prevalencia de casos de violencia
contra las mujeres. Así, el programa ha venido ejerciendo recursos públicos y apoyando
proyectos que en el agregado resultan sustanciales, sin poder realmente constatar si dichos
apoyos efectivamente han hecho una diferencia en la capacidad institucional de las
instancias para atender el problema de la violencia de género.
Si bien el argumento anterior por sí mismo podría justificar la realización de una evaluación
de resultados o impacto, existen otras razones que también apuntan en esa dirección. Por
ejemplo, algunos de los efectos e impactos deseados del programa son observables sólo en
el largo plazo. Además, las condiciones de contexto de las IMEF pueden cambiar a lo largo del
tiempo; de hecho, se espera que pasen por el progreso derivado de sus propias dinámicas de
gestión y de aplicación de sus recursos, en tanto que fueran resolviendo cada vez más y
mejor por su cuenta el reto de la prevención y atención de la violencia contra las mujeres —
independientemente de que existan factores que afecten su trayectoria de desarrollo, como
procesos electorales, cambios en el personal, entre otros. Ello implica que algunos factores
ligados a maduración o efectos de nivel asociados al trabajo de las IMEF, puedan incidir sobre
la significancia y magnitud de los efectos del programa sobre diversas variables de interés.
Cabe mencionar que el comportamiento prácticamente uniforme de la cobertura del
Programa puede generar una serie de complicaciones metodológicas para realizar las
39
evaluaciones. Sin embargo, eso no obsta para que se busque medir el efecto real del
programa en la disminución de casos de violencia contra las mujeres, utilizando técnicas y
metodologías que se presentan más adelante.
3.4.2 Aspectos a evaluar
En principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que
correspondan con los indicadores a nivel de Fin y Propósito de la matriz de indicadores, para
cada uno de los componentes del programa. De esta forma, se alinea de manera más
adecuada el sistema de monitoreo con el sistema de evaluación, dando consistencia y
estabilidad a las mediciones de desempeño. Por otro lado, se puede tener información sobre
el impacto diferenciado que cada componente aporta al Fin del programa y con ello tomar
decisiones de política pública adecuadas o dirigidas a mejorar los resultados deseados.
Para el nivel de Fin, considerando lo que aparece en el análisis del problema focal, en el
resumen narrativo de la MIR vigente así como en el objetivo general de las ROP 2012, la
variable básica de interés debe estar directamente asociada a la incidencia y prevalencia de
la violencia contra las mujeres. Evidentemente, la medición de impacto con este tipo de
variables resulta especialmente difícil, dada la magnitud y complejidad del problema así
como los limitados recursos del programa. Sin embargo, al final del día lo que este busca,
plasmado a lo largo de todos sus documentos normativos y técnicos, es precisamente
contribuir a disminuir la violencia contra las mujeres; luego entonces, la medición del
impacto del programa a nivel de Fin debe corresponder lógicamente con variables que midan
directamente dicho fenómeno.
Para medir el efecto del programa sobre el fortalecimiento de las instancias estatales, que es
lo considerado actualmente en el nivel de Propósito, se sugiere desarrollar un índice de
capacidad institucional de las IMEF o una medición equivalente. La construcción de dicho
índice puede tener como referencia las experiencias del Índice de Fortalecimiento
Institucional del mismo PAIMEF, y en el “Hispanic Capacity Project” (HCP) del “Organizational
Assessment Tool” (OAT) antes expuesto, entre otros similares. Este tipo de índices puede
servir al PAIMEF para identificar las dimensiones y las variables más relevantes que
determinan la capacidad institucional de las IMEF, y se debe, por supuesto, centrar en las
capacidades asociadas a la prevención y atención de la violencia contra las mujeres.
3.4.3 Metodologías y fuentes de información
Para evaluar el impacto de un programa con el alcance del PAIMEF, es necesario combinar
métodos, técnicas y fuentes de información diversas. Independientemente de las
aproximaciones particulares que se tomen —esto es, cuantitativas y cualitativas, encuestas y
entrevistas, levantamientos propios y registros oficiales, etc. La evaluación deberá partir de
40
un diseño de investigación robusto y adecuado para las variables de interés y los grupos de
aplicación, que preferentemente hayan sido probadas en estudios similares, ya sea en el
tema de atención o la estrategia empleada.
La estrategia metodológica que se propone para la evaluación de impacto (para medir la
capacidad institucional), requiere de una mezcla tanto de métodos cuantitativos, como
cualitativos. El método cuantitativo se basa en mediciones del índice de capacidad
institucional de las IMEF—sin embargo, también es posible realizar mediciones sobre la
prevalencia y probabilidad de violencia contra las mujeres. El método cualitativo se basa en
estudios de caso, en donde las unidades de análisis son las IMEF y sus proyectos. Es muy
importante mencionar que para el PAIMEF, la decisión de realizar una evaluación de impacto
involucra necesariamente ambos enfoques, dadas las limitaciones que se originan por el
diseño y la operación actual del programa. Las características y relevancia de estos
elementos de diseño se desarrollan a continuación.
Cuantitativo y cualitativo
En el PAIMEF, es especialmente necesario establecer una estrategia metodológica
compuesta, con procedimientos de acopio de información y técnicas analíticas tanto
cuantitativas como cualitativas. Esto es así porque en una evaluación de impacto de este
programa, no es posible realizar la construcción de grupos de control, ya sea para medir el
fortalecimiento institucional como para la medición de la reducción de la violencia contra las
mujeres4.
El propósito es asegurar que se obtengan y examinen apropiadamente todos los datos
requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer
recomendaciones útiles. Así, el diseño se debe ubicar dentro de las evaluaciones de métodos
mixtos (mixed-methods evaluation), vertiente que consideramos la más rica y adecuada para
evaluar al PAIMEF.5 Este tipo de investigación evaluativa permite integrar no sólo aquellos
datos y observaciones cuantitativas utilizadas en la evaluación de programas y proyectos
sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su
variabilidad y grado de generalización, sino también para otros datos y observaciones
4
En el caso del fortalecimiento institucional, las 32 IMEF ya son o han sido beneficiarias del PAIMEF, por lo cual
no es posible hacer el grupo de control. En el caso de la prevención de la violencia contra las mujeres, se puede
señalar que todas las mujeres del estado se pueden considerar como beneficiarias, llegando a la incapacidad de
formal el contrafactual; para otras intervenciones es posible que los criterios de confidencionalidad o la
diversidad de apoyos limieten este enfoque de evaluación.
5
Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling
and Sharp (1997). En el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico
son las evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas
metodologías y técnicas tanto cuantitativas como cualitativas.
41
cualitativas que reflejan percepciones subjetivas y formas de interacción de los actores, que
permiten entender mejor y describir con profundidad dichos fenómenos.6
En la evaluación del PAIMEF, los análisis a partir de datos y técnicas tanto cualitativas como
cuantitativas se deberán diseñar con el mismo rigor lógico y metodológico buscando
maximizar su validez para hacer inferencias descriptivas y causales en torno a los fenómenos,
variables y condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta
más adecuada para observaciones relativamente abundantes o con “números grandes”, que
normalmente se derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se
utiliza para observaciones relativamente escasas o con “números pequeños”, con datos
obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio, entre otras
técnicas. Estas vertientes se encuentran en los extremos opuestos del compromiso —en el
sentido de trade-off— que cualquier investigación con tiempo y recursos limitados se ve
obligada a que hacer en cuanto a amplitud y profundidad de las observaciones.
Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y
valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para
describir los contextos en que dichas intervenciones y efectos ocurren, así como para
entender los significados que los diversos actores involucrados les otorgan. Sin pretender
simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con
ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora
del programa. Se pretende que las metodologías cuantitativas y cualitativas no sólo se
complementen funcionalmente hablando —en el sentido de que lo que no se hiciera o
lograra con unas se consiguiera con las otras— sino que además se integraran —en el sentido
de que lo que se logre o consiga con unas sirva para informar, extender y refinar lo obtenido
a través de las otras. Dicha complementación e integración se debe hacer de manera formal
y explícita tanto en los estudios de caso como en los modelos estadísticos.
Para evaluar el impacto del PAIMEF a nivel de Fin, como una aproximación prometedora se
recomienda medir la variación en la prevalencia y en la probabilidad de la violencia contra las
mujeres por entidad federativa—esto es, el porcentaje de mujeres que reportan haber
sufrido algún tipo de violencia asociada a su condición de género— como variable básica de
referencia. Por supuesto, no toda la variación que se observe en dicha variable se puede
atribuir al PAIMEF y al trabajo de las IMEF, pues sobre la violencia hacia las mujeres inciden
una amplia serie de factores culturales, económicos, sociales e institucionales ajenos a ambas
instancias. Ello implica que los modelos de estimación a utilizar tengan que incorporar
controles para al menos algunos de los factores más relevantes. En esta línea, para capturar
mejor el impacto del programa, que es a su vez mediado por el trabajo de las IMEF, se debe
6
Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las
metodologías cuantitativas y cualitativas, véase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7).
42
ajustar al menos por los recursos que las IMEF asignan a la prevención y atención de este
fenómeno y la proporción de estos que representa el PAIMEF.
Entre los modelos que se sugiere explorar se encuentran los de regresión por mínimos
cuadrados —ordinarios o generalizados— así como los de tipo probit y logit. Los primeros
buscarían capturar el efecto del PAIMEF sobre la prevalencia, mientras que los segundos
estarían buscando efectos sobre la probabilidad. Las fuentes de información a considerar
serían la Encuesta Nacional sobre la Dinámica de las Relaciones Laborales (ENDIREH), la
Encuesta nacional de violencia contra las mujeres, (ENVIM) para los años que se consideren
relevantes, así como registros administrativos del programa y las IMEF.
De cualquier forma que se haga, surgirán sin duda retos y limitaciones metodológicas y
empíricas relevantes, que implicarán especificar y probar distintos modelos y construcciones
particulares de las variables. Asimismo, ex ante no se puede garantizar si una medición con
los modelos y aproximaciones sugeridas pueda efectivamente cumplir con los estándares
normalmente a las evaluaciones de programas sociales en México. Sin embargo,
considerando que al día de hoy no se tiene ninguna medición o referencia útil para valorar la
efectividad del programa en el nivel de Fin, se debe empezar a abordarlos desde una
perspectiva formal, por lo que sería necesario desarrollar a mayor detalle las distintas
alternativas y valorar su pertinencia.
Por otro lado, en el nivel de Propósito se recomienda una medición del tipo antes y después
para el índice de capacidad institucional del programa. Este modelo de evaluación puede
aplicar cuando no es posible identificar grupos de comparación o de referencia, siendo este
el caso del PAIMEF: los beneficiarios directos son las IMEF, de las cuales todas han sido
receptoras de fondos del PAIMEF. Por lo tanto, lo que se puede medir son los cambios en las
variables y dimensiones asociadas con la capacidad de las IMEF para prevenir y atender la
violencia contra las mujeres.
Tanto en la medición de la prevalencia y probabilidad de la violencia contra las mujeres como
en la de capacidad institucional para prevenirla y atenderla, la dificultad principal consiste en
aislar el efecto atribuible al programa. Esto es porque las IMEF pueden disponer de recursos
propios o de otras instituciones y organismos diferentes al PAIMEF para incrementar sus
capacidades, así como también porque no toda la variación observable en los niveles de
violencia se puede atribuir al trabajo de las IMEF y del PAIMEF. En este sentido, el equipo
metaevaluador reconoce que, con las mediciones y metodologías cuantitativas propuestas,
seguramente es posible que no se obtenga confiabilidad estadística de que los cambios
observados en las variables de interés no se puedan lograr sin la ayuda del programa. Con
todo, las mediciones pueden arrojar indicios sobre los efectos e impactos, y deberán en todo
caso irse refinando en el futuro. Así, complementar el análisis cuantitativo con el cualitativo
43
resulta indispensable para brindar información útil y juicios útiles que guíen la toma de
decisiones7.
Estudios de caso
Los estudios de caso aplican a efecto de obtener una visión más comprensiva y detallada del
impacto del programa, así como de las condiciones que afectan su desempeño. En esta
evaluación, los estudios de caso son indispensables para verificar si los cambios en la
capacidad institucional observados en el índice de las IMEF, son atribuibles al PAIMEF.
Las IMEF se deben seleccionar considerando una variabilidad de condiciones relevantes para
el funcionamiento de las mismas, tales como número de empleados o colaboradores de
tiempos completo (tamaño), tiempo de operación (experiencia), presupuesto ejercido
anualmente en proyectos (recursos), entre otras.
Los estudios de caso buscan combinar e integrar diversos métodos y técnicas tanto
cualitativas como cuantitativas, a efecto de lograr una apreciación más informada y sólida de
los actores, procesos y condiciones a analizar. Entre las herramientas empleadas se puede
incluir, por la parte cuantitativa, el análisis de datos de los censos y conteos de población y
vivienda, de registros administrativos y de inversión, así como de diversas encuestas propias;
por la parte cualitativa, utilizar grupos de enfoque, entrevistas semiestructuradas con IMEF
clave, así como la observación en sitio. En todos los estudios se deben utilizar las mismas
herramientas para recolección y análisis de datos, a efecto de asegurar la mayor
comparabilidad y aprovechamiento de la información posible, esto con algunas variaciones
según lo ameritaron las condiciones particulares y de acuerdo a la metodología sugerida.
El enfoque de los estudios puede ser etnográfico y explicativo para poder hacer inferencias
descriptivas y causales relacionadas con el impacto del programa.
Etapas de una evaluación de impacto
Las mejores prácticas en materia de evaluaciones de impacto (Véase Baker 2000) indican que
los pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la
preparación de la evaluación y su implementación. A continuación se presentan los aspectos
de cada rubro:
Preparación de la evaluación
7
La experiencia en evaluaciones cualitativas que complementan los trabajos cuantitavos es amplia en México.
El PDHO cuenta con una serie de trabajos basados en esta lógica.
44
1.
2.
3.
4.
5.
6.
Tomar la decisión sobre la realización del evaluación
Definir los objetivos de la evaluación
Examinar la disponibilidad de datos
Diseñar la evaluación
Formar el equipo de evaluación
Levantar información de campo (en caso de ser necesario)
a. Diseñar y seleccionar la muestra
b. Elaborar instrumentos para recopilar datos
c. Capacitar al personal de trabajo en campo
d. Elaborar pruebas piloto
e. Recopilar la información
f. Administrar datos
Implementación de la evaluación
7. Recopilar datos (ex-post) a la implementación con una periodicidad alineada a las
variables de análisis
8. Analizar los datos
9. Redactar el reporte de resultados y analizarlos con las autoridades y otros interesados
10. Incorporar los resultados en el diseño del evaluación
3.4.4 Viabilidad técnica y financiera
La viabilidad técnica radica en la capacidad de la institución para generar información y
procesarla adecuadamente con propósitos evaluativos. En este sentido, la discusión anterior
así como la experiencia en evaluación social en México, hacen patente que se puede alcanzar
este objetivo, desde el punto de vista estrictamente técnico. Es importante insistir que
cualquier evaluación de impacto requiere que con anterioridad (de 1 a 2 años), se revisen las
bases de datos disponibles, generar aquellas que se requieran, y/o en su caso realizar los
levantamientos nacionales y/o específicos. La información generada deberá cumplir los
requerimientos de veracidad, estructura y suficiencia que requiere la evaluación de impacto.
Sobre la viabilidad financiera de la evaluación de impacto propuesta, cabe mencionar que el
monto de recursos públicos que se destina anualmente al programa y lo que se ha gastado
en los últimos años, justifica la realización de evaluaciones rigurosas para medir sus
resultados. Este tipo de evaluaciones son especialmente valiosas en la medida que permiten
saber si el programa está efectivamente cumpliendo con sus objetivos y contribuyendo a
resolver el problema focal que justifica su propia existencia. Además, permiten identificar
fortalezas y debilidades que brindan información útil para modificar el diseño, la cobertura y
la operación del programa, a manera de incrementar sus logros.
45
Para el programa, el costo de una evaluación como la que se propone podría ser bajo en
comparación con el costo derivado de las deficiencias de diseño, cobertura, focalización y
operación que suelen tener las iniciativas sociales en México y en otros países, respecto de
las cuales no hay razón lógica para que el PAIMEF esté exento. Finalmente, también existe un
costo intrínseco en no conocer los resultados del PAIMEF, pues los tomadores de decisiones
no tienen una forma verificable, objetiva y transparente de saber si es conveniente ampliar la
cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y recortar
otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales
costos directos y de oportunidad seguramente exceden por mucho los de realizar una
evaluación de impacto rigurosa. De tal forma, las evaluaciones de impacto de un programa
de alcance nacional y con una duración como la del PAIMEF, prácticamente se deben
considerar ex ante como financiera viables y por demás convenientes; en todo caso, lo
correcto es buscar diseños apropiados y asegurar los recursos suficientes para que cumplan
cabalmente su propósito.
En complemento a lo anterior, cabe mencionar que el PAIMEF tuvo un presupuesto en 2012
de 300 millones de pesos. La provisión presupuestal así como la importancia del objetivo
general del programa, crean la necesidad y justifican la conveniencia de conocer en que
medida estos recursos públicos tienen efectos en las condiciones que dieron origen al
programa.
Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos
importantes, en ningún caso son comparables con los recursos que se podrían consumir por
operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar
alineado con la planeación de la política social. Por el contrario, estos recursos destinados a
elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como
una estimación preliminar, el equipo metaevaluador considera que el rango de costo para
una evaluación de impacto del PAIMEF podría ir de 2 a 2.5 millones de pesos. Comparados
con el presupuesto para los dos años que comprendería—2015 y 2016—y tomando como
base el ejercicio fiscal de 2012, el costo de la evaluación representaría aproximadamente
0.33% a 0.42% del presupuesto total del programa.
Se reconoce que en las ROP, año con año se incluyen cláusulas que ponen un tope sobre el
uso de recursos destinados a la evaluación. No obstante, una evaluación metodológicamente
robusta y con una justificación adecuada sobre la decisión de llevarse a cabo, debería tener
un canal financiero asegurado. En este caso, se propone modificar las ROP para que los
aspectos financieros no sean una limitante para llevar a cabo un estudio de esta naturaleza—
especialmente en programas con un presupuesto moderado, como el PAIMEF.
46
3.5
Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones
derivadas de las evaluaciones 2007-2011 y de la metaevaluación 2012
En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y
amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de
sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos
elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e
implicaciones para el desempeño del programa, así como vigentes, en el sentido que la
situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma
esquemática se presenta en el Anexo 4.
47
Tema de
evaluación
Diseño
Diseño
Operación
48
Aspecto Identificado
Referencia
Fortalezas
La principal fortaleza del PAIMEF es la
de ser uno de los instrumentos de
mayor importancia, por su monto de
financiamiento federal y por su
población objetivo para desarrollar
proyectos para prevenir, detectar y
atender la violencia de género.
Considerando la juventud e incipiente ED-2007-PAIMEFnivel de institucionalidad que han UACM-pp.6 y14
alcanzado la mayoría de los Institutos
de las Mujeres en las entidades
federativas, los recursos que distribuye
el PAIMEF son indispensables aunque
no
sean
suficientes,
para
el
cumplimiento del fin y el propósito del
programa.
Cuenta con indicadores claros y
EED10-11-PAIMEF
pertinentes para medir los avances del
C-230. pp.13.
programa.
Recientemente se creó un área de
Evaluación y Seguimiento en el PAIMEF
lo que significa una oportunidad para
EP-2009-PAIMEFdestinar tiempo a la planeación de
INSP-pp.40
mediano plazo, tomando como
insumos los resultados del proceso de
seguimiento y evaluación.
Recomendación
Referencia de la recomendación
Nota del metaevaluador:
La población potencial y objetivo requiere
de actualización en tanto que el problema
central de la capacidad institucional limitada
frente a la violencia contra las mujeres,
abarca un espectro de actores que abarca
más allá de los gobiernos subnacionales.
Operación
Operación
Operación
Operación
Operación
Operación
49
Las reglas de operación sobre el
proceso de aprobación, seguimiento y
ejecución de los proyectos han
mejorado el funcionamiento del
programa. Se observan elementos de
mejora en la asignación de los recursos
a las IMEF (procesos más transparentes
y eficientes).
El proceso de validación de proyectos,
a través de la mesas de validación, es
eficaz. La discrecionalidad se erradicó a
través de la instalación de una instancia
externa conformada por actores de la
academia, sociedad civil y sector
público.
Eficiente distribución de apoyos de
manera electrónica conforme a las
ROP.
Las IMEF tienen la posibilidad de
entregar recursos en especie como
equipos o contratación de personal
especializado o bien en efectivo.
Disponibilidad de nuevos recursos para
las IMEF está supeditada a la entrega
anual de un informe final, lo cual
representa una seguridad tanto para el
PAIMEF como para la IMEF.
Cuenta con acciones internas de
monitoreo y seguimiento de los
proyectos para atender a mujeres que
EED-2010-2011PAIMEF-CMQ-pp. 18
EP-2008-PAIMEFINSP-pp-52
EP-2008-PAIMEFINSP-pp. 67
EP-2008-PAIMEF-INSP
69
EP-2008-PAIMEFINSP-pp-72
EED10-11-PAIMEF
C-230. pp.13.
sufren situaciones de violencia.
Operación
Diseño
Diseño
Diseño
50
El programa tiene procedimientos
claros y precisos con actores,
herramientas y mecanismos que dan
ECyR-11-PAIMEF
agilidad a los trámites de presentación,
COLMEX-pp. 3 y 31
revisión, selección, seguimiento y
evaluación de los proyectos que
presentan las IMEF.
Debilidades
Los mecanismos para valorar las
EED09/10-PAIMEF
acciones del PAIMEF en los estados aún
COLMEX-pp.19
tienen áreas de mejora.
Es necesario avanzar en mecanismos que
aseguren la calidad y un mayor impacto de las
acciones que se realizan en los estados con
recursos del PAIMEF.
Nota del metaevaluador:
Realizar una evaluación de impacto.
No cuenta con un protocolo único para
Homologar un protocolo único de revisión y
las mesas de revisión y autorización de EED-10-11-CSC-pp.13
autorización para los proyectos.
los proyectos.
Avanzar en la definición e implementación de
una estrategia conjunta con los programas
del INMUJERES que potencie los resultados
de las acciones que financian y desarrollan
ambos programas.
La relación entre el INMUJERES y el EED2010-11-PAIMEF
PAIMEF no es fuerte.
CONSSC-pp. 14
Nota del metaevaluador:
Evaluar la conveniencia de que el PAIMEF se
convierta en una opción más del INMUJRES
para combatir la violencia de género. Lo
anterior en términos del Artículo 6 de la Ley
del Instituto Nacional de las Mujeres que
señala en su objetivos específicos I:
“La promoción, protección y difusión de los
derechos de las mujeres y de las niñas
consagrados en la Constitución Política de los
Estados Unidos Mexicanos y en los tratados
internacionales ratificados por México, en
particular los derechos humanos y libertades
fundamentales de las mujeres.
Planeación
No existe un plan estratégico de largo
ECyR10/11-PAIMEFplazo con procesos con perspectiva de
COLMEX-pp.18
género para regir sus actividades.
Cobertura y
focalización
El PAIMEF presenta un problema en la
focalización de recursos, ya que no se
utiliza un indicador de referencia
asociado al problema focal para la
asignación de los mismos entre las
IMEF. El programa cuenta con un índice
de fortalecimiento institucional (IFI),
51
La promoción, seguimiento y evaluación de
las políticas públicas, y la participación de la
sociedad, destinadas a asegurar la igualdad
de oportunidades y la no discriminación hacia
las mujeres”
Realizar Plan Estratégico correspondiente al
PAIMEF
donde
se
enfaticen
los
procedimientos y contenidos con perspectiva
de igualdad de género que deben regir las
diversas actividades del Programa tanto las
que se dirigen hacia el personal como hacia
las IMEF y cuente con una programación de
actividades que supere el periodo anual, esto
es, tenga visión de mediano y largo plazo.
Se sugiere que la focalización de los recursos
del programa se realice con base en
indicadores que reflejen la medida en la que
las IMEF presentan el problema focal. Esto se
puede hacer a través de una ponderación que
asigne el mayor peso en la fórmula a un
indicador como el IFI, revisado y especificado
que mide el grado en que las IMEF
cumplen con una serie de atributos
asociados a su capacidad para prevenir
y atender la violencia de género, pero
éste no considera ni está estructurado
como un mecanismo que permita
distribuir de manera eficiente los
recursos.
Operación
El programa no tiene lineamientos
EP-2008-PAIMEFclaros en cuanto a las acciones
INSP-pp.38
prioritarias de cada vertiente de apoyo.
Operación
Algunos procesos que se realizan a
EP-2008-PAIMEFnivel estatal no están previstos a
INSP-pp.38
detalle en las Reglas de Operación.
Operación
El PAIMEF no tiene una estrategia
institucional propia de difusión
EP-2008-PAIMEFnacional hacia la población en general,
INSP-pp.46
ni hacia Organizaciones de la Sociedad
Civil.
52
inversamente
(debilidad
institucional),
seguido de otro indicador asociado a la
incidencia o severidad de la violencia de
género en las entidades federativas.
Establecer lineamientos específicos que
orienten con mayor claridad el tipo de
acciones que se apegan a cada una de las
vertientes de apoyo del Programa.
Nota del metaevaluador:
Los lineamientos señalados en las ROP 2012
en los puntos de Criterios de Selección de
proyectos son muy generales, se refieren a
convenios internacionales y no son lo
suficientemente claros, aparte de que se
confunde con el apartado denominado Apoyo
a proyectos de las IMEF. Ambos apartados
dan lineamientos de cumplimiento para
ejecutar el proyecto lo que redunda en falta
de claridad para cumplir dichos lineamientos.
Elaborar la estrategia de difusión nacional, no
sólo a las mujeres para lograr el objetivo.
Nota del metaevaluador:
Redefinir y profundizar la estrategia de
comunicación sobre la importancia de
objetivo del PAIMEF.
Nota del metaevaluador:
La disparidad es porque los criterios de
selección de proyectos, indicados en las ROP
2012, no son claros ni concisos, lo que hace
necesario consolidar un procedimiento único
para la revisión y autorización de los
proyectos.
Nota del metaevaluador:
En el establecimiento de lineamientos en las
ROP se deben regular todas las relaciones
entre las IMEF y el PAIMEF con el fin de dar
certidumbre y agilidad a los procesos.
Esto es acorde con la urgencia de redefinir la
población potencial, objetivo y los
mecanismos de focalización para la
asignación de los recursos.
Nota del metaevaluador:
Reglamentar en las ROP que las IMEF
reporten con base en resultados. Esto
implicaría que las IMEF que reciben fondos
del PAIMEF, deberían reportar indicadores
indicados en la MIR, a nivel de componente,
proporcionando información sobre el logro
de los objetivos, la efectividad en el uso de
los recursos, entre otros.
Operación
Existe disparidad en la presentación de EP-2008-PAIMEFlos proyectos de las IMEF.
INSP-pp.50
Operación
Las IMEF eventualmente reciben
solicitudes de apoyo de las OSC, pero
EP-2008-PAIMEFno existe un proceso de atención por lo
INSP-pp.51
que su resolución es de manera
casuística.
Operación
Las IMEF, en general, solamente
reportan
acciones
realizadas
y
EP-2008-PAIMEFpresupuesto ejercido, sin orientación a
INSP-pp.74 y 75
resultados dado que no están sujetos a
ello.
Resultados
No cuenta con una evaluación externa
que permita reflejar los resultados del
EED-10/11-PAIMEF-C- El evaluador en su momento no hizo
programa, tanto en la disminución de la
230 pp. 13
recomendación al respecto.
violencia
contra
las
mujeres
beneficiadas como en las actividades
53
de prevención, detección y atención
que realizan las IMEF.
No cuenta con una definición
conceptual de cómo las acciones del
PAIMEF permiten materializar el
objetivo
de
fortalecer
institucionalmente a las IMEF.
Resultados
Ausencia de la medición de efectos del
programa en el desarrollo de
capacidades institucionales de las IMEF ECyR-11-PAIMEF
así como en el impacto en la COLMEX-pp.51
disminución de la violencia a las
mujeres.
Realizar una evaluación externa que permita
reflejar los resultados del programa, tanto en
la disminución de la violencia contra las
mujeres beneficiadas como en las actividades
de prevención, detección y atención que
realizan las IMEF, con el objetivo de conocer
posibles áreas de oportunidad y mejoras del
programa.
Nota del metaevaluador:
El Índice de Fortalecimiento Institucional (IFI)
que se refiere en la Nota Técnica de
Actualización de la Población Potencial y
Objetivo debe recuperarse en la medición y
como insumo para la evaluación.
Amenazas
Diseño
El presupuesto es bajo respecto a las
dimensiones del problema que se ECyR-11-PAIMEF
quiere atender: el fortalecimiento COLMEX-pp.7
institucional.
El fortalecimiento institucional que se
pretende alcanzar debe quedar claramente
dentro del contexto de las acciones para la
prevención y atención de la violencia, de esta
manera se generan argumentos para el
aumento del presupuesto para el programa.
Si se amplía la cobertura del PAIMEF, nivel
54
municipal y localidades, será necesario un
estudio para evaluar la posibilidad de una
ampliación presupuestal así como la
modificación correspondiente de las ROP.
Nota del metaevaluador:
INMUJERES podría fortalecer los objetivos del
PAIMEF, utilizando parte de su presupuesto
para apoyar su objetivo. De la misma forma,
INMUJERES podría aprovechar la estructura
que ha construido el PAIMEF, a través de las
IMEF, para alcanzar sus propios objetivos de
una forma más eficiente.
Se confirma la necesidad de que se actualice
la definición de la población potencial y
objetivo.
Operación
55
No se vislumbran esfuerzos serios en
las entidades federativas por financiar
la erradicación de la violencia contra las EP-2008-PAIMEFmujeres. No puede esperarse que el INSP-pp.71 y 72
PAIMEF sustituya la falta de una
política nacional sobre el tema.
Nota del metaevaluador:
Reglamentar el condicionamiento conjunto
entre la federación y las entidades estatales
para el financiamiento de los proyectos.
3.6
Reflexiones y recomendaciones complementarias del metaevaluador
En esta sección se desarrolla una serie de reflexiones y recomendaciones complementarias
del equipo metaevaluador sobre la situación actual del programa, que si bien se construyen
sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados
distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas
reflexiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño
del programa, y son responsabilidad exclusiva del metaevaluador.
Las definiciones del problema focal y de las poblaciones potencial y objetivo de los
programas sociales deben hacerse conforme a lo establecido en los Lineamientos generales
para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención
de Programas de Desarrollo Social, así como en los Lineamientos y criterios generales para la
definición, identificación y medición de la pobreza de Coneval. De manera complementaria,
la literatura y las buenas prácticas en la materia, detallan las formas en que se pueden
desarrollar dichas definiciones (como ejemplo, véase Aldunate y Córdoba 2011).
Así, conforme a los estándares y criterios para el diseño de programas sociales, el problema
focal debe describir correctamente la situación que justifica la existencia del programa, y es
analíticamente el contrario exacto del objetivo general, que se plantea como el problema
solucionado. Dicho objetivo general se debe desagregar en objetivos específicos, que
abordan diversos aspectos puntuales del problema focal —esto es, se va de lo general a lo
particular— mismos que usualmente se asocian a los bienes y servicios que otorga el
programa. El objetivo general suele corresponder con el Propósito del programa, y
contribuye a su vez a un objetivo superior de política, que corresponde con el Fin.
Sin embargo, un análisis riguroso de los diversos elementos de diseño del PAIMEF señala
cuestiones que, en opinión del equipo metaevaluador, no están resueltas adecuadamente y
pueden incidir de forma significativa sobre su efectividad. La reflexión central es que existen
algunas inconsistencias y ambigüedades en los elementos básicos de diseño, que desdibujan
la lógica vertical del programa. Esto se puede apreciar al revisarlos siguientes elementos:
Problema focal actual: Capacidad institucional limitada frente al problema de la violencia
contra las mujeres.
Objetivo general actual: Contribuir a prevenir y atender la violencia contra las mujeres a
través de las acciones que realizan las IMEF.
Objetivo especifico actual: Fortalecer a las Instancias de Mujeres en las Entidades
Federativas para prevenir y atender la violencia contra las mujeres.
Fin: Contribuir a disminuir la violencia contra las mujeres, a través de la prevención y
atención que brindan las Instancias de Mujeres en las Entidades Federativas.
56
Propósito: Las Instancias de las Mujeres en las Entidades Federativas son fortalecidas en
sus capacidades técnicas, humanas e institucionales prevenir y atender la violencia contra
las mujeres.
De entrada, el problema focal que aparece en el Diagnóstico se centra en la capacidad
institucional limitada de las IMEF, y no corresponde, en una relación directa y de primer
orden, con el objetivo general que aparece en las ROP 2012, enfocado en prevenir y atender
la violencia contra las mujeres. La correspondencia del problema focal se presenta con el
objetivo específico, pero este no corresponde con el objetivo general en una lógica de
desagregación sino de causalidad. En opinión del equipo metaevaluador, esta situación va
más allá de un mero inconveniente en la redacción, pues refleja inconsistencias reales y
relevantes en el diseño y operación del programa.
En primer lugar, no queda claro si el verdadero objetivo general o central del
programa —lo que se entiende en todo caso como Propósito— gira en torno a la
capacidad institucional limitada de las IMEF, como lo sugiere el problema focal y el
objetivo específico, o a la prevención y atención de la violencia contra las mujeres,
como se especifica en el objetivo general de las ROP.
En segundo lugar, el objetivo específico no descompone en partes al objetivo general,
sino que muestra una lógica causal jerárquica, como sucede normalmente entre el
Propósito de un programa y sus Componentes, en que los segundos deben ser
suficientes y necesarios para lograr el primero. Esto es, no queda claro si el
fortalecimiento de las IMEF está subordinado y se hace sólo en función de que
contribuyen a prevenir y atender la violencia contra las mujeres, o si se concibe como
un objetivo en sí mismo.8
En tercer lugar, en el nivel de Fin —que equivale al objetivo último del programa, uno
de orden superior que no puede solucionar por sí mismo sino solamente contribuir a
su solución— aparece disminuir la violencia contra las mujeres. En la redacción, la
disminución de la violencia contra las mujeres se alinea causalmente —el “a través”—
con la prevención y atención de dicho fenómeno, que debiera a su vez ser la parte
central del enunciado de Propósito. Sin embargo, las acciones de prevención y
atención se limitan sólo al ámbito de las IMEF, lo cual pareciera entonces quedar muy
8
Por ejemplo, en el caso de los programas para las micro, pequeñas y medianas empresas que utilizan
organismos intermedios o intermediarios financieros, los segundos se plantean siempre en función de las
primeras, los apoyos que se entregan a estas instituciones justifican sólo el beneficio a las empresas, e incluso
las mediciones de impacto y los indicadores de seguimiento tienen siempre el foco en los beneficiarios finales.
Para mayores detalles, refiérase a los programas de la Secretaría de Economía, tales como el Fondo PYME, el
Programa Nacional de Financiamiento al Microempresario (PRONAFIM) y al Fondo de Microfinanciamiento para
Mujeres Rurales (FOMMUR), entre otros.
57
limitado, sobre todo considerando los altos niveles de prevalencia de la violencia
contra las mujeres observados en la sociedad mexicana.
En cuarto lugar, en la lógica causal del programa, no queda claro que para prevenir y
atender la violencia contra las mujeres sea necesario y suficiente fortalecer
institucionalmente a las IMEF. Esto es cuestionable si se considera (a) que no hay una
razón evidente para que el nivel estatal deba ser el foco de atención, en vez de
considerar otras programas federales —incluyendo a los de la propia Sedesol—
gobiernos municipales y organizaciones de la sociedad civil, que tienen o deberían
tener diversas acciones en la materia; (b) que las IMEF no son las únicas instancias en
los estados que trabajan —o debían trabajar— en la prevención y atención de la
violencia contra las mujeres, pues existen también otras muy importantes como los
órganos judiciales y las OSC locales, por mencionar algunas, y (c) que se puede
también financiar directamente a los proyectos prioritarios de prevención y atención,
sin pasar necesariamente por el fortalecimiento de las IMEF, a menos que
efectivamente todas ellas lo requieran para poder diseñar e implementar proyectos
propios. Así, en todo caso las IMEF podrían ser sólo unas entre una diversidad de
instancias, y el fortalecimiento institucional sólo uno entre otros componentes.
Con base en lo anterior, el equipo metaevaluador recomienda al Indesol y a la Sedesol
redefinir el problema focal y los objetivos del PAIMEF para fortalecer la consistencia lógica de
su diseño y mejorar sus resultados. Ello implica definirse por la prevención y atención de la
violencia contra las mujeres —que opinión de los metaevaluadores, sería lo más adecuado —
o alternativamente por el fortalecimiento institucional de las IMEF para prevenir y atender
este fenómeno.
Si el problema focal, el objetivo general y el Propósito del programa se definieran en torno a
la prevención y atención de la violencia contra las mujeres, entonces lo más consistente sería
tener a la contribución de la disminución de la violencia contra las mujeres en el nivel de Fin,
y el fortalecimiento institucional de las IMEF como uno de los Componentes, entre otros
necesarios y suficientes para lograr el Propósito. Si el problema focal, el objetivo general y el
Propósito del programa se definieran en torno al fortalecimiento institucional de las IMEF
para prevenir y atender la violencia contra las mujeres, el Fin debería ser la contribución a la
disminución de la violencia —ya que la prevención y la atención serían sólo una etapa
intermedia en la lógica causal. No obstante, sería preciso justificar por qué fortalecer a las
IMEF se puede considerar por sí mismo como un objetivo deseable de la política social, e
igualmente señalar por qué es una alternativa superior a otras posibles para contribuir al
logro del Fin.
La discusión precedente y la selección que se deriva implican mucho más que un simple
cambio en la redacción de los documentos normativos y técnicos del programa, pues
cualquier decisión que se tome puede significar mover el foco de atención, modificar la
operación y replantear los resultados esperados. Por supuesto, el problema focal y los
objetivos también pueden quedar como están actualmente definidos; sin embargo, arrastrar
58
una inconsistencia de esta magnitud del diseño a la operación y luego a los resultados,
necesariamente afectará de forma negativa el desempeño del programa, pues no quedaría
claro siquiera qué se debe esperar del mismo.
En un sentido distinto pero evidentemente relacionado e importante, las inconsistencias y
ambigüedades antes mencionadas también generan confusión sobre las poblaciones
potencial y objetivo del programa —esto es, a quiénes se espera beneficiar— que son
elementos básicos del diseño, operación y resultados de cualquier programa, y que a su vez
se derivan de la definición del problema focal.
Conforme a los Lineamientos generales para la elaboración de diagnósticos de cuyos
resultados se obtienen propuestas de atención de Programas de Desarrollo Social, la
población potencial es aquella parte de la población que es susceptible de ser afectada por
el problema, y que por lo tanto requiere de los servicios o bienes que proveerá el programa;
por su parte, la población objetivo es el subconjunto de la población potencial que un
programa público diseñado ex profeso podría buscar atender en el corto y mediano plazos,
tomando para ello en consideración las limitaciones financieras e institucionales existentes.
En la Nota sobre población potencial y población objetivo 2011 y en las ROP de 2012, las
poblaciones del PAIMEF se definen de la siguiente forma:
Población potencial actual: Las 32 Instancias de Mujeres de las Entidades Federativas
(IMEF) que pueden ser ya sea Institutos o Secretarías.
Población objetivo actual: Las 32 Instancias de Mujeres de las Entidades Federativas
(IMEF) que pueden ser ya sea Institutos o Secretarías.
Ambas poblaciones son en general consistentes entre sí así como con la definición actual del
problema focal, en tanto que se enfocan en la capacidad institucional. Sin embargo, dichas
poblaciones son inconsistentes con el objetivo general del programa, que se centra en la
prevención y atención de la violencia contra las mujeres, en las que el foco son las mujeres y
no las IMEF. Evidentemente, las inconsistencias en las poblaciones se derivan de las
inconsistencias en el problema focal, sobre las cuales ya se ha elaborado con amplitud.
Entonces, a partir del diseño actual pareciera que el programa tiene dos poblaciones
potenciales y dos poblaciones objetivo, sin dejar claro cuáles son las verdaderamente
relevantes.
Huelga decir que conforme a la normatividad y a las mejores prácticas en la materia, los
programas deben tener una sola población potencial y una sola población objetivo
pertenecientes a un mismo grupo afectado por el problema focal, con diversos subgrupos y
clasificaciones si fuera necesario, pero siempre uno. De lo contrario, no sólo habría serios
errores en la cobertura y en la focalización de los beneficiarios, sino que el desempeño
conjunto del programa se vería disminuido.
59
Así, el equipo metaevaluador recomienda al Indesol y a la Sedesol redefinir las poblaciones
potencial y objetivo del PAIMEF, alineándolas a su vez con la redefinición propuesta para el
problema focal. Como ya se mencionó, esto implica definirse ya sea por las IMEF que
presentan debilidades institucionales para prevenir y atender la violencia contra las mujeres,
o alternativamente por las mujeres que sufren episodios de violencia o están en riesgo de
sufrirla. Si se optara por la segunda opción —que a juicio del equipo metaevaluador es la más
adecuada— habría que identificar, definir y clasificar a la población; si se decidiera por el
fortalecimiento institucional, las definiciones actuales no sufrirían mayores cambios, y
simplemente habría que refinarlas; nuevamente, sería necesario justificar por qué las IMEF
por sí mismas se deben de considerar como un grupo relevante de atención para la política
social, y no en función de su eventual impacto sobre las mujeres.
Finalmente, es menester enfatizar que todas las conclusiones y recomendaciones antes
expuestas respetan los elementos básicos del diseño y la lógica interna actuales del
programa, especificados en las ROP 2012, el Diagnóstico, la Nota y otros documentos
oficiales. Por lo tanto, y basándose en los resultados del presente trabajo, el equipo
metaevaluador sólo propone mejorar la consistencia de dichos elementos básicos del
programa, a efecto de mejorar su desempeño. Un análisis más amplio de la adecuación del
diseño, operación y resultados del programa queda fuera del alcance de esta
metaevaluación, y sería en su caso objeto de otro estudio.
60
4
Reporte de monitoreo
4.1 Introducción
En 2007, la Secretaría de Desarrollo Social (Sedesol) elaboró la Matriz de Indicadores para
Resultados (MIR) de los programas federales a su cargo con la finalidad de mejorar su diseño y
de cumplir con los Lineamientos Generales para la Evaluación de los Programas Federales de
la Administración Pública Federal9 que establecen que los programas federales deben contar
con una MIR.
Desde entonces, la MIR es usada por la Sedesol y por otros actores, como la Secretaría de
Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría
Superior de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de
Desarrollo Social (CONEVAL) e incluso el H. Congreso de la Unión, para dar seguimiento a los
resultados alcanzados por los programas federales, lo que la convierte en el principal
instrumento para monitorear el desempeño de dichos programas en el Gobierno Federal10.
La MIR de los programas federales de la Sedesol se ha ido modificando año con año,
principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con
mejores indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar
su alineación con las Reglas de Operación (ROP). Para ello, la Sedesol ha tomado en
consideración los comentarios y propuestas de mejora emitidos por actores como el
CONEVAL, la SHCP y los evaluadores externos que han evaluado los programas.
Este documento tiene como objetivo analizar la MIR 2012 del Programa de Apoyo a las
Instancias de Mujeres en las Entidades Federativas para generar propuestas de mejora para
la elaboración de la MIR 2013, especialmente de los niveles de Fin y Propósito, poniendo
especial atención en los indicadores de resultados.
9
Diario Oficial de la Federación. 30 de marzo de 2007.
La Ley General de Desarrollo Social establece en el Art. 77 que el CONEVAL antes de aprobar los indicadores
de resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP y a la
Cámara de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime
pertinentes, para esta aprobación, se toman los indicadores de la MIR.
Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de
Indicadores para los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el
CONEVAL, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables, deberán
emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos
Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las
metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar
cumplimiento a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe
trimestral a cargo de la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de
Presupuesto y Responsabilidad Hacendaria.
10
61
Para lo anterior, en la primera parte se hace un análisis de los cambios que se han
implementado en la MIR de 2007 a 2012, para ello se identifican los comentarios que
diversos actores han emitido a la MIR para el mismo periodo. Posteriormente, se valora el
resumen narrativo de la MIR 2012, analizando su correspondencia con las ROP de ese año y se
realizan propuestas de mejora. Por último, se valoran los indicadores de Fin y Propósito de la
MIR 2012 y se emiten propuestas de mejora.
4.2 Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012
En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de
Resultados (MIR) del programa durante el período 2007-2012. Se identifican los principales
cambios en los resúmenes narrativos y en los indicadores asociados a los mismos, que
surgieron como respuesta a las observaciones y recomendaciones de instancias como la
Auditoría Superior de la Federación (ASP), la Secretaría de Hacienda y Crédito Público (SHCP),
la Secretaría de la Función Pública (SFP), el Consejo Nacional de Evaluación de la Política de
Desarrollo Social (CONEVAL) y los evaluadores externos del programa. La secuencia de
cambio se presenta en los niveles de Fin, Propósito y algunos casos de Componentes, para
todos los años comprendidos en el período. Al final de la sección se presenta una propuesta
para mejorar los resúmenes narrativos y los indicadores para la MIR del año 2013. Un
esquema del análisis histórico de la MIR y de las propuestas de mejora se presenta en el
Anexo 5.
4.2.1 Principales cambios de la Matriz de Indicadores 2007-201211
En esta sección se hace un resumen de los principales cambios de la MIR del PAIMEF de 2007
a 2012, enfocándose principalmente en el resumen narrativo de los niveles de Fin, Propósito
y Componentes y en los indicadores de Fin y de Propósito. Los cambios se presentan primero
del resumen narrativo y posteriormente de los indicadores para cada año.
4.2.2 Análisis 2008-2009
Resumen narrativo
Para 2008, a nivel de Fin se tenían múltiples objetivos 1) prevenir la violencia contra las
mujeres, 2) detectar la violencia contra las mujeres, y 3) atender la violencia contra las
11
Al no contar con la MIR 2007, en esta sección el análisis se realiza a partir de 2008.
62
mujeres; por lo que no era posible identificar a cuál de estos objetivos se buscaba contribuir
con el logro del Propósito. La sintaxis de la Metodología de Marco Lógico (MML) establece que
el Fin debe ser el objetivo al cual el programa contribuya de manera significativa.
A nivel de Propósito, si bien se cumple con la sintaxis establecida en la MML, no era posible
conocer cuál es el objetivo que el programa busca alcanzar debido a que no se especifica en
la MIR un concepto de “fortalecidas” en el que se acote el alcance del resultado que el
programa espera lograr en las IMEF. Cabe destacar que en las ROP de 2008 tampoco se
establece una definición. De acuerdo con esto, no era posible determinar si el Propósito
contribuye al logro del Fin.
El Componente planteado no cumplía con la sintaxis establecida por la MML, ya que no se
expresaba como un bien entregado. Asimismo, debido a la falta de claridad del Propósito, no
era posible determinar si el Componente es suficiente y necesario para su logro.
No se cuenta con información del resumen narrativo de la MIR 2009.
Resumen
narrativo
Fin
Propósito
Componentes
2008
Contribuir a prevenir, detectar y atender la
violencia contra las mujeres.
Instancias de las Mujeres en las Entidades
Federativas fortalecidas para prevenir,
detectar y atender la violencia contra las
mujeres.
Proyectos de Instancias de las Mujeres en
las Entidades Federativas apoyados por el
PAIMEF.
2009
Sin información
Sin información
Sin información
Indicadores
A nivel de Fin, de 2008 a 2009, se eliminaron los indicadores planteados y se estableció uno
nuevo. Esta medida se consideró adecuada debido a que dichos indicadores correspondían a
otros ligados con las actividades de gestión del programa o con su cobertura, y por tanto, no
eran adecuados para nivel de Fin.
Cabe señalar que al no contar con la información del resumen narrativo para 2009 no es
posible determinar si el indicador era adecuado para medir el logro del Fin.
A nivel de Propósito, en 2008 se contaba con indicadores que daban cuenta de acciones
realizadas por las instancias de mujeres; sin embargo, al no contar con la información del
resumen narrativo para 2009 no era posible determinar si los indicadores son adecuados
para medir el logro del Propósito.
63
Indicadores
2008
Promedio de diagnósticos o investigaciones
dirigidos a detectar las principales
problemáticas de violencia en sus diferentes
formas y modalidades con relación al total
de
IMEF
con
proyectos
apoyados.
Número de diagnósticos o investigaciones
dirigidos a detectar las principales
problemáticas de violencia en sus diferentes
formas y modalidades, entre el total de IMEF
con proyectos apoyados, por cien.
Promedio de personas (mujeres, sus hijos e
hijas) beneficiadas por algún servicio
proporcionado en refugios o en unidades de
atención y protección a las víctimas de
violencia, con relación al total de IMEF con
proyectos apoyados.
Fin
64
Porcentaje de mujeres en situación de
violencia de género, que con ayuda del
PAIMEF cuentan con demanda resuelta.
Número de personas (mujeres, sus hijos e
hijas) beneficiadas por algún servicio
proporcionado en refugios o en unidades de
atención, entre el total de IMEF con proyectos
apoyados, por cien.
Promedio de profesionales capacitados
(jueces, fiscales, médicos, profesores,
trabajadores sociales, etc.) que atienden
directamente casos relacionados con la
violencia de género, con relación al total de
IMEF
con
proyectos
apoyados.
Número de profesionales (jueces, fiscales,
médicos, profesores, trabajadores sociales,
etc.) que atienden directamente casos
relacionados con la violencia contra las
mujeres, entre el total de IMEF con proyectos
apoyados, por cien.
Porcentaje de acciones, dirigidas a la
población, que alcanzaron sus objetivos en
por lo menos un 85%, en los aspectos de
prevención, detección y atención de la
violencia contra las mujeres.
Propósito
2009
Número de acciones, dirigidas a la población,
que alcanzaron sus objetivos en por lo
menos un 85%, en aspectos de prevención,
detección y atención de la violencia contra
las mujeres; entre el número de acciones,
dirigidas a la población, como apoyo para la
prevención, detección y atención de la
violencia contra las mujeres, por cien; contra
Porcentaje de acciones que, derivado del
apoyo de PAIMEF, generaron procesos de
cooperación interinstitucional respecto de
la detección, prevención y atención de la
violencia contra las mujeres con relación al
total de acciones apoyadas.
las mujeres que alcanzaron sus objetivos en
por lo menos un 85%; entre el número de
acciones, dirigidas a la población, como
apoyo para la prevención, detección y
atención de la violencia contra las mujeres,
por cien.
Porcentaje de acciones que, derivado del
apoyo de PAIMEF, generaron procesos de
cooperación interinstitucional respecto de la
detección, prevención y atención de la
violencia contra las mujeres con relación al
total de acciones apoyadas por el PAIMEF.
Número de acciones que, derivado del apoyo
del PAIMEF, generaron procesos de
cooperación interinstitucional respecto de la
detección, prevención y atención de la
violencia contra las mujeres, entre el número
de acciones apoyadas por el PAIMEF, por
cien.
Porcentaje de acciones que alcanzaron sus
objetivos en por lo menos un 85%, dirigidas a
generar estudios e investigaciones en
materia de violencia contra las mujeres.
Número de acciones que alcanzaron sus
objetivos en por lo menos un 85%, dirigidas a
generar estudios e investigaciones en
materia de violencia contra las mujeres,
entre el número de acciones dirigidas a
generar investigaciones en materia de
violencia contra las mujeres, por cien.
Porcentaje de acciones que alcanzaron sus
objetivos en por lo menos un 85%, dirigidas a
la creación o fortalecimiento de refugios y
unidades de atención y protección a las
víctimas
de
violencia.
Número de acciones que alcanzaron sus
objetivos en por lo menos un 85%, dirigidas a
la creación o fortalecimiento de refugios y
unidades de atención y protección a las
víctimas de violencia, entre el número de
acciones apoyadas, dirigidas a la creación o
fortalecimiento de refugios y unidades de
atención y protección a las víctimas de
violencia, por cien.
Porcentaje de acciones, dirigidas al
fortalecimiento
y
profesionalización
institucional, que alcanzaron sus objetivos en
por lo menos un 85%.
65
Porcentaje de servidores públicos de los
tres órdenes de gobierno que adquieren
conocimientos para prevenir, detectar y
atender la violencia de género.
Porcentaje de IMEF con Modelos de
Atención a la Violencia de Género
sistematizados.
Porcentaje de IMEF con Bancos Estatales de
Información que aportan datos en tiempo
y forma.
Porcentaje de personas, pertenecientes a
la población en general, que adquieren
conocimientos en materia de prevención,
detección y difusión de la violencia contra
las mujeres.
Número de acciones que alcanzaron sus
objetivos en al menos un 85%, dirigidas al
fortalecimiento
y
profesionalización
institucional, entre el número de acciones
dirigidas
al
fortalecimiento
y
profesionalización institucional, por cien.
Porcentaje de estudios e investigaciones
orientados a la creación o mejoramiento
de políticas públicas en materia de
violencia contra las mujeres.
Porcentaje de refugios para las mujeres en
situación de violencia que cuentan con un
modelo de atención sistematizado.
4.2.3 Análisis 2009-2010
Resumen narrativo
El Fin de 2010 contaba con un objetivo único a dicho nivel 1) disminuir la violencia contra las
mujeres. Esto se considera correcto, debido a que cumplía con la sintaxis establecida por la
MML. No obstante, no se identificó un concepto en la MIR de “violencia”, por lo que el
objetivo al cual contribuye el programa era ambiguo.
El Propósito de 2010 no se considera apropiado, debido a que tiene múltiples objetivos. No
era claro si lo que el programa buscaba es 1) fortalecer las instancias para mujeres, 2)
prevenir la violencia, 3) detectar la violencia o 4) atender la violencia. Lo cual no corresponde
con lo establecido por la MML, en el sentido de que éste debe tener un objetivo único.
Asimismo, el “para” establecido en el Propósito (prevenir, detectar y atender la violencia
contra las mujeres) no corresponde con el Fin de “disminuir la violencia contra las mujeres”.
A nivel de Propósito, se contaba con un objetivo único, lo cual era correcto debido a que
cumplía con la sintaxis establecida en la MML; sin embargo, no se especificó en la MIR un
concepto de “fortalecidas” en el que se acote el alcance del resultado que el programa
espera lograr en las IMEF, por lo que el Propósito era ambiguo. Cabe destacar que en las ROP
de 2010 tampoco se estableció una definición. De acuerdo con esto, no era posible
determinar si el Propósito contribuye al logro del Fin.
A nivel de Componentes para 2010, se planteó un Componente único que cumplía con la
sintaxis establecida por la MML. Sin embargo, al no tener una clara definición del Propósito en
cuanto al resultado que espera alcanzar el programa en las IMEF, no era posible determinar si
el Componente es el suficiente y necesario para su logro.
66
Resumen
narrativo
Fin
Propósito
Componentes
2010
Contribuir a disminuir la violencia contra las mujeres, a través de la prevención,
detección y atención que brindan las Instancias de las Mujeres en las Entidades
Federativas.
Fortalecer las Instancias de las Mujeres en las Entidades Federativas para prevenir,
detectar y atender la violencia contra las mujeres.
Proyectos de Instancias de Mujeres en las Entidades Federativas financiados.
Indicadores
De 2009 a 2010, a nivel de Fin, se modificó el indicador; sin embargo, no es claro que el
indicador de 2010 midiera la disminución de la violencia contra las mujeres como se
planteaba en el resumen narrativo. Es decir, el indicador medía el número de mujeres que
fueron atendidas con servicios especializados; sin embargo, no se especificó si el que una
mujer recibiera servicios especializados implicaba que ya no se encontraba en una situación
de violencia o si se refería únicamente a un indicador de cobertura de mujeres atendidas.
Asimismo, el indicador era absoluto, por lo que se debe tener en cuenta que por sí mismo
proporcionaba poca información si no se tenía una variable de referencia con la cual
comparar el desempeño del programa.
De acuerdo con esto, no se considera que el indicador fuera adecuado para medir el Fin.
Por otra parte, el indicador de Propósito también se modifica y se establece como un índice
que mide el fortalecimiento institucional de las IMEF. Si bien esto fue una mejora con respecto
del indicador de 2009, no era posible determinar si el indicador era adecuado, debido a que
no se contaba con información acerca de cómo está compuesto este índice, y del concepto
que tenía el programa de “fortalecer”.
Indicadores
2010
Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas
con servicios especializados.
Fin
Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas
con servicios especializados durante el ejercicio fiscal presente.
Índice global de fortalecimiento institucional de las IMEF para prevenir, detectar y atender
la violencia contra las mujeres.
Propósito
Anexo metodológico del Índice global de fortalecimiento institucional de las IMEF para
prevenir, detectar y atender la violencia contra las mujeres.
67
4.2.4 Análisis 2010-2011
Resumen narrativo
De 2010 a 2011, el Fin se mantuvo como un objetivo único 1) disminuir la violencia contra las
mujeres. Esto se consideró correcto, debido a que cumplía con la sintaxis establecida por la
MML. No obstante, no se identificó un concepto en la MIR de “violencia”, por lo que el
objetivo al cual contribuye el programa siguió siendo ambiguo.
En el Propósito de 2011, si bien se modificó la redacción con respecto de la MIR 2010, se
mantuvieron múltiples objetivos lo cual no correspondía con lo que establece la MML y, por lo
tanto, no se consideró adecuado. De acuerdo con esto, no era claro si lo que el programa
buscaba era 1) fortalecer las instancias para mujeres en sus capacidades técnicas, humanas e
institucionales, 2) prevenir la violencia o 3) atender la violencia.
Asimismo, el “para” establecido en el Propósito (prevenir, detectar y atender la violencia
contra las mujeres) no correspondía con el Fin de “disminuir la violencia contra las mujeres”.
A nivel de Propósito, no se especificó en la MIR un concepto para “fortalecer”, en el que se
acotara el alcance del resultado que el programa esperaba lograr en las IMEF, por lo que el
objetivo que el programa buscaba alcanzar no era claro. Cabe destacar que en las ROP de
2011 tampoco se estableció una definición. Derivado de lo anterior, no era posible
determinar si el Propósito contribuía al logro del Fin.
A nivel de Componentes para 2011, se planteó un Componente único que cumplía con la
sintaxis establecida por la MML. Sin embargo, al no tener una clara definición del Propósito en
cuanto al resultado que el programa espera alcanzar en las IMEF, no es posible determinar si
el Componente es el suficiente y necesario para su logro.
Resumen
narrativo
Fin
Propósito
Componentes
2011
Contribuir a disminuir la violencia contra las mujeres, mediante la prevención y atención
que brindan las Instancias de Mujeres en las Entidades Federativas.
Fortaleces las Instancias de las Mujeres en las Entidades Federativas en sus capacidades
técnicas, humanas e institucionales para prevenir y atender la violencia contra las
mujeres.
Apoyo a proyectos y fomento estratégico de las Instancias de Mujeres en las Entidades
Federativas.
Indicadores
De 2010 a 2011, a nivel de Fin, se mantuvo el indicador, en el cual no era claro que el
indicador de 2010 midiera la disminución de la violencia contra las mujeres como se
planteaba en el resumen narrativo. Es decir, el indicador medía el número de mujeres que
68
fueron atendidas con servicios especializados; sin embargo, no se especificaba si el que una
mujer recibiera servicios especializados implicaba que ya no se encontrara en una situación
de violencia o si se refería únicamente a un indicador de cobertura de mujeres atendidas.
Asimismo, el indicador era absoluto, por lo que se debe tener en cuenta que por sí mismo
proporcionaba poca información si no se tenía una variable de referencia con la cual
comparar el desempeño del programa. De acuerdo con esto, no se consideraba que el
indicador fuera adecuado para medir el Fin.
Por otra parte, el indicador de Propósito también se mantuvo como un índice que medía el
fortalecimiento institucional de las IMEF, no era posible determinar si el indicador era
adecuado, debido a que no se contaba con información acerca de cómo estaba compuesto ni
del concepto de “fortalecer” que tiene el programa.
Indicadores
2011
Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas
con servicios especializados.
Fin
Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron atendidas
con servicios especializados durante el ejercicio fiscal presente.
Índice global de fortalecimiento institucional de las IMEF para prevenir y atender la
violencia contra las mujeres.
Propósito
Anexo metodológico del Índice global de fortalecimiento institucional de las IMEF para
prevenir y atender la violencia contra las mujeres
4.2.5 Análisis 2011-2012
Resumen narrativo
De 2011 a 2012, el Fin se mantuvo como un objetivo único: 1) disminuir la violencia contra
las mujeres, lo cual se considera correcto debido a que cumple con la sintaxis establecida por
la MML. No obstante, no se identificó un concepto en la MIR de “violencia”, por lo que el
objetivo al cual contribuía el programa siguió siendo ambiguo.
El Propósito de la MIR 2012 no era apropiado debido a que se mantuvieron múltiples
objetivos, lo cual no corresponde con lo que establece la MML. De acuerdo con esto, no era
claro si lo que el programa buscaba es 1) fortalecer las instancias para mujeres en sus
capacidades técnicas, humanas e institucionales; 2) prevenir la violencia o 3) atender la
violencia. Asimismo, el “para” establecido en el Propósito (prevenir, detectar y atender la
violencia contra las mujeres) no correspondía con el Fin de “disminuir la violencia contra las
mujeres”.
69
A nivel de Propósito no se especifica en la MIR un concepto de “fortalecer”, en el que se
acote el alcance del resultado que el programa espera lograr en las IMEF, por lo que el
objetivo que el programa busca alcanzar no es claro. Por lo tanto, no es posible determinar si
el Propósito contribuye al logro del Fin. Si bien en las ROP de 2012 se establece una
definición de “fortalecimiento”, ésta se analiza en el apartado de Análisis del resumen
narrativo de la Matriz de Indicadores para Resultados 2012.
A nivel de Componentes para 2012, se planteó un Componente único distinto al establecido
en 2011 que no se consideró apropiado debido a que no cumplía con la sintaxis establecida
por la MML. Al no tener una clara definición del Propósito en cuanto al resultado que el
programa espera alcanzar en las IMEF, no era posible determinar si el Componente era el
suficiente y necesario para su logro.
Resumen
narrativo
Fin
Propósito
Componentes
2012
Contribuir a disminuir la violencia contra las mujeres, mediante la prevención y atención
que brindan las Instancias de Mujeres en las Entidades Federativas.
Fortalecer las Instancias de las Mujeres en las Entidades Federativas en sus capacidades
técnicas, humanas e institucionales, para prevenir y atender la violencia contra las
mujeres.
Apoyo a proyectos y fomento estratégico de las Instancias de Mujeres en las Entidades
Federativas.
Indicadores
De 2011 a 2012, a nivel de Fin, se modificó el indicador, en el cual no era claro si medía la
disminución de la violencia contra las mujeres como se plantea en el resumen narrativo. Este
indicador más bien parece ser de Propósito, en el sentido de que un mayor número de
mujeres atendidas (respecto de las que solicitan apoyo) implica que las IMEF tienen la
capacidad de atender a un mayor número de mujeres, y por tanto, se encuentran más
fortalecidas.
Por otra parte, el indicador únicamente daba cuenta de las mujeres atendidas por el
programa; cuando, de acuerdo con el resumen narrativo, debe medir si hubo una
disminución de la violencia contra las mujeres (atendidas + no atendidas).
A nivel de Propósito, el indicador se mantuvo como un índice que medía el fortalecimiento
institucional de las IMEF. Al respecto, no era posible determinar si el indicador era adecuado,
debido a que no se contaba con información acerca de cómo estaba compuesto, ni claridad
del resultado que el programa espera alcanzar en la población objetivo.
Indicadores
2012
Fin
Tasa de crecimiento del número de mujeres atendidas con apoyo del PAIMEF, según
acciones de prevención y atención que realizan las IMEF.
70
(Número de mujeres que recibieron servicios de prevención y atención por medio de las
IMEF con apoyo del PAIMEF durante el ejercicio fiscal en curso menos el número de
mujeres que recibieron servicios de prevención y atención por medio de las IMEF con apoyo
del PAIMEF, durante el ejercicio fiscal anterior / Número de mujeres que recibieron
servicios de prevención y atención por medio de las IMEF, con apoyo del PAIMEF durante el
ejercicio fiscal anterior) * 100
Índice de Fortalecimiento Institucional de las IMEF para prevenir y atender la violencia
contra las mujeres.
Propósito
Sumatoria de los Subíndices Capacidades Básicas + Corresponsabilidad + Eficiencia
Operativa + Eficacia de Resultados, que obtuvieron las IMEF apoyadas por el Programa en el
ejercicio fiscal en curso / Número de IMEF apoyadas por el Programa durante el ejercicio
fiscal en curso.
4.3 Principales comentarios a la Matriz de Indicadores 2007-2012
En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del
PAIMEF de 2007 a 2012 por evaluadores externos, los cuales fueron rescatados de la
documentación proporcionada para esta metaevaluación12. Los comentarios se presentan
primero del Fin, posteriormente del Propósito, después de los Componentes y finalmente se
presentan los comentarios que se identificaron como generales. Los resultados aquí
presentados reflejan lo encontrado en la citada evaluación en el momento en que se llevó a
cabo y no necesariamente siguen vigentes o reflejan la opinión del Meta-evaluador.
Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron
comentarios realizados por los actores mencionados en los documentos revisados.
12
Para el PAIMEF se revisaron los siguientes documentos proporcionados al metaevaluador:
Comentarios a la MIR emitidos por el CONEVAL
Evaluación de Consistencia y Resultados 2011 del Programa de Apoyo a las Instancias de Mujeres en las
Entidades Federativas
Evaluación en materia de diseño 2007 del Programa de Apoyo a las Instancias de las Mujeres en las
Entidades Federativas
Evaluación Específica de Desempeño 2008-2009 del Programa de Apoyo a las Instancias de Mujeres en
las Entidades Federativas
Evaluación Específica de Desempeño 2009-2010 del Programa de Apoyo a las Instancias de Mujeres en
las Entidades Federativas
Evaluación Específica de Desempeño 2010-2011 del Programa de Apoyo a las Instancias de Mujeres en
las Entidades Federativas
Histórico de Aspectos Susceptibles de Mejora
Informe de sesiones de mesa técnica de revisión de indicadores del Programa de Apoyo a las Instancias
de Mujeres en las Entidades Federativas 2011
71
4.3.1 Fin
A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel
Fin de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 – Fin
Resumen narrativo:
El Fin del programa: “contribuir a favorecer el desarrollo de procesos
interinstitucionales para prevenir, detectar y atender la violencia contra las mujeres”
era una definición clara de cómo el PAIMEF contribuía, en el mediano y largo plazo, a
la solución del problema de la violencia contra las mujeres.
El Fin parecía contribuir a la solución del problema. Dado que el problema o la
necesidad estaba formulado en términos de favorecer el desarrollo de procesos
interinstitucionales para prevenir, detectar y atender la violencia contra las mujeres;
el fortalecimiento de las IMEF parecía corresponder con la solución del problema.
Se proponía considerar el supuesto a las acciones de coordinación intersectorial y con
los órdenes de gobierno que lleve a cabo Sedesol. Éste se sostendría en la premisa de
que el PAIMEF, en la medida en que esté cobijado por la estructura de la
dependencia, es menos frágil y vulnerable.
Se proponía integrar el supuesto "Acciones de colaboración al interior de Sedesol y
con los tres órdenes de gobierno".
Indicadores:
El indicador propuesto a nivel de Fin era adecuado en términos de desempeño, pues
se refería al alcance del componente, no al componente mismo. Es una medida
adecuada para valorar la consecución del Fin.
Principales comentarios MIR 2008 – Fin
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
Promedio de profesionales (jueces, fiscales, médicos, profesores, trabajadores
sociales, etc.) que atienden directamente casos relacionados con la violencia de
género capacitados con relación al total de IMEF con proyectos apoyados. El indicador
era claro y adecuado, y permitía dar cuenta del avance en la capacitación profesional
promedio por IMEF. Al parecer por error, el método de cálculo fue mal formulado, ya
que se trataba de un promedio y no de un porcentaje. El resultado para 2008 rebasa
por mucho a lo esperado, la información disponible no permitía explicar este
comportamiento.
Principales comentarios MIR 2009 – Fin
Resumen narrativo:
Se sugiere acotar el Fin a lo que el programa contribuirá.
Los Supuestos planteados parecían ser parte de la gerencia del programa.
72
Indicadores:
Porcentaje de mujeres en situación de violencia de género, que con ayuda del
PAIMEF, cuentan con una demanda resuelta. El indicador propuesto no medía el
impacto o los resultados del programa en cuanto a lo que el objetivo de Fin propone.
Se sugirió medir los resultados del programa frente a la población que no recibe los
beneficios y se señaló que era necesario establecer metas que permitieran dar cuenta
del avance en el alcance de los objetivos.
Los indicadores propuestos parecían de nivel de Componentes, se recomendó
establecer indicadores que dieran cuenta de los resultados que estaba obteniendo el
programa en la consecución del objetivo planteado en el Propósito, como un cambio
relevante en la población.
Principales comentarios MIR 2010 – Fin
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
Número de mujeres en situación de violencia que, con apoyo del PAIMEF, fueron
atendidas con servicios especializados. El indicador rebasó sus metas.
Principales comentarios MIR 2011 – Fin
Resumen narrativo:
Se señaló que si bien los esfuerzos del programa han logrado identificar sus campos
de acción y a la población objetivo que benefician, aún no es posible verificar con
claridad cuál es el impacto directo del PAIMEF, así como los resultados que pretende
lograr en el mediano y largo plazo.
Otro comentario estableció que en relación al Fin, la propuesta era redactarlo
directamente como “Disminuir la violencia contra las mujeres”. Se señaló que el Fin
de cualquier entidad gubernamental no debía ser contribuir, ya que daba lugar a
indicadores dirigidos a los medios, no al impacto que se pretendía obtener con la
política que se llevaba a cabo: disminuir la violencia.
Indicadores:
Número de mujeres en situación de violencia que con apoyo del PAIMEF fueron
atendidas con servicios especializados. El indicador no se consideró pertinente, aun
cuando se relaciona con un factor importante del objetivo: disminuir la violencia
contra las mujeres. Lo anterior, debido a que el indicador era una contabilización de
beneficiarias, no reflejaba los resultados obtenidos por el programa. Adicionalmente,
se recomendó que los indicadores fueran una relación entre dos o más variables.
De este indicador también se señalo que era relevante debido a que medía el
cumplimiento del objetivo pero que sólo es un dato que no permitía medir los
avances o logros del programa. Dado el contexto del programa, era recomendable
fortalecer los indicadores, considerando estándares de calidad en la atención de las
mujeres, así como calculando el indicador con referencia al universo de mujeres
víctimas de violencia y especificando el tipo (física, psicológica, económica y sexual) y
73
el ámbito en que ocurre (hogar, escolar, laboral y social). Además, era recomendable
calcular distintos indicadores para servicios de prevención y atención, que sean más
informativos en lugar de un solo indicador agregado.
El indicador no era claro, ya que no especificaba si se refería a todos los tipos y
ámbitos de violencia o sólo a algunos en particular, ni a qué se refería el apoyo del
PAIMEF (recursos, asistencia técnica, etc.). En cuanto al tipo de atención, se
mezclaban en el mismo indicador servicios muy distintos de asesoría, orientación,
atención médica, legal y trabajo social sin especificar estándares de calidad de
atención.
El indicador era monitoreable, dado que podía ser sujeto a una comprobación
independiente; sin embargo, la confiabilidad y robustez de los medios de verificación
dependían de la calidad de los registros administrativos de las instancias estatales. Era
recomendable que se tuvieran criterios homogéneos en la contabilización de
beneficiarios en los distintos tipos de atención.
El indicador era económico, dado que se obtenía de registros administrativos, por lo
que se esperaría que su costo fuera razonable. Es decir, la construcción del indicador
no representaba un costo adicional a la operación del programa.
Se propuso contar con al menos dos indicadores que distinguieran los servicios de
prevención y atención. Se propuso también que los indicadores fueran relativos, es
decir, relaciones entre dos o más variables.
El programa debía integrar una agenda de mejora de sus indicadores de resultados.
En un futuro se podría considerar añadir preguntas a la ENDIREH sobre acceso a
servicios de prevención y atención que permitan calcular otros indicadores de acceso
a servicios.
Se sugirió un indicador como el porcentaje de mujeres que fueron atendidas por el
PAIMEF y que denunciaron el evento; así se puede apreciar la disminución de la
violencia y la incorporación de la perspectiva de género que pretende modificar la
condición y posición de las mujeres.
Principales comentarios MIR 2012 – Fin
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
No se cuenta con comentarios.
4.3.2 Propósito
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Propósito de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 – Propósito
Resumen narrativo
74
El fortalecimiento de las IMEF para prevenir, detectar y atender la violencia contra las
mujeres (Propósito del programa), parece claramente definido, por tanto, se
consideró adecuado como formulación o definición del resultado mediato del
programa. Las IMEF fortalecidas era un Propósito plausible a corto plazo, toda vez que
mediante el PAIMEF se capitalizaban materialmente y formaban sus recursos
humanos, para enfrentar la violencia contra la mujer en el contexto de su entidad.
El Propósito parecía contribuir a la solución del problema. En la medida en que los
recursos que distribuye el PAIMEF para proyectos y acciones específicas de
enfrentamiento a la violencia contra las mujeres las fortalezcan parecía posible que el
programa, como mediación, contribuyera a generar procesos interinstitucionales, lo
cual es deseable para enfrentar de manera más eficaz el complejo problema de la
violencia de género.
Es claro y lógico, desde la perspectiva de la MIR, que el Propósito contribuye al Fin.
Se propuso considerar como un supuesto los recursos y capacidades de las IMEF. Se
observó las dificultades que tienen las IMEF para elaborar y dar seguimiento a los
proyectos, a pesar de que haya interés y voluntad en hacerlos.
Se propuso integrar el Supuesto "Recursos y capacidades de las IMEF para elaborar
propuestas para el PAIMEF".
Indicadores:
Los cuatro indicadores de Propósito se referían a los cuatro criterios (temas u objetos)
en los que se enmarca el componte (proyectos). Miden el logro de sus propios
objetivos como indicador de instancias fortalecidas.
Principales comentarios MIR 2008 – Propósito
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
Porcentaje de acciones, dirigidas a la población, que alcanzaron sus objetivos en por
lo menos un 85%, en aspectos de prevención, detección y atención de la violencia
contra las mujeres. El indicador era confuso en su definición pues no se sabe a que
población específica se refiere; tampoco se identificaron las acciones, por lo que
debieron haberse diferenciado por lo menos las más importantes y elaborado
indicadores para cada una. El resultado registró casi el doble de la meta planeada; es
posible que se debiera a un incremento presupuestal en el periodo. Era necesario
definir bien la unidad de medida, porque se trataba de un porcentaje.
Porcentaje de acciones que, derivado del apoyo del PAIMEF, generaron procesos de
cooperación interinstitucional respecto de la detección, prevención y atención de la
violencia contra las mujeres, con relación al total de acciones apoyadas por el
PAIMEF. El indicador era importante, ya que permitía medir las sinergias
institucionales. Sin embargo, la definición no era clara, pues no se precisó el tipo de
acciones, por lo que era necesario identificarlas para su mejor medición. El resultado
superó con mucho la meta esperada; sin embargo, la información disponible no
permite explicarlo. Era necesario revisar la unidad de medida ya que es un porcentaje.
75
Porcentaje de acciones que alcanzaron sus objetivos en por lo menos un 85%,
dirigidas a la creación o fortalecimiento de refugios y unidades de atención y
protección a las víctimas de violencia. La definición no era clara pues no establecía el
tipo de acciones, se requería identificar y diferenciar por lo menos las acciones más
importantes, y elaborar indicadores para cada una.
El resultado superó la meta planeada en casi un 30%, lo cual podía atribuirse a que
tanto el presupuesto como las aportaciones promedio tuvieron un incremento
presupuestal autorizado en el periodo. Era necesario revisar la unidad de medida ya
que es un indicador.
Porcentaje de acciones que alcanzaron sus objetivos en por lo menos un 85%,
dirigidas al fortalecimiento y profesionalización institucional. La definición no
especificaba el tipo de acciones de fortalecimiento y profesionalización, por lo que
era necesario identificar y diferenciar las acciones más importantes para una mejor
medición. En cuanto a la unidad de medida era necesario definirla bien, ya que se
trata de un porcentaje.
Principales comentarios MIR 2009 – Propósito
Resumen narrativo:
Era necesario identificar la población objetivo y el impacto que el programa tendrá
sobre ésta.
Indicadores:
Porcentaje de servidores públicos, de los tres órdenes de gobierno, que adquieren
conocimientos para prevenir, detectar y atender la violencia de género. Se
recomendó que el nombre fuera explícito respecto de lo que se estaba midiendo. En
este nivel de la MIR, se deben medir resultados del programa. Era necesario establecer
metas que permitieran dar cuenta del avance en el alcance de los objetivos.
También se señalo que era uno de los indicadores más relevantes de la MIR 2009.
Podría ser pertinente (mide el fortalecimiento institucional).
Porcentaje de IMEF con Modelos de Atención a la Violencia de Género sistematizados.
Se recomendó que el nombre fuera explícito respecto de lo que se estaba midiendo;
en este nivel de la MIR se deben medir resultados del programa. Era necesario
establecer metas que permitieran dar cuenta del avance en el alcance de los
objetivos.
Se señaló la importancia de relaborar la unidad de medida y la frecuencia de medición
del indicador, a fin de hacerlo no sólo pertinente y confiable, sino además útil al
programa.
Porcentaje de IMEF con Bancos Estatales de Información que aportan datos en tiempo
y forma. Se recomendó que el nombre fuera explícito respecto de lo que se estaba
midiendo. En este nivel de la MIR se deben medir resultados del programa. Era
necesario establecer metas que permitieran dar cuenta del avance en el alcance de
los objetivos.
Porcentaje de personas pertenecientes a la población en general que adquieren
conocimientos en materia de prevención, detección y difusión de la violencia contra
76
las mujeres. Se recomendó que el nombre fuera explícito respecto de lo que se estaba
midiendo; en este nivel de la MIR se deben medir resultados del programa; era
necesario establecer metas que permitieran dar cuenta del avance en el alcance de
los objetivos.
Porcentaje de estudios e investigaciones orientados a la creación o mejoramiento de
políticas públicas en materia de violencia contra las mujeres. Se recomendó que el
nombre fuera explícito respecto de lo que se está midiendo. En este nivel de la MIR se
deben medir resultados del programa. Era necesario establecer metas que
permitieran dar cuenta del avance en el alcance de los objetivos.
Porcentaje de refugios para las mujeres en situación de violencia que cuentan con un
modelo de atención sistematizado. Se recomendó que el nombre fuera explícito
respecto de lo que se está midiendo. En este nivel de la MIR se deben medir
resultados del programa. Era necesario establecer metas que permitieran dar cuenta
del avance en el alcance de los objetivos.
Principales comentarios MIR 2010 – Propósito
Resumen narrativo
No se cuenta con comentarios.
Indicadores:
Índice global de fortalecimiento institucional de las IMEF para prevenir, detectar y
atender la violencia contra las mujeres. Se señaló que la metodología para la
Medición del indicador de Propósito (Índice Global de Fortalecimiento Institucional de
las IMEF) fue desarrollada en 2010, por lo que su primera aplicación sería tomada
como la línea base para la definición de metas institucionales en el futuro inmediato y
para la revisión de los Componentes y la ponderación, que conforman el índice.
El indicador de Propósito que corresponde al Índice Global de Fortalecimiento
Institucional de las IMEF quedó 30% por debajo de su meta, por lo que se sugirió
revalorar la meta para el año siguiente.
Principales comentarios MIR 2011 – Propósito
Resumen narrativo:
Se recomendó precisar mejor el término “fortalecidas” del resumen narrativo,
acotándolo a las acciones que el Programa implementa sobre las instancias. Lo
anterior para precisar mejor los indicadores asociados al nivel de Propósito. Como
adecuación al resumen narrativo se sugirió que contenga los siguientes elementos:
“Las Instancias de las Mujeres en las Entidades Federativas…”, “…cuentan con
recursos humanos capacitados…”, “información confiable para la toma de
decisiones”, “…aplican modelos de atención sistemáticos…”, y “…para la prevención y
la atención de la violencia contra las mujeres”.
El Propósito era preciso y estaba claramente redactado.
Indicadores:
Índice global de fortalecimiento institucional de las IMEF para prevenir y atender la
violencia contra las mujeres. Se señalo que dependiendo de su composición y fórmula
77
de cálculo, un índice de fortalecimiento institucional podría ser un indicador
pertinente para medir el desempeño del programa a nivel de Propósito, pero que el
índice utilizado por el PAIMEF tiene al menos tres posibilidades de mejora.
1. Era una medida útil para diagnóstico y benchmarking de las IMEF, pero no era
satisfactoria para la medición del desempeño del programa. Muchas de las
variables incluidas en el índice no tienen que ver con las vertientes de
acciones apoyadas por el programa. Algunos ejemplos de variables relevantes
para el diagnóstico y benchmarking de las IMEF, pero no necesariamente para
medir el desempeño del programa, son la publicación del reglamento de la Ley
General de Acceso de las mujeres a una vida libre de Violencia, la rotación de
personal o la continuidad de los programas ante cambios de titular o de
sexenio.
2. El índice, al ser una medida global, no permitía medir el desempeño específico
en las áreas de interés especificadas en el Propósito, esto es, en las
“capacidades técnicas, humanas e institucionales”.
3. Las variables incluidas en el índice estaban más enfocadas a medir insumos,
actividades y procesos, en lugar de resultados. Por ejemplo, en vez de medir el
promedio de horas de capacitación del personal, es preferible medir el
porcentaje de personal certificado en la atención de víctimas de violencia.
El indicador no se consideró relevante, debido a que contemplaba demasiados
aspectos que no se consideraban en el objetivo, por lo cual no era fácil determinar el
cumplimento del objetivo establecido. Sin embargo, se podría fortalecer la relevancia
de la medición del Propósito por medio de indicadores individuales que midan
específicamente el avance en el desarrollo de capacidades técnicas, humanas e
institucionales.
El indicador no era claro dado que las fórmulas no son claras —sobre todo cuando se
utilizan máximos y mínimos—, y los ponderadores pueden considerarse arbitrarios.
Además, en la descripción de la variable CONVI dice ser una variable dicotómica
cuando en realidad puede tener cuatro valores: 1, 2, 3 y 4. Es necesario que el
programa empate la información del documento metodológico con el método del
cálculo del indicador.
El indicador no era monitoreable, dado que los medios de verificación del índice en la
ficha técnica podían ser mejor definidos, ya que se especificaban como registros de la
dependencia, cuando en realidad se trataba de una encuesta. Además, el cuestionario
propuesto para medir las variables que se utilizan en el cálculo del índice podría
mejorar en objetividad. Era necesario definir los criterios mínimos para considerar
una variable con respuesta afirmativa, por ejemplo qué requisitos mínimos de
servicios y de calidad se tienen que cumplir para considerar “que la atención se
brinda ininterrumpidamente durante el ejercicio fiscal”. La carencia de estos criterios
mínimos permite la subjetividad en la medición de las variables que componen el
índice, y por lo tanto, del índice mismo.
El indicador se consideró económico, dado el contexto general del programa. La
mejor manera de conseguir la información es mediante una encuesta a las instancias,
78
ya que es necesario contar con su información. Por lo anterior, y debido a que se
trataba de un indicador de resultados, se consideró que el costo de construir el
indicador es razonable.
Dadas las observaciones anteriores, se sugirió complementar (o incluso sustituir) el
índice de fortalecimiento institucional con al menos tres indicadores adicionales
enfocados a medir las capacidades técnicas, humanas e institucionales para prevenir y
atender la violencia contra las mujeres. Idealmente, si se modifica el resumen
narrativo, para hacerlo más específico se puede identificar mejor los indicadores de
las capacidades técnicas, humanas e institucionales que se busca fortalecer.
Entre los indicadores del Componente, se encontraba el de Personas pertenecientes a
la población en general, beneficiadas con acciones de prevención de la violencia
contra las mujeres, por medio de los recursos del PAIMEF. Es fundamental reconocer
que no es un indicador de Componente, sino uno que se deriva del cumplimiento del
Propósito.
En el método de cálculo del indicador del Propósito era posible anotar la fórmula,
aunque se refiera a un documento adicional para explicar el procedimiento que debe
seguir. Asimismo, era importante considerar una revisión de los diferentes elementos
que lo conforman, ya que algunos de los considerados hasta el momento no son
resultado de la intervención del PAIMEF.
Principales comentarios MIR 2012 – Propósito
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
No se cuenta con comentarios.
4.3.3 Componentes
A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel
Componentes de la MIR de 2007 a 2012.
Principales comentarios MIR 2007 – Componentes
Resumen narrativo:
Era necesario y suficiente para el logro del Propósito.
Se sugirió redactar como "Proyectos del IMEF por criterio apoyados por el PAIMEF".
Se propuso integrar los Supuestos: "Las IMEF cuentan con un área administrativa
eficiente" y "Cumplimiento de contratos por parte de terceros relacionados con las
acciones apoyadas".
Principales comentarios MIR 2008 – Componentes
Resumen narrativo
No se cuenta con comentarios.
79
Principales comentarios MIR 2009 – Componentes
Resumen narrativo:
Se sugirió analizar si el único Componente es necesario y suficiente para el alcance del
objetivo.
Principales comentarios MIR 2010 – Componentes
Resumen narrativo:
No se cuenta con comentarios.
Principales comentarios MIR 2011 – Componentes
Resumen narrativo:
Los Componentes debían estar desglosados.
La fórmula del indicador de Propósito menciona un Componente más para fortalecer
la capacidad institucional de las IMEF, lo que no se veía reflejado en la MIR ya que sólo
incluía un Componente general con diversos indicadores que representan en su
mayor parte los productos y servicios que llevan a cabo las IMEF para lograr su
Propósito. Los tres Componentes del Propósito que correspondían al PAIMEF son 1)
gestión de proyectos, 2) presupuesto otorgado, y 3) acciones de fomento estratégico
y desarrollo organizacional de las IMEF. Con ellos se pretende alcanzar tal objetivo y
desarrollar las actividades que lleva a cabo el personal del PAIMEF.
La MIR 2011 no expresaba el Componente “Acciones de fomento estratégico y
desarrollo organizacional de las IMEF” de manera integral, ya que faltaría mencionar la
obtención de competencias a través de la capacitación por seminarios, talleres o
cursos.
Principales comentarios MIR 2012 – Componentes
Resumen narrativo:
No se cuenta con comentarios.
4.3.4 Comentarios generales
En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e
indicadores que han hecho a la MIR de 2007 a 2012 del PAIMEF, para ello se identifican los
comentarios de las diversas evaluaciones para cada periodo.
Principales comentarios MIR 2007
Resumen narrativo:
La lógica vertical no se validó, debido a que se consideró que las actividades no eran
suficientes para producir el Componente.
En la lógica horizontal de la Matriz de indicadores, no se observó la consistencia de
los supuestos. Si bien cumplieron con el criterio de ser externos al programa y, en
algunos casos, representaron un riesgo; no en todos los casos era clara su relevancia
80
ni su probabilidad de ocurrencia. Algunos de ellos se referían a acontecimientos,
condiciones y decisiones, y todos estaban planteados en positivo, pero no todos eran
suficientemente precisos. No era válida en su totalidad por la falta de consistencia de
los supuestos.
En virtud de que los objetivos de las ROP son muy amplios, no tenían articulación entre
sí, y no coincidían con el Fin ni con el Propósito de la MIR, era necesario replantearlos
en las ROP.
Indicadores:
Los indicadores eran claros, precisos e inequívocos, y relevantes a cada nivel de
objetivos.
Eran económicos con apego a la definición, toda vez que la información se obtenía de
la documentación que el PAIMEF solicita a las IMEF.
Eran adecuados, ya que aportaban una base suficiente para evaluar el desempeño.
Eran monitoreables, pues podían sujetarse a una comprobación independiente.
Tienen identificada su línea de base y temporalidad de la medición para los
indicadores considerados en el MIR.
El Informe final de las IMEF constituía la fuente de verificación de la mayoría de los
indicadores. Los otros medios eran ficha de recepción de proyectos, carta de
validación, convenio, ficha de depósito, Informe parcial, acta de terminación y oficios.
Principales comentarios MIR 2008
Resumen narrativo:
Se identificó que en el Mecanismo 2008 de los Aspectos Susceptibles de Mejora ( ASM),
el programa no cuenta con un diagnóstico actualizado y adecuado y carece de una
conceptualización de la problemática de la violencia. El programa se comprometió a
realizar una MIR para definir la estructura y el diseño del programa. La matriz se
alinearía con las ROP 2009.
Indicadores:
Algunos indicadores presentaban dificultades de definición.
Algunas de las metas no se cumplieron debido a traslapes entre vertientes del
programa, y duplicidad con programas de INMUJERES.
Los indicadores estratégicos estaban orientados a cumplir como medidas de eficacia.
Sin embargo, los referidos a acciones tenían dificultades en su definición, ya que no se
especificaba el tipo de las acciones. Los que contemplan a la población requerían
especificar los grupos que atienden.
Era recomendable contar también con indicadores de eficiencia y calidad. Por
ejemplo, se podría medir la relación entre las acciones de prevención y los recursos
invertidos para llevarlas a cabo. En términos de calidad, se podría medir qué tan
satisfechos están los profesionales con la capacitación recibida, o qué tan satisfechas
están las mujeres con las acciones de prevención, detección y atención de la violencia
que han recibido. Por otro lado era necesario que definan bien las unidades de
medida de algunos indicadores.
81
Principales comentarios MIR 2009
Resumen narrativo:
Se recomendaron ajustes a nivel de Fin y Propósito, de manera que exista una
vinculación entre ellos, y se sugirió analizar si un sólo Componente era suficiente y
necesario para alcanzar el Propósito.
Se recomendó precisar los Medios de Verificación del Indicador para diversos
indicadores. Es decir, si la información se encuentra en informes internos, se debía
indicar de qué documento o base de datos se trata y, en su caso, dónde podía
consultarse en forma directa e independiente.
Hay Supuestos que parecían internos al programa o que no representan un factor de
riesgo relevante para éste.
Se recomendó incorporar las situaciones de riesgo ajenas al programa a los
Supuestos.
Indicadores:
Los Indicadores, en sus distintos niveles, no tenían metas anuales, ni sexenales y en
varios casos debía revisarse su dimensión de desempeño.
Se sugirió analizar la cantidad de indicadores contenidos en la Matriz.
Si la información de los medios de verificación se encontraba en informes internos se
debía indicar de qué documento o base de datos se trata y, en su caso, dónde puede
consultarse en forma directa e independiente.
Los indicadores de la MIR 2009 fueron relaborados en su mayoría con respecto a
2008. Dichos cambios presentaron una clara mejoría: corrección de imprecisiones en
la unidad de medida, de frecuencia de medición y de errores en el método de cálculo.
Era recomendable seguir trabajando en la relaboración de los indicadores en estrecha
relación con una definición rigurosa de cuál es el problema que el programa busca
resolver. La medición de la institucionalización de las IMEF es un buen paso para crear
mejores indicadores.
Principales comentarios MIR 2010
Resumen narrativo:
No se cuenta con comentarios.
Indicadores:
Se identificó que, en el Mecanismo 2010 de los ASM, el programa se comprometió a
resolver el problema de las capacidades institucionales de las IMEF y a resolver el
problema de la violencia contra las mujeres, para lo cual se adecuarían los indicadores
de Fin y de Propósito para diferenciar y medir sus objetivos. De acuerdo con el
programa para el 31/12/2010, los indicadores de Fin y de Propósito fueron
modificados en 2011 y 2012 para atender la recomendación de la Evaluación de
Procesos. También se señaló que se había realizado la medición del Índice de
Fortalecimiento Institucional en ambos ejercicios fiscales.
De los siete indicadores seleccionados, cinco rebasaron sus metas: el de Fin, dos de
Componentes y dos de Actividades. El indicador de Propósito (Índice global de
fortalecimiento institucional) y otro de Componentes (proyectos de las IMEF
82
apoyados) no alcanzaron sus metas, éste último presentó un avance de 96%. Cabe
mencionar que el Programa ha realizado ajustes en sus indicadores, por lo que se
sugiere darles continuidad.
El indicador prioritario del PAIMEF era el número de proyectos apoyados en el
período establecido. Sin embargo, al ser las IMEF la población objetivo del programa,
el cumplimiento de las metas anuales (32 proyectos apoyados) se encuentra
supeditado a las gestiones que, en el marco de las Reglas de Operación, realicen las
IMEF para la obtención de los recursos.
Las cuestiones que definen el apoyo de los proyectos eran el cierre y comprobación
en tiempo y forma de los recursos del ejercicio fiscal anterior, así como la
presentación del proyecto del año en curso en los términos correspondientes.
Principales comentarios MIR 2011
Resumen narrativo:
El resumen narrativo de la MIR 2011 se observó en las ROP 2011. El Fin se identifica
como objetivo general y el Propósito como el específico. El Componente era el punto
3.5.1 Apoyo a proyectos de las IMEF, y el punto 3.5.2 Fomento Estratégico de las IMEF.
Las actividades eran mencionadas como los recursos otorgados a manera de subsidios
(presupuesto otorgado) y como el punto 3.6.1 Derechos de las IMEF (gestión de
proyectos).
En las fichas técnicas de la MIR del PAIMEF 2011 se encontraban claramente
establecidas las metas a alcanzar en el año. El problema que presenta es que, como la
estructura de la MIR 2011, los Componentes no estaban claramente definidos.
Indicadores:
Propuestas de indicadores derivado de las Mesas técnicas de CONEVAL 2011
OPCIÓN (Para servicios de atención)
a) Nombre del indicador propuesto
Porcentaje de mujeres víctimas de violencia [si se considera apropiado, especificar
tipo y ámbito de la violencia] que reciben servicios de atención que incluyen al menos
asesoría psicológica, legal y, en su caso, médica; de acuerdo con lo establecido en el
modelo de atención del PAIMEF.
b) Definición indicador propuesto
Se refiere a la proporción de mujeres víctimas de violencia [si se considera apropiado,
especificar tipo y ámbito de la violencia] que reciben servicios de atención conforme a
los estándares de calidad establecidos con respecto al universo de mujeres víctimas
de violencia [si se considera apropiado, especificar tipo y ámbito de la violencia]
identificadas en la ENDIREH 2006 [o 2011, según se decía más apropiado].
c) Método de cálculo propuesto
Número de mujeres víctimas de violencia [si se considera apropiado, especificar tipo y
ámbito de la violencia] que reciben atención [definir tipo de atención (psicológica,
legal y médica)] en alguna de las instancias de mujeres en las entidades federativas
conforme [definir cuál es el estándar de calidad esperado] al modelo de atención
desarrollado por el PAIMEF en el año t / Número de mujeres víctimas de violencia [si
83
se considera apropiado, especificar tipo y ámbito de la violencia] contabilizadas por la
ENDIREH 2006 (o 2011, según se decida más apropiado)]*100.
d) Frecuencia de medición propuesta
Anual.
NOTA: Es necesario especificar el ámbito y tipo de violencia para definir mejor el
denominador del indicador, así como para establecer los servicios que deben recibir y
los estándares de calidad que se deben cumplir para mejorar la claridad de medición
del numerador. Dada la variedad de servicios de atención es necesario especificar qué
servicios se esperan en qué situaciones para que haya una adecuada concordancia
entre el numerador y denominador.
OPCIÓN (Para servicios de prevención)
a) Nombre del indicador propuesto
Porcentaje de mujeres mayores de 15 años que respondieron afirmativamente todos
los reactivos sobre igualdad de derechos entre hombres y mujeres y ejercicio de los
derechos de las mujeres (pregunta 4 del módulo para mujeres solteras, pregunta 11.2
para mujeres casadas o unidas, y pregunta 9.2 del módulo para mujeres divorciadas,
separadas y viudas).
b) Definición indicador propuesto
La efectividad de las acciones de prevención se puede medir a través del nivel de
sensibilización de las mujeres sobre sus derechos y la igualdad de derechos de
hombres y mujeres. Una alternativa para ello es utilizar el porcentaje de mujeres
mayores de 15 años que respondieron afirmativamente todas las preguntas sobre
igualdad de derechos entre hombres y mujeres y ejercicio de los derechos de las
mujeres (pregunta 4 del módulo para mujeres solteras, pregunta 11.2 para mujeres
casadas o unidas, y pregunta 9.2 del módulo para mujeres divorciadas, separadas y
viudas de la ENDIREH) con respecto del total de mujeres mayores de 15 años
encuestadas.
c) Método de cálculo propuesto
[Número de mujeres mayores de 15 años que respondieron afirmativamente todos
los reactivos contenidos en la pregunta 4 del módulo para mujeres solteras, en la
pregunta 11.2 para mujeres casadas o unidas, y en la pregunta 9.2 del módulo para
mujeres divorciadas, separadas y viudas de la ENDIREH en el año t/ Número de mujeres
mayores de 15 años en la muestra en el año t]*100.
d) Frecuencia de medición propuesta
Al menos trianual pero depende de la disponibilidad de la ENDIREH.
NOTA: Se puede ajustar la definición del indicador utilizando un número menor de
respuestas afirmativas en los reactivos. También se puede calcular un indicador
similar utilizando la pregunta 3 del módulo para mujeres solteras, la 11.1 para
mujeres casadas o unidas; y la 9.1 del módulo para mujeres divorciadas, separadas y
viudas de la ENDIREH.
Principales comentarios MIR 2012
Resumen narrativo:
84
No se cuenta con comentarios.
Indicadores:
No se cuenta con comentarios.
4.4 Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012
En esta sección el Metaevaluador hace un análisis de la MIR 2012 y de su correspondencia
con las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se
presentan las propuestas de mejora para la MIR 2013 del resumen narrativo y de los
indicadores de Fin y de Propósito.
4.4.1 Análisis de la MIR y vínculo con las ROP
Fin
El Fin tiene un objetivo único, disminuir la violencia contra las mujeres, lo cual se considera
pertinente debido a que cumple con la sintaxis establecida por la MML. No obstante, no se
identifica un concepto en la MIR de “violencia”, de modo que es necesario recurrir a las ROP
del programa para identificar a qué violencia se refiere, por lo tanto, el objetivo al cual
contribuye el programa sigue siendo ambiguo en la MIR del programa.
La actual redacción del objetivo general y del resumen narrativo a nivel de Fin, si bien son
consistentes entre sí, no permiten identificar claramente la forma con la que se pretende
solucionar la problemática que dio origen al programa. Es decir, el “para” establecido en el
Propósito (prevenir, detectar y atender la violencia contra las mujeres), no corresponde con
el Fin de “contribuir a disminuir la violencia contra las mujeres”.
Si bien se plantean "acciones" que prevengan y atiendan la violencia contra las mujeres, es
lógico asociar la capacidad institucional de las IMEF para lograr el Fin planteado por el
programa en las ROP. En este sentido, se recomienda modificar tanto el objetivo general
como el resumen narrativo, de tal modo que se asocie el fortalecimiento institucional de las
IMEF.
Propósito
Se considera que el Propósito es pertinente para el programa, debido a que identifica
claramente a la población objetivo y se representa como un objetivo único y por tanto
cumple con la sintaxis de la MML.
En el glosario de las ROP de 2012 se define el “fortalecimiento institucional de las IMEF” como
el proceso por el cual éstas adquieren la capacidad de ejercer sus responsabilidades definidas
en el marco legal, de fijarse objetivos y de poner en práctica los medios para alcanzarlos de
manera directa o a través de la construcción de alianzas interinstitucionales para prevenir y
85
atender la violencia contra las mujeres. Sin embargo, no es posible identificar si esta
definición corresponde al Propósito del programa debido a que éste se establece como
“Fortalecer las Instancias de las Mujeres en las Entidades Federativas en sus 1) capacidades
técnicas, 2) humanas e 3) institucionales”, es decir, se establecen tres tipos de
fortalecimiento y la definición de las ROP al mencionar sólo aspectos operativos y por su
nombre (incluye la palabra institucional), podría pensarse que sólo se refiere al último.
Si como en MIR anteriores se hubiera redactado el Propósito como “IMEF fortalecidas” sería
necesario contar una definición de “fortalecidas”, que se refiera a las características que
tienen las IMEF una vez que pasaron por el proceso de fortalecimiento técnico, humano e
institucional, por ejemplo, “una IMEF se encuentra fortalecida cuando su personal cuenta con
formación académica y experiencia en el tratamiento de la violencia contra las mujeres, se
plantea objetivos de resultados y opera de acuerdo con lo que establece la normativa”.
De acuerdo con el análisis anterior, no es posible determinar si el Propósito contribuye al
logro del Fin.
Metodológicamente la parte de "para" en la redacción del Propósito, debe referirse al Fin del
programa. En la MIR 2012 se establece “para prevenir y atender la violencia contra las
mujeres”, y debiera ser “para disminuir la violencia contra las mujeres". Este mismo
comentario se aplica para el Objetivo Específico establecido en las ROP.
Componentes
La manera como está planteado el Componente no parece ser suficiente para el logro del
Propósito (asumiendo el concepto de “fortalecer” establecido en las ROP) debido a que no es
claro, por una parte, pareciera que se trata de dos bienes y servicios distintos, 1) apoyo a
proyectos y 2) fomento estratégico, y por la otra, en ninguno de los dos casos es posible
identificar a qué bienes o servicios se refiere, por ejemplo, si se trata de un apoyo económico
o en especie, o si el fomento se refiere a cursos de capacitación. Asimismo, en las ROP se
identificó que el programa da un apoyo transversal para el “Fortalecimiento institucional de
las IMEF” que no se encuentra especificado en la MIR.
Por tanto, se sugiere separar en dos Componentes; uno relacionado con los apoyos
entregados para la ejecución de los proyectos y otro de las acciones de fortalecimiento
estratégico realizadas.
Con respecto a este último, se recomienda integrar una definición de "fortalecimiento
estratégico", de manera que sea claro cuál es la diferencia entre éste y el fortalecimiento del
que se habla en el Propósito.
4.4.2 Propuesta de mejoras para MIR 2013
86
Con base en el análisis de los resúmenes narrativos de la MIR 2012, a continuación se emiten
algunas propuestas de mejora a nivel Fin y Propósito para la MIR 2013.
Fin
Contribuir a la disminución de la violencia contra las mujeres, mediante el fortalecimiento de
las capacidades de las Instancias de Mujeres en las Entidades Federativas.
Propósito
Las Instancias de Mujeres en las Entidades Federativas fortalecen sus capacidades
institucionales para prevenir y atender la violencia contra las mujeres.
4.5 Análisis de los indicadores de Fin y de Propósito
4.5.1 Indicadores de la MIR 2012
Fin
Los cambios en los indicadores a nivel de Fin que se han hecho de 2007 a 2012 no responden
a los comentarios más importantes realizados por las diversas instancias, y especialmente a
los de CONEVAL, en el sentido de la falta de pertinencia y relevancia del indicador actual. La
relación entre el resumen narrativo y el indicador no es clara. Al respecto, la relación entre el
indicador y el resumen narrativo no está establecida claramente; de hecho está planteado
como un indicador de cobertura, que no refleja el cumplimiento del factor relevante del Fin,
es decir, la disminución de la violencia contra las mujeres, por lo que debe eliminarse.
Finalmente, en la medida que el indicador actual no contempla ningún grupo o variable de
control, tampoco permite medir el impacto atribuible al programa en la variable de interés,
sino que implícitamente se atribuye al programa todo el impacto o variación en las
condiciones de vida de los beneficiarios, lo cual resulta claramente inadecuado.
Propósito
Para poder determinar si el indicador mide un aspecto relevante del Propósito es necesario
especificar a qué se refieren los subíndices considerados (Subíndices Capacidades Básicas +
Corresponsabilidad + Eficiencia Operativa + Eficacia de Resultados) de manera que sea
posible verificar si éstos permiten medir las capacidades técnicas, humanas e institucionales
de las IMEF.
4.5.2 Propuesta de mejoras para indicadores MIR 2013
A continuación se emiten algunas propuestas de mejora a los indicadores de nivel Fin y
Propósito para la MIR 2013.
87
Fin
Para medir adecuadamente el impacto del programa a nivel de Fin, y hacerlo consistente con
el resumen narrativo, se sugiere remplazar el indicador actual por otro que refleje el Objetivo
Central del Programa. El indicador se propone con base en la diferencia en el valor
observable de una variable directamente asociada a la violencia ejercida contra las mujeres,
relacionando los recursos destinados para el fortalecimiento de las IMEF en los estados entre
los beneficiarios y los no beneficiarios comparables. Esto puede hacerse mediante el
levantamiento de una encuesta con preguntas adecuadamente diseñadas. La metodología de
construcción de este indicador debería ser lo más consistente posible con la que utiliza la
Encuesta Nacional sobre la Dinámica de las Relaciones en los Hogares 2006 del INEGI, o bien,
la Encuesta Nacional sobre Violencia contra las Mujeres que levantó el INSP en 2003. Así, la
propuesta de mejora para el indicador de Fin es doble:
Variación promedio en la tasa de prevalencia de violencia contra las mujeres por
entidad federativa, ajustada por los recursos per cápita que las IMEF asignan a la
prevención y atención de la violencia y la proporción de éstos que representa el
PAIMEF; o
o Fórmula
Donde:
VTPMPC: Variación promedio de la tasa de prevalencia contra las mujeres, ajustado en
términos per cápita
NRV:
Número de reportes de violencia contra mujeres
RRV:
Reducción en los reportes de violencia contra mujeres
RPAIMEF: Recursos del PAIMEF
NM:
Número de mujeres
t:
Periodo t
t-1:
Periodo previo al periodo t
i:
88
Entidad federativa
El valor del RRV debe ser positivo para una reducción en la violencia. En caso contrario se
estaría aumentando la violencia y los recursos de las IMEF no son suficientes para
alcanzar una reducción en los reportes de violencia.
Variación de la probabilidad de que las mujeres sufran violencia de género.
o Fórmula
Donde:
VP:
P(MGV):
t:
Variación promedio
Probabilidad de que las mujeres sufran violencia de género
Periodo t
Propósito
De acuerdo con la valoración, se sugiere que para medir adecuadamente el resultado del
programa a nivel de Propósito y hacerlo consistente con el resumen narrativo, se mejore el
indicador actual, de manera que refleje el fortalecimiento institucional respecto de las
principales variables asociadas a las tareas de las IMEF. El indicador se propone con base en la
diferencia en el valor del conjunto de las principales variables asociadas a las capacidades
institucionales relacionadas con principales tareas de las IMEF. Lo anterior puede realizarse a
partir de un índice ponderado de fortalecimiento institucional que presentan las IMEF,
analizando la pertinencia de que el indicador mida a las IMEF que obtienen un valor en el
índice mayor a cierta calificación. Por ejemplo, si la escala de valor del índice es de 0 a 10,
puede considerarse que a partir del valor de 8, una IMEF está fortalecida. Dicho indicador
puede obtenerse mediante el levantamiento de una encuesta con preguntas adecuadamente
diseñadas. Así, la propuesta de mejora para el indicador de Propósito es:
Variación anual promedio en el Índice de fortalecimiento institucional para prevenir y
atender la violencia contra las mujeres de las IMEF.
o Fórmula
Donde:
IFI:
t:
89
Variación promedio
Periodo t
5
Conclusiones generales
Como se puede apreciar a lo largo del presente trabajo, en el periodo de 2007 a 2012 se
realizaron un total de seis evaluaciones externas al programa, en las cuales se analizaron
diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de
estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades,
debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos
elementos derivaron en aspectos susceptibles de mejora, a los cuales se le dio seguimiento a
través de los mecanismos establecidos. La revisión permitió constatar que el programa
implementó acciones que resolvieron algunos de los problemas identificados e implicaron
diversas mejoras.
Con todo, en opinión del equipo metaevaluador y a la fecha de realización de este ejercicio,
subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones
anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para
mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el
análisis FODA global, que incluye también las recomendaciones de los evaluadores originales
y, en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se
consideró pertinente hacerlo.
Asimismo, en el desarrollo del ejercicio se analizaron documentos relacionados con los
objetivos o las estrategias que utiliza el PAIMEF para brindar apoyos. Asimismo, se revisaron
artículos de investigación y una guía para hacer evaluaciones de impacto promovida por la
UNIFEM. El análisis derivó en diversos elementos relevantes, incluyendo la confirmación de
que, con un diseño y condiciones adecuadas, programas como el PAIMEF pueden
efectivamente lograr resultados en cuanto a fortalecer las instancias estatales encargadas de
implementar y ejecutar programas para prevenir y erradicar la violencia contra las mujeres.
Estas evaluaciones sirvieron también para identificar indicadores, metodologías y fuentes de
información que pueden ser útiles para evaluar el desempeño del programa.
En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada
de las evaluaciones a realizar al programa, considerando una justificación técnica y empírica
sobre la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio
de Diagnóstico y propuestas de atención, luego una Evaluación de diseño, posteriormente
una Evaluación de impacto, después una Evaluación de procesos, y finalmente una
Evaluación de consistencia y resultados. Esta secuencia buscó brindar una base sólida de
datos, análisis y estrategia para anclar el diseño, la operación y los resultados del programa
durante la siguiente administración federal, de forma tal que cada año se puedan informar
los cambios y refinamientos en diversos aspectos relevantes13.
13
Ver cita 7.
90
Dada la importancia de corroborar en los hechos los cambios que el PAIMEF puede generar
para revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más
detallada para una evaluación de impacto. En ella, se describieron la metodología y las
fuentes de información necesarias para llevar a cabo la evaluación, conforme a los
estándares y mejores prácticas en la materia, a la naturaleza de las variables específicas a
medir así como a las características específicas del programa. La propuesta se acompañó de
un análisis de pertinencia y de viabilidad técnica y financiera, que justifica la necesidad de
realizar este tipo evaluación al programa.
Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron
una serie de reflexiones y recomendaciones sobre la situación actual del PAIMEF, que si bien
construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a
conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y
rigurosa. Estas reflexiones y recomendaciones son responsabilidad exclusiva del
metaevaluador, y se enfocaron principalmente en aspectos asociados al diseño del
programa. Por su importancia, se enfatizó y se elaboró ampliamente sobre la identificación y
especificación del problema focal así como sobre la definición de las poblaciones potencial y
objetivo. Las reflexiones y recomendaciones de esta sección respetaron los elementos
básicos del diseño y la lógica interna actuales del programa; por lo tanto, sólo se propuso
mejorar la consistencia de dichos elementos básicos del programa, a efecto de mejorar su
desempeño. Un análisis más amplio de la adecuación del diseño, operación y resultados del
programa queda fuera del alcance de esta metaevaluación, y sería en su caso objeto de otro
estudio.
Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y
evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las
matrices de indicadores de resultados del PAIMEF, tanto en sus resúmenes narrativos como
en los indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador,
algunas de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni
eran consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en
algunos casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la
historia de los cambios en la MIR y lo que falta por hacer, el equipo metaevaluador
recomendó algunas mejoras y refinamientos en los resúmenes narrativos y los indicadores
del programa en los niveles de Fin y Propósito, respetando el diseño básico actual y los
resultados que se esperan del mismo.
91
6
6.1
Bibliografía
Documentos sobre el programa
Banegas, Israel. (2010). Evaluación Específica de Desempeño del Programa de Apoyo a las
Instancias de la Mujer en las Entidades Federativas 2009-2010. El Colegio
Mexiquense. (EED09/10-Banegas)
Fernández R., Florinda (2007). Evaluación de Diseño del Programa de Apoyo a las Instancias
de la Mujer en las Entidades Federativas (ED07-Fernández)
León M., Ana M. (2011). Evaluación Específica de Desempeño del Programa de Apoyo a las
Instancias de la Mujer en las Entidades Federativas 2010-2011. Instituto Nacional de
Desarrollo Social. (EED10/11-Leon)
PAIMEF (2008-2012). Fichas Técnicas de la Matriz de Indicadores de Resultados del Programa
de Apoyo a las Instancias de la Mujer en las Entidades Federativas
Rivera R., Leonor (2009). Evaluación de Procesos del Programa de Apoyo a las Instancias de
Mujeres en las Entidades Federativas para Implementar y Ejecutar Programas de
Prevención de la Violencia contra las Mujeres. Instituto Nacional de Salud Pública.
Secretaría de Desarrollo Social (2007-2012). Reglas de Operación del Programa de Apoyo a
las Instancias de Mujeres en las Entidades Federativas.
---------- (2008-2012). Matriz de Indicadores de Resultados del Programa de Apoyo a las
Instancias de Mujeres en las Entidades Federativas.
--------- (2011). Nota sobre Población Potencial y Población Objetivo del Programa de Apoyo a
las Instancias de Mujeres en las Entidades Federativas.
---------- (2010). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias
de la Mujer en las Entidades Federativas. Posición Institucional.
--------- (2009). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias
de la Mujer en las Entidades Federativas. Posición Institucional.
--------- (2009). Diagnóstico de la capacidad institucional frente al problema de la violencia
contra las mujeres.
---------- (2008). Evaluación Específica de Desempeño del Programa de Apoyo a las Instancias
de la Mujer en las Entidades Federativas. Posición Institucional.
92
Zenteno Q., Rene M. (2008). Evaluación Específica de Desempeño del Programa de Apoyo a
las Instancias de la Mujer en las Entidades Federativas 2007-2008. El Colegio de la
Frontera Norte A. C. (EED07/08-Zenteno)
6.2
Documentos de otros programas similares
Arias, Ileana, et. al. (2002). “Violence against women: the state of batterer prevention
programs”. Journal of Law, Medicine & Ethics.
Austin, J. (1999) “The impact of a batterers’ program on battered woman”, Violence against
woman 5(1) pp. 25-42.
Ferris, C. “The effects of partner contacts by batterer intervention programs” Unpublished
manuscript.
Linde, Rachel (2006) “Guidelines for impact or outcome evaluation: for projects funded by
the UNIFEM Trust Fund to eliminate violence against women”. Gender and
Development Group. The World Bank
Popescu, Marciana, et al. (2010) “Can Government Funding Stengthen the Third Sector? The
Impact of Capacity Building Program on Faith-Based and Community-Based
Organizations”. Revista de Asistenta Sociala.
6.3
Documentos normativos y programáticos
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2010). Diagnóstico de
Matrices de Indicadores para Resultados 2010. Principales Hallazgos.
--------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México.
--------- (2007). Modelo de TDR de la Evaluación de Consistencia y Resultados 2007, Anexo 02,
Nota Técnica con los Principales Conceptos de la Matriz de Indicadores.
Secretaría de Hacienda y Crédito Público (2008). Oficio Circular 307-a.-1593, Lineamientos
Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal
2008, Anexo Dos: Metodología para la Elaboración de la Matriz de Indicadores de los
Programas Presupuestarios de la APF. Unidad de Política y Control Presupuestario.
Secretaría de Hacienda y Crédito Público (2007). Circular 307-A-0221. Lineamientos para la
Actualización de la Matriz de Indicadores de los Programas Presupuestarios y la
Elaboración de los Calendarios de Metas de los Indicadores del Presupuesto de
93
Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de Política y Control
Presupuestario.
Secretaría de Hacienda y Crédito Público y Consejo Nacional de Evaluación de la Política de
Desarrollo Social (2010) Guía para la Construcción de la Matriz de Indicadores para
Resultados.
---------- (2010). Guía para el Diseño de Indicadores Estratégicos.
Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública y Consejo Nacional
de Evaluación de la Política de Desarrollo Social (2007). Lineamientos Generales para
la Evaluación de los Programas Federales de la Administración Pública Federal.
6.4
Documentos teóricos y metodológicos
Aldunate, Eduardo. (2004). “Metodología del Marco Lógico”. Boletín del Instituto, 15,
Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de
Chile.
Aldunate, Eduardo y Julio Córdoba. (2011). “Formulación de programas con la metodología
de marco lógico”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Baker, Judy (2000) Evaluación del impacto de los proyectos de desarrollo en la pobreza.
Manual para profesionales. Banco Mundial.
Bonnefoy, Juan Cristóbal y Marianela Armijo. (2005). “Indicadores de desempeño en el sector
público”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile.
Camacho Hugo, et. al. (2001). El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para
la identificación y diseño de proyectos de desarrollo. Madrid, Fundación Cideal.
Cohen Ernesto y Franco Rolando (2006) Evaluación de proyectos sociales, México ,Siglo XXI
Comisión Económica para América Latina. (2001). El uso de los indicadores socioeconómicos
en la formulación y evaluación de proyectos sociales: aplicación metodológica. Serie
Manuales, 15, ILPES-CEPAL, Santiago de Chile.
Comisión Económica para América Latina (2004). Uso de los indicadores socioeconómicos en
la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Serie
Manuales, ILPES-CEPAL, La Paz, Bolivia.
94
Cortés, Fernando. (2002) “Algunos aspectos de la controversia entre la investigación
cualitativa e investigación cuantitativa”. El Colegio de México, Mimeo
Díaz, Luis Fernando. (2001). “La metaevaluación y su método”, Revista de Ciencias Sociales,
Vol. II-III, Número 92-93, pp. 171-192, Universidad de Costa Rica.
Frechtling Joy y Sharp Laure (1997): User Friendly Handbook for Mixed Method Evaluations,
National Science Foundation, RED 94-52965, Division of Research, Evaluation and
Communication, 131 pp.
Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills:
Sage Publications.
King, G. et. al., (1994). Designing Social Inquiry: Scientific Inference in Qualitative Research.
Princeton Univesity Press’s Notable Centenary Titles.
Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis.
Washington, DC: ERIC Clearinghouse.
Morra Linda y Friedlander Amy C. (2001) Evaluaciones mediante Estudios de Caso,
Departamento de Evaluación de Operaciones del Banco Mundial, Washington, 25 pp.
Ravallion, Martin (2001) The Mystery of the Vanishing Benefits: An Introduction to Impact
Evaluation; The World Bank Economic Review, Vol. 15, No. 1, 115-140.
Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications.
Sherman Lawrence, Strang Heather, et.al. (2004) Victim Evaluations of Face-to Face
Restorative Justice Conferences: A Quasi Experimental Analysis, Journal of Social
Issues, Vol.62, No. 2, pp. 281-306
95
7
Anexos
7.1. Anexo 1: Síntesis de Evaluaciones 2007-2012.
7.2. Anexo 2: Síntesis de Evaluaciones de programas similares internacionales.
7.3. Anexo 3: Agenda de evaluación.
7.4. Anexo 4: FODA
7.5. Anexo 5. Análisis histórico y propuestas de mejora de la MIR.
96