informe de evaluacion intermedia convenio fundacion

Informe de evaluación intermedia
Calidad del diseño, ejecución financiera y eficacia general
“Mejora de la calidad educativa para la inserción de
poblaciones vulnerables en América Latina”
Convenio 01-Co1-068
Fundación Entreculturas / AECID
Septiembre 2013
Evaluador: Iván Touza Montero
Miembro de la Red de Expertos Asociados del Centro Regional del PNUD para América Latina y el Caribe (CR-ALC)
en el Área de Evaluación
ÍNDICE DE CONTENIDOS
ABREVIATURAS / GLOSARIO BÁSICO ..................................................................................................................... 5
PRESENTACIÓN............................................................................................................................................................... 6
1.
RESUMEN DEL OBJETO A EVALUAR................................................................................................................... 7
2.
CUESTIONES A ANALIZAR CON LA EVALUACIÓN ............................................................................................ 9
3.
METODOLOGÍA..................................................................................................................................................... 10
3.1. Técnicas ........................................................................................................................................................ 10
3.2. Criterios para la valoración del diseño .......................................................................................................... 11
3.2.1. Coherencia de la lógica vertical ........................................................................................................ 11
3.2.2. Calidad de los indicadores y funcionalidad de las fuentes de verificación........................................ 12
3.3. Muestra de Proyectos.................................................................................................................................... 14
3.4. Límites de la evaluación ................................................................................................................................ 15
4.
ANÁLISIS ............................................................................................................................................................... 16
4.1. Diseño ........................................................................................................................................................... 16
4.1.1. El diseño general del Convenio ........................................................................................................ 16
4.1.1.a)
4.1.1.b)
Análisis de la coherencia de la lógica vertical .................................................................................. 16
Análisis de la calidad de los indicadores y funcionalidad de las fuentes de verificación ................. 21
4.1.2. El diseño de los Proyectos................................................................................................................ 25
4.1.2.a)
4.1.2.b)
4.1.2.c)
Análisis de la coherencia de la lógica vertical .................................................................................. 25
Análisis de los indicadores ............................................................................................................... 30
Funcionalidad de las fuentes de verificación.................................................................................... 40
4.1.3. La calidad del diseño de las Programaciones Anuales del Convenio (PAC).................................... 45
4.2. Ejecución financiera ...................................................................................................................................... 47
4.3. Eficacia: desempeño de las actividades y avance hacia resultados. ............................................................ 50
5.
CONCLUSIONES ................................................................................................................................................... 54
5.1. De carácter general ....................................................................................................................................... 54
5.2. Referidas al diseño........................................................................................................................................ 55
5.3. Referidas a la ejecución financiera................................................................................................................ 61
5.4. Referidas a la eficacia o desempeño ............................................................................................................ 62
6.
RECOMENDACIONES........................................................................................................................................... 63
6.1. De carácter general y estratégicas................................................................................................................ 64
6.2. De carácter específico y operativas .............................................................................................................. 66
2
RELACIÓN DE ANEXOS
ANEXO 1. RELACIÓN DE PROYECTOS Y NÚMERO DE INDICADORES ....................................................................................... 72
ANEXO 2. FICHAS DE PROYECTOS ...................................................................................................................................... 74
FICHA # 1. PROYECTO 1 (BOLIVIA) .................................................................................................................... 75
FICHA # 2. PROYECTO 9 (EL SALVADOR) .......................................................................................................... 88
FICHA # 3. PROYECTO 14 (ECUADOR)............................................................................................................... 96
FICHA # 4. PROYECTO 15 (PERÚ)................................................................................................................... 107
FICHA # 5. PROYECTO 18 (GUATEMALA) ......................................................................................................... 116
FICHA # 6. PROYECTO 20 (NICARAGUA) .......................................................................................................... 126
FICHA # 7. PROYECTO 23 (REGIONAL – FEDERATIVO) ..................................................................................... 142
FICHA # 8. PROYECTO 24 (COLOMBIA) ............................................................................................................ 164
FICHA # 9. PROYECTO 31 (PANAMÁ) ............................................................................................................... 170
FICHA # 10. PROYECTO 35 (BRASIL) ............................................................................................................... 180
FICHA # 11. PROYECTO 38 (REGIONAL – FEDERATIVO) ................................................................................... 192
ANEXO 3. ENCUESTA PARA LA SELECCIÓN DE LA MUESTRA DE PROYECTOS, Y TABLA DE RESPUESTAS................................ 204
ANEXO 4. ESTRUCTURA GENERAL DEL CONVENIO............................................................................................................. 206
ANEXO 5. OBJETIVOS ESPECÍFICOS DEL CONVENIO Y OBJETIVOS GENERALES DE PROYECTOS ........................................... 207
ANEXO 6. CUESTIONARIO, TABLAS DE DATOS Y GRÁFICOS DE ENCUESTA A PERSONAL EXPATRIADO .................................... 209
ANEXO 7. FICHA RESUMEN DEL CAD ................................................................................................................................ 220
3
Índice de Tablas, Figuras y Recuadros
Tabla 1. Número de indicadores del Convenio y de sus Proyectos.......................................................................... 9
Tabla 2. Objetivos y cuestiones a analizar en la evaluación (según TdR)................................................................ 9
Tabla 3. Criterios para la valoración de indicadores y fuentes de verificación ....................................................... 13
Tabla 4. Muestra de Proyectos para el análisis del diseño..................................................................................... 14
Tabla 5. Un Programa y sus Proyectos: la planificación en cascada ..................................................................... 16
Tabla 6. Lógica vertical del Convenio y sus Proyectos........................................................................................... 17
Tabla 7. Indicadores del Objetivo general y Objetivos específicos del Convenio................................................... 21
Tabla 8. Establecimiento de indicadores generales del Convenio (OG y 4 OE)..................................................... 24
Tabla 9. Formulación de los OE y RE de los Proyectos (Adecuada: Sí/No)......................................................... 29
Tabla 10. Comparación enunciado de RE para un mismo OE ............................................................................... 29
Tabla 11. Panorama cuantitativo de la calidad de los indicadores ......................................................................... 31
Tabla 12. Indicadores pertinentes de ‘Acceso’ y ‘Educación técnica’..................................................................... 32
Tabla 13. Indicadores pertinentes de ‘Calidad educativa’....................................................................................... 33
Tabla 14. Indicadores no pertinentes de ‘Calidad educativa’.................................................................................. 33
Tabla 15. Indicadores adecuadamente especificados de ‘Educación técnica’ y ‘Acción pública’........................... 34
Tabla 16. Indicadores adecuadamente especificados (y no) de ‘Acceso a la educación’ ...................................... 35
Tabla 17. Indicadores adecuadamente especificados (y no) de ‘Calidad educativa’.............................................. 35
Tabla 18. Indicadores medibles y no medibles ....................................................................................................... 39
Tabla 19. Indicadores no específicos y medibles ................................................................................................... 39
Tabla 20. Indicadores no específicos y medibles ................................................................................................... 40
Tabla 21. Fuentes de verificación no útiles a los requerimientos informativos del indicador.................................. 41
Tabla 22. Fuentes de verificación para indicadores referidos a un producto cualificado........................................ 42
Tabla 23. Fuentes de verificación para indicadores referidos a beneficios en los colectivos ................................. 43
Tabla 24. Itinerario del establecimiento de un indicador: aprendizaje desde un caso real..................................... 44
Tabla 25. Indicador general que no aplica en la PAC............................................................................................. 45
Tabla 26. Indicador general e indicador anual ........................................................................................................ 46
Tabla 27. Indicadores de procesos (actividades o productos) a nivel de RE o OE ................................................ 46
Tabla 28. Datos generales de ejecución financiera ................................................................................................ 47
Tabla 29. Datos de ejecución financiera por línea temática (OE del Convenio)..................................................... 47
Tabla 30. Datos de ejecución financiera por línea temática (OE del Convenio)..................................................... 48
Tabla 31. Comparativa porcentaje realización de actividades y ejecución financiera (muestra)............................ 49
Tabla 32. Grado de avance de los indicadores del Objetivo general y Objetivos específicos del Convenio.......... 50
Tabla 33. Vinculación entre la lógica vertical del Convenio y de los Proyectos...................................................... 55
Tabla 34. Vinculación entre los indicadores del Convenio y de los Proyectos, según su alcance ......................... 58
Figura 1. Intersecciones entre las cuatro líneas temáticas (OE) del Convenio ...................................................... 18
Figura 2. Posibles alcances de los Proyectos: colectivos beneficiarios y beneficios.............................................. 19
Figura 3. Transición entre la planificación y el seguimiento.................................................................................... 65
Recuadro 1. Indicadores de Resultados esperados a indicadores de OE del Convenio........................................ 22
Recuadro 2. Lógica vertical alineada al OE: Proyecto 15 (Perú)............................................................................ 25
Recuadro 3. Lógica vertical mayoritariamente alineada al OE: Proyecto 14 (Ecuador) ......................................... 26
Recuadro 4. Lógica vertical no alineada al OE: Proyecto 18 (Guatemala)............................................................. 26
Recuadro 5. Lógica vertical no alineada al OE: Proyecto 9 (El Salvador) .............................................................. 27
Recuadro 6. Lógica vertical secuencial entre RE: Proyecto 23 (Regional)............................................................. 28
4
ABREVIATURAS / GLOSARIO BÁSICO
DFC
Documento de formulación
del Convenio
Documento que contiene, entre otros, los elementos sustanciales de la
justificación, planificación por resultados y ejecución del Convenio.
DFP
Documento de formulación
de Proyecto
Documento que contiene, entre otros, los elementos sustanciales de la
justificación, planificación por resultados y ejecución del Proyecto.
Ec
Fundación Entreculturas
Entidad ejecutora del Convenio
FyA
Fe y Alegría
Entidad socia, nacional y regional, en América Latina
FV
Fuente de verificación
Fuente de información material que documenta la evolución de un
indicador.
IOV
Indicador objetivamente
verificable
Medida, directa o indirecta, utilizada para determinar o mostrar en qué
grado se ha cumplido un resultado particular (Objetivo específico o
Resultado esperado). Un indicador es “verificable objetivamente” cuando
traduce o concreta de manera inequívoca el resultado al que se refiere
sin favorecer algún tipo de interpretación subjetiva.
LA
Líneas de acción
OE
Objetivo específico
Cada una de las cuatro líneas temáticas del Convenio asociadas, a su
vez, a los cuatro Objetivos específicos del mismo.
Propósito concreto que el Proyecto se compromete a lograr en el marco
temporal establecido. En términos de resultado de desarrollo, han de
estar referidos a efectos positivos intencionados en las personas
(mejoras en condiciones, utilización, acceso, comportamiento, etc.) o en
de instituciones y organizaciones destinatarias (comportamiento,
desempeño, etc.).
OEC
Objetivo específico del
Convenio
Propósito concreto que el Convenio se compromete a lograr como
resultado del logro combinado de varios OE del nivel de Proyectos.
OG
Objetivo general
Efecto al que contribuye la consecución del Objetivo específico
PAC
Programación Anual del
Convenio
Plan de actuación temporal y resultados del Convenio acotado a un año.
RE
Resultado esperado
Productos, bienes o servicios generados por la gestión de un Proyecto,
incluidos —si fuera el caso— cambios iniciales en un colectivo o
colectivos, y cuyo efecto combinado permite lograr el Objetivo específico.
REC
Resultado esperado del
Convenio
Cada uno de los Objetivos específicos de los Proyectos (como elemento
característico de la ‘planificación en cascada’).
TdR
Términos de Referencia
Documento de referencia que recoge la demanda y condiciones en las
que ha de ser realizada la evaluación
Nota de lectura:
El término ‘resultado’ hace mención tanto al Objetivo específico como al Resultado esperado, salvo indicación expresa de lo contrario.
5
PRESENTACIÓN
Este informe recoge la evaluación intermedia y externa del Convenio “Mejora de la calidad educativa para
la inserción de poblaciones vulnerables en América Latina”, en adelante el Convenio. La evaluación está
centrada en la calidad del diseño del mismo, en particular de sus indicadores, su ejecución financiera y el
avance de las actividades y resultados. La evaluación intermedia en tales términos se corresponde con el
denominado “bloque global” especificado en los TdR, y complementa otros productos de la evaluación
intermedia del Convenio.
El contenido del documento sigue la siguiente secuencia. El primer bloque resume el objeto a evaluar, el
Convenio (capítulo 1), presenta las cuestiones principales que atenderá la evaluación discutidas con la
organización sobre la base de los TdR (capítulo 2), y explica brevemente la metodología empleada y los
límites y condicionantes a tener en cuenta (capítulo 3).
A continuación, el capítulo 4 contiene cada uno de los análisis realizados en relación con:
a) El diseño del Convenio con carácter general y la calidad del diseño de los Proyectos que
componen el Convenio, siendo este apartado el más importante y voluminoso del informe. A partir
de una muestra de 11 Proyectos del total de 38 que forman parte del Convenio, en este apartado
se analiza: i) la coherencia de la lógica de la intervención; ii) la calidad de los indicadores
atendiendo a distintos criterios de calidad (pertinencia, especificidad, medición) a partir de la
revisión de unos 160 indicadores, y iii) la funcionalidad de las fuentes de verificación (utilidad y
disponibilidad).
La base principal para este análisis del diseño han sido las ‘Fichas de proyecto’ que se anexan a
este informe. En ellas se detalla la valoración crítica de todos estos aspectos del diseño señalados
para cada uno de los 11 Proyectos de la muestra. Por su naturaleza, cada Ficha resulta también un
producto independiente al servicio de las personas responsables de la gestión de cada Proyecto
particular.
b) Para completar la evaluación, son analizados aspectos básicos de la ejecución financiera (grado
de ejecución del gasto sobre lo previsto) y la eficacia técnica (grado de ejecución de las
actividades y valoración del avance de los resultados previstos del Convenio en base al último
reporte anual).
En el capítulo 5 son presentadas las conclusiones, y en el capítulo 6 las recomendaciones. En este
informe borrador, ambos capítulos están sujetos a discusión y retroalimentación con el equipo gestor del
Convenio.
En tanto que la evaluación está basada expresamente en una revisión documental, complementada con
entrevistas a personal expatriado, y no habiéndose previsto una vista in situ a los proyectos, este informe
de evaluación han ser necesariamente discutido y perfiladas sus conclusiones y recomendaciones por
parte de la organización, conjuntamente con sus socios locales, para que resulten útiles a sus propósitos
de aprendizaje, sin mermar con ello el carácter independiente del ejercicio y persiguiendo un adecuado y
transparente rendimiento de cuentas ante socios, entidades colaboradoras y resto de actores implicados
en el Convenio.
6
1.
RESUMEN DEL OBJETO A EVALUAR
Título y código: Mejora de la calidad educativa para la inserción de poblaciones vulnerables en
América Latina (10-CO1-068).
Sector: Educación.
Socios locales: Movimiento Fe y Alegría, con representación en los 17 países del Convenio.
Colectivos meta: Infancia y juventud. Docentes.
Objetivo general: Contribuir al ejercicio efectivo del derecho a una educación de calidad de
poblaciones vulnerables y desfavorecidas de 17 países de América Latina.
Objetivos específicos del Convenio (OEC):
−
OEC1. Acceso a la educación: Mejorar las condiciones de acceso, permanencia y finalización de
educativa de unos 17.000 alumnos (55% mujeres) en situación de vulnerabilidad social.
−
OEC2. Calidad educativa: Mejorar la calidad educativa en al menos 500 centros que atienden a
260.000 alumnos y alumnas (50 % mujeres) de colectivos vulnerables.
− OE3. Educación técnica: Crear las condiciones para la inclusión educativa y laboral de
aproximadamente 25.000 jóvenes y adultos/as (53% mujeres) de 55 centros educativos que atienden
a los sectores vulnerables.
−
OEC4. Acción Pública: Contribuir a la participación de las comunidades educativas en la
elaboración e implementación de políticas públicas que garanticen el ejercicio efectivo del derecho a
la educación.
Ámbito geográfico: 17 países de América Latina: Argentina, Bolivia, Brasil, Chile, Colombia,
Ecuador, El Salvador, Guatemala, Haití, Honduras, Nicaragua, Panamá, Paraguay, Perú, República
Dominicana, Uruguay y Venezuela.
− OEC1. Acceso en Bolivia, Perú, Paraguay, República Dominicana, Guatemala, Haití, Nicaragua
y El Salvador.
−
OEC2. Calidad educativa en Argentina, Bolivia, Brasil, Chile, Colombia, Ecuador, Perú,
Paraguay, Uruguay, Venezuela, República Dominicana, Guatemala, Honduras, Nicaragua, Panamá y
El Salvador.
−
OE3. Educación técnica: Colombia, Ecuador, Perú, Honduras, Nicaragua, Panamá, Salvador,
Venezuela, República Dominicana, Guatemala.
−
OEC4. Acción Pública: Regional y con proyectos específicos en Bolivia, Brasil, Honduras y
Nicaragua.
Fechas clave: 4 años de duración. Inicio en Octubre de 2010. Finalización prevista en Octubre de
2014. La evaluación intermedia abarca hasta Octubre de 2012.
7
Financiación: Coste total: 20 millones de euros. Subvención AECID: 16 millones de euros. Los
costes directos subvencionados por AECID ascienden a 14.485.000 euros. La distribución por cada OEC
es la siguiente1: el OEC1. Acceso supone una inversión de 3.090.000 euros (24%); el OEC2. Calidad
educativa totaliza 6.284.787 euros2 (49%); el OE3. Educación técnica, 2.526.264 euros3 (20%); y el
OEC4. Acción Pública, 1.023.950 euros (8%).
Instrumentos de planificación: Un Documento de Formulación de Convenios de cooperación al
desarrollo (DFC), acompañado de 38 Documentos de Formulación de Proyecto (DFP). Anualmente son
presentadas las respectivas Programaciones Anuales del Convenio (PAC) que se corresponden con los
años naturales (de Enero a Diciembre).
Lógica de la intervención: El Convenio estructura su lógica de intervención sobre los 4 Objetivos
específicos (OEC) mencionados, también denominados Líneas de acción (LA), a los que se vinculan 38
Resultados esperados del Convenio. Estos 38 Resultados esperados representan los Objetivos
específicos (OE) de otros tantos Proyectos, de los que se desprenden a su vez un total de 107
Resultados esperados en ese nivel de intervención. De esta manera, tenemos:
−
OE1. Acceso: 9 Resultados esperados del Convenio (REC) que se corresponden con los OE de
9 Proyectos en otros tantos países. En un siguiente nivel, habría a su vez 22 Resultados esperados
(RE) a nivel de Proyectos.
−
OE2. Calidad educativa: 14 REC que se corresponden con los OE de Proyectos en 13 países,
más 1 Proyecto de carácter regional. En un siguiente nivel, habría a su vez 44 RE a nivel de
Proyectos.
−
OE3. Educación técnica: 10 REC que se corresponden con los OE de otros tantos Proyectos en
10 países. En un siguiente nivel, habría a su vez 28 RE a nivel de Proyectos.
−
OE4. Acción Pública: 5 REC que se corresponden con los OE de Proyectos en 4 países, más 1
Proyecto de carácter regional. En un siguiente nivel, habría a su vez 13 RE a nivel de Proyectos.
Instrumentos para el seguimiento: Los reportes de seguimiento que pueden ser utilizados como
insumo para esta evaluación son principalmente los dos Informes de Seguimiento anuales (Junio 2011,
Junio 2012, en formato Excel) disponibles hasta la fecha, si bien los datos para el análisis de eficiencia
alcanzarán hasta Diciembre de 2012 y tomarán como insumo el último informe anual (Junio 2013).
Para informar del grado de ejecución hacia resultados, en tales Informes de Seguimiento se utiliza la
Matriz de la Planificación Anual del Convenio (PAC). Sobre la base de dicha Matriz se compara el
indicador previsto inicialmente, la línea de base y el indicador alcanzado en la ejecución de la PAC
respectiva. En algunos casos, no consta el indicador inicial previsto para el total de la ejecución, sino
aquel referido al PAC del año sobre el que se reporta.
Los indicadores previstos son 473, de los cuales 129 se corresponden con de los 38 OE de los Proyectos
(OE), y 344 con sus 107 Resultados esperados. La Tabla 1 resume los datos básicos. Para más detalles,
consultar Anexo 1.
1
Excluidos de la distribución por OEC 1.559.999 euros considerados “otros gastos conjuntos”.
Incluye costes directos subvencionados por Ec por importe de 150.000 euros en Proyecto 10 (Argentina) y 175.000 euros en
Proyecto 12 (Brasil).
3 Incluye costes directos subvencionados por la Ec por importe de 120.000 euros en el Proyecto 33 (Venezuela).
2
8
Tabla 1. Número de indicadores del Convenio y de sus Proyectos
Nivel de Objetivo Específico de Proyectos
Nº de OE
OE1. Acceso
%
Nº indicadores
%
Promedio Ind./OE
9
24%
34
26%
OE2. Calidad educativa
14
37%
48
37%
3,8
3,4
OE3. Educación técnica
10
26%
31
24%
3,1
5
13%
16
12%
3,2
OE4. Acción pública
38
129
3,4
Nivel de Resultados Esperados de Proyectos
Nº de RE
%
Nº indicadores
%
Promedio Ind./RE
OE1. Acceso
22
21%
62
18%
2,8
OE2. Calidad educativa
44
41%
151
44%
3,4
OE3. Educación técnica
28
26%
85
25%
3,0
13
12%
46
13%
3,5
OE4. Acción pública
107
344
3,2
Junto con estos indicadores, fueron especificados otros anuales y complementarios en las PAC
realizadas para dar cuenta de la evolución de los Proyectos en el marco temporal de cada año.
2.
CUESTIONES A ANALIZAR CON LA EVALUACIÓN
La evaluación intermedia global del Convenio responde los siguientes objetivos recogidos en los
Términos de Referencia (TdR).
Tabla 2. Objetivos y cuestiones a analizar en la evaluación (según TdR)
“Los objetivos principales de evaluar en este eje de la evaluación son el nivel de avance en los objetivos
propuestos, valorando la eficacia y eficiencia del Convenio, y la coherencia interna del diseño de éste.
En la evaluación de la eficacia, se pretende conseguir un análisis centrado en la medición del nivel de
cumplimiento de los cuatro objetivos específicos, obteniendo valoraciones generales de las cuatro líneas de
acción del Convenio.
Respecto a la evaluación de la eficiencia se espera conseguir valoraciones sobre la suficiencia y
adecuación de los recursos de la intervención.
Sobre el análisis de la coherencia interna (o pertinencia del diseño) se pretende obtener valoraciones
referentes al diseño del Convenio (¿Ha sido correcta la formulación de la intervención según el EML?; ¿ha
sido útil el sistema de indicadores predefinido?; ¿han sido bien identificadas las fuentes de verificación?).”
En el marco de tales objetivos, durante la reunión inicial celebrada con los responsables del Convenio y
del área de Evaluación de la Fundación Entreculturas (FE), se ajustó tal demanda en los siguientes
términos:
9
La Fundación Ec manifestó un alto interés en valorar la coherencia del diseño del Convenio
conforme a los estándares de diseño del Marco Lógico4. Este análisis habría de ser particularmente
relevante en cuanto a la calidad de los indicadores establecidos, tanto en relación con los fenómenos
que han de indicar —los Objetivos específicos (OE) o Resultados esperados (RE)—, como en la
correspondencia y proporcionalidad de las fuentes de verificación con tales indicadores.
Un interés relativamente menor en estimar la eficiencia financiera del Convenio, resumida en
analizar la proporcionalidad de los gastos realizados respecto a la previsión inicial, análisis que podría
ser realizado por partidas, líneas de trabajo y/o países.
En la misma línea, se estimó conveniente que la evaluación intermedia arrojase una fotografía
general en términos del grado de ejecución de actividades y avance hacia resultados, la eficacia
lograda hasta la fecha tanto por Proyectos o países, como por líneas de trabajo y, con carácter global,
referida también a los Objetivos del Convenio.
Por último, se hizo hincapié en priorizar el análisis en el nivel de Acciones (Proyectos) y en cómo,
a partir de la agregación de las evidencias a este nivel, poder obtener conclusiones para el conjunto del
Convenio.
Los siguientes apartados describen los elementos metodológicos de la evaluación previstos para dar
respuesta a estas demandas.
3.
METODOLOGÍA
3.1. Técnicas
Con carácter general, hay que señalar que se había previsto en los TdR basar la evaluación en las
técnicas de revisión documental y entrevistas a personal de la organización ejecutora, en particular el
personal expatriado. Por defecto, la evaluación no ha realizado trabajo de campo en los países de
ejecución del Convenio.
La revisión documental ha abarcado los Documentos de formulación e informes de seguimiento, además
de documentos de análisis internos sobre la calidad y utilidad de los indicadores que había realizado la
propia organización. De manera particular, la base de datos que resumen la reflexión iniciada al respecto
entre el equipo gestor del Convenio ha sido muy útil a la parte de la evaluación referida al diseño de
indicadores y la funcionalidad de las fuentes de verificación. El equipo de expatriados ha documentando
en ella los puntos fuertes y debilidades de los indicadores fruto de su labor de acompañamiento a los
Proyectos y de asesoría al personal técnico local de las contrapartes que los implementan.
Por otra parte, han sido realizadas entrevistas vía telemática con las tres expatriadas en República
Dominicana (responsable por los proyectos también en Venezuela, Nicaragua, Panamá y Haití), El
Salvador (responsable además por los proyectos en Guatemala y Honduras), Perú (responsable por los
4
Se excluyen de esta valoración los aspectos metodológicos del enfoque del Marco Lógico referidos la fase de identificación
(análisis de beneficiarios, análisis de problemas, análisis de objetivos y análisis de alternativas), centrándose el análisis el la fase
de diseño.
10
proyectos también en Ecuador y Paraguay), y el expatriado en Colombia (responsable también por los
proyectos en Brasil, Bolivia y los de alcance regional o federativos).
Para contrastar aspectos referidos a la eficacia y complementar la información reportada por los informes
de seguimiento anuales, ha sido aplicado un cuestionario on line con el propósito de recabar la opinión
del personal expatriado sobre la evolución de los Proyectos (ver Anexo 6).
La herramienta principal que ha ayudado a la interpretación y elaboración del informe, fundamentalmente
en la parte referida al diseño, ha sido la ‘Ficha de Proyecto’ (ver Anexo 2). Para cada uno de los 11
Proyectos de la muestra principal ha sido elaborada una Ficha que contiene un resumen descriptivo y el
análisis referido a: i) la coherencia de la lógica vertical; ii) los OE y RE; iii) la calidad de los indicadores y
funcionalidad de las fuentes de verificación; iv) relevancia de las fuentes de verificación reportadas. A
mayores, son resumidos datos sobre ejecución financiera y avance de las actividades que son tomados
en cuenta para otros capítulos del informe.
Además de cómo base para la elaboración del informe de evaluación, cada una de las Fichas de proyecto
tiene utilidad por sí misma de cara a la reflexión sobre el diseño de cada Proyecto particular por las
personas más directamente responsables del mismo; y como base para el intercambio de buenas y malas
prácticas de diseño entre Proyectos de la misma temática o país.
3.2. Criterios para la valoración del diseño
En este apartado se presentan los criterios bajo los cuáles es valorado el diseño del proyecto, la parte
más importante del informe. Tales criterios derivan de los estándares de aplicación de método de
planificación por objetivos denominado Enfoque del Marco Lógico, junto con la doctrina en materia de
Gestión por Resultados.
De tales fuentes y consensos internacionales sobre diseño y planificación por resultados tomamos las
pautas referidas a: i) el adecuado establecimiento de la ‘cadena de resultados’, o lógica vertical en
términos del Marco Lógico; ii) la calidad de los indicadores y la correspondencia con ellos de las fuentes
de verificación, o en términos generales, los mecanismos de seguimiento por resultados. El análisis de
diseño del Convenio abarcó los anteriores elementos bajo las especificaciones presentadas en los
siguientes apartados.
3.2.1.
Coherencia de la lógica vertical
La coherencia de la lógica vertical de la intervención ha tomado como referencia la secuencia de la
denominada ‘cadena de resultados’ típico de la planificación lineal del Marco Lógico. El análisis ha sido
realizado para los tres primeros niveles del Convenio (Objetivo general, los 4 OEC y los 38 REC), y
posteriormente para una muestra de Proyectos.
Este análisis comprendió:
La coherencia ‘medios-fines’ que representa la relación entre los Resultados esperados y el
Objetivo específico.
Detectar cómo el enunciado o formulación de OE y RE afectan al posterior diseño de los
indicadores.
11
Esta revisión de la formulación de los niveles de OE y RE es el punto de referencia para el análisis de los
indicadores que ha sido realizado posteriormente. A modo de filtro, ha servido para detectar aquellos
casos en los que el enunciado no apropiado del resultado está dificultando establecer el indicador o
indicadores correspondientes. Esto no impide, en todo caso, analizar a continuación la calidad del
indicador o indicadores correspondientes en función del resultado original.
3.2.2.
Calidad de los indicadores y funcionalidad de las fuentes de verificación
La calidad de los indicadores es el aspecto principal a considerar con referencia al diseño del Convenio.
El análisis se realizará: a) a nivel de Convenio, tomando en cuenta aquellos utilizados para medir el logro
de los 4 OEC y su OG; y b) a nivel de Proyectos, a partir del análisis de los más de 160 indicadores
establecidos en la muestra de 11 Proyectos.
De entre los múltiples aspectos a considerar referidos a la calidad de un indicador5 y la funcionalidad de
las fuentes de verificación, se han tomado los siguientes criterios:
El diseño de los indicadores es analizado atendiendo a:
−
−
−
Su pertinencia, es decir, en qué medida la variable del indicador se corresponde con el OE o el
RE, y no con evidencias de otra naturaleza, como por ejemplo las actividades realizadas para
alcanzarlos.
Su carácter específico, criterio de calidad según el cual el indicador debe describir una
condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada
para medir el avance en el OE o el RE de una manera lo más objetivamente verificable
posible.6
Medible, es decir, el indicador ha de estar cuantificado o especificar datos que hagan posible
valorar en qué grado se ha conseguido.
La funcionalidad de la fuente de verificación de cara a aplicarlas a los indicadores es analizada
teniendo en cuenta la correspondencia entre el indicador y su fuente o fuentes de verificación
respectivas. Se valora:
−
La utilidad de la fuente de verificación prevista o reportada, de manera que se estima la
previsible capacidad de la fuente, u otra sustituta aportada en los informes de seguimiento,
para informar sobre el indicador.
5
Hay numerosos documentos de referencia para definir las múltiples características de los indicadores. Por ejemplo, según
PREVAL/FIDA, “Los indicadores deberían ser: a) medibles, b) objetivos, c) válidos, d) fiables, e) pertinentes, f) sensibles, g)
específicos, h) eficaces en función de los costos, e i) oportunos”. [Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y
evaluación de programas y proyectos. Breve guía]. Como otra referencia de calidad de los indicadores, es habitual el uso del
acrónimo inglés SMART para referirse a las características de Específico, Medible, Alcanzable, Realista y relevante, y Delimitado
en el tiempo.
6
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin
favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a ‘fiabilidad’ del indicador, es decir, que las
conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos
diversos y en circunstancias diferentes. [Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas
y proyectos. Breve guía].
12
−
La disponibilidad, esto es, la existencia de la fuente de verificación en los informes de
seguimiento anuales, descontando aquellos casos en los que la fuente no está disponible
porque el indicador no reporta acerca de un resultado aún no alcanzado.
Las pautas para el análisis de tales criterios de calidad son las reflejadas en la Tabla siguiente.
Tabla 3. Criterios para la valoración de indicadores y fuentes de verificación
Sí
Dudoso
No
Pertinente
El indicador está
relacionado con el OE/RE
No está clara la relación entre el
indicador y el OE/RE
El indicador no está relacionado con
el OE/RE
Específico
El indicador establece con
claridad y concreción qué
medir
Existen dudas sobre si el indicador
establece con claridad y concreción
qué medir. En algunos casos va a
depender de la capacidad de la
fuente de información de dar cuenta
de tal indicador.
El indicador no establece con claridad
y concreción qué medir.
Medible
Define la cantidad o valores
a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a
tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a
partir de los cuales valorar lo
alcanzado
Útil
Ha sido prevista una fuente
de verificación adecuada o
se reporta con base a una
fuente sustituta relevante.
No está clara la capacidad de la
fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una
fuente de verificación adecuada
Disponible
Existe y se reporta con
base a la fuente de
verificación prevista u otra
fuente sustituta relevante
No está claro que la fuente de
verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación
prevista u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras
características de los indicadores (pertinencia, especificidad y medible) no son independientes, sino
que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente;
luego ha de ser específico y finalmente medible. Dicho de otra manera, no resulta útil para la gestión por
resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no
especifica con claridad qué medir (específico), o un indicador específico y medible pero que no tiene
relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador,
el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así, es primero necesario que la
fuente de verificación tenga capacidad para informar sobre el indicador (utilidad), para asegurar después
que esté disponible; no resultando relevante para el diseño el caso contrario: que estén disponibles
fuentes de verificación que no informan adecuadamente sobre el indicador.
13
3.3. Muestra de Proyectos
El análisis referido al diseño ha sido realizado sobre una muestra de Proyectos. De acuerdo a los
requisitos7 establecidos por la organización y a los criterios8 acordados, la selección de los Proyectos
ha dado como resultado la selección de los siguientes 11 Proyectos. En Anexo 3 puede consultarse el
cuestionario utilizado para la selección de la muestra y la tabla de respuestas.
Tabla 4. Muestra de Proyectos para el análisis del diseño
Nº Número Proyecto
(según Convenio)
Objetivo
específico
País
Área geográfica
1
1
Acceso
Bolivia
Suramérica
2
9
Acceso
El Salvador
Centroamérica y el Caribe
3
14
Calidad
Ecuador
4
15
Calidad
Perú
5
18
Calidad
Guatemala
6
20
Calidad
Nicaragua
7
23
Calidad
Federación
Regional
8
24
Técnica
Colombia
Suramérica
9
31
Técnica
Panamá
Centroamérica y el Caribe
10
35
Acción Pública
Brasil
Suramérica
11
38
Acción Pública
Federación
Regional
Suramérica
Centroamérica y el Caribe
Esta selección de Proyectos posibilita:
Contar con una alta representación de Proyectos del OEC2. Calidad educativa (un 45% del
total), los de mayor alcance tanto en volumen de resultados como presupuesto y, según los
comentarios recibidos, también complejidad a la hora de establecer indicadores.
Un equilibrio en la representación de los Proyectos ejecutados en las áreas de Sudamérica y de
Centroamérica y el Caribe.
Tener a dos Proyectos representando a las líneas temáticas del OEC1. Acceso y OEC3.
Educación técnica para permitir un cierto contraste en el análisis.
7 Requisitos: a) Proyectos de los 4 OEC, de manera que no quede ninguno de ellos sin representación; b) Proyectos de la zona
de Suramérica y de Centroamérica y el Caribe; y c) Presencia de Proyectos de distinto volumen presupuestario.
8 Criterios: a) Interés del personal gestor de Proyectos en Ec (expatriadas/o) , en tanto que el agente que más de cerca sigue las
consecuencias, junto al socio local, de las bondades y deficiencias en el diseño del Convenio y sus Proyectos; y b)
representatividad dentro del Convenio, por el cual hay que considerar especialmente al OEC referido a calidad educativa por ser
el de mayor amplitud en términos de intervención en número de países y de resultados a alcanzar. También supone la inversión
mayor, con prácticamente la mitad de los costes directos subvencionados por AECID. Por su parte, el OEC relacionado con la
acción pública es el más modesto de los 4 OEC, tanto en número de países y de resultados esperados, como en presupuesto
asignado. En consecuencia, los Proyectos seleccionados deberá tener una mayor representación en la temática de Calidad
educativa, y menor en Acción pública. La temática de Acceso y de Educación técnica, según este criterio, deberían tener el
mismo número de Proyectos a analizar.
14
Comparar los diseños de Proyectos según el alcance de la intervención (a nivel país versus
regional o ‘federativo’), tanto en el OEC2. Calidad como en el OEC4. Acción pública.
Combinar Proyectos de distinto volumen de inversión presupuestario. Hay 3 Proyectos por
debajo de los 200.000 euros, otros 3 cuyo presupuesto está en el rango 200.001-500.00 euros, 4
representado al rango 500.001-750.000 euros, y 1 Proyecto por encima de los 750.000 euros
Los 11 Proyectos seleccionados suponen la revisión de la coherencia de otras tantas lógicas de
intervención, la formulación de sus 11 Objetivos y 32 Resultados esperados, y muy especialmente,
la valoración de 166 indicadores, 22 referidos al OEC1. ‘Acceso’, 83 del OE2. ‘Calidad educativa’, 14 del
OEC3. ‘Educación técnica’ y 47 del OEC4. ‘Acción pública’. Esta cantidad, con toda seguridad, es
suficientemente ilustrativa (en términos cualitativos) y significativa (en términos cuantitativos) para
detectar pautas de diseño de los indicadores del Convenio y sus Proyectos, así como buenas prácticas y
errores comunes.
En todo caso, si bien el análisis se centrará en esta muestra de Proyectos, en momentos puntuales del
análisis han sido considerados otros Proyectos entre los destacados por el personal de la organización en
la encuesta realizada. La función de estos otros Proyectos es alimentar el análisis principal realizado y
documentar los ejemplos.
3.4. Límites de la evaluación
Con carácter general, los factores que condicionaron el análisis tienen que ver con el propio diseño del
estudio, en tanto que no estaba previsto en los TdR un trabajo de campo en los países. Esto limita las
posibilidades de profundizar en las cuestiones del diseño y eficacia de los Proyectos que componen el
Convenio.
En ese sentido, la evaluación conocía de antemano sus propios límites, ya que el análisis de diseño
referido a la calidad de los indicadores y, en general, al diseño de los Proyectos requeriría en condiciones
ideales:
En primer lugar, de un conocimiento cercano y de primera mano acerca del proceso de toma de
decisiones previo a la identificación y establecimiento de tales indicadores. Sería necesario recoger
información sobre los distintos factores que condicionan su elección y definición, entre otros, un
conocimiento específico de la naturaleza de los resultados previstos en cada caso y el alcance o
cambio que provoca en la población destinataria, alcance en cuya interpretación es fundamental
contar con la valoración del personal gestor tanto en sede, como en terreno, los y actores afectados
por la intervención.
En segundo lugar, cada Proyecto es ejecutado en condiciones particulares y en respuesta a
demandas específicas, que influyen en la relación lógica entre los resultados y su medición,
afectando también a la definición del indicador. En un caso, por ejemplo, la manera de medir las
capacidades adquiridas el colectivo beneficiario de un Proyecto puede basarse en una prueba de
conocimientos y reflexión crítica en la materia, en tanto en otras circunstancias es más adecuada la
observación de la puesta en práctica de tales capacidades por personal experto basándose en
pautas sistemáticas que eviten en lo posible el sesgo en la medición y permitan comparar resultados
en el tiempo y para distintos grupos de beneficiarios.
15
Lo anterior es importante en tanto que afecta a los resultados del análisis y a la validez de los productos
finales de esta evaluación. En ese sentido, ya anticipamos aquí que, al estar fuertemente basada en una
revisión documental y sin trabajo de campo en el terreno, tanto el análisis que se realizará, como las
conclusiones y recomendaciones basadas en tales evidencias, estarán necesariamente sujetos a una
revisión y discusión posterior por parte de la entidad gestora del Convenio con sus socios locales, sin
que esto afecte a la independencia del ejercicio y a un rendimiento de cuentas honesto y transparente.
Esta revisión con la ONGD ejecutora ha de abrir, tras la evaluación intermedia, un espacio para el debate
y la reflexión entre el personal técnico en sede, expatriado y del socio local. Tal espacio ha de permitir
contrastar lo acertado del análisis realizado y adaptar los resultados de la evaluación y los aspectos de
mejora indicados a la casuística y realidad de cada Proyecto, ajustando en su caso las
recomendaciones efectuadas en función de lo factible que sea su aplicación.
4.
ANÁLISIS
4.1. Diseño
En este apartado se presenta el resultado del análisis del diseño del Convenio relativo a:
−
La coherencia de la lógica del Convenio en general y de los Proyectos en particular.
−
La calidad del diseño de los indicadores.
−
La funcionalidad de las fuentes de verificación
El análisis se realiza a dos niveles: para la estructura del Convenio en general, y para los Proyectos
individuales, a partir de una muestra de 11 de ellos.
4.1.1.
El diseño general del Convenio
4.1.1.a) Análisis de la coherencia de la lógica vertical
La fórmula comúnmente aceptada para el diseño de programas y de proyectos integrados en ellos
responde a la lógica de una ‘planificación en cascada’ según la cual se interrelacionan los niveles de
actuación de ambos tipos de intervenciones (ver Tabla).
Tabla 5. Un Programa y sus Proyectos: la planificación en cascada
Programa
Proyectos
Objetivo general.
Objetivo específico
=
Objetivo general
Resultados esperados
=
Objetivo específico
Actividades
=
Resultados esperados
16
En nuestro caso, el diseño del Convenio se expresó en cuatro niveles: un Objetivo General, 4 Objetivos
específicos, 38 Resultados esperados y 107 Actividades. El punto de intersección característico de la
‘planificación en cascada’ entre el Convenio y los Proyectos que lo componen se da a nivel de los
Resultados esperados del Convenio, siendo éstos equivalentes a los Objetivos específicos de cada uno
de los Proyectos. (Ver Tabla 6 más adelante y la estructura general del Convenio en Anexo 6).
La cadena lógica del Convenio tiene por lo tanto su punto de referencia el nivel de Objetivo específico de
los Proyectos (38), cuyos logros son resumidos en cada uno de los cuatro Objetivos específicos del
Convenio bajo una estructura temática: acceso a la educación (OE1), calidad educativa (OE2) educación
técnica (OE3) y acción pública (OE4). En ese sentido, los 4 Objetivos específicos del Convenio no
representan el efecto acumulado de los 38 Resultados esperados precedentes, sino un resumen
agregado de las intervenciones a nivel de Proyecto por las cuatro esferas temáticas presentes en
tales Resultados esperados.
Por su parte, los cuatro Objetivos específicos del Convenio no están plenamente asociados a los
Objetivos generales de los Proyectos (ver Anexo 5).
Tabla 6. Lógica vertical del Convenio y sus Proyectos
Convenio
Objetivo general (1)
Objetivos específicos (4) que agregan…
Proyectos
≠
Objetivo general (15)9
=
Objetivo específico (38)
=
Resultados esperados (107)
Resultados esperados (38)
Actividades (107)
¿Resta esto coherencia a la lógica del Convenio? Esto no parece ser así. El que no se dé plenamente la
lógica de la ‘planificación en cascada’ supone una adecuada fórmula de presentación de una acción
regional de estas características, en tanto es la traducción de varios factores a tomar en cuenta:
a) En el plano teórico, la formula de Convenio no es equivalente a la de Programa. Si bien el
esquema de formulación se basa en los requisitos establecidos en el Marco lógico, no estamos ante un
programa en el cual estén integrados diferentes proyectos —tal y como expresa la lógica de
‘planificación en cascada’ comentada arriba—10, sino ante una actuación regionalmente estructurada
por esferas temáticas que la organización ha priorizado en el sector educativo.
b) En el plano práctico, los Proyectos que conforman el Convenio son diseñados a partir de una
concepción regional de las prioridades a atender. Además de en los dos Proyectos de marcada
actuación regional (Proyectos 23 y 38), esto es evidente en general en los asociados a los OE2 de
‘Calidad educativa’ y OE4 de ‘Acción pública’, cuyos Proyectos tienen en programas federativos de
alcance regional la base fundamental de sus componentes, si bien después su diseño es realizado
en clave nacional, dando cabida a actividades o Resultados esperados complementarios. En cierta
medida, esta misma lógica también inspira la formulación de los Proyectos de la temática del OE3
‘Educación técnica’ y resulta menos evidente en la temática del OE1 ‘Acceso a la educación’, cuyos
9
Existen muchas similitudes entre los 38 Objetivos generales formulados, uno para cada Proyecto, pudiéndose resumir en
realidad en 15. Ver Anexo 5.
10 Los únicos Proyectos que podrían operar en este sentido serían los derivados de los Programas federativos/regionales. Como
veremos, tampoco tenía sentido que tales Programas dieran lugar a Proyectos integrados en su ‘planificación en cascada’, lo que
supondría haber diseñado un Proyecto de carácter regional para cada uno de los Resultados esperados del Programa federativo.
17
Proyectos sobre todo se ajustan a las necesidades nacionales detectadas en la materia. Es este diseño
último en clave nacional al que nos referíamos arriba el que hace que los Objetivo general de los
Proyectos de cada país tengan correspondencia con objetivos superiores de la planificación general o
estratégica de cada organización nacional.11 Por su parte, en los dos Proyectos de perfil regionalista
(Proyectos 23 y 38), el Objetivo general se asociaría a los fines superiores establecidos en sus
programas federativos respectivos, pero no necesariamente a los Objetivos específicos del Convenio.
c) Lo anterior conduce a la razón de ser de la actual configuración del Convenio y su no pleno ajuste
con la ‘planificación en cascada’. Esto es, que los cuatro OE de Convenio no pueden representar un
efecto derivado de la consecución de los Resultados esperados. Ya que tales Resultados representan
los Objetivos específicos de 38 Proyectos, al actuar para distintos colectivos y en diferentes países, no
pueden propiciar ni esperarse de su cumplimiento conjunto un fin regional superior.12 De ahí la función
de los 4 OE del Convenio: resumir el alcance sobre colectivos beneficiarios y sus beneficios principales
contenido en los 38 Resultados esperados (OE de Proyectos), más que explicitar efectos de orden
superior.
Sobre esta estructura del Convenio, otros dos elementos explican que no sea posible una ‘planificación
en cascada’ totalmente integrada entre los Proyectos y los OE del Convenio:
a) Cada Proyecto genera beneficios principalmente en la temática a la que está asignado. Pero
esto no oculta que, con base a las demandas y estrategias locales de cada país, algunos Proyectos
puedan necesitar operar sobre factores afines a otras temáticas (ver Figura 1).
Figura 1. Intersecciones entre las cuatro líneas temáticas (OE) del Convenio
Acceso a la educación
Permanencia educativa
(años escolaridad)
OE1
Cualificación e inclusión educación básica
Cualificación e inclusión técnico-laboral
Calidad educativa
OE3
OE2
(Gestión escolar, procesos
de enseñanza-aprendizaje,
cualificación educadores/as,
implicación familias,
proyección comunidad)
Participación e incidencia de comunidades
educativas en políticas públicas educativas
OE4
Así por ejemplo, trabajar por el acceso y la permanencia educativa de población en edad escolar
(OE1 del Convenio) conlleva en algunos casos que el Proyecto actúe sobre dinámicas que propician
11
Y, deseablemente, con los objetivos del país en el sector (Principio de alineamiento, Declaración de París sobre la eficacia de
la ayuda).
12 En cada caso habrá una contribución local/nacional al Objetivo general previsto en cada Proyecto.
18
la calidad educativa del cuerpo docente (OE2 del Convenio). O que los esfuerzos por mejorar la
calidad de la educación ofertada en los centros educativos sean considerados en el OE3 del
Convenio siempre que forme parte de una actuación en el campo de la formación técnico-laboral.
Por su parte, los Proyectos relacionados con la línea de acción pública (OE4) son de carácter menos
interrelacionado y más independientes.13
Lo comentado da lugar a un criterio de asignación de los Proyectos a cada OE del Convenio o línea
temática, atendiendo al fin último de cada Proyecto o su campo de actuación, criterio según el cual:
−
Los Proyectos que abordan cuestiones de calidad educativa pero que operan en el ámbito
de la formación técnico-laboral, se vinculan al OE3.
−
Los Proyectos que en parte inciden en la calidad educativa dentro de un paquete de
medidas conducentes al acceso/permanencia educativa del alumnado, se vinculan al OE1.
−
El OE2, por su parte, recogería Proyectos netamente asociados a la calidad educativa de
centros escolares.
b) En parte derivado del punto anterior, se dan diferencias lógicas en el alcance de las distintas
actuaciones atendiendo a las necesidades o problemas que los originaron, a las circunstancias y
estrategias nacionales de cada socio local o a los esquemas de financiación acordados con los
países. Quiere esto decir que los Proyectos pueden comprometerse a garantizar logros a distintos
niveles —a veces representado en su Objetivo específico, a veces más acertadamente representado
en sus Resultados esperados—, dando lugar a un alcance menor o mayor de los beneficios y a
diferentes unidades/colectivos beneficiarios (ver Figura 2).
Figura 2. Posibles alcances de los Proyectos: colectivos beneficiarios y beneficios
Población en edad escolar y adultos/as
Condiciones físicas del centro educativo
Familias, comunidad
Educadores
(docentes, equipos directivos)
Alcance
Beneficios
Nivel
de centro
Nuevas plazas o
condiciones favorecedoras
Nivel
de educador/a
Calidad proceso
educativo
(y comunidad)
Alumnado
Egresado/a
Nivel
de alumno/a
Acceso
Permanencia
Cualificación /
Calidad resultado
educativo
Inserción socioeducativa y laboral
Comunidad educativa, agentes y
decisores/as del sector educación
Nivel
comunidad
educativa
Incidencia en
políticas educativas
13
De hecho, cuando el Proyecto 14 de Ecuador ha intentado combinar actuaciones en ‘Calidad educativa’ con ‘Acción pública’, la
coherencia de la lógica vertical del Proyecto se ha resentido. Más adelante se cita este ejemplo. Para más información, ver la
‘Ficha de Proyecto’ respectiva.
19
Este diferente alcance está más presente en la temática de ‘Acceso educativo’ que en el resto de OE
del Convenio, si bien en el resto de líneas temáticas hay algunas variaciones a destacar. Así
tenemos que:
b.1) En la temática de ‘Acceso a la educación’ (OE1) es posible encontrar Proyectos cuyo
alcance abarca hasta la inserción socio-educativa y laboral (Proyecto 1 de Bolivia), junto a otros
que actúan sobre las condiciones educativas de los centros escolares, ampliando o remodelando
espacios a beneficio del alumnado (Proyecto 4 de República Dominicana).
b.2) Por el contrario, casi todos los Proyectos contenidos en la esfera de ‘Calidad educativa’
(OE2) presentan un alcance similar, más allá del mayor o menor acierto en la formulación de sus
Objetivos específicos, pero más variada cobertura. La mayoría tiene al centro educativo y su
personal como foco de acciones en distintos ámbitos de la calidad, si bien su alcance puede variar
desde dirigirse a la práctica docente (16 de Paraguay, 21 de Panamá), mientras que otros integran
a los equipos directivos en sus resultados (14 de Ecuador 15 de Perú), y otros a la comunidad y
las familias (ej. 17 de República Dominicana), o a los/as jóvenes del centro y la comunidad (20 de
Nicaragua). Por su parte, el Proyecto 23, que se deriva de un Programa Federativo, es decir
regional, denominado ‘”Mejora de la Calidad educativa – P1”, representa un alcance en los centros
de los países participantes que solo es posible en combinación con los Proyectos nacionales que
integran en su intervención las fases del sistema de mejora de la calidad establecidas en tal
Programa (P1).
b.3) En la temática de ‘Educación técnica’, la mayoría de Proyectos tiene un alcance similar: la
adquisición de capacidades técnico-laborales en su alumnado para propiciar mejores condiciones
de inserción en el mercado de trabajo (empleabilidad). Pero entre ellos puede encontrarse alguno
que apuesta por un efecto posterior: la inserción laboral efectiva (Proyecto 32 de El Salvador y,
aunque no es explícito en su OE, también los Proyectos 25 de Ecuador y 33 de Venezuela).
b.4) Respecto a su alcance, los Proyectos de ‘Acción pública’ son los que presentan un alcance
más similar, al tener como objetivo común posicionar a cada FyA nacional o a la Federación
Internacional como un actor relevante y activo —también sus comunidades educativas— en la
defensa del ejercicio efectivo del derecho a la educación. A pesar de que un Proyecto enfatiza más
la dotación de capacidades institucionales (35 de Brasil) en la práctica sus acciones y resultados
abordan también la movilización.
Este diferente alcance de los Proyectos en cuanto al cambio que logran en los/as destinatarios/as
tendrá su efecto en los indicadores globales del Convenio a nivel de OG, tal y como veremos en el
apartado siguiente. Así, por ejemplo, unos podrán informar sobre el número de beneficiarios/as que
han adquirido competencias técnico-laborales (terminación del ciclo formativo), en tanto que otros
indicarán cuántos/as beneficiarios/as se insertan efectivamente en el mercado de trabajo.
Como resumen de este apartado podemos decir que, formulada principalmente sobre la base de una
identificación y diseño a nivel de Proyectos individuales, la lógica general del Convenio se articula en
base a 38 Resultados esperados que representan los OE de otros tantos Proyectos. Para ofrecer una
visión temática agregada, el Convenio acierta al encajarlos en esferas temáticas, en este caso cuatro,
esferas cuyos OE representan el esfuerzo común totalizando colectivos o centros beneficiarios de sus
Proyectos correspondientes en función del alcance de cada uno de ellos. La medición de tales OE y del
propio OG del Convenio tendrá, en consecuencia, que considerar este distinto alcance, como veremos a
continuación.
20
4.1.1.b) Análisis de la calidad de los indicadores y funcionalidad de las fuentes de verificación
En relación con los indicadores, el Convenio ha previsto los siguientes, cuyos textos se presentan
resumidos y sin cuantificar en la Tabla siguiente.
Tabla 7. Indicadores del Objetivo general y Objetivos específicos del Convenio
Niveles
Indicadores
A nivel del Objetivo general: “Contribuir al ejercicio efectivo del derecho a la educación de calidad….”
1. Estudiantes que logran una titulación oficial de
culminación de estudios que facilita su inserción social
2. Centros que mejoran la calidad educativa en gestión
escolar, procesos de enseñanza-aprendizaje, construcción
de ciudadanía y proyección con la comunidad.
3. Estudiantes que consiguen terminar con éxito su
respectivo ciclo formativo (técnico-laboral).
4. Estudiantes egresados/as que continúan sus estudios o
se insertan en el mercado laboral
5. Políticas públicas educativas de organismos nacionales e internacionales incorporan propuestas de Fe y Alegría
dirigidas al cumplimiento efectivo del Derecho a la Educación para todas y todos.
Objetivo específico 1 ‘Acceso’: “Mejorar las condiciones de acceso, permanencia y finalización de alumnos/as….”
1. Población que accede a servicios educativos.14
2. Estudiantes que mejoran sus condiciones educativas.15
Objetivo específico 2 ‘Calidad educativa’: “Mejorar la calidad educativa en centros educativos….”
1. Centros que participan en el proceso de mejora la
calidad educativa ofrecida de acuerdo al Sistema de Mejora
de la Calidad
2. Centros que cuentan con un sistema de gestión
colegiada y participativa
3. Docentes que mejoran su práctica de aula
4. Centros que aplican currícula adecuada al contexto
5. Centros que mejoran el clima escolar, convivencia y
valores
6. Centros que aumentan interrelación con la comunidad
Objetivo específico 3 ‘Educación técnica’: “Crear las condiciones para la inclusión educativa y laboral….”
1. Población que accede a propuestas de formación para el
trabajo
2. Centros con mecanismos que favorecen la inserción
laboral y el seguimiento de egresados/as
3. Centros con una propuesta pedagógica actualizada y
adecuada al contexto.
4. Educadores/as que adquieren las competencias
necesarias
Objetivo específico 4 ‘Acción pública’: “Contribuir a la participación (…) en la elaboración e implementación de políticas
públicas….”
1. FyA mantiene interlocución efectiva con autoridades
públicas y participa en instancias de decisión sobre políticas
educativas
2. FyA participa de forma estable en redes, foros,
plataformas y espacios de representación de sociedad
civil del sector educativo
3. Las comunidades educativas conocen y reivindican el
cumplimiento del derecho a la educación para todos y todas
4. Fe y Alegría que cuentan con planes nacionales de
acción pública
Tal listado de indicadores representa una fotografía fiel de los logros del Convenio en su conjunto.
Para estimarlos y darles seguimiento,16 la organización ejecutora ha diseñado un detallado procedimiento
14
Este indicador mide las plazas escolares creadas u ofertadas con el Convenio que no existirían sin él. Se trata, generalmente,
de nuevas infraestructuras educativas, aunque se computan también las plazas ofertadas con la educación a distancia por radio y
en algún caso nueva oferta educativa con las infraestructuras existentes.
15 Este indicador mide plazas escolares que ya existen antes de Convenio pero que cuyos estudiantes ven mejoradas las
condiciones físicas del centro.
21
de cuantificación que permite obtener el dato final del indicador a partir de la agregación de múltiples
datos de países y Proyectos, y explicar las desviaciones en los indicadores en relación con el Proyecto
particular que las haya podido provocar.
Como resultado de la lógica de intervención comentada en el apartado anterior, los indicadores operan
con arreglo al siguiente sistema de cómputo:
a)
Los indicadores de los 4 OE del Convenio son el resultado de agregar datos de
provenientes de los indicadores a nivel de los Objetivo específicos de los Proyectos, es decir, de los
Resultados esperados del Convenio o, en su defecto, de computar los beneficiarios totales asociados
a cada temática. En algunos casos, los datos provienen de los indicadores a nivel de los Resultados
esperados de los Proyectos (Actividades en la lógica del Convenio). Esto esa así cuando los
Proyectos, sobre todo de la temática de ‘Calidad educativa’, actúan en diversos ámbitos relacionados
con tal fin (por ejemplo, incidiendo en el trabajo de los docentes y en la gestión del centro por parte
de los equipos directivos, como se comenta en el Recuadro 1).
Recuadro 1. Indicadores de Resultados esperados a indicadores de OE del Convenio
Proyecto 15 (Perú) asociado al OE2 del Convenio ‘Calidad educativa’
El Proyecto tiene el siguiente Objetivo específico “Mejorar la calidad educativa en 60 instituciones
educativas” y como Resultados esperados son: RE1) Directores y equipos directivos mejoran su gestión
directiva y pedagógica; y RE2) Docentes mejoran sus habilidades sociales y pedagógicas así como el
dominio de sus habilidades básicas.
Los indicadores de tales Resultados esperados alimentarían los indicadores número 2 y 3, respectivamente,
del nivel del OE del Convenio (Ver Tabla anterior).
Así desagregados, los indicadores de los 4 OE del Convenio dan cuenta de los logros efectivos del
Convenio, en términos de atribución, en tanto suponen el alcance real de los OE de los Proyectos
que lo componen, y en algunos casos, de sus Resultados esperados. En todo caso, como
consecuencia de lo comentado en el apartado anterior (4.1.1.b), los indicadores de los 4 OE vienen a
representar diferentes niveles de logro, de manera que:
−
OE1: Unos establecen como evidencia la mejora de las condiciones educativas
(infraestructuras) para facilitar el acceso a la educación, en tanto que otros indican la
población que efectivamente accede a tal beneficio.
−
OE2: Unos dan cuenta de mejoras en determinados procesos concretos que conforman la
calidad educativa del centro para más o menos actores de la comunidad escolar, en tanto que
otro apunta a la participación en un proceso de evaluación de la calidad ofrecida en los centros
y la elaboración de planes de mejora —que en principio es instrumental a la hora de detectar
qué procesos o cuestiones mejorar en el centro—como sinónimo de mejora de tal calidad y
que solo será un indicador de logro cuando finalmente exprese el número de centros que han
pasado satisfactoriamente por todas las fases y productos del ‘sistema de calidad’ y obtenido
el certificado correspondiente.
16
Es importante remarcar que las respectivas PAC del Convenio son diseñadas tomando en cuenta este listado de indicadores
para informar sobre el avance hacia resultados a nivel del OE y OG del Convenio en los respectivos Informes de seguimiento
anual. Esto es algo que —como veremos— no se realiza exactamente así al nivel de Proyectos, al considerar en ocasiones los
Proyectos indicadores complementarios en algunas PAC.
22
−
OE3: Unos indicadores dan cuenta de la población que accede a la educación técnica
ofrecida, y otros remiten a las condiciones en las que ésta se ofrece. Esta combinación es
fruto de la naturaleza de los Proyectos de esta línea temática (ver Figura 1 más arriba).
−
OE4: La mayoría remite a la participación en espacios de incidencia, mientras que el último
indicador aporta una evidencia instrumental a tal proceso: contar con planes sobre la materia.
b)
Los indicadores del OG del Convenio son el resultado de agregar beneficiarios que han
alcanzado el beneficio máximo esperable en cada línea temática.17 Esto es: i) estudiantes que
terminan su ciclo formativo, su titulación, que continúan en ciclos superiores o se insertan en el
mercado de trabajo (en representación de los OE1 y OE3); y ii) centros que mejoran su calidad
educativa en cuatro procesos detectados clave por los socios locales (en representación del OE2).
De esta manera, así como los indicadores de los 4 OE de Convenio acumulan datos de los niveles
inferiores, tal y como explicábamos en el punto anterior, en este caso el OG también recurre a los
Proyectos, siempre los OE, para alimentar sus indicadores.
Al igual que en el caso anterior, ha de advertirse que representan en algún caso evidencias de
distinto calado y nivel de logro. Concretamente, combinan un indicador que remite a la finalización de
una determinada formación técnico-laboral (indicador 2 del OG) con otro que representa un nivel de
logro o efecto superior como es la continuidad educativa o incluso la inserción en el mercado laboral
(indicador 3 del OG).
Los beneficios y beneficiarios/as representados en tales indicadores, sobre todo para los
relacionados con el nivel de estudiantes (indicadores 1, 3 y 4 del OG), están al alcance de la gran
mayoría de Proyectos, salvo unos pocos (Proyectos 4, 6 y 27). Representan, por lo tanto, también
beneficios en términos de atribución del Convenio y sus Proyectos.
No obstante, para ciertas actuaciones del OE1 y OE3 en centros ya existentes, el cómputo de
estudiantes beneficiarios —considerados no como acceso (plazas escolares), sino en relación al
logro de terminar de curso escolar, ciclo formativo o como egresados/as— no siempre supone un
beneficio netamente atribuible al Convenio, sino en términos de contribución, en tanto que tales cifras
de egresados/as o titulados/as se corresponden con la prestación de los servicios educativos de tales
centros. Si bien el Convenio los refuerza con sus actuaciones, no puede atribuirse en exclusiva tal
logro.
Por su parte, el indicador 2 del OG informaría de los beneficios generados a nivel de centros
educativos, totalizando el número de centros computados en los indicadores del OE2. Para ello
computa para cada país el número mayor de los centros afectados por dos ámbitos de actuación: i)
aquellos que aplican y terminan con éxito las distintas fases de un ‘sistema de mejora de calidad’ de
carácter regional como símil de haber mejorado su calidad educativa en cuatro procesos clave 18; ii)
aquellos centros —que pueden ser los mismos que los anteriores y/u otros centros— en los que hay
actuaciones especificas orientadas a la mejora de la calidad (formación docentes, gestión colegiada,
implicación en la comunidad, etc.). Así, en la práctica, la expresión del indicador 2 del OG (“centros
que mejoran la calidad educativa”) aplicaría a la mejora de uno o a varios de los aspectos que
conforman la calidad educativa atendiendo al alcance del Proyecto en cada centro (para el segundo
caso); o simplemente al compromiso del centro con la calidad acreditada a través de su participación
17
A excepción de la de ‘Acción pública’ (OE4), cuyo indicador referido a organismos que incorporan en sus políticas educativas
propuestas de FyA, remite al alcance de las Acciones 34 de Bolivia y 38 regional – federativa.
18 Aspectos relativos a la gestión escolar, procesos de enseñanza-aprendizaje, construcción de la ciudadanía y proyección con la
comunidad.
23
activa en el ‘sistema de mejora de la calidad’ y sus productos19, y la implicación de la comunidad
educativa en el mismo (para el primer caso).
En definitiva, el establecimiento de indicadores generales para el Convenio —para sus 4 OE y su OG—
está condicionado por la lógica de vertical del Convenio comentada en el punto anterior. Comoquiera que
los 4 OE y el OG no son definidos en términos de efectos de los Resultados esperados (los 38 Objetivos
específicos de los Proyectos), sino como una agregación de tales Objetivos específicos de nivel de
Proyectos, otro tanto ocurre con los indicadores. Así, los indicadores generales del Convenio son el
resultado de agregar información de los indicadores de los Proyectos20, bien a nivel del OE, bien a
nivel de Resultados esperados del Proyecto, en función de su alcance particular.
Tabla 8. Establecimiento de indicadores generales del Convenio (OG y 4 OE)
Indicadores del Convenio
Indicadores de Proyectos
Indicadores de los OE de los Proyectos cuyo alcance remite a….
Indicadores para el Objetivo
general (4)
Indicadores para los
Objetivos específicos:
− OE1 Acceso (2)
− OE2 Calidad educativa (6)
− OE3 Educ. técnica (4)
− OE4 Acción pública (4)
Establecidos
a partir de
información
proveniente
de…
Establecidos
a partir de
información
proveniente
de…
− Titulación o culminación de estudios, curso escolar (educación básica)21 o
ciclo formativo (educación técnica)22
− Mejora de la calidad educativa del centro (educación básica).
− Egresados/as que continúan ciclos superiores o se insertan en mercado
laboral (educación técnica)23
− Organismos que incorporan en sus políticas educativas propuestas de FyA24
Indicadores de los OE y/o RE de los Proyectos cuyo alcance remite a….
−
−
−
−
−
−
−
−
−
−
−
−
−
−
Acceso a nuevas plazas escolares
Disponibilidad de nuevas/mejores infraestructuras educativas
Participar en proceso de mejora calidad
Gestión colegiada y participativa del centro
Mejor práctica docente en el aula
Disponer de currícula adecuada
Mejor clima escolar.
Más interrelación del centro con la comunidad
Accede a formación técnico-laboral
Disponibilidad de mecanismos de inserción laboral y seguimiento de
egresados.
Interlocución de FyA con autoridades educativas.
Participación en foros educativos representando a la sociedad civil
Conocimiento y movilización de la comunidad educativa
Disponibilidad de planes nacionales en acción pública
19
Atendiendo a cada fase del ‘sistema de mejora de la calidad’, respectivamente, un documento de diagnóstico del contexto, un
informe de evaluación de centro, un plan de mejora y la sistematización de la experiencia.
20 En todo caso, como veremos, los Proyectos pueden contener otros indicadores particulares.
21 Lo cual remite a los indicadores de los OE de 6 de los 9 Proyectos de ‘Acceso a la educación’: 1 de Bolivia, 2 de Perú, 3 de
Paraguay, 5 de Guatemala, 7 de Nicaragua y 8 de Panamá. No es el caso para los Proyectos 6 de Haití, 4 de República
Dominicana y 9 de El Salvador, por representar sus OE un alcance menor en esta temática.
22 Datos contenidos en los indicadores de los OE de 8 de los 9 Proyectos de ‘Educación técnica’, es decir, todos exceptuando el
Proyecto 32 de El Salvador.
23 Referido a los indicadores de logro del OE de los Proyectos 25 de Ecuador, 32 de El Salvador y 33 de Venezuela.
24 Como hemos señalado, remite al alcance de las Acciones 34 de Bolivia y 38 regional – federativa.
24
Por último, en cuanto a las fuentes de verificación, a nivel de OG y OE del Convenio se remite a las
fuentes de los Proyectos correspondientes. Por lo tanto la funcionalidad de las fuentes de verificación en
estos dos niveles será la misma que la que más adelante analizaremos para el nivel de Proyectos.
4.1.2.
El diseño de los Proyectos
Este apartado es el más relevante del informe en términos de aprendizaje por cuanto alude al nivel de
gestión natural de la organización, su personal técnico y sus socios locales: los proyectos.
Esta parte del informe ha sido elaborada tomando como referencia 11 de los 38 Proyectos del Convenio:
2 del OE1 ‘Acceso a la educación’, 5 del OE2 ‘Calidad educativa’, 2 del OE3 ‘Educación técnica’, y otros 2
del OE4 ‘Acción pública’. En ocasiones, para ampliar la base del análisis, han sido considerados otros
Proyectos, ampliándose así la muestra del estudio (ver capítulo 3. Metodología).
4.1.2.a) Análisis de la coherencia de la lógica vertical
Las lógicas verticales o ‘cadenas de resultados’ de los Proyectos que han sido muestreadas responden
a los siguientes modelos:
a) Lógica vertical alineada al OE del Proyecto. Bajo este modelo, los RE del Proyecto responden y
contribuyen de manera efectiva y complementaria al logro del OE. El OE está formulado en términos
de cambios en el colectivo meta (niños/as y jóvenes en edad escolar, población adulta, educadores,
etc.) o en la institución afectada para los proyectos, ya sean cambios a nivel de centro educativo
(caso de proyectos de la temática ‘Calidad educativa’) o que tienen a la propia FyA como sujeto (en
los proyectos de ‘Acción pública’).
Recuadro 2. Lógica vertical alineada al OE: Proyecto 15 (Perú)
Objetivo específico
Mejorar la calidad educativa en 60 instituciones educativas
RE1. Directores y equipos directivos mejoran su
gestión directiva y pedagógica
RE2. Docentes mejoran sus habilidades sociales y
pedagógicas así como el dominio de sus habilidades
básicas
Valoración: La lógica de intervención presenta un nivel de coherencia alto entre los niveles de RE y OE. Tanto el
RE1 como el RE2 están directamente relacionados con el OE, de manera que de una mejor gestión directiva y
pedagógica de directores/as y equipo directivos, y de la aplicación de mejores habilidades del cuerpo docente es
coherente esperar una contribución efectiva en el estándar de calidad de los centros en los que el proyecto actúa
Los Proyectos número 24 (Colombia) y 38 (Regional) responden al mismo modelo.
b) Lógica vertical mayoritariamente alineada al OE del Proyecto. En este modelo todos los RE
menos, generalmente, uno están alineados al OE. Esto en ocasiones afecta al enunciado del OE y
conduce a errores en el establecimiento de indicadores. La lógica vertical diseñada para estos
Proyectos suele ser el resultado de añadir un componente al Proyecto no necesariamente vinculado
al OE pero necesario en términos de oportunidad a la hora de aunar demandas distintas para la
organización local bajo un mismo esfuerzo de gestión y financiación.
25
Recuadro 3. Lógica vertical mayoritariamente alineada al OE: Proyecto 14 (Ecuador)
Objetivo específico
Mejorar la calidad de la educación popular en 29 centros que atienden a población escolar vulnerable…
RE1. Desarrollada una
propuesta de formación
y conformación de
equipos directivos en 29
centros educativos
RE2.Desarrolladas las
propuestas pedagógicas de
lectura y expresión y
pensamiento lógico- matemático
en 29 centros educativos.
RE3. Fortalecido el
sistema de mejora de la
calidad de la educación
popular en 29 centros
RE4. Desarrollada una
propuesta de acción pública
que promueve en el país el
derecho a una educación de
calidad para todos
Valoración: El R4 está vinculado a factores de incidencia pública que no tiene coherencia lógica en el proyecto. No es
explícita su contribución al OE. Por la temática y finalidad propia, es probable que encajase en otro proyecto ad hoc.
El Proyectos número 1 (Bolivia) respondería al mismo modelo.
c) Lógica vertical no alineada al OE del Proyecto. En este modelo, los RE principales del Proyecto
son el punto de referencia del mismo —y no tanto el OE—25, y en torno a ellos han sido identificadas
las necesidades y retos a atender. De alguna manera ‘por encima’ de los RE es formulado un OE a
modo de marco de la actuación o síntesis de la intervención, pero que no acierta a expresar el efecto
directo posterior al logro de los RE.
Recuadro 4. Lógica vertical no alineada al OE: Proyecto 18 (Guatemala)
Objetivo específico
Se ha mejorado la calidad educativa para 6.211 alumnas y 6.543 alumnos en 45 centros educativos…
RE1. Se ha desarrollado de manera integral y
participativa el sistema de calidad de Fe y Alegría
en 45 centros educativo
RE2. Se ha fortalecido la descentralización de los procesos de
gestión pedagógica y de enseñanza y aprendizaje en las tres
regionales de Fe y Alegría Guatemala
Valoración: El RE1 establece su propio circuito de mejora de la calidad (evaluación-planes de mejora-sistematización),
mientras el RE2 se define en torno a una estrategia institucional de regionalización o descentralización de los servicios
de acompañamiento pedagógico a los centros solo indirectamente relacionada con la mejora de la calidad (OE) y que
no acierta a expresar el efecto del conjunto de actividades que lo componen orientadas a docentes, familias, etc. Otro
elemento de inconsistencia es que el RE1 alcanza a unos 22/23 centros, mientras que el RE2 actúa sobre el total de
centros de la ONG local, inicialmente 45. Esto dificulta que ambos RE tengan un efecto acumulado en el OE. Con todo
lo anterior, sobre ambos RE se establece un OE amplio —la calidad educativa— que en realidad no representa un
alcance mayor de lo que cada RE puede alcanzar por separado.
En ocasiones, el punto de referencia para la identificación y diseño del Proyecto desciende hasta el
nivel de actividades o ámbitos de un plan de trabajo existente. Tales actividades tienen más peso en
el diseño del Proyecto que el establecimiento de los RE. Tal es el caso del Proyecto 20 (Nicaragua),
en las actividades no están todas asociadas a su logro, o lo transcienden o, el último término, podrían
dar lugar a resultados particulares.
En otras oportunidades, el no alineamiento de los RE con el OE es consecuencia de que cada RE, o
alguno de ellos, actúan en centros o con población diferentes al resto.
25
Según la planificación por objetivos establecida en el Marco Lógico, el objetivo específico o efecto directo es el punto de
referencia que da origen al proyecto. A partir de él es explicada la coherencia de la ‘lógica vertical’, en tanto que tras la
identificación de tal Objetivo específico son identificados los Resultados esperados y las actividades correspondientes, todo ello
conectado con los problemas levantados en el estudio de base. Esta misma lógica aplica a modelos semejantes de planificación
lineal o ‘cadena de resultados’ y al componente de planificación del enfoque de Gestión por Resultados. Según tales modelos,
primero se establece el efecto directo (direct outcome) —en correspondencia, en su caso, con efectos a medio término (indirect
outcomes) de una planificación de orden superior (programa, estrategia, plan,…)—, y después los productos (products),
actividades (activities) e insumos (inputs) correspondientes.
26
Recuadro 5. Lógica vertical no alineada al OE: Proyecto 9 (El Salvador)
Objetivo específico
Facilitar la permanencia en el sistema formal de educación a 4.533 menores y jóvenes vulnerables a través de una
oferta de educación integral.
RE1. Los alumnos y alumnas de 5 acciones
educativas beneficiarias reciben clases en
espacios físicos adecuados de acuerdo a la
normativa del sistema educativo nacional
RE3. En 8 acciones educativas se desarrolla un programa
alternativo de formación complementaria al sistema formal de
educación y dotación escolar para fomentar la asistencia y la
continuidad del alumnado en el sistema formal de educación
Valoración: En un mismo proyecto y bajo el paraguas de atajar la deserción (permanencia), han sido sumadas dos
acciones expresadas como RE: i) obras de acondicionamiento (RE1); y ii) oferta de clases extraescolares o cursos
complementarios para la prevención y el buen uso del tiempo libre (RE2).
Por su relevancia en el conjunto del Convenio, es importante detenerse en los Proyectos de la línea
de ‘Calidad educativa’. Conviviendo con los modelos anteriores, 10 de los 13 Proyectos nacionales
de esta temática han integrado en su lógica de intervención el programa federativo “Mejora de la
calidad educativa, P1”, representado en el Proyecto 23 regional, y lo han hecho de distinta manera:
− Ocho, la mayoría, representándolo como un RE más en paralelo a otros RE relacionados con
la mejora de la práctica docente o de gestión directiva de los centros, entre otros. De la muestra
analizada, son los Proyectos 14 de Ecuador, 18 de Guatemala y 20 de Nicaragua. También lo han
hecho los Proyectos 11 (Bolivia), 16 (Paraguay) 17 (Rep. Dominicana), 19 (Honduras) y 22 (El
Salvador).
− Otros dos, los menos, integrándolo como parte de las actividades del Proyecto. Tal es el caso
del Proyecto 15 de Perú para la muestra analizada, junto al Proyecto 10 de Argentina.
Con todo, el efecto mayor en relación con la coherencia de la lógica de intervención viene de respetar
o no una misma cobertura como estrategia de actuación. En los 6 Proyectos de Bolivia, Colombia,
Ecuador, Venezuela, Honduras y El Salvador, todos los RE actúan en el mismo número de centros.26
Por el contrario, en los 8 Proyectos de Argentina, Brasil, Ecuador, Paraguay, República Dominicana,
Guatemala, Nicaragua y Panamá, el RE o las actividades relacionadas con el ‘sistema de mejora de
la calidad’ inciden en un número de centros —como contribución del país al proceso federativo— que
es menor que el número de centros del Proyecto en su totalidad, afectado por otras actividades o RE
relacionados con el trabajo nacional de sus servicios pedagógicos de asistencia docentes y
directores, entre otras acciones.27
d) Lógica vertical secuencial entre algunos RE del Proyecto. En este modelo, los RE principales del
Proyecto definen diferentes hitos de una secuencia de actividades, o unos RE establecen productos
o componentes de los otros. La lógica vertical sería, en realidad, más simple pero se eleva a la
categoría de RE cuestiones de importancia para la entidad (por inversión, por visibilidad, por
estrategia, etc.) que, en realidad, ocuparían un nivel inferior entre las actividades o productos.
26
Bolivia (96 unidades educativas, unos 48 centros aproximadamente), Colombia (44 centros), Ecuador (29), Venezuela (94),
Honduras (9) y El Salvador (22).
27
Argentina en 2 y 6 centros, respectivamente; Brasil, en 3 y 25 centros; Perú, 30 y 60, Paraguay, 25 y 32; República
Dominicana, 37 y 45; Guatemala, 23 y 45; Nicaragua (15, 32); y Panamá (2 y 15). En los 7 primeros países, esta diferencia de
alcance se da a nivel de RE. En el caso de Panamá, a nivel de actividades de uno de sus RE.
27
Recuadro 6. Lógica vertical secuencial entre RE: Proyecto 23 (Regional)
Objetivo específico
Logradas transformaciones en los procesos y resultados que se dan al interior de la escuela y en su contexto desde la
formación y el desarrollo del sistema de mejora de la calidad en 562 centros de Fe y Alegría incorporando el enfoque de
género.
RE1. Se han
fortalecido el sistema
de mejora de la
calidad de Fe y
Alegría en 16 países
de América Latina
RE2. Establecido un sistema de
formación permanente dirigido a
equipos pedagógicos de 17 oficinas
nacionales y de los equipos s de
los centros que incide en la mejora
de la calidad educativa
RE3. Establecido el portal
educativo Mundo Escolar
como espacio de socialización
y formación virtual al servicio
del sistema de mejora de la
calidad.
RE4. El sistema de mejora
de la calidad educativa de
Fe y Alegría incorpora el
enfoque de género
construido colectivamente
Valoración: Los RE3 y RE4, aún siendo hitos programáticos para la institución, desempeñan en la lógica de intervención,
respectivamente, un rol instrumental (RE3) o complementario (RE4 del RE1).
El Proyecto número 31 (Panamá) y 35 (Brasil) responden al mismo modelo.
Más allá de las bondades o deficiencias de los cuatro modelos señalados, es importante avanzar que
cada uno de ellos tiene consecuencias de cara al establecimiento de los indicadores, de manera que el
modelo a) viene a representar una base adecuada para establecer indicadores claramente diferenciados
por niveles de OE y RE. Lo mismo ocurriría con los Proyectos que responden al modelo b), en tanto que
los indicadores del OE se limiten a evidenciar el efecto de los RE más pertinentes, sin atender al RE
añadido que rompe la coherencia de la intervención.
Para los Proyectos afines a los modelos c) y d), el establecimiento de indicadores se dificulta, corriéndose
el riesgo de utilizar indicadores en el nivel del OE referidos en realidad a sus RE o una parte de ellos, y
por defecto utilizar algunos hitos de la ejecución de las actividades como indicadores de los RE.
Ahora bien, además de los efectos derivados de la distinta coherencia de las lógicas de intervención
diseñadas bajo los cuatro modelos anteriores, la mayor o menor dificultad para establecer indicadores
claros en los niveles de OE y RE está también mediatizada por el mayor o menor acierto a la hora de
formular los OE y RE. De esta manera, tenemos:
a) OE enunciado como efecto de los RE, y éstos definidos claramente en un nivel inferior 28, (1de
Bolivia, 9 de El Salvador, 14 de Ecuador, 15 de Perú, 18 de Guatemala, 24 de Colombia, 31 de
Panamá y 38 Regional).
b) OE enunciado como síntesis de los RE —o algunos de ellos—, o del conjunto acciones del
Proyecto, estando los RE —o algunos de ellos— definidos como dimensiones del OE, no como
medios o causas que lo generan (20 de Nicaragua, 23 Regional, 35 de Brasil)
Coexistiendo con ambas opciones, 9 de los 13 Proyectos nacionales del OE ‘Calidad educativa’ han
optado por un enunciado de sus OE en términos generales (“calidad educativa”, “calidad de la educación
popular” o similares). Es decir, como un efecto del que en realidad podrían especificarse las dimensiones
concretas en las que se produce la mejora de la calidad. En algunos casos, los indicadores aciertan a
indicarlo; en otros casos, como veremos más adelante, no.
De los restantes 4 Proyectos, 2 ha optado por establecer el OE sobre dimensiones específicas de la
calidad educativa (“calidad de la gestión pedagógica”, 16 de Paraguay; y “capacidades docentes”, 21 de
28
No se analiza la coherencia/suficiencia entre OE y RE sino que estén claramente diferenciados ambos niveles, por lo que
caben: i) OE enunciados como un efecto directo y alcanzable de los RE, o un enunciado marco fuera del alcance real de los RE y
sus actividades; y ii) OE cuyos RE no son suficientes para lograrlo.
28
Panamá) y otros 2 remiten al efecto de las mejoras en los/as estudiantes (11 de Bolivia, en términos de
acceso a una oferta de más calidad;29 y 13 de Colombia en términos de mejores competencias). En
ambos casos, es un escenario que permitiría, a priori, identificar indicadores más pertinentes y concretos.
Por su parte, el Proyecto 23 regional establece un OE también en términos generales 30 que, como hemos
comentado, solo es posible en combinación con otros Proyectos nacionales, por lo que el establecimiento
de indicadores se dificulta ante el reto de mostrar evidencias de que los centros han logrado tal OE, más
allá de la exitosa participación de los centros en el Proyecto.
El resultado es que, en todo caso, una gran mayoría de los OE y RE analizados son enunciados de una
manera adecuada, tomando eso sí en cuenta la necesidad de especificar algunos OE relacionados con el
OE2 ‘Calidad educativa’. Que lo sean el 91% de los OE en relación al casi 80% de los RE es positivo, por
cuanto los OE de Proyectos equivalen a los RE del Convenio, y aquellos RE no adecuadamente
expresados en los Proyectos pueden ser mejorados a equivaler al nivel de Actividades del Convenio.
Tabla 9. Formulación de los OE y RE de los 11 Proyectos analizados en la muestra
(Adecuada: Sí/No)
Total
Sí
%
No
%
Nivel OE
11
10
91%
1
9%
Nivel RE
32
25
78%
7
22%
43
35
81%
8
19%
Por norma general, los RE no adecuadamente formulados son la expresión sumaria de la realización de
sus actividades asociadas, y no la expresión del efecto de ellas como logro a partir del cual se
identificarían y diseñarían tales actividades. Presumiblemente, la opción correcta pasaría por poner en
valor el resultado de las mejoras alcanzadas con los colectivos (personas) o unidades de trabajo (centros,
equipos, instituciones) a los que se dirigen las actividades como sujetos principales de las mismas.
La Tabla siguiente ilustra un ejemplo. En él se comparan dos lógicas de intervención similares en OE pero
distintas en su concepción de los RE. En el primer caso, los RE están enunciados en términos de
resultados (cambios) en la población meta como efecto directo de la realización de las actividades. En el
segundo caso, los RE están formulados como productos (institucionales) en términos de oferta de
servicios que, de hecho, resumen la acción desplegada en las actividades, en lugar de establecer el
efecto inmediato de su consecución conjunta.
Tabla 10. Comparación enunciado de RE para un mismo OE
RE como resultados (cambios)
RE como productos (oferta)
Objetivo específico
Mejorar la calidad educativa en 60 instituciones educativas.
Objetivo específico
Mejorar la calidad de la educación popular en 29 centros.
RE1. Directores y
equipos directivos de 60
instituciones educativas
mejoran su gestión
directiva y pedagógica
RE2. Docentes de 60
instituciones educativas
mejoran sus habilidades
sociales y pedagógicas, y sus
habilidades básicas
RE1. Desarrollada una
propuesta de formación y
conformación de equipos
directivos en 29 centros
educativos.
RE2. Desarrolladas las
propuestas pedagógicas de
lectura y expresión y
pensamiento lógico- matemático
en 29 centros educativos
29
Que en realidad viene a responder al patrón comentado en el punto anterior, pero cambiando el sujeto: el alumnado en lugar
del centro educativo. Pero sólo este cambio basta para acotar los indicadores a la calidad desde la perspectiva del alumnado.
30 “Logradas transformaciones en los procesos y resultados que se dan al interior de la escuela y en su contexto…”
29
Por último, el análisis realizado no ha descendido de manera sistemática al nivel de las actividades de
cada Proyecto (tareas del Convenio), pero en las ‘Fichas de proyecto’ (Anexo 2) se comentan un par de
casos en los que los RE no alcanzaban a reflejar adecuadamente las actividades en ellos previstas
(Proyecto 18 de Guatemala y Proyecto 20 de Nicaragua). O mejor dicho, que las actividades diseñadas, o
bien transcendían la formulación de los RE identificados, o bien eran muy escuetas para explicar
suficientemente el logro expresado en el RE. En ambos casos es un indicador de que tal Proyecto ha sido
concebido más a partir de un plan de actividades o tomadas de un plan de trabajo anteriores, a partir del
cual han sido enunciados RE marco que las dieran sentido, y en último término un OE que justificase su
realización.
A modo de conclusión podemos decir que si tomamos en cuenta los dos factores comentados —la
coherencia de la lógica de intervención y el acierto a la hora de formular con claridad los dos niveles
principales (OE y RE)—, es muy probable que si ambos se dan positivamente, el camino hacia los
indicadores sea más fácil y dependa solo de la pericia profesional y disponibilidad de información en cada
temática.
Ahora bien, si ambos factores se conjugan negativamente, es más probable enfrentar problemas con los
indicadores, que en todo caso podrán ser más acertados a nivel de RE, en tanto que representan logros
más directos, que para el nivel de OE.31 Esto aplicaría también a la coherencia y adecuada formulación
de las actividades respecto de los RE. Si ambos criterios de calidad se dan, los indicadores del nivel de
RE esperados serán más fáciles de establecer. En caso contrario, el riesgo es tratar de representar en los
RE los hitos de las distintas actividades para mitigar el efecto de que el RE no expresa bien la realización
de las mismas. Esto es, como una manera de trasladar y hacer entender todo el alcance del proyecto.
4.1.2.b) Análisis de los indicadores
Como hemos comentado en el capítulo de metodología, el análisis de la calidad de los indicadores se
realiza bajo tres criterios:
−
Pertinencia: la variable del indicador debe de corresponderse con el OE o el RE, y no con
evidencias de otra naturaleza, como por ejemplo las actividades realizadas para alcanzarlos.
−
Especificidad: el indicador debe describir una condición futura precisa y concreta, de manera que
la variable definida en él sea la adecuada para medir el avance en el OE o el RE de una manera
lo más objetivamente verificable posible.
−
Medición: el indicador ha de estar cuantificado o especificar datos que hagan posible valorar en
qué grado se ha conseguido.
La muestra de 11 Proyectos sirve, sobre todo, para ilustrar las prácticas adoptadas a la hora de diseñar
indicadores. No obstante, en algunos casos es posible aportar porcentajes de cumplimiento de los
criterios anteriores, pero esto sólo sería adecuado para: i) el conjunto de 11 Proyectos sobre el total del
Convenio, que resulta en una muestra significativa32 al representar a 166 indicadores analizados de un
31
Es así como los tres Proyectos de la muestra en que se dan ambas deficiencias (proyectos 20 de Nicaragua, 23 regional y 35
de Brasil) son aquellos que más problemas han tenido para fijar indicadores pertinentes al nivel del OE. El apartado siguiente
profundiza sobre este y otros asuntos referidos a la calidad de los indicadores.
32 Para un universo de 473 indicadores (‘N’), la ‘n’ de la muestra arrancaría en 135 indicadores, para un margen de error del 6% y
un nivel de confianza del 90%.
30
total de 473, y ii) la temática de ‘Calidad educativa’ de la que se analizan 5 de los 14 Proyectos33 y que,
sobre todo, representa la mitad de los indicadores muestreados (83 sobre 166), lo que los sitúa en el
límite de la representatividad estadística34. Es por eso que solo se aportarán datos en porcentaje cuando
sean representativos, optando por indicar en el resto de situaciones qué comportamiento de los
indicadores es el mayoritario o minoritario.
La Tabla siguiente presenta una foto general en la que iremos profundizando para ilustrar las mejores
prácticas y deficiencias de las que aprender.
Tabla 11. Panorama cuantitativo de la calidad de los indicadores
Líneas y nº proyectos analizados
Acceso educación (2 Proyectos)
Calidad educativa (5 Proyectos)
Educación técnica (2 Proyectos)
Acción pública (2 Proyectos)
Total 4 líneas
Total general
Total nivel OE
Total nivel RE
Total
% (*)
Total
% (*)
Total
% (*)
Sí
Pertinente
No
19
3
51
27
6
8
36
9
85
74
Sí
85
52%
17
57%
68
50%
Pertinente
No
74
45%
18
36%
56
49%
0
5
0
2
7
Específico
No
14
7
41
35
12
2
40
7
107
51
7
3%
4
7%
3
1%
Específico
Sí
No
107
51
71%
26%
27
11
71%
28%
80
40
71%
25%
D
Sí
D
D
Medible
No
16
2
74
9
14
0
42
5
146
16
Sí
1
7
0
0
8
D
8
3%
1
1%
7
4%
Sí
146
88%
33
87%
113
88%
D
Medible
No
16
8%
5
9%
11
8%
4
0
0
0
4
D
4
5%
1
4%
3
5%
Nota: D = Dudoso.
(*) Los porcentajes no están en relación a los datos de la fila superior. Han sido estimados como promedio sobre los
porcentajes parciales por línea temática para descontar así el sesgo provocado por la valoración de la línea ‘Calidad
educativa’, al representar ésta la mitad de los indicadores analizados.
b.1) Pertinencia de los indicadores.
Todos los Proyectos analizados han previsto al menos un indicador pertinente al nivel del OE, salvo en un
caso que no tiene que ver, como veremos, con la capacidad para formularlos. Y solo 5 de los 32 RE
analizados no han acertado a la hora de prever al menos un indicador adecuado en términos de
pertinencia.
Los Proyectos relacionados con el acceso y permanencia en el sistema educativo son los que más
indicadores pertinentes han previsto (una altísima mayoría), seguidos por este orden, de los Proyectos de
calidad educativa (un 60%), educación técnica (cerca de la mitad) y acción pública (1 de cada 5). Los
datos de este análisis ponen en evidencia la dificultad de establecer indicadores sensibles, es decir,
relacionados con el logro expresado en el OE o el RE, para temáticas más novedosas y de efectos más
33
En cierta medida, lo mismo aplicaría para la línea de ‘Acción pública’, con 2 de sus 5 Proyectos analizados, representando a su
vez un buen número de indicadores estudiados (47), aunque no juega a su favor que 35 de ellos están a nivel del RE. Por su
parte, no lo sería demasiado riguroso hablar de porcentajes al interno de las líneas de ‘Acceso a educación’ y ‘Educación para el
trabajo’, de las que han sido muestreados 2 de sus 9 y 10 Proyectos, respectivamente, sumando 22 y 14 indicadores cada una.
34 Para un universo de 166 indicadores (‘N’), la ‘n’ de la muestra arrancaría en 89 indicadores, para un margen de error del 6% y
un nivel de confianza del 90%.
31
intangibles (acción pública del OE4) que para aquellos cuyos logros suelen corresponderse con
mediciones más estandarizadas (matriculación, titulación, etc. del OE1).
Llama la atención el bajo valor obtenido para el OE3 ‘Educación técnica’, dato que se aclara, al igual que
la foto global anterior, si profundizamos en el asunto distinguiendo entre los indicadores de los OE, por lo
general, más abstractos y difíciles de medir, y de los RE, en principio, más tangibles y fáciles de medir.
Así, nos encontramos que los Proyectos de ‘Acceso’ y ‘Educación técnica’, por este orden, suelen prever
todos o casi todos sus indicadores del nivel de OE de forma pertinente, detectándose solo un caso para
un Proyecto de ‘Educación técnica’.
Tabla 12. Indicadores pertinentes de ‘Acceso’ y ‘Educación técnica’
Proy.
Objetivo específico
Indicador referido a…
1
OE. Jóvenes desarrollan competencias
pertinentes para su inserción en el entorno
sociocultural y productivo …
Jóvenes promocionados que se insertan en
actividades económicas del área rural acordes
a su formación.
9
OE. Facilitar la permanencia en el sistema
educativo formal
Alumnos/as que continúan sus estudios el año
siguiente.
24
OE. Mejorar las capacidades para la resolución de Estudiantes beneficiarios que alcanzan como
problemas tecnológicos
mínimo el nivel básico.
31
OE. Jóvenes desarrollan las capacidades y
actitudes productivas necesarias para acceder al
mercado laboral.
Jóvenes que se certifican35 al completar los tres
meses de ejecución modular.
Por su parte, los Proyectos de ‘Calidad educativa’ formulan indicadores más pertinentes al nivel de RE (7
de cada 10 casos) que para OE (1 de cada 3). En este último caso, cabe aclarar que suelen ser
Proyectos con un número elevado de indicadores respecto al resto de Proyectos, por lo que es más que
factible que uno de ellos realice adecuadamente su función. De hecho, tres de los cinco Proyectos
analizados tienen al menos 2 indicadores pertinentes a nivel de OE36, y un cuarto tiene dos indicadores
dudosos en este criterio. El caso sobre el que aprender de los errores es el Proyecto en el que todos los
indicadores del OE eran en realidad pertinentes al nivel de RE.37
Los indicadores más pertinentes tienen que ver con mostrar los efectos de la mejora de la calidad
educativa en el rendimiento escolar de los/as estudiantes como expresión de la calidad educativa
genérica (el OE) y resultado de las mejoras introducidas en los procesos clave del centro relacionados,
por lo general, con docentes y equipos directivos (los RE). Cuando se acota el OE a una dimensión
concreta de la calidad educativa, también resultan pertinentes los indicadores que expresan las
capacidades adquiridas por el colectivo destinatario. Mientras los errores más comunes tienen que ver
con expresar a través del indicador el logro parcial de uno de los RE, y no del OE.
35
En este caso el indicador y su variable principal (“certificación”) están referidos al OE. La variable es una fórmula común en el
sector educativo, siempre y cuando esté dirigida a evidenciar los conocimientos adquiridos y esté basada en pruebas de
valoración de la capacitación lo más objetivas, comprensivas y sistemáticas posibles. Es decir, no ha de ser equivalente a haber
finalizado los cursos sin contar con una valoración continua o final de los cocimientos o competencias adquiridas que dé lugar a
la certificación.
36 Si bien eso no descarta que puedan alcanzar a medir el OE en toda su extensión y sean necesarios otros indicadores.
37 Es el caso del Proyecto 20 de Nicaragua. No se trata tanto de un desacierto a la hora de encontrar indicadores pertinentes,
sino a las consecuencias, ya comentadas, referidas a la coherencia de la lógica vertical. En este caso, se expresaron los RE
como dimensiones del OE, más que como medios para lograrlo, por lo que el OE no aportaba un valor diferencial más allá de
resumir los RE. Por eso los indicadores utilizados para el OE en realidad aplicaban a los RE.
32
Tabla 13. Indicadores pertinentes de ‘Calidad educativa’
Proy.
Nivel
15
OE. Mejorar la calidad
educativa en 60
instituciones…
18
20
23
Indicador referido a…
Análisis valorativo
El alumnado evaluado en
El indicador mide uno de los efectos establecidos al nivel del OE
comprensión de textos escritos relacionando la “calidad de la educación”: su manifestación a nivel
mejora sus resultados…
de resultados académicos.
OE. Se ha mejorado la La ejecución de los planes de
calidad educativa
mejora es coordinada por
para….
equipos integrados por
directivos, docentes y
estudiantes
Pertinente en tanto que el OE de calidad educativa se
circunscriba a elementos de la gestión escolar y no a otros
posibles (ej. resultados académicos).
El comportamiento del indicador, en su caso, ha de ser un efecto
de los RE del Proyecto y no la realización de una actividad. Es
decir, ha de poner el acento en la capacidad adquirida por los
equipos para ejecutar de manera “coordinada” los planes de
mejora, más que su mera realización; y la capacidad de la
coordinación regional de “acompañar” tal proceso.
RE. Docentes mejoran Docentes mejoran el diseño
sus habilidades
de unidades y actividades de
pedagógicas
aprendizaje
La variable del indicador está relacionada con el RE y expresaría
un aspecto relevante del cambio de práctica del colectivo meta.
RE. Fortalecido el
sistema de mejora de
la calidad de Fe y
Alegría en 16 países
El indicador daría cuenta del fortalecimiento generado durante la
aplicación de una de la fase de evaluación del sistema de mejora
de la calidad referida a la elaboración de los informes de
evaluación por centro. La pertinencia del indicador viene dada por
la siguiente relación: si los centros cumplen con las normas
generales de redacción, demuestran tener las suficientes
capacidades como para garantizar unos informes satisfactorios
para el sistema de calidad.
Los informes redactados por
los acompañantes de los
centros cumplen con los
criterios establecidos por la
Unidad de servicios de
Evaluación….
Tabla 14. Indicadores no pertinentes de ‘Calidad educativa’
Proy.
Obj. Específico
Indicador referido a…
Análisis valorativo
1
Mejorar la calidad
educativa en 60
instituciones…
Mejora el índice de gestión de equipos El indicador está referido al RE1 (“Desarrollada una
directivos
propuesta de formación y conformación de equipos
directivos”)
23
Logradas
transformaciones en los
procesos y resultados que
se dan al interior de la
escuela…
Los equipos pedagógicos nacionales
de FyA integran los aprendizajes
obtenidos del ‘sistema de calidad’ en
el acompañamiento de las líneas de
acción de los planes de mejora.
Opera como expresión de una de las facetas del
fortalecimiento expresado en e RE1 (“Fortalecido el
sistema de mejora de la calidad de Fe y Alegría en 16
países”)
Se ha mejorado la calidad
educativa para….
Jóvenes de los centros y de la
comunidad participan en redes
municipales y elaboran acciones de
desarrollo.
Está referido al logro expresado en el RE4 (“Mejorada
la relación escuela-comunidad”).
20
Por último, los dos Proyectos analizados de la temática de ‘Acción pública’ arrojan una clara dificultad
para diseñar indicadores apropiados, tanto a nivel del OE, como de RE. Esta dificultad deriva, para el OE,
de establecer indicadores que pongan de manifiesto la incidencia lograda por las acciones de FyA, bien al
interno de sus comunidades educativas de influencia, bien en las redes y foros de la sociedad civil en los
que fortalece su participación. Por lo general, se recurre a expresar las acciones de movilización en
ambos espacios como una evidencia del logro, dejando por lo tanto para el nivel de RE los hitos más
destacados de las actividades que los propician.
33
En algún caso38, no obstante, se acierta a evidenciar, a través de algún indicador, el efecto directo de
lograr el OE en términos de influencia o reconocimiento de tal capacidad en la acción pública de FyA.
Otro tanto ocurre con el Proyecto 35 de Brasil. En este caso, por estar referido no tanto a la incidencia
pública, como a su fortalecimiento de capacidades para tal fin, con lo que el indicador aplica a la propia
organización y es más fácil de establecer.
b.2) Especificidad de los indicadores.
Todos los Proyectos de la muestra han previsto al menos un indicador específico en el nivel de OE, salvo
en un caso39. A nivel de RE, de los 32 analizados, en la gran mayoría de los Proyectos se ha previsto al
menos un indicador específico (28 casos, uno de ellos con un indicador calificado como ‘dudoso’),
mientras que en 4 Proyectos, alguno de sus RE no contenían un indicador suficientemente especificado,
siendo en dos RE el único indicador previsto.
Las líneas de ‘Educación técnica’ y ‘Acción pública’ son en las que más indicadores específicos existen
(una amplia mayoría), lo que sin duda contribuirá a su medición efectiva siempre que se cuente con la
fuente de verificación apropiada y se haya previsto el mecanismo de recolección de datos necesario. La
mayoría de los indicadores de la línea de ‘Acceso’ también están adecuadamente especificados, mientras
que para la de ‘Calidad educativa’ lo están la mitad de los previstos (49%). Esto último es, sobre todo,
fruto de la gran cantidad de indicadores establecidos, en ocasiones más de los necesarios —cayendo así
más fácilmente en la dificultad de especificarlos suficientemente—, más que de no contar con ninguno
específico, como quedó aclarado en el primer párrafo de este apartado.
Las líneas de ‘Educación técnica’ y ‘Acción pública’ recurren a las siguientes fórmulas para especificar
adecuadamente sus indicadores (ver Tabla).
Tabla 15. Indicadores adecuadamente especificados de ‘Educación técnica’ y ‘Acción pública’
Proy.
Indicador referido a…
Análisis valorativo
31
Incremento de estudiantes
El indicador remite a una variable específica (“inscripciones”) que puede ser
mujeres en las inscripciones a los verificada de una manera directa y objetiva.
cursos.
35
Personas de las comunidades de
intervención que han participado
en movilizaciones promovidas por
FyA
La variable del indicador (“participar”) aplicada como “asistir” a las
movilizaciones es lo suficientemente concreta como para medirla de una
manera directa, siempre y cuando se cuente con el procedimiento de
verificación adecuado.
El 75% de las personas que
terminan el curso virtual sobre
incidencia política con enfoque de
género ha adquirido los
conocimientos previstos.
Descansará sobre la capacidad de la ‘fuente de verificación’ el poder verificar
de manera sistemática y fundamentada si el indicador tiene el comportamiento
deseable, es decir, si los agentes mencionados han sido formados durante el
proyecto. Tal alternativa (ej. una prueba de conocimientos) es la utilizada para
el indicador como procedimiento de valoración sistemático acorde a los
contenidos de la formación.
38
De la línea de ‘Acceso’ rescatamos los siguientes indicadores como buenas y malas prácticas a la hora
de ser especificados.
38
Un indicador del Proyecto 38 regional, u otros indicadores de Proyectos fuera de la muestra principal analizada (34 de Bolivia).
Se trata del Proyecto 18 de Guatemala. Al ser, a su vez, indicadores pertinentes (es decir, sensibles al fenómeno contenido en
el OE y, por lo tanto, relacionados con él), ha de trabajarse sobre tales indicadores para concretarlos y hacerlos operativos. Ver
en anexos la ‘Ficha del proyecto’ para más detalles.
39
34
Tabla 16. Indicadores adecuadamente especificados (y no) de ‘Acceso a la educación’
Proy.
Indicador referido a…
Análisis valorativo
Indicadores específicos
1
9
1
Jóvenes acceden a propuestas de formación
laboral centradas en competencias generales y/o El acceso a la formación es una variable estándar que puede verificarse
directamente (ej. matriculación).
formación en especialidades técnicas
Lo mismo sucede, para el segundo indicador, al estar referido a aprobar el curso
Alumnas/os atendidas/os que aprueban el curso escolar y matricularse en el curso siguiente.
y continúan sus estudios en el grado superior
Contar en lo municipios de intervención con el
compromiso de los gobiernos municipales de
cubrir el salario de los maestros técnicos.
La variable del indicador (“compromiso”) podría especificarse mejor como
acuerdo o convenio, pero en todo caso es lo suficientemente específica como
para aproximar el indicador a una verificación lo más objetiva posible.
Indicadores no específicos
Alumnos/as que reciben clases en mejores
condiciones de enseñanza y de esparcimiento
recreativo….
El indicador expresa en realidad bajo otro enunciado el RE (“Los/as
alumnos/as….reciben clases en espacios físicos adecuados de acuerdo a la
normativa del sistema educativo nacional”). No especifica a qué mejores
condiciones se refiere, ni se formula alternativamente en términos de
cumplimiento de las condiciones establecidas en normativa nacional (ej. “los
espacios remodelados cumplen la normativa nacional en la materia”). La
dificultad del indicador se deriva de considerar como RE acciones individuales de
obras y remodelaciones a demanda que cubren algún tipo de déficit particular en
cada centro educativo (servicios sanitarios, techos, etc.)
Adolescentes promocionados que explican o
justifican los conocimientos y habilidades
adquiridos en relación a las necesidades de
desarrollo local.
La “capacidad de explicar y justificar conocimientos y habilidades adquiridos en
relación a las necesidades de desarrollo local” no es una variable precisa y
concreta, sino un campo de investigación que, en su caso, requeriría de técnicas
elaboradas de levantamiento y procesamiento de la información obtenida. Cabe
la duda de si el Sistema de Evaluación Continua (SEC) es capaz de reportar
sobre tal indicador.
Lo mismo sucede con la variable del segundo indicador (“reforzar los referentes
étnico/culturales de su comunidad” de origen).
9
1
1
1
Hombres y mujeres, niños y niñas, adolescentes
y jóvenes que refuerzan los referentes
étnico/culturales de su comunidad
Se difunden los criterios de calidad que deben
guiar la réplica de la propuesta en los municipios
demandantes con potencial de desarrollo y altos
niveles de pobreza.
Es necesario concretar los términos de la variable del indicador (“difusión”), que
puede comprender desde aspectos puntuales y esporádicos (un actor, un
evento) hasta más sistemáticos (varios actores, varios eventos), con lo que
finalmente el indicador está sujeto a interpretación según quien lo aplique y
documente su comportamiento posterior.
Por último, de la línea de ‘Calidad educativa’ puede tomarse los siguientes ejemplos como indicadores
adecuadamente especificados y no tanto.
Tabla 17. Indicadores adecuadamente especificados (y no) de ‘Calidad educativa’
Proy.
Indicador referido a…
Análisis valorativo
Indicadores específicos
23
14
Centros que realizan la evaluación
que cumplen con las normas
generales del proceso de aplicación
definidos.
La variable del indicador (“cumplir”) remite a un procedimiento cuyo cumplimiento expresaría
el logro del indicador. Para ello, es deseable que existan los protocolos de comprobación y
valoración necesarios. La fuente de verificación aportada confirma este aspecto. Esta
verificación del indicador ha de ser realizada de la manera más objetiva y sistemática posible.
Mejora el índice de gestión de
equipos directivos
La variable “índice de gestión” remite a un dato específico. Tal y como se deduce de la fuente
de verificación, existe un procedimiento que permite, de una manera sistemática y lo más
objetiva posible, obtener un índice de valoración de la gestión de equipos directivos.
35
Proy.
Indicador referido a…
Análisis valorativo
Indicadores no específicos o dudosos
18
Ejecución de los planes de mejora
coordinada por equipos integrados
por directivos, docentes y
estudiantes, y acompañada desde la
coordinación regional de manera
sistemática.
El indicador establece dos variables condicionales (“ejecución coordinada” y
“acompañamiento regional”), sin especificar de manera concreta qué es esperable en cada
una de las situaciones. Sin con el indicador se quiere evidenciar la calidad alcanzada en
términos de coordinación e implicación de todo el centro en los planes de mejora, debería fijar
tal condición de una manera específica y cercana a la verificación que tendrá que después
realizarse. En caso contrario, descansará sobre la calidad y capacidad de análisis de la fuente
de verificación el realizar un seguimiento operativo de las variables todavía abstractas
marcadas en el indicador, por ejemplo, delimitando cuándo el acompañamiento de la
coordinación regional es sistemático y cuando no.
Centros educativos cuyos padres y
madres de familia participan en la
planificación, gestión y ejecución de
proyectos de mejora.
El indicador establece una variable (“participación” de las familias en los proyectos de mejora),
sin especificar de una manera concreta qué es esperable en cada una de las tres fases en las
que se las quiere implicar (planificación, gestión y ejecución). Si el indicador está referido,
como apunta el último informe de seguimiento, al rol de los padres y madres en el Consejo
Escolar, habría de ser reformulado en esos términos concretos. Un buen punto de partida es
contar con 6 funciones definidas para el consejo escolar como las que se tienen que cumplir
para decir que las familias participan, y en su caso, establecer distintos estadios de
participación (desagregando por sexo). Asociado a ello, debería elaborarse una herramienta y
un protocolo de recogida de información, así como el esquema de informe en el que se
sintetiza la información y que daría lugar a la fuente de verificación final
Se han fortalecido los canales de
diálogo con instancias públicas del
sector educación
El indicador requiere ser rediseñado y concretado. La expresión “fortalecido” y el término
“canales de diálogo” son bastantes abstractos.
Docentes que aplican estrategias de
aula que se ajustan al ritmo de
aprendizaje de los estudiantes y
promueven la motivación al estudio y
el trabajo en equipo
El indicador ha de ser más concreto, ya que las dos variables en él contenidas necesitarían a
su vez de nuevas variables que hagan operativas las expresadas en él, es decir, la “aplicación
de estrategias” y “promoción de la motivación”. Esta concreción ayudaría a aproximar el
indicador a una medición y verificación lo más objetiva posible. De no mejorarse el indicador
habrá de diseñarse y aplicarse un procedimiento y herramientas que conduzcan a al
obtención de una fuente ad hoc de verificación, estableciendo con claridad las variables
empíricas que ayudan a la identificación inequívoca de los fenómenos que todavía son
demasiado genéricos en el indicador, haciendo así operativo y fiable el registro de los mismos.
18
14
20
15
Equipos directivos de las instituciones El indicador no delimita variables específicas y verificables. No concreta y hace operativo el
educativas beneficiarias que ejercen RE, sino que añade nuevos elementos calificativos del enunciado del RE y que sería en su
su gestión desde un liderazgo
caso necesario medir.
compartido, coherente con la visión y
misión institucional
Con carácter general, buena parte de los problemas asociados a la falta de concreción de los indicadores
son consecuencia de la deficiente capacidad de los estudios de base para evidenciar las
manifestaciones concretas de los problemas en los agentes que posteriormente serán sujetos del cambio
provocado por el proyecto. Es sobre esas evidencias concretas de los problemas y necesidades40 sobre
los que se perfila después la identificación y diseño, en positivo, los indicadores de logro de los OE y RE.
Por ejemplo, al respecto del último indicador de la Tabla anterior, la dificultad para especificar el indicador
vendría derivada de la falta de información específica sobre los problemas concretos en los que se
traduce la deficiente gestión de los equipos directivos, y sobre los que, de contar con tal información, ese
indicador podría pronunciarse a respecto de las mejoras introducidas por el proyecto.
40
No confundir con las causas que generan tales problemas. Nos referimos a las manifestaciones que pueden traducirse como
variables empíricas (es decir, observables, registrables, medibles) de que tales problemas existen.
36
En todo caso, como puede observarse en los ejemplos aportados, el carácter no suficientemente
específico del indicador estaría, en algunas ocasiones, atenuado por la capacidad de la fuente de
verificación —sobre todo del procedimiento y herramientas que conducirían a tales fuentes de
verificación— para hacer operativas las variables no suficientemente concretas de su enunciado. Si bien
esto no resuelve el hecho de que el indicador no sea el adecuado, puede ayudar a un reporte útil. En
tales casos, conviene:
−
Comprobar si es posible reformular el indicador en los términos operativos en los que lo
descompone el procedimiento y técnicas de verificación desarrolladas para hacer explícito y
medible el indicador.
Ejemplo
−
Indicador original
Observaciones para reformularlo
Equipo ampliado de dirección que
cuenta con instrumentos de gestión,
un horario de reunión mensual y una
agenda para atender la problemática
del centro desde una visión colectiva
y coherente con los propósitos
institucionales.
En el último informe anual se aporta una nueva forma de medición41
de la que se deduce que el indicador apropiado debería estar
formulado en otros términos, probablemente utilizando una fórmula
similar a esta: “El nivel de gestión de los equipos directivos es
calificada como ‘buena’ en un X% de los centros en el tercer año y un
Y% en el cuarto año”, señalando como fuente de verificación el
instrumento de valoración de equipos directivos diseñado para el
seguimiento del proyecto.42
Garantizar que la medición del indicador se basa en un procedimiento y unas técnicas los más
sistemática y objetivas posibles, de manera que se minimice el sesgo de aplicación e
interpretación que se deriva de la distancia entre un indicador no del todo delimitado y concreto,
y la fuente de verificación aportada.
Son los dos elementos destacados arriba —el déficit de información concreta sobre cómo se manifiestan
directamente los problemas en el colectivo meta, y la falta de reflexión y previsión de los procedimientos
de seguimiento orientado a resultados de algunos Proyectos— los que pueden conducir al diseño de
indicadores poco específicos, dificultando que éstos sean verificables. Sobre este aspecto ahonda el dato
de que los indicadores poco específicos se dan en similar proporción en los niveles del OE que de los RE,
lo que pone de manifiesto que no es un problema relacionado con el distinto nivel de ambición o
abstracción con el que son formulados los primeros en relación con los segundos.
En algunos casos, como hemos visto en el apartado referido a la pertinencia del indicador, una manera
de resolver la situación es recurrir a hitos de las actividades, lo que conduce a indicadores más concretos
y operativos —además de previsibles, por cuanto responden a un plan de ejecución, y no a evidenciar los
efectos del Proyecto—, pero no necesariamente pertinentes al nivel del resultados (OE o RE) que
pretenden medir.
Finalmente, si bien nos hemos detenido más en los errores de los que aprender, es conveniente recordar
que la capacidad para diseñar indicadores específicos es alta (lo son más de 100 de los 166 indicadores
analizados, un 70%), estando solo por detrás de la capacidad de establecerlos de una manera medible,
como veremos a continuación.
41
Indicador alcanzado 1.1., que dice literalmente: “Según la evaluación a equipos directivos realizada al final del 2012 a 67
centros, 15 centros fueron evaluados con un nivel bueno de gestión con equipos directivos ampliados, 17 con nivel regular, 10
nivel deficiente y 25 con nivel muy deficiente”.
42 Y que en una situación óptima, debería haber servido para levantar el estado de la gestión de equipos directivos durante la
identificación del proyecto (línea de base).
37
b.3) Cuantificación de los indicadores.
La cuantificación o estandarización43 de los indicadores es, en la teoría, un ejercicio difícil. Sobre todo a
niveles de los OE de los Proyectos, en tanto con él se trata de estimar, en este caso a cuatro años, el
grado o nivel de alcance efectivo que tendrá una intervención que pretende generar cambios en el
colectivo meta y que está muchas veces sujeta a imponderables durante su ejecución.
En educación y, en general en la intervención social, tales imponderables explican que la eficacia del
proyecto (población beneficiaria para y con la que se logra el fin previsto) sea menor que su cobertura
(colectivo meta al que va dirigido y accede a sus actividades). Por ejemplo, que no todo el alumnado
matriculado termina su ciclo educativo, o que no todo el profesorado formado adquiere adecuadamente
las competencias pedagógicas, o de hacerlo, se siente con la capacidad para llevarlas a la práctica.
Por lo general, en tales circunstancias, no suele ser común garantizar un 100% de logro en los
estándares de los indicadores. Desde los niveles más bajos de las actividades, el éxito de un proyecto en
el ámbito social no depende solamente de lo pertinente de su ‘oferta’ (ej: un curso de capacitación
adecuado) sino, en términos de ‘demanda’, también de cómo responde a las acciones del proyecto la
población a la que va dirigido, junto con otros factores externos (riesgos) que deberían recogerse en las
hipótesis de la Matriz de planificación.
En este marco, establecer en determinados indicadores un estándar de logro de un 100% no es muy
realista, tal y como ha sucedido en algún Proyecto, si bien es cierto que los casos han sido contados44.
Sobre todo si los resultados persiguen cambios en la población (competenciales, de conocimiento,
hábitos o prácticas, etc.) o en general referidos a su calidad de vida
Hecha esta aclaración, hay que decir que este es, con diferencia, el criterio de calidad que mejor ha sido
atendido en el diseño de los indicadores, alcanzando el 90% de los casos. Para el resto de casos, a estas
alturas del Convenio, con todos sus Proyectos ya en ejecución y con un mayor conocimiento sobre su
alcance, es muy probable que las deficiencias de los indicadores calificados como ‘dudosos’ (4%) puedan
ser solventadas; y que buena parte de los calificados como ‘no medibles’ (8%) pueda corregirse.
Todos los Proyectos, tanto clasificados por línea temática, como por niveles de logro (OE o RE),
contienen indicadores medibles, es decir, cuantificados a partir de un dato que permita interpretar su
evolución y alcance logrado. De hecho, 5 de los 11 Proyectos tienen todos sus indicadores así diseñados,
y 3 más con únicamente una deficiencia de este tipo en uno de sus indicadores. En los 4 casos restantes,
siempre existen indicadores complementarios que atienden la medición de una manera cuantificable.
Entre estos 4 Proyectos, el único caso al que prestar más atención es el del Proyecto 14 de Ecuador, en
el que sólo uno de sus indicadores está cuantificado al nivel del OE.45
43
Un indicador establece un estándar en su formulación cuando fija el punto a partir del cual se entiende que tal indicador ha sido
cumplido.
44 Es el caso del Proyecto 20 de Nicaragua. El cuarto indicador del OE establecía: “Un 100% de equipos directivos, docentes,
personal técnico y de calidad formados en género pone en práctica el lenguaje no sexista”. En tal caso, más allá de la capacidad
que la propia intervención pueda tener (oferta), hay que considerar la reacción de la población a la que va dirigida (demanda) y el
contexto en el que se interviene (factores externos), ninguno de estos dos últimos elementos favorables a un éxito completo —y
no por ello menos pertinente—, por lo que establecer un estándar del 100% es una meta elevadísima y poco realista. En
descargo del equipo gestor del Convenio, hay que recordar que la meta inicial (30%) fue modificada por la AECID, quien sugirió
subirla al 100%. Un caso similar a este también afectó al establecimiento del estándar de logro del indicador tercero del OE del
Proyecto 23.
45 En el Documento de formulación del Proyecto, se avanzaba que la estimación correcta del alcance de tales indicadores se
realizaría al finalizar el primer año de ejecución, si bien esto no ha podido ser documentado. En el PAC 3 (2013) se documenta,
por otro lado, la cuantificación de la línea de base de uno de los indicadores (el índice de gestión de equipos directivos, 64%), a
partir de la cual es esperable que se fije el alcance final del indicador.
38
Algunos ejemplos sobre la práctica de indicadores medibles figuran en la siguiente Tabla.
Tabla 18. Indicadores medibles y no medibles
Indicador referido a…
Análisis valorativo
Indicadores medibles
630 jóvenes (250 mujeres y 380 hombres) que participan del
Programa de formación para el Trabajo (el 70% de matriculados)
desarrollan capacidades para el emprendimiento…
Son establecidas tasas absolutas y porcentuales. Los datos han sido
desagregados por sexo. No se especifica el momento (año) de
cumplimiento de la meta del indicador.
Finalizado el proyecto, al menos el 80% de los 29 centros
educativos aplican y evalúan sus PEI y Planes de Mejora
Son establecidas tasas porcentuales.
Indicadores no medibles
Al interno de los centros de cada una de las regiones se registra
un aumento en la toma de decisiones de manera compartida.
No se especifica número de centros. Tampoco se deduce del RE, si
bien podría deducirse del OE. El ser además un indicador ‘no
específico’ dificulta estimar en qué grado se dará el citado aumento.
La población retroalimenta el currículo de educación técnica y
educación para el trabajo (Diálogos comunitarios).
No se especifica en cuantos centros. El ser además un indicador ‘no
específico’ dificulta estimar en cuándo se produce tal
retroalimentación y cuando no es considerable.
Un primer paso para establecer un indicador medible es que previamente el indicador sea específico. Esa
ha sido la situación mayoritaria en este Convenio. En la práctica, más de 100 de los 166 indicadores
analizados son específicos y medibles.
Con todo, hay más indicadores medibles que específicos, por lo que en unos 40 casos el indicador estaba
cuantificando un fenómeno que, más tarde, no sería inmediato medir. Este ha sido un ejemplo reiterado
en varios indicadores diseñados para resultados relativos a la capacitación de personal. El indicador
habitualmente utilizado recurría, cuantificándola, a una expresión similar a la del resultado o implícita en él
(“se ha formado a un 70%….”). Tal indicador seguía siendo tan genérico como el resultado mismo, no
concretando las evidencias que indicarían tal logro (ver Tabla 19).
Tabla 19. Indicadores no específicos y medibles
Indicador no específico y medible
Análisis valorativo
131 personas miembros de los
equipos directivos y de calidad se
forman para la mejora de los procesos
de gestión escolar.
Específico: No. Si lo que se pretende es expresar que 131 personas han sido formadas en
procesos de gestión escolar, el indicador no contiene una variable específica, sino una
expresión genérica (“se forman”) que requeriría, a su vez, de nuevas variables operativas que
puedan concretar si tal formación se ha producido.
Medible: Sí. Establece una cantidad absoluta.
El 70% de los equipos pedagógicos
integran los aprendizajes obtenidos
en el acompañamiento de las líneas
de acción de los planes de mejora de
los centros educativos.
Específico: No. La variable del indicador (‘integrar aprendizajes… en el acompañamiento”) no
es una variable lo suficientemente concreta como para aproximar el indicador a una
verificación lo más objetiva posible que tendrá que después realizarse. El indicador sería más
operativo si estuviera construido sobre las evidencias de mejora en aquellos aspectos
concretos —que operarían como variables del indicador— del acompañamiento de los equipos
pedagógicos que resultaron problemáticos o deficientes, y que han sido revelados por el
proceso de identificación y estudio de base. En caso contrario, descansará sobre la capacidad
de análisis de la fuente de verificación el poder verificar de manera sistemática y fundamentada
si el indicador tiene el comportamiento deseable, es decir, si en el acompañamiento de las
líneas de acción de los planes de mejora realizada por los equipos pedagógicos, éstos integran
los aprendizajes adquiridos durante el proyecto.
Medible: Sí. Es establecido el estándar (porcentaje de equipos en los que es esperable el
comportamiento del indicador).
39
En la mayoría de los casos, las fuentes de verificación que se acompañaban en los informes de
seguimiento anuales reafirmaban esta idea, ya que no documentaban el logro, sino la participación en la
actividad (listados de asistencia, materiales formativos).
No obstante, existen en el Convenio buenas prácticas en las que, a pesar de la falta de especificad del
indicador, sí había sido previsto de inicio o había sido posteriormente diseñado el procedimiento de
verificación adecuado (ver Tabla 20). En tales casos, sería conveniente reformular el indicador para
expresarlo en los términos exactos (ej: sustituyendo el indicador formulado como “Se ha formado al
70%....” por un indicador tal que: “El 70% del personal formado supera una prueba de conocimientos…”).
Tabla 20. Indicadores no específicos y medibles
Indicador no específico y medible
Fuente de verificación Análisis valorativo
Los 29 centros cuentan con
directivos (directores, rectores,
vicerrectores) capacitados en
liderazgo compartido.
Informes de
evaluaciones de
impacto del proceso
de formación.
Específico: Dudoso. La variable del indicador (“capacitados”)
expresa el resultado esperable del proceso de formación pero, a
su vez, demandaría de nuevas variables que hagan operativa
su medición, es decir, nuevos indicadores para conocer si tal
capacitación se ha producido. No obstante, esta valoración
queda a expensas de la capacidad de la fuente de verificación
para aportar evidencias de que los/as directivos/as han sido
efectivamente capacitados/as.
Medible: Sí. En todo caso, se llama la atención sobre que el
100% de los/as directivos/as superarían las evaluaciones de
capacitación, un dato a priori poco realista. Se recomienda
desagregar por sexo.
Como último aspecto a reseñar de este apartado, han sido detectados varios casos, no mayoritarios, en
los que no se había establecido el momento (usualmente, el año) de la realización del indicador, o su
posible evolución anual siempre que tal indicador midiese resultados obtenidos cada año y dispusiese
también anualmente, de las fuentes de verificación oportunas.
4.1.2.c) Funcionalidad de las fuentes de verificación
La funcionalidad de las fuentes de verificación va de la mano de los indicadores previamente
establecidos. De ellas se analiza en este informe:
−
−
La utilidad, de manera que se estima la previsible capacidad de la fuente de verificación, u otra
sustituta aportada en los informes de seguimiento, para informar sobre el indicador.
La disponibilidad de la fuente de verificación en los informes de seguimiento anuales.
De esta manera, el análisis del diseño del Convenio se ocupa en este punto de valorar si las fuentes de
verificación eran las apropiadas para documentar su avance hacia resultados (OE y RE), y cuántas de
tales fuentes estaban efectivamente a disposición de la rendición de cuentas del Convenio.
c.1)
Utilidad de las fuentes de verificación
De la muestra de 11 Proyectos analizados y sus 166 indicadores se desprenden más de 200 fuentes de
verificación. Una gran mayoría son fuentes de verificación útiles a los propósitos de los indicadores,
40
alcanzando el 85% sin consideramos también aquellas sobre las que existen algunas dudas acerca de su
capacidad para reportar adecuadamente sobre el dato requerido en el indicador.
No se aprecia una gran diferencia según niveles de resultados, bien OE, bien RE, a la hora de establecer
la correspondencia propicia entre las fuentes de verificación y el indicador.
Las temáticas de ‘Educación técnica’ y de ‘Acción pública’ son las que más proporción de fuentes
adecuadas han previsto o aportan, seguidas por la temática de ‘Acceso a la educación’. Con cierta
diferencia sobre ellas, la línea de ‘Calidad educativa’ es la que aporta más fuentes de verificación no
relevantes al fin informativo del indicador, sucediendo esto en casi uno de cada tres indicadores. Entre
algunas prácticas no útiles, una mayoría de las fuentes responden a una lógica de documentación de
actividades de formación, como memorias de talleres, listados de asistentes, módulos formativos
impartidos, etc. que en la práctica no arrojan información sobre el indicador en términos de resultados.
Tabla 21. Fuentes de verificación no útiles a los requerimientos informativos del indicador
Indicador no específico y medible
Análisis valorativo
El 50 % de docentes ha mejorado su
práctica de aula como resultado de
las formaciones impartidas de manera
contextualizada…
Las FV previstas en el documento de proyecto (FV.6 Documentos que desglosan el
plan general de contenidos de los materiales formativos y FV.7 Lista de asistencia a
dos seminarios formativos internacionales, actas y publicación de las ponencias)
documentarían la realización de las actividades de formación a docentes, pero no el
resultado establecido en el indicador.
Se cuenta con una propuesta nacional
de acción pública conocida por al
menos 1.200 personas de 12
comunidades educativas
No se ha identificado FV que puedan dar cuenta del indicador en términos de
“conocimiento” de las comunidades educativas, sino de la realización de actividades
para lograrlo o el producto “propuesta” en sí, lo cual no es una fuente adecuada.
Disponer de esta información llevaría parejo el diseño de unas herramientas de
medición lo más sencillas posibles y un protocolo de aplicación que permita verificar,
probablemente a través de una encuesta, si las comunidades conocen la propuesta
nacional de acción pública de FyA, diferenciando por sexo y por actores.
Un 60% de docentes de centros se
forma en género.
Las FV previstas sólo documentaban la realización de la formación y los materiales
utilizados. La FV aportada en el último informe de seguimiento (FV. Memorias de
procesos formativos) apuntaría en la misma línea, y a priori no parecen poder
reportar sobre el nivel de formación en género adquirido por los docentes.
I1. El 80% de los centros, la ejecución
de los planes de mejora es
coordinada por equipos integrados
por directivos, docentes y estudiantes
y acompañada desde la coordinación
regional de manera sistemática.
Las F.V. previstas (FV.1 Memoria de labores y FV. 2 Informes trimestrales
entregados al MINEDUC) no tienen relación directa con los datos que serían
necesarios para informar sobre los dos indicadores del OE. La FV óptima ha de: a)
Ser suficientemente operativa, es decir, ha de desagregar todos y cada uno de los
aspectos a observar y valorar, bien de la ejecución coordinada de los planes de
mejora, por un lado, y su acompañamiento regional, por el otro (indicador 1), bien de
la participación de las familias (indicador 2); b) Ser aplica de una manera sistemática,
es decir, que se cuente con un protocolo de medición estandarizado para minimizar
la subjetividad de la valoración.
En el último informe de seguimiento anual, se aporta una nueva FV para el indicador
1 (FV.01. Muestra planes de mejora de centros) que documentaría la actividad
realizada, pero no si ha sido acorde a lo establecido en el indicador.
I2. Aumento del 40% de Centros
Educativos cuyos padres y madres de
familia participan en la planificación,
gestión y ejecución de proyectos de
mejora….
Docentes del área técnica mejoran su
práctica técnica - pedagógica
mediante la incorporación de
propuestas definidas por su
especialidad.
Las FV previstas (FV1.Evaluaciones desde la Dirección de Centros Educativos.
Evaluaciones por los estudiantes) documentarían de una manera muy indirecta la
“mejora de la práctica docente” expresada en el indicador. Su adecuada verificación
exigiría del diseño de un procedimiento y herramientas de valoración de la actuación
docente específicos y que, según las entrevistas realizadas, no ha sido desarrollado,
planteándose de hecho ante esta limitación la utilización de un indicador alternativo.
41
En la medida en que el indicador esté referido a un resultado tangible (ej. indicadores basados en contar
con un determinado producto, o en haber participado en un determinado proceso46), la fuente de
verificación está más directamente ligada al indicador, además de ser más factible su disponibilidad, en
tanto que suele ser generada por el Proyecto (para el caso de los productos) o derivarse del sistema de
control de los procesos principales.47
Cuando tal resultado tangible está además cualificado y el indicador no haya sido capaz de hacer
operativa la medición de tal cualidad48 (una currícula acorde al contexto, un plan de mejora coherente49,
por citar dos ejemplos), ha de tenerse en cuenta que no basta con el documento mencionado como
fuente de verificación, sino que es necesario documentar su cualidad. En ocasiones es más pertinente
aportar la fuente en la que se verifica tal cualidad, y lo es menos aportar el producto en sí. Una buena
práctica y otra mejorable se da el Proyecto 23 regional (ver Tabla).
Tabla 22. Fuentes de verificación para indicadores referidos a un producto cualificado
Buena práctica
Indicador: Los informes redactados por los acompañantes de los centros cumplen con los criterios establecidos.
Fuente verificación: La fuente reportada en el segundo informe anual (FV Registros de la ejecución de las diferentes
fases del sistema) documentaría cuantos centros participan en cada fase, pero no parece en principio tener la
capacidad para informar de manera concisa y clara sobre el cumplimiento de los criterios para elaborar los informes de
evaluación establecidos en el indicador. No obstante, en el último informe de seguimiento anual se aporta una nueva
FV (FV09 Matriz Evaluación Informe Descriptivo) que sí daría cuenta del indicador, estableciendo presumiblemente
para ello el procedimiento de valoración del contenido de los informes.
Anotar que no resultaría relevante en este punto aportar como FV añadida los centenares de informes (FV08 Informes
Descriptivos: Países, Federativo, Centros).
Práctica mejorable
Indicador: 60% de los centros construyen planes de mejora coherentes que relacionan problemas, metas, resultados e….
Fuente verificación: La fuente reportada en el segundo informe anual (FV01 Planes de Mejora - Muestra)
documentaría la realización de la actividad y sus productos (planes de mejora), pero no parecen en principio tener la
capacidad para informar de manera concisa y clara sobre el cumplimiento de las normas de coherencia establecido en
el indicador.
En la medida en el que el indicador esté relacionado con cambios en el colectivo meta, es decir, con
resultados más intangibles, la fuente de verificación ha de estar específicamente diseñada como parte de
los mecanismos previstos en un sistema de seguimiento. Y es este el esfuerzo que no parece estarse
dando mayoritariamente en los indicadores de este estilo. No obstante, hay algunas buenas prácticas que
es conveniente rescatar, como la valoración de conocimientos del curso virtual del Proyecto 38 regional u
otros que pueden documentarse en las Ficha de proyecto anexas a este informe.
46
De formación de docentes, de movilización en acción pública, de tener presencia en una red, o de aplicación por el centro de
las fases y productos del ‘sistema de mejora de la calidad’, por citar algunos casos.
47
Para los ejemplos mencionados: el listado de asistentes a la formación, los reportes sobre las actividades de movilización, las
actas o informes que sistematicen la participación en la red, o las fichas de control de participación y productos elaborados para
los centros que aplican el ‘sistema de mejora de la calidad’.
48 Este es el problema que generan los indicadores no específicos. Al no poder concretar cómo medir el resultado, la tarea de la
medición recae en realidad en la fuente de verificación. Este es fenómeno bastante común en la muestra de Proyectos analizada,
es decir, tantos casos como indicadores no específicos han sido detectados.
49 Ver ejemplo referido a centros que elaboran planes de mejora coherentes en la Tabla 22.
42
Tabla 23. Fuentes de verificación para indicadores referidos a beneficios en los colectivos
Indicador: El 30% de los estudiantes beneficiarios alcanzan mínimo el nivel alto50 (50% mujeres).
Fuente verificación: Si bien no con base a la FV prevista (FV 1. Reporte consolidado de evaluaciones de estudiantes
en el área de tecnología), la FV aportada en los dos últimos informes de seguimiento (FV01 Datos del Sistema de
Evaluación de Aprendizajes, SIEE) tiene correspondencia con los datos necesarios para alimentar el indicador.
Indicador: Centros cuentan con equipos directivos (miembros de comisiones de pedagogía, orientación educativa,
ciudadanía y convivencia) formados en liderazgo compartido.
Fuente verificación: Las FV previstas inicialmente remitían a listados de asistentes a la formación, lo que no resultaba
útil. Finalmente en el último informe de seguimiento se aportó una nueva FV que sí cumple con los requisitos: FV 05:
Informes de evaluaciones de impacto del proceso de formación.
Indicador: Jóvenes promocionados de una oferta técnica (280) se insertan en actividades económicas del área rural.
Fuente verificación: La fuente prevista (FV. Reportes anuales del sistema de seguimiento a los ex alumnos/as)
proveería de datos para reportar sobre el indicador
Por ultimo, aún con un porcentaje muy elevado de fuentes de verificación ‘útiles’, se sugiere.
a) Considerar la relación entre las fuentes de verificación adecuadas al indicador y aquellos
indicadores que son ‘pertinentes’ al propósito a medir en el OE o RE. Si bien numerosas fuentes
tienen una adecuada correspondencia con el indicador —un tercio de ellas están referidas a
indicadores pertinentes— significa que buena parte de las demás informarán sobre hechos que,
si bien pueden ser relevantes para interpretar la marcha del Proyecto, no lo son stricto senso a
efectos de resultados (OE, RE) logrados.
b) Actuar sobre las fuentes de verificación que, si bien ahora mismo no están disponibles porque no
se ha producido el hecho que han de verificar, ya están estimadas como no útiles y están
referidas a indicadores pertinentes. Si además tales indicadores no han sido suficientemente
especificados, este ejercicio ayudará, a su vez, a especificarlos, tal y como demuestra ya el
trabajo de supervisión y análisis de los indicadores iniciado por el personal expatriado.
c.2)
Disponibilidad de las fuentes de verificación
A mitad de ejecución del Convenio, están disponibles cerca del 80% de las fuentes de verificación
relacionadas con los indicadores a los que se realiza seguimiento. Destacan las líneas de ‘educación
técnica’ y ‘calidad educativa’, seguidas por la temática de ‘acceso a la educación’. Finalmente, la línea de
‘acción pública’ es la que en menor medida las aporta.
Para interpretar mejor estos datos, hay que tomar en cuenta que:
50
51
−
Cerca de 40 (un 20% de las muestreadas) están referidas a indicadores no pertinentes, en
general relacionados con los niveles de actividades o productos, en lugar de indicar bajo un
enfoque de resultados.
−
30 fuentes (18%) se corresponden con fuentes de verificación no útiles o de dudosa utilidad 51,
según los parámetros explicados en el apartado anterior, documentando así sobre todo también
Referido a un OE relativo a la mejora de las capacidades en el alumnado para la resolución de problemas tecnológicos.
De las cuales 13 están contabilizadas como no pertinentes en el párrafo anterior.
43
los pasos previos a la generación de los resultados previstos, más que los indicadores referidos
a los resultados mismos.
Aunque sigan siendo mayoría las fuentes de verificación que remitan información útil a su indicador
correspondiente, es conveniente reflexionar sobre la capacidad y los costes de oportunidad que suponen
para los equipos gestores, en sede y en terreno, la generación de un porcentaje estimable de fuentes de
verificación no relevantes en términos de resultados alcanzados. Esto no oculta la necesidad de ir
documentando en los sucesivos reportes las actividades y productos alcanzados, pero no hasta el punto
de que supongan, como se deriva de los porcentajes anteriores, aproximadamente un tercio de las
fuentes de verificación aportadas. En esta situación tiene mucho que ver la dinámica de gestión
establecidas por las PAC, como veremos en el apartado siguiente.
Como una muestra del itinerario final por el que discurre el diseño de los indicadores, destacamos uno de
los comentados en la correspondiente ‘Ficha de proyecto’.
Tabla 24. Itinerario del establecimiento de un indicador: aprendizaje desde un caso real
I2. 630 jóvenes, 250
mujeres y 380
hombres, que
participan del
Programa de
formación para el
Trabajo (el 70% de
matriculados),
desarrollan
capacidades para el
emprendimiento.
Pertinente: Sí. El indicador y su variable principal (“desarrollar
capacidades para el emprendimiento”) están referidos al OE,
hasta el punto de resultar expresiones sinónimas (ver punto
siguiente).
Específico: No. La variable del indicador no es lo suficientemente
concreta como para medirla de una manera directa. En la
práctica, se recurre a una expresión similar a la contenida en el
OE y que el indicador tenía que hacer operativa y medible.
Un buen punto de partida es contar con una definición de
“capacidades de emprendimiento” y las diversas dimensiones e
ítems/variables que comprende, para a partir de ellas ir
descomponiendo el término en aquellas variables empíricas
(registrables, observables) a ser medidas. Asociado a ello,
debería elaborarse una herramienta y un protocolo de recogida
de información, así como el esquema de informe en el que se
sintetiza la información y que daría lugar a la fuente de
verificación final.
Si, como parece apuntar el último informe de seguimiento anual y
la fuente de verificación aportada, la elaboración de los ‘Perfiles
de proyectos productivo – planes de negocio’ suponen la
traducción de la capacidad desarrollado por el alumnado, el
indicador habría de ser formulado en esos términos concretos. La
teoría subyacente sería que han desarrollado las capacidades
aquellos/as alumnos/as que han elaborado un Plan de negocio,
correspondencia que ha de estar bien fundamentada y que, al
resultar en un indicador indirecto, debería ser complementado
con otros indicadores.
Medible: Sí. Son establecidas tasas absolutas y porcentuales.
Los datos han sido desagregados por sexo. No se especifica el
momento (año) de cumplimiento de la meta del indicador.
Utilidad: No. La FV utilizada en el segundo
informe de seguimiento anual (FV1. Registro
con información sobre participantes de los
cursos) no documenta el indicador, sino la
realización de una actividad.
La FV aportada en el último informe anual de
seguimiento (FV 02. Perfiles de Proyectos
técnicos productivos - Planes de Negocio) no
tiene correspondencia con los datos
necesarios para alimentar el indicador, sino
con un indicador indirecto alternativo
relacionado con la elaboración de tales
productos por el alumnado como una
evidencia de su capacitación.
Disponible: Sí. Es importante recordar en este
punto, ante informaciones obtenidas de las
entrevistas realizadas, que el indicador y la
FV que le acompañan han de ser el resultado
de un efecto directo de las actividades, no
una actividad en sí misma. Esto quiere decir,
que no se trata con el proyecto de lograr que
los/as jóvenes elaboren ‘sí o sí’ tales Planes
de Negocio, sino que las actividades de
formación propician un grado de “capacidad y
actitudes” en ellos/as (el RE1) suficiente
como para que sean capaces de elaborarlos.
En caso contrario, el proyecto se desvirtuaría
para lograr el indicador, y no el RE1. A este
fenómeno se le ha llamado “el fetichismo del
indicador”.
En este extracto puede apreciarse cómo se acierta con el fenómeno que habría que indicar (pertinencia)
pero no se hace de una manera operativa, la raíz de todo buen indicador (específico). Tal indicador
insuficientemente especificado no deja de cuantificarse, de manera que sí es capaz de estimar para
cuántas personas prevemos el resultado. A su vez, no se ha previsto un mecanismo de seguimiento que
logre informar sobre tal resultado (fuente inicialmente prevista, no útil), aunque se es capaz de aportar
44
pruebas documentales de la realización de las actividades que lleva implícito lograrlo (fuente disponible).
Como corolario de este ejemplo, fruto de la reflexión del personal gestor del Proyecto acerca de estas
dificultades para verificar tal resultado en términos de “capacidades adquiridas por un alumnado
emprendedor”, se encuentra una alternativa de medición satisfactoria, otro indicador que no debe en todo
caso suplantar al propio resultado, haciendo que el proyecto persiga más que el objetivo en sí, el logro del
propio indicador.
A mitad de ejecución del Convenio, cuando buena parte de los OE de los Proyectos están por
concretarse, es conveniente revisar la correspondencia entre las fuentes de verificación y sus indicadores
respectivos, tal y como demanda un adecuado seguimiento, fundamentalmente para aquellos indicadores
más pertinentes, e ir así anticipando la futura disponibilidad de información para verificarlos.
4.1.3.
La calidad del diseño de las Programaciones Anuales del Convenio (PAC)
Para su efectiva ejecución, el Convenio prevé programaciones anuales, denominadas PAC, que
introducen nuevos elementos a considerar en este análisis del diseño del Convenio.52
Por una parte, y en buena lógica, los OE y RE de las PAC, tanto del Convenio, como de los Proyectos
particulares, son los mismos OE y RE formulados inicialmente para cuatro años, en tanto en cuanto están
previstos para todo su ciclo de gestión y hasta su finalización53. En ocasiones, a nivel de actividades de
los Proyectos, en las PAC son introducidas otras nuevas o algunos cambios que permiten una mejor
comprensión de la ejecución a medida que ésta se va concretando y avanzando.
Por otra parte, a nivel de indicadores sin embargo en ocasiones coexisten los indicadores iniciales
previstos al inicio del Convenio para el global de su actuación, junto con otros indicadores específicos
para ese periodo anual expresado en la PAC. En tales casos deberá vigilarse:
a) Que los indicadores previstos inicialmente para el global de la intervención y cuya realización se
produzca a la finalización del Convenio o del Proyecto particular, o en años posteriores a la PAC
en cuestión, no han de formar parte de la programación anual o han de citarse pero sin
comprometer su realización.
Tabla 25. Indicador general que no aplica en la PAC
Indicador previsto para el global del Convenio / Proyecto
Mención adecuada en la PAC año 3
Al menos 700 participantes de los ciclos 5º al 8º aplican sus
conocimientos en elaboración de proyectos para la participación
ciudadana y promoción socio- comunitaria.
No se medirá durante 2012.
b) Que los indicadores que durante una PAC, bien estén generando ciertos avances en su estándar
de medición, bien haya sido previsto su cumplimiento para la citada PAC, han de aparecer
expresados en la programación anual indicando si el logro (porcentaje o valor absoluto) es una
parte o el total de lo previsto del indicador global. Esto se está aplicando incluso en los casos en
los que el indicador inicialmente no especificaba una realización anual a lo largo del Convenio,
pero que en la práctica sí se está produciendo.
52
Estas PAC, presentadas también bajo los requisitos de una planificación por objetivos (Marco Lógico), contienen una matriz de
planificación anual general (con sus objetivos, resultados, indicadores y fuentes de verificación) y tantas matrices de planificación
por Proyecto como Proyectos estén implementándose en ese año.
53 Esta es la base de la planificación por objetivos en la que se basa el enfoque del Marco lógico.
45
Tabla 26. Indicador general e indicador anual
Indicador previsto global del Convenio / Proyecto
Ej. de indicador previsto para la PAC año 3
Jóvenes promocionados/as de la oferta técnica se insertan
[anualmente] en actividades económicas del área rural
acordes a su formación: 5% el 2º año, 15% el 3º año y 20%
el 4º año.
Al finalizar el año 3, el 15% de jóvenes
promocionados/as de una oferta técnica se
insertan en actividades económicas del área
rural acordes a su formación.
Un 30% de 918 docentes (93% mujeres) han mejorado sus Un 9% de 918 docentes (82, un 93% mujeres)
prácticas en el aula (se ajustan al ritmo de aprendizaje de
han mejorado sus prácticas en el aula (se ajustan
los/las estudiantes).
al ritmo de aprendizaje de los/las estudiantes).
c) Que los indicadores particulares de las PAC para dar cuenta de los logros durante ese año han
de ser ‘pertinentes’, es decir, han de establecerse al nivel adecuado. En particular, no conviene
establecer a nivel del OE y de los RE del Proyecto indicadores de procesos, relacionados con las
acciones emprendidas para lograrlos. Lo mismo vale a la hora de incorporar el OE indicadores
referidos a sus RE.
Tabla 27. Indicadores de procesos (actividades o productos) a nivel de RE o OE
RE del Convenio / OE del Proyecto
1.000 jóvenes desarrollan
competencias pertinentes para su
inserción en el entorno sociocultural y
productivo en el que viven
Indicador de la PAC
Valoración crítica
Al finalizar el POA, 8 ofertas
técnicas implementadas y en
funcionamiento en las Casas del
Saber seleccionadas
Da cuenta de la realización de
una actividad o producto.
RE Convenio / OE Proyecto
Indicador general previsto
Indicador de la PAC
Se han ampliado las
oportunidades de culminación
del ciclo básico en condiciones
de equidad dirigida a jóvenes
de comunidades indígenas
Al finalizar el proyecto, se han
generado experiencias
extrapolables de fortalecimiento de
la incorporación y retención de
mujeres dentro de procesos
educativos formales y no formales.
En el año 2012, se habrán puesto
en marcha las primeras
experiencias de fortalecimiento de
la incorporación y retención de
mujeres dentro de procesos
educativos formales y no formales.
Valoración crítica
Da cuenta del inicio de
una actividad relacionada
con el indicador.
Este último punto es especialmente relevante, dado que las PAC juegan un rol de programación, no de
planificación, por lo que su función principal es anticipar la ejecución anual del Proyecto y las acciones
necesarias para realizarlo, y solo es conveniente alterar los indicadores de resultados si éstos
comprometen un logro parcial o total en ese periodo anual. Ha de vigilarse por lo tanto que los esfuerzos
por prever —y posteriormente documentar en los sucesivos informes anuales— indicadores que den
cuenta de los avances de los Proyectos, sean realizados para aquellos que son efectivamente del nivel
de resultados y no, por el contrario, de sus actividades o hitos o productos de las mismas. En este último
caso, la propia previsión y realización de las actividades y cumplimiento del cronograma bastarán para
informar de los mismos.54
De lo contrario, las PAC y sobre todo los sucesivos Informes anuales de seguimiento basados en ellas,
corren el riesgo abundar en información descriptiva y valorativa de las acciones de tales Proyectos. En un
Convenio con 38 RE / Proyectos y más de 450 indicadores previstos de inicio, ha de cuidarse la
54
Si fueran necesarios, podrían establecerse indicadores de procesos advirtiendo en su código que estamos ante otro tipo de
indicador distinto. Esto habrá de sopesarse bien, valorando la factibilidad y utilidad final de tales indicadores. Facilitan una alerta
temprana y una evaluación más comprensiva —al igual que si se establecen indicadores de contexto (para las hipótesis y otros
factores externos) o indicadores de estructura (elementos organizativos y de recursos humanos y técnicos necesarios y su
evolución)— haciendo más rico, pero también más complejo y demandante de recursos, el seguimiento del Convenio.
46
pertinencia de introducir nuevos indicadores anuales que no se deriven de ‘anualizar’ los logros que
pudieran estar produciéndose en los ya previstos. De no hacerse así, en los Informes de seguimiento
habrá que aportar nuevas fuentes de verificación, como decimos, más asociadas a los procesos de
ejecución, y por lo tanto a las actividades o condiciones necesarias (disponibilidad de recursos: materiales
de formación, equipos, materiales de difusión, etc.), que a verificar e informar acerca de la consecución
de los resultados, con el consiguiente coste de gestión que esto acarrea.55
4.2. Ejecución financiera
En este apartado se da cuenta del grado de ejecución financiera del Convenio a diciembre de 2012.
Los datos generales de gestión financiera del Convenio son resumidos en la Tabla que figura a
continuación. En ella puede apreciarse que a finales de diciembre de 2012 el Convenio había ejecutado
un 79% de lo presupuestado para ese periodo, unos 3,9 millones de euros de los 5 millones de
subvención programada por AECID para esta primera parte del Convenio. Este gasto supone una
ejecución del 56% sobre el total de la subvención recibida (12.345.000 euros, un 77% de lo aprobado),
porcentaje que sería del 44% si se estimase sobre la subvención aprobada (16 millones de euros).
Tabla 28. Datos generales de ejecución financiera
Concepto
Euros
%
Subvención total AECID
16.000.000,00
-
Subvención recibida hasta la fecha
12.345.000,00
77%
Subvención AECID presupuestada hasta la fecha
8.811.499,13
71%
Subvención ejecutada hasta la fecha
6.967.756,13
79%
Por líneas temáticas, la ejecución financiera está siendo más alta en los Proyectos de ‘Acceso a
educación’ (87%)56, seguida a 10 puntos por ‘Calidad educativa’ y a unos 15 por ‘Educación técnica’ y
‘Acción pública’, ambas en torno al 72% de ejecución. (Ver Tabla siguiente)57.
Tabla 29. Datos de ejecución financiera por línea temática (OE del Convenio)
Línea temática / OEC
Previsto en el periodo
(euros)
Ejecutado en el periodo
(euros)
%
Acceso educación
1.751.968
1.518.158
87%
Calidad educativa
3.453.707
2.647.746
77%
Educación técnica
1.439.099
1.020.790
71%
624.307
447.726
72%
Acción pública
55
En las ‘Ficha de proyecto’ anexas a este informe pude comprobarse que buena parte de las fuentes de verificación aportadas
en los dos principales informes anuales de seguimiento no son relevantes a la hora de documentar los resultados alcanzados por
los Proyectos. Esto es lógico hasta cierto punto, en tanto la mayoría no serán alcanzados hasta más adelante. En todo caso, ha
de cuidarse que no sean aportadas fuentes de verificación innecesarias en términos de resultados.
56 El porcentaje sería mayor de haberse iniciado la Acción número 6 (Haití), sin ejecutar en este periodo.
57 La base del cálculo son los 7.269.081 euros de costes directos subvencionados por AECID de las Acciones 1 a 38,
exceptuando las número 10 (Argentina), 12 (Brasil) y 33 (Venezuela).
47
Por países, la ejecución es más variable, liderada por un grupo de 8 países que superan el 80% de
ejecución (Bolivia, Perú, Paraguay, Guatemala, Nicaragua, El Salvador, Colombia y Honduras). República
Dominicana supera el 75% de ejecución, mientras que los Proyectos regionales gestionados a nivel
Federativo están casi en ese porcentaje.
Países, por otro lado, a los que prestar atención son Panamá (con un 67% de ejecución de gasto), pero
sobre todo Ecuador, que ha ejecutado en sus Proyectos la mitad de lo previsto para el periodo, y Brasil,
que acumula un evidente retraso.
Tabla 30. Datos de ejecución financiera por línea temática (OE del Convenio) (en euros)
País
Previsto en el periodo
Ejecutado en el periodo
%
1.119.400
899.268
80%
Perú
944.291
795.028
84%
Paraguay
597.331
504.641
84%
Rep. Dominicana
616.568
473.686
77%
Guatemala
280.319
271.521
97%
Nicaragua
542.273
509.819
94%
Panamá
262.318
176.566
67%
El Salvador
402.558
331.333
82%
Brasil
107.761
41.577
39%
Colombia
401.523
321.834
80%
Ecuador
846.899
438.890
52%
Honduras
259.670
223.816
86%
Regional (federación)
888.169
646.442
73%
Bolivia
Del total de 35 Proyectos subvencionados por AECID58, 9 de ellos están con un nivel de ejecución
financiera significativamente por debajo del 75%. Son los Proyectos 13 de Colombia (63%), 14 de
Ecuador (58%), 21 de Panamá (64%), 25 de Ecuador (44%), 27 de República Dominicana (68%), 28 de
Guatemala (50%), 31 de Panamá (58%), 35 de Brasil (39%) y 38 regional – federativo (60%).
Representan, por orden de importancia en cada temática:
−
5 de los 8 Proyectos de ‘Educación técnica subvencionados por AECID, es decir, la mayoría
de los Proyectos relacionados con este OE3 del Convenio.
−
2 de los 5 Proyectos de ‘Acción pública’.
−
3 de los 13 Proyectos que financia la AECID de ‘Calidad educativa’.
Es de destacar que ninguno de los Proyectos del OE1 ‘Acceso educación’ acumula retrasos significativos
en la ejecución de su presupuesto.
58
Descontando, como decíamos, los Proyectos 10, 12 y 33.
48
Por lo general, hay cierta correspondencia entre los gastos ejecutados y el grado de realización de
las actividades, tal y como ha sido analizado para la muestra de Proyectos de este evaluación. En tal
correspondencia parecen comportarse los Proyectos 1, 9, 15, 18, 20, 23, 24, 35 y 38, es decir, 9 de los 11
Proyectos analizados. Por extensión, cabe deducir, que así será el comportamiento para la mayoría de
los 38 Proyectos del Convenio.
Caben dos menciones específicas. En primer lugar, detrás de la disparidad entre la ejecución de
presupuesto (58%) y de realización de actividades (90% PAC 2, 98% PAC3) para el Proyecto 31 de
Panamá hubo una sobreestimación de los costes que acarrearía la intervención.
En segundo lugar, está justificado el único caso en el que la ejecución del gasto va por encima de la
realización de las actividades para el global de los dos periodos. En el Proyecto 24 de Colombia, el
elevado porcentaje de gasto tiene que ver con la inversión en equipamiento de nuevos espacios en
educación tecnológica (Proyecto relacionado con el OE3 ‘Educación técnica’).59
Tabla 31. Comparativa porcentaje realización de actividades y ejecución financiera (muestra)
Proyecto / País
Ejecución financiera
(%)
Ejecución actividades (%)
PAC2
PAC3
1 / Bolivia
75%
63%
70%
9 / El Salvador
74%
78%
97%
14 / Ecuador
58%
67%
70%
15 / Perú
83%
88%
87%
18 / Guatemala
93%
99%
94%
20 / Nicaragua
94%
93%
93%
23 / Regional (federación)
78%
64%
80%
24 / Colombia
119%
73%
97%
31 / Panamá
58%
90%
98%
35 / Brasil
39%
36%
49%
38 / Regional (federación)
60%
84%
55%
En general, por lo tanto, el Convenio tiene un satisfactorio nivel de ejecución financiera. La temática de
‘Acceso a la educación’ es la que, en promedio, mejor se comporta en este apartado. Por su parte, hay
que prestar atención a retraso que acumulan algunos Proyectos de la temática de ‘Educación técnica’ y
‘Acción pública’, las que acumulan menos porcentaje de ejecución del gasto.
Por países, esto puede representar una especial atención a Panamá y Ecuador, además de puntualmente
a la única Acción de Brasil subvencionada por AECID. En menor medida, a los Proyectos en República
Dominicana y los de corte regional-federativo.
Esta foto significa que el resto de los países, y en general de Proyectos, están ejecutando sus gastos
conforme al periodo de ejecución y presupuestos previstos.
59
Otro tanto ocurre con el Proyecto 5 de Guatemala, fuera de esta muestra principal, que implica la inversión inicial en
construcción de 6 aulas y otras rehabilitaciones.
49
4.3. Eficacia: desempeño de las actividades y avance hacia resultados.
En términos generales, el Convenio tiene un grado de realización adecuado. A poco más de la mitad de
su periodo de ejecución60, los indicadores generales del Convenio reportaban un grado de satisfactorio de
avance, y en cualquier caso razonable a falta de prácticamente dos años para su finalización (ver Tabla).
Tabla 32. Grado de avance de los indicadores del Objetivo general y Objetivos específicos del Convenio
Indicadores
Niveles
Previsto
Alcanzado
Desempeño
(Octubre 2014)
(Diciembre 2012)
(Alcanz./Prev.)
A nivel del Objetivo general
1. Estudiantes que logran una titulación oficial de culminación de estudios
que facilita su inserción social
2. Centros que mejoran la calidad educativa en gestión escolar, procesos
de enseñanza-aprendizaje, construcción ciudadanía y proyección con la
comunidad.
3.326
1.864
56%
(50% mujeres)
(56% mujeres)
(112%)
562
381
68%
3. Estudiantes que consiguen terminar con éxito su respectivo ciclo
formativo (técnico-laboral).
5.879
2.288
39%
(46% mujeres)
(54% mujeres)
(117%)
4. Estudiantes egresados/as que continúan sus estudios o se insertan en el
mercado laboral
1.810
1.041
58%
(51% mujeres)
(66% mujeres)
(129%)
Objetivo específico 1 ‘Acceso’
1. Población que accede a servicios educativos.61
14.557
8.909
61%
(54% mujeres)
(57% mujeres)
(106%)
7.533
5.573
74%
(50% mujeres)
(47% mujeres)
(94%)
1. Centros que participan en el proceso de mejora la calidad educativa
ofrecida de acuerdo al Sistema de Mejora de la Calidad
432
297
69%
2. Centros con un sistema de gestión colegiada y participativa
265
167
63%
3. Docentes que mejoran su práctica de aula
343
177
52%
4. Centros que aplican currícula adecuada al contexto
137
7
5%
72
25
35%
184
135
73%
2. Estudiantes que mejoran sus condiciones educativas.62
Objetivo específico 2 ‘Calidad educativa’
5. Centros que mejoran el clima escolar, convivencia y valores
6. Centros que aumentan interrelación con la comunidad
60
El Convenio se inició en Octubre de 2010. Este análisis se basa en datos actualizados de ejecución tomados del tercer informe
de seguimiento que cubre hasta el 31 de diciembre de 2012 (PAC3). Hay considerar en la interpretación de los datos ofrecidos
que para entonces la Acción 6 de Haití no había iniciado su ejecución.
61 Como se comentó, este indicador mide las plazas escolares creadas u ofertadas con el Convenio que no existirían sin él. Se
trata, generalmente, de nuevas infraestructuras educativas, aunque se computan también las plazas ofertadas con la educación a
distancia por radio y en algún caso nueva oferta educativa con las infraestructuras existentes. En concreto establece que “Al final
del convenio 11.516 niñas, niños jóvenes y población adulta acceden a servicios educativos semestrales (56% mujeres) y 3.041
acceden a servicios educativos anuales (48% mujeres)”.
62 Este indicador mide plazas escolares que ya existen antes de Convenio pero que cuyos estudiantes ven mejoradas las
condiciones físicas del centro.
50
Indicadores
Previsto
Alcanzado
Desempeño
(Octubre 2014)
(Diciembre 2012)
(Alcanz./Prev.)
30.145
35.520
118%
(53% mujeres)
(53% mujeres)
(100%)
2. Centros con mecanismos que favorecen la inserción laboral y el
seguimiento de egresados/as
22
17
77%
3. Centros con una propuesta pedagógica actualizada y adecuada al
contexto.
52
36
69%
304
642
211%
Niveles
Objetivo específico 3 ‘Educación técnica’
1. Población que accede a propuestas de formación para el trabajo
4. Educadores/as que adquieren las competencias necesarias
Objetivo específico 4 ‘Acción pública’
1. Fe y Alegría mantiene una interlocución efectiva con las autoridades
públicas y participa en instancias de decisión sobre políticas educativas
N/E
(1)
N/C
2. Fe y Alegría participa de forma estable en redes, foros, plataformas y otros
espacios de representación de la sociedad civil del sector educativo
N/E
(2)
N/C
3. Las comunidades educativas conocen y reivindican el cumplimiento del
derecho a la educación para todos y todas
N/E
(3)
N/C
4. Fe y Alegría que cuentan con planes nacionales de acción pública
N/E
(4)
N/C
Notas: N/E = No especificado. (1) Interlocución con las siguientes instancias de decisión en ámbito educativo: i) CLADE, de manera activa y con
la CME en el diálogo con el BM; ii) Río + 20; iii) Consejo asesor y Comisión Permanente Metas 2021. (2) Participación en: i) Brasil: presencia en
el Consejo nacional de los derechos de la infancia y adolescencia (CONANDA); Honduras: Foro Dakar, en la temática de “Acceso, Procesos y
Resultados, en Condiciones de Equidad”; iii) Nicaragua: 7 centros educativos de FYA en acciones de incidencia organizadas por diferentes
instituciones (entre ellas CEAAL y Foro Educativo), y la representación en el CEAAL ha aumentado de 2 a 4 mujeres en el año; iv) Federación
Internacional FyA: CLADE, ALER CEAAL. (3) Comunidades educativas que “conocen”: Bolivia: 431 directivos (más de 100% de los previsto),
educadores y representantes de comunidades educativas cualificados en una temática socioeducativa. Comunidades educativas que
“reivindican”: i) Nicaragua: un 70% de los centros han participado activamente en actividades realizadas en el marco de la SAME; ii) Brasil:
movilización de 800 personas en 5 municipios donde FyA tiene presencia estable en redes. (4) Cuentan con planes nacionales de acción pública
Bolivia (Acción Pública incluida en el Plan Estratégico; Brasil (Propuesta Nacional de Acción Pública); Honduras (estrategia en el Plan
Estratégico 2011-2015); Nicaragua (estrategia para la incidencia pendiente de ser sometida a consulta final). N/C = No comparable.
A partir de los datos anteriores pueden extraerse las siguientes consideraciones:
a) El grado de desempeño a nivel del OE es razonablemente más alto que al nivel de los OG del
Convenio. Recordemos que unos y otros remiten, acumulando sus datos, a los indicadores de los OE
y en ocasiones de RE de los Proyectos correspondientes a cada temática, en función del alcance de
cada Proyecto. Es natural que los Proyectos vayan concretando la realización de sus RE antes que
sus OE, por lo que los indicadores de los OE del Convenio también van arrojando un grado de
realización mayor que los indicadores de los OG del Convenio.
b) Conviene prestar atención al indicador referido al ‘sistema de mejora de la calidad’ (indicador
1 del OE, en torno al 70%), por cuanto pueden estar ya indicando un déficit de realización al estar
referido a una cobertura de centros implicados más o menos estática desde el inicio del Convenio. Es
decir, el número de centros participantes en las distintas fases del citado ‘sistema’, por su estrategia
51
de implementación, no suele aumentar63, por lo que es probable que no se cubran las expectativas
en este ámbito del Convenio.
c) En todo caso, es necesario asegurar que el dato reportado remita efectivamente al logro
referido en el indicador. Es decir, sobre centros que “han mejorado” su calidad educativa, y no a
centros participantes en el proceso de evaluación de su calidad y establecimiento de planes de
mejora al respecto; a educadores/as “con las competencias necesarias” y no educadores que asisten
o terminan una formación; o centros con “una gestión colegiada y participativa” y no a equipos
directivos capacitados en la materia.
d) Es un evidente dato positivo el que se deduce del indicador 4 del OE3 referido a “educadores/as
que adquieren las competencias necesarias”, cuya evolución hasta ahora presenta más de un 200%
de incremento. Contrastado que no refleja una doble contabilización de educadores/as (contar como
beneficiarios del año 2 aquellos que ya lo fueron en el año 1), esto evidencia que se está llegando a
muchos más docentes de los previstos inicialmente. Destacarían en esta faceta, entre otros, el
Proyecto 28 de Guatemala, con su cambio de estrategia.
e) Por último, dado lo complejo64 y novedoso de las intervenciones en las que se basa, las
actuaciones en el OE4 de ‘Acción pública’, no establecieron en su momento una concreción
completa de sus indicadores de logro, lo que hace difícil estimar cuantitativamente su grado de
realización a mitad de ejecución del Convenio. Tales aspectos deberían ser convenientemente
valorados de forma complementaria a través de técnicas cualitativas.
En general, por lo tanto, los datos de los indicadores generales del Convenio revelan un adecuado grado
de desempeño. En todo caso, en sí mismo el contraste entre resultados previstos y alcanzados no aporta
más valor que invitar a la reflexión y una mayor profundización acerca de los procesos clave,
características del diseño y/o factores externos65 que puedan estar influyendo en una realización de
logros por encima o por debajo de las expectativas.
A modo de contraste del análisis documental basado en los informes de seguimiento, se ha circulado
una encuesta al personal expatriado que más directamente supervisa el Convenio y sus Proyectos. Los
resultados generales y por línea temática de la misma arrojan las siguientes interpretaciones (si quiere
información detallada o identificar algún Proyecto en particular, ver gráficos y tablas de porcentajes en
Anexo 6):
a) En general, la cobertura de las Acciones del Convenio (número de colectivos beneficiarios y/o
centros de actuación) es similar o ligeramente superior a la prevista, con más casos de incremento
que de disminución en el alcance de los proyectos. No hay ningún Proyecto cuya cobertura esté
muy por debajo de lo previsto.
63
En todo caso, tenderían a permanecer igual o a disminuir. Los centros que participan en las fases finales (elaboración de
planes de mejora o sistematización de experiencias) tienen que haber participado y cumplido con la fase de evaluación y
elaboración de un informe contextualizado previas.
64
En el enfoque de ‘evaluación orientada por la teoría’ se distingue entre proyectos simples, complicados y complejos (ver
Patricia J. Rogers, Evaluation 2008, 14: 29). Por oto lado, está estudiada la dificultad de predicción en los sistemas complejos,
que a diferencia de los complicados, muestran interacciones continuas y cambiantes entre sus diferentes elementos.
65 Grosso modo, la variación en los resultados de los proyectos tiene que ver con: i) factores de diseño (desde una acertada o
deficiente ‘teoría del programa’ o lógica de intervención, hasta el acierto a la hora de establecer la proyección del logro en los
estándares de los indicadores); ii) factores de gestión y ejecución; y iii) factores externos.
52
Por línea temática, los Proyectos de ‘Acceso’ han incrementado su cobertura respecto a lo
planificado, con algunos casos muy destacados. El OE de ‘Calidad educativa’ y de ‘Educación
técnica’ tienen una cobertura más variable, mayoritariamente conforme a lo previsto, pero con
casos extremos, tanto positivos, como negativos. ‘Acción pública’ tiene un comportamiento
positivo, con algún caso de mayor cobertura respecto a lo previsto inicialmente.
b) Respecto al grado de ejecución de las actividades (adelantos o retrasos), la mitad de los
proyectos van conforme a los plazos y otra mitad acumulan ligeros retrasos no graves. Hay un par
de Proyectos que acumulan con retraso importante. Los factores relacionados con la gestión son
los que más influyen en una adecuada marcha de los proyectos. En situaciones negativas, influyen
por igual además otros factores externos y deficiencias en diseño/planificación.
Analizado por línea temática, el grado de ejecución en ‘Acción publica’ es, en general, similar al
previsto, mientras que en ‘Acceso’ y ‘Educación técnica’ se producen retrasos en cerca de la mitad
de los casos, alguno bastante significativo. A la cola, ‘Calidad educativa’ tiene un retraso
generalizado en la mayoría de casos, pero ninguno grave.
También se dan importantes variaciones en el comportamiento de los factores que influyen en la
adecuada ejecución de los Proyectos si los analizamos por línea temática. En ‘Acción pública’
tienen una mayor incidencia positiva los factores externos, seguida de algún caso en ‘Educación
técnica’. Respecto a los factores que influyen negativamente, los retrasos en los Proyectos de
‘Calidad educativa’ y ‘Acción pública’ son generados sobre todo por problemas de gestión,
mientras que los factores externos son los principales en ‘Acceso educación’, y sobre todo de
carácter interno (diseño/planificación y gestión) en ‘Educación técnica’.
c) En general, el desempeño de actividades hacia resultados es positivo y está bien valorado en 7 de
cada 10 casos. En el resto de Proyectos, coexisten igual número de casos muy exitosos, junto con
otros con bajo desempeño.
Por línea temática u OE del Convenio, dentro alto desempeño y satisfacción con las actividades
realizadas, destacan ligeramente ‘Acceso educación’ y ‘Educación técnica’. En ‘Acción pública’,
dentro de un buen desempeño general, hay algún caso de bajo desempeño importante, junto con
alguno muy positivo. Por último, ‘Calidad educativa’ es la línea con más casos de desempeño bajo
y la única sin casos de desempeño muy alto.
d) La probabilidad de alcanzar los resultados previstos es muy alta, pero casi en la mitad de los
casos es probable que algún resultado no se consiga plenamente. Conviene prestar atención a 3
Proyectos entre los 38 en los que los problemas apuntan a dificultades para conseguir los
resultados principales.66
Por línea temática, dentro de las buenas perspectivas de lograr los resultados, ‘Acceso educación’
es la línea que cuyos resultados serán alcanzados con mayor probabilidad, mientras que ‘Calidad
educativa’ es la que presenta una mayoría de casos con dificultad para garantizar todos sus
resultados. Por su parte en ‘Educación técnica’ se estima una progresión adecuada hacia
resultados, con algún caso con problemas en su consecución.
66
Según el cuestionario distribuido al personal expatriado, los Proyectos 18 (Guatemala), 26 (Perú) y 29 (Honduras) es probable
que logren una parte de sus Resultados esperados.
53
e) La gran mayoría de los proyectos tiene en perspectiva cumplir el OE. En dos de cada cinco
casos, será necesaria prórroga para alcanzarlo convenientemente de aquí a la finalización del
Convenio, periodo en el que habrá que actuar sobre otros 4 Proyectos con previsible dificultad para
lograr su OE.67
Por línea temática, en los Proyectos de ‘Acceso educación’ se da una mayor confianza de cara a
garantizar su OE, estimación realizada en la gran mayoría de los casos. En ‘Calidad educativa’
será también posible, si bien para ello necesitaría mayoritariamente de prórrogas de un año. A
mitad de camino entra las dos anteriores, la temática de ‘Educación técnica’ cumplirá con los OE
en plazo, pero con casos aislados de prórroga y alguno en que no llegará al OE. Por su parte,
‘Acción pública’ demandará ligeras prórrogas, con un caso en el que no llegará al OE.
f)
Como valoración global, la encuesta arroja que la mayoría de los proyectos se ejecutan
satisfactoriamente, en todo caso con ligeros problemas que no afectarán al resultado final. En 1 de
cada 3 Proyectos la evolución hasta la fecha está un poco por debajo de las expectativas o con
problemas que afectarán de alguna manera al resultado final. Sólo existe un caso cuya marcha del
proyecto es muy poco satisfactoria, presentando graves problemas que impedirían, de no ser
resueltos, su buen desempeño en términos de resultados.68
Por línea temática, destaca ligeramente ‘Acceso educación’ como la más satisfactoria, cuyos
Proyectos marchan sobre lo previsto o algo por debajo de las expectativas, pero con algún caso
muy satisfactorio. Por su parte, ‘Educación técnica’ y ‘Calidad educativa’ arrojan una valoración
ligeramente por debajo de lo esperable. ‘Acción pública’, aún dentro de una mayoría de casos
satisfactorios, es la que presenta algún caso con problemas de cumplimiento.
5.
CONCLUSIONES
5.1. De carácter general
1.
La primera conclusión ha de destacar, obligatoria y merecidamente, la capacidad de la ONGD y su
personal técnico a la hora de dar forma y gestionar un Convenio de este alcance y naturaleza. Aunar el
diseño, ejecutar y dar seguimiento posterior a un Convenio regional compuesto por 36 Proyectos de
carácter nacional y 2 de ámbito regional, no es tarea fácil. La evaluación intermedia pone en valor el
esfuerzo que supone combinar el diseño y gestión de cada Proyecto individual, rol en el que destaca
positivamente el papel del personal expatriado, junto con la capacidad para armonizar los datos y
ofrecer una visión global del Convenio por líneas u objetivos específicos temáticos.
2.
Una segunda conclusión es acerca de las conclusiones mismas. Todas ellas deben de
interpretarse, junto con las recomendaciones, insertas en la preocupación e interés de la ONGD por
avanzar en un mejor diseño y seguimiento de sus intervenciones. Buena muestra de tal interés ha
sido de hecho focalizar este ejercicio de evaluación intermedia, sobre todo, en elementos de análisis de
67
Según la misma fuente, es probable que no logren el Objetivo específico los Proyectos 17 (República Dominicana), 26 (Perú),
28 (Guatemala) y 36 (Honduras).
68 Proyecto 36 (Honduras), cuya evolución fue calificada en el cuestionario a personal expatriado como “Muy poco satisfactoria. /
Muy por debajo de las expectativas / Con graves problemas que impedirán lograr el resultado final o una parte muy importante de
él”.
54
diseño y establecimiento de indicadores que sean realmente operativos para una gestión orientada a
resultados. Por lo tanto, esta segunda conclusión quiere resaltar tal afán de mejora y, de manera
particular, el ejercicio que inició el personal expatriado de reflexión y análisis sobre los indicadores del
Convenio y cómo asegurar la utilidad de los mismos y de sus fuentes de verificación, análisis del que esta
evaluación es deudora y al que espera contribuir con las conclusiones siguientes.
5.2. Referidas al diseño
3.
Los Proyectos que conforman el Convenio son diseñados a partir de una concepción regional de
las prioridades a atender. Esto es evidente en los Proyecto 23 y 38, de marcada actuación regional pero
tal enfoque regional está presente en general en los Proyectos asociados a los OE2 de ‘Calidad
educativa’ y OE4 de ‘Acción pública’, Proyectos que tienen en programas federativos de alcance
regional la base fundamental de sus componentes, si bien después su diseño es realizado en clave
nacional, dando cabida a actividades o Resultados esperados complementarios. Esta misma lógica
también inspira la formulación de los Proyectos de la temática del OE3 ‘Educación técnica’, si bien resulta
menos evidente en la temática del OE1 ‘Acceso a la educación’, cuyos Proyectos sobre todo se ajustan a
las necesidades nacionales detectadas en la materia.
4.
El Convenio se conforma por lo tanto a partir de esta visión regional y de indicaciones sobre las
esferas temáticas prioritarias, en este caso 4, que darán forma a los Objetivos específicos del
Convenio: acceso a la educación, calidad educativa, educación técnica y acción pública. De esta manera,
los Resultados esperados del Convenio son los Objetivos específicos de los Proyectos individuales,
mientras que los cuatro Objetivos específicos temáticos del Convenio resultan en la agregación de
beneficiarios de los Proyectos particulares asociados a cada línea temática.
Tabla 33. Vinculación entre la lógica vertical del Convenio y de los Proyectos
Convenio
Proyectos
Objetivo general
Objetivos específicos (4)
=
Acumular beneficiarios/as de los Objetivos específicos de los
Proyectos (38) por línea temática
Resultados esperados (38)
=
Objetivos específicos (38)
Actividades (107)
=
Resultados esperados (107)
5.
Cada Proyecto genera beneficios principalmente en la esfera temática u Objetivo Específico
de Convenio al que está asignado, si bien, con base a las demandas y estrategias locales de cada país,
algunos Proyectos puedan necesitar operar sobre factores afines a otras temáticas. En todo caso, se ha
respetado un criterio de asignación a cada Objetivo Específico del Convenio atendiendo al fin último de
cada Proyecto o su campo de actuación, criterio según el cual: a) los Proyectos que abordan cuestiones
de calidad educativa pero que operan en el ámbito de la formación técnico-laboral, se vinculan al OE3
‘Educación técnica’; b) los Proyectos que en parte inciden en la calidad educativa dentro de un paquete
de medidas conducentes al acceso/permanencia educativa del alumnado, se vinculan al OE1 ‘Acceso a la
educación’; y c) El OE2 ‘Calidad educativa’ recogería Proyectos netamente asociados a la calidad
educativa de centros escolares. Por su parte, los Proyectos relacionados con la línea de ‘Acción pública’
(OE4) son de carácter menos interrelacionado y más independientes. La coherencia del diseño general
55
del Convenio no se ha resentido en tanto se ha respetado este patrón de asignación, más allá de las
posibles incoherencias al interno de cada Proyecto entre sus propio Objetivo específico y Resultados
esperados, objeto de otras conclusiones.
6.
Existen diferencias lógicas en el alcance de los distintas Proyectos en función de las
necesidades o problemas que los originaron, las circunstancias y estrategias nacionales de cada socio
local, o los esquemas de financiación acordados con los países, dando lugar a un alcance menor o mayor
de los beneficios en cada temática. En la práctica:
a. Los Proyectos de ‘Acceso a la educación’ (OE1) actúan sobre la oferta educativa (plazas
escolares), incluidos dos en la modalidad de educación a distancia (por radio). En este OE1 es posible
encontrar Proyectos cuyo alcance es la inserción socio-educativa y laboral (Proyecto 1 de Bolivia), junto
a otros que actúan sobre las condiciones educativas de los centros escolares, ampliando o
remodelando espacios a beneficio del alumnado (Proyecto 4 de República Dominicana).
b. Por el contrario, casi todos los Proyectos de ‘Calidad educativa’ (OE2) presentan un alcance
similar, teniendo al centro educativo y su personal como foco de su Objetivo específico. Alguno
circunscribe su alcance a la práctica docente (16 de Paraguay, 21 de Panamá), incluyendo en
ocasiones a los equipos directivos (14 de Ecuador y 15 de Perú), mientras que otros integran a la
comunidad y las familias en sus resultados (ej. 17 de República Dominicana) o los/as jóvenes del
centro y de la comunidad (20 de Nicaragua). Por su parte, el Proyecto 23 regional representa en su
Objetivo específico un alcance en los centros de la región que solo es posible en combinación con
algunos Proyectos nacionales que integran medidas complementarias, bien en actividades, bien como
un Resultado esperado particular. El resultado es que el Proyecto 23 ha de combinarse con la
realización de otros 10 Proyectos nacionales para explicar racionalmente sus resultados, incluido su
Objetivo específico, mientras que para Brasil, Colombia y Panamá asume por él mismo la
implementación del ‘sistema de mejora de la calidad’ en un número determinado de centros. Esta
dinámica distorsiona la coherencia del conjunto.
c. También la mayoría de Proyectos de ‘Educación técnica’ tiene un alcance similar: la adquisición de
capacidades técnico-laborales en su alumnado para facilitar su futura inserción en el mercado de
trabajo (empleabilidad). Entre los diez proyectos diseñados, pueden encontrarse tres que apuestan por
un efecto posterior: la inserción laboral efectiva (Proyecto 32 de El Salvador, y los Proyectos 25 de
Ecuador y 33 de Venezuela).
d. Los Proyectos de ‘Acción pública’ tienen como objetivo común posicionar a cada Fe y Alegría
nacional y a la Federación Internacional como un actor relevante y activo —también sus comunidades
educativas— en la defensa del ejercicio efectivo del derecho a la educación. Solo uno de los cinco
Proyectos enfatiza más la dotación de capacidades institucionales (35 de Brasil), si bien en la práctica
sus acciones y resultados abordan también la movilización.
7.
La mayoría de Proyectos tiene en su Objetivo específico la idea central de su diseño, y en torno
a él dan forma a sus intenciones de manera más o menos coherente. Una buena parte articula sus
Resultados esperados y actividades de una manera coherente o mayoritariamente coherente con su
Objetivo específico, estableciendo entre esos tres niveles (actividades, Resultados esperados y Objetivo
específico) una relación causal lógica. Junto a estos, existen Proyectos que fueron concebidos en torno
a sus Resultados esperados entendidos como productos o ámbitos de trabajo, operando el Objetivo
específico como un fórmula marco o general que sintetizaba las actuaciones de los niveles inferiores.
Este patrón de funcionamiento ha estado presente en algunos Proyectos de ‘Acceso a la educación’, de
56
manera que dieran cabida en un único Proyecto a distintas demandas de acondicionamiento o nuevas
infraestructuras educativas. También, en varios de los Proyectos de ‘Calidad educativa’, esta expresión, la
calidad educativa, ésta presente en casi todos sus Objetivos específicos más como paraguas de las
actuaciones previstas que tenían en sus Resultados esperados la verdadera concreción de los cambios
propuestos.
8.
Como representación de lógicas de diseño no coherentes, solo en unos muy pocos casos de los
analizados, el Proyecto parecía concebido desde un plan de actividades inicial, estructurado
posteriormente como ámbitos o logros particulares (Resultados esperados) y coronado por un Objetivo
específico que pudiera aglutinar el conjunto. También son los menos los casos en los que el Proyecto
actuaba en algunos Resultados esperados o actividades para distintas poblaciones de diferentes
centros o localizaciones, haciendo así imposible un efecto agregado común derivado de la sinergia de
tales actuaciones y Resultados. Por descontado, en esos pocos casos el OE y los indicadores están
midiendo contribuciones parciales del Proyecto, y no son la expresión de lo que el Proyecto es capaz de
lograr por sí mismo.
9.
En aquellos casos en los que el Proyecto emerge y se diseña a partir de un Objetivo específico
concreto, por lo general representa el logro al que finalmente se puede comprometer en términos de
atribución. En los demás casos, el Objetivo específico está más alejado de las posibilidades de cambio
del Proyecto, y su logro será —además de la posible influencia de las acciones emprendidas— fruto de la
inercia del servicio educativo en el que el Proyecto encaja o el resultado de una confluencia de diversos
factores que el Proyecto no ha integrado en su lógica de intervención (contribución). Así, por ejemplo,
vincular en ‘Acceso a la educación’ el Objetivo específico de permanencia escolar a Resultados
esperados en torno a la oferta de plazas escolares o mejores condiciones en las infraestructuras físicas
no parece ser una relación teórica bien fundamentada si no va acompañada de otras medidas sinérgicas,
en tanto en cuanto la permanencia escolar (la cara positiva de la no deserción y el no abandono) está
afectada por factores de calidad educativa y por las condiciones socio-económicas familiares o del
entorno más próximo al alumnado.
10. En los dos Proyectos de ámbito regional han primado cuestiones de gestión, más que de lógica
de Proyecto. Los dos son Proyectos regionales por su alcance geográfico y en ambos casos tienen en los
Programas federativos la referencia para su diseño y gestión. En la práctica, el Proyecto 23 que
promueve la aplicación de un sistema de evaluación y planificación de la calidad educativa a nivel de
centro, junto con la sistematización de tales experiencias, combina para el logro de su Objetivo específico
una concepción y gestión federativa vinculada, sobre todo, a la gestión del Programa 1 de la Federación
Internacional Fe y Alegría, con concepciones y gestiones nacionales de cómo integrar tal sistema en pro
de la calidad educativa en los Proyectos de cada país. El Proyecto 38 relacionado con ‘Acción pública’
opera bajo una lógica distinta que el caso anterior. En este caso, coexiste un Proyecto de alcance
regional en representación del Programa 8 federativo, con iniciativas particulares en cuatro países, todos
ellos Proyectos con objetivos independientes entre sí.
11. El Convenio ha previsto un grupo de 21 indicadores para ofrecer una visión del alcance global
de sus cuatro Objetivos específicos (16 indicadores) y de su Objetivo global (5 indicadores). Tales
indicadores resumen el esfuerzo dedicado a reportar de manera sistemática, agregada y detallada un
Convenio con un número elevado de actuaciones independientes pero comunes. Dentro de un mismo
nivel, Objetivos general o específicos, coexisten indicadores que representan distintos alcances o efectos
(ej. acceso a la educación básica o técnica, por un lado, continuidad educativa o la inserción laboral, por
otro). Si bien esto no respecta totalmente la ortodoxia, resulta necesario para obtener una foto completa
de todos los Proyectos que componen el Convenio. Tales indicadores son el resultado de totalizar
57
algunos resultados e indicadores clave de los Proyectos, y están, por lo tanto, afectados por el distinto
nivel de alcance al que se compromete cada Proyecto (ver Conclusión 5). Así, algunos indicadores son
alimentados por unos Proyectos, mientras que aquellos que remiten a un logro mayor, toman sus datos
de menos Proyectos, en todo caso, una mayoría de los 38 existentes. En el siguiente nivel, el de los
Resultados esperados del Convenio, han sido previstos 129 indicadores, tantos como indicadores han
sido diseñados para los Objetivos específicos de los 38 Proyectos.
Tabla 34. Vinculación entre los indicadores del Convenio y de los Proyectos, según su alcance
Indicadores del Convenio
Indicadores de los Proyectos
Objetivo general (1)
(5 indicadores)
=
Acumulan algunos de los indicadores de los Objetivos específicos de
los Proyectos, excepto para algunos pocos Proyectos que no alcanzan
ese nivel de logro.
Objetivos específicos (4)
(16 indicadores)
=
Acumulan algunos de los indicadores de los Objetivos específicos o en
ocasiones de los Resultados esperados de los Proyectos. Están
representados todos los Proyectos.
Resultados esperados (38)
(129 indicadores)
=
Los mismos que los establecidos en los Objetivos específicos de los
Proyectos
Actividades (107)
(344 indicadores)
=
Los mismos que los establecidos en los Resultados esperados de los
Proyectos
12. A nivel de los Resultados esperados del Convenio (Objetivos específicos de Proyectos), y más en
el nivel de Actividades (Resultados esperados de Proyectos), el número de indicadores es excesivo,
más de 470 en total, dificultando con ello un seguimiento lo más sencillo, directo y factible posible
teniendo en cuenta las numerosas intervenciones que componen el Convenio. Se recarga con ello
también a los equipos gestores del Convenio en la ONGD ejecutora y socios en los países, que han de
prever numerosos procedimientos de seguimiento, registro, medición y fuentes de verificación. La línea de
‘Calidad educativa’, aún teniendo los Objetivos específicos más similares, es la que presenta indicadores
menos homogéneos. Por su parte, el resto de líneas temáticas tienen al menos algún indicador que
recurre a variables o fenómenos de cambio similares, si bien la fórmula adoptada para concretar los
indicadores suele variar y también la fuente de verificación.
13. Algo más de la mitad de los indicadores y fuentes de verificación analizados cumplen con los
cinco criterios de calidad establecidos, o todos menos uno. Es decir, los indicadores de los OE y RE de
los Proyectos son pertinentes, específicos y medibles, y las fuentes de verificación tienen
correspondencia con la información necesaria para interpretar el indicador (útiles) y están disponibles o
previstas. Hay un tanto por ciento no menor de indicadores calificados como dudosos en algún criterio, y
cuya resolución ayudaría a incrementar la adecuada relación entre el OE o el RE y sus indicadores, y
entre el indicador y sus fuentes de verificación, la base que hace posible un seguimiento del Convenio
orientado a resultados.
14.
Por lo general, los Proyectos han previsto al menos un indicador pertinente al nivel del Objetivo
específico, es decir, indicadores cuya medición tiene correspondencia con el cambio expresado en él. En
los pocos casos en que no ha sido así, es posible reconducir la situación. A nivel de Resultados
esperados de los Proyectos, también encontramos un buen número de indicadores pertinentes, si bien se
58
dan más casos en los que éstos no aciertan a expresar tales resultados, , sino que más bien delimitan
hitos (actividades, productos) para su consecución.
15. Tanto la coherencia de la lógica de intervención, alineada al OE, como el acierto a la hora de
formular con claridad los niveles principales —distinguiendo claramente los RE como expresión de logro
de las actividades, y los OE como efecto concreto de los RE—, son factores de diseño que facilitan
establecer indicadores pertinentes. Esto ayuda a evitar errores relacionados con utilizar indicadores de
un nivel inferior en el superior (de actividades en RE, o de RE en OE) en los que se cae para mitigar el
efecto de que: a) el OE no expresa de manera concreta su propósito principal o no puede distinguirse del
propio logro de los RE; y b) que los RE no enuncian bien el efecto a lograr con las actividades. En ese
sentido, aquellos Proyectos que han afrontado mejor este ejercicio de coherencia y formulación adecuada
de OE y RE, han logrado un mayor éxito en términos de pertinencia de sus indicadores.
16. El análisis realizado evidencia la dificultad de establecer indicadores pertinentes, es decir,
relacionados con el logro expresado en el OE o el RE, para temáticas de efectos más intangibles
(calidad educativa y acción pública) que para aquellos cuyos logros suelen corresponderse con
mediciones más estandarizadas (acceso a la educación y educación técnica). Así, los Proyectos de
‘Acceso a la educación’ y ‘Educación técnica’, por este orden, suelen prever todos o casi todos sus
indicadores del nivel de OE de forma pertinente. Por su parte, los Proyectos de ‘Calidad educativa’
formulan indicadores más pertinentes al nivel de RE (7 de cada 10 casos) que para OE (1 de cada 3). Los
Proyectos analizados de ‘Acción pública’ arrojan una clara dificultad para diseñar indicadores apropiados,
tanto a nivel del OE, como de RE, esto es, indicadores que pongan de manifiesto la incidencia lograda
por las acciones de FyA, bien al interno de sus comunidades educativas, bien en las redes y foros de la
sociedad civil en los que fortalece su participación.
17. La capacidad para diseñar indicadores específicos es alta (lo son más de 100 de los 166
indicadores analizados). Buena parte de los demás indicadores, los menos específicos, no han sido
capaces de hacer operativa la medición del cambio expresado en el OE o RE y quedan a expensas de
ser concretados y/o de seguir avanzando en garantizar las bondades del sistema de seguimiento y el
potencial de las fuentes de verificación; o en su defecto, de una reformulación de tales indicadores. Para
priorizar tal esfuerzo, conviene actuar primero por aquellos indicadores que son pertinentes.
18. Buena parte del carácter no suficientemente específico del indicador está, en algunas ocasiones,
atenuado por la capacidad de la fuente de verificación —sobre todo del procedimiento y herramientas
que conducirían a tales fuentes de verificación— para hacer operativas las variables no suficientemente
concretas de su enunciado. Si bien esto no resuelve el hecho de que el indicador no sea el adecuado,
puede ayudar a un reporte útil.
19. Formular indicadores específicos está vinculado al conocimiento previo cómo se comportan y
manifiestan los problemas concretos a atender, por lo que es difícil especificar tales indicadores si no se
cuenta con un adecuado estudio de base. También resulta difícil establecer indicadores específicos y
concretos cuando están referidos a un OE o RE que resulta de la síntesis o resumen de su nivel inferior, y
no del cambio provocado por él.
20. Las líneas de ‘Educación técnica’ y ‘Acción pública’ tienen un porcentaje muy alto de indicadores
específicos, lo que sin duda contribuirá a su medición efectiva siempre que el indicador sea previamente
pertinente, se cuente con la fuente de verificación apropiada y se haya previsto el mecanismo de
recolección de datos necesario. Una mayoría de los indicadores de la línea de ‘Acceso a la educación’
también están adecuadamente especificados, mientras que para la de ‘Calidad educativa’ lo están la
59
mitad de los previstos. Esto último es, sobre todo, fruto de: a) la existencia de una gran cantidad de
indicadores, en ocasiones más de los necesarios, afrontando así más fácilmente la dificultad de no
especificarlos suficientemente, más que de no contar con ninguno específico; y b) la dificultad para hacer
operativas las mediciones de la adquisición de capacidades y cambios de práctica del personal educador
y directivo de los centros educativos. Así como para el alumnado, la adquisición de las capacidades se
suele indicar de una manera estándar (egresado, certificado, titulación), no ocurre lo mismo con las
capacitaciones ad hoc para el cuerpo docente y directivo.
21. Como ultimo aspecto de calidad, la gran mayoría de los indicadores están cuantificados y
temporalizados (medibles), lo que facilitará la interpretación de los resultados que se van alcanzando.
Con todo, hay más indicadores medibles que específicos, por lo que esos casos el indicador cuantifica un
fenómeno que, más tarde, no sería inmediato medir.
22. Conviene prestar atención a aquellos pocos casos en los que el nivel de logro (estándar) se ha
fijado en un 100% de la cobertura de las acciones, ya que por lo general diversos factores influyen en la
transición entre población meta y colectivo finalmente beneficiario. Docentes que desisten de la
formación o que no están seguros de poder llevarla a la práctica de aula, alumnado egresado y
capacitado que no logra insertarse en el trabajo esperado, directivos que no adoptan la práctica de
dirección acordada, son ejemplos que muestran la dificultad para garantizar un éxito pleno de las
acciones emprendidas. Sin menoscabo de la pertinencia y necesidad de las mismas, esto invita a
reflexionar sobre alguna práctica detectada de fijar —o hacer fijar por el financiador— el indicador final de
logro en el 100% de la población cubierta por el Proyecto.
23. En consonancia con el número de indicadores, el Convenio ha ido generando en su primera mitad
un volumen elevado de fuentes de verificación (más de 200). Las fuentes de verificación tienen una alta
correspondencia con el indicador al que están referidos, es decir, son útiles a los propósitos informativos
del indicador —independientemente de la calidad y pertinencia de éste—, alcanzando el 85% sin
consideramos también aquellas sobre las que existen dudas razonables de su capacidad de reportar
adecuadamente sobre el dato requerido en el indicador. Las temáticas de ‘Educación técnica’ y de
‘Acción pública’ son las que más proporción de fuentes adecuadas han previsto o aportan, seguidas por
la temática de ‘Acceso a la educación’. A cierta distancia, la línea de ‘Calidad educativa’ es la que aporta
más fuentes de verificación no relevantes al fin informativo del indicador, sucediendo esto en casi uno de
cada tres indicadores.
24. Un tercio de los indicadores, al no estar especificados, están ‘trasladando sus responsabilidades’ a
las fuentes de verificación. Al no concretar cómo medir el resultado, la tarea de la medición recae en
realidad en la fuente de verificación. Esto convierte en más intensa la tarea de verificación, que en
ocasiones está siendo diseñada sobre la marcha, con lo que al final se trata de hacer operativo el
indicador con las herramientas de medición ideadas y aplicadas.
25. Si bien numerosas fuentes tienen una adecuada correspondencia con el indicador, una mayoría
(aproximadamente 2 de cada 3) están referidas a indicadores no pertinentes, con lo que buena parte
de las demás informarán sobre hechos que, si bien pueden ser relevantes para interpretar la marcha del
Proyecto, no lo son stricto senso a efectos de medición de los resultados (OE, RE) logrados.
26. La adecuada correspondencia entre la fuente de verificación y la demanda de información que
requiere el indicador es más evidente para aquellos indicadores que remiten a productos o hechos más
tangibles (disponer de un plan o en haber participado en un determinado curso), que para aquellos que
remiten a cualidades de tales productos o procesos (plan coherente, formación contextualizada) o
60
cambios en la población, por lo general, a su vez, indicadores no suficientemente específicos. En todo
caso, como resultado del diseño del Convenio y la intención de documentar también las actividades que
se van ejecutando, las fuentes de verificación que informan sobre los resultados que se van alcanzando
son una parte menor, siendo la mayoría fuentes que se corresponden con indicadores referidos a
productos, actividades o procesos puestos en marcha.
27. A mitad de ejecución del Convenio, están disponibles cerca del 80% de las fuentes de verificación
relacionadas con los indicadores a los que se realiza seguimiento. Ahora bien, aproximadamente 1 de
cada 3 están referidas a indicadores no pertinentes o se corresponden con fuentes de verificación no
útiles o de dudosa utilidad en relación a las demandas de información del indicador. Es conveniente, por
lo tanto, reflexionar sobre la capacidad y los costes de oportunidad que suponen para los equipos
gestores, en sede y en terreno, la generación de fuentes de verificación no relevantes en términos de
resultados alcanzados.
28. Las PAC y los respectivos informes de seguimiento están permitiendo una foto anual de la
ejecución del Convenio, sobre todo a nivel de los Objetivos generales y específicos, dada la información
sistematizada que ofrecen sus, relativamente, pocos indicadores. En la práctica, hacer a partir de las PAC
un adecuado seguimiento de la evolución contrastada a partir de las previsiones iniciales no resulta tan
inmediato y sencillo a nivel de los Proyectos particulares, por la abundancia de indicadores, y por la
introducción, en algunos casos, de indicadores de procesos a nivel de sus OE o RE referidos a
actividades o hitos de la ejecución, lo que en la práctica mayoritariamente no aporta evidencias sobre si el
resultados se está logrando o no y puede por otro lado, de hecho, ilustrarse en los comentarios sobre las
actividades u otros apartados valorativos del informe de seguimiento del Proyecto.
5.3. Referidas a la ejecución financiera
29. En general, el Convenio tiene un satisfactorio nivel de ejecución financiera. Pasado el ecuador del
Convenio, éste ha ejecutado el 79% de lo presupuestado para ese periodo, porcentaje que sería del
44% si se estimase sobre la subvención aprobada (16 millones de euros).
30. Por líneas temáticas, ‘Acceso a la educación’ es la que, en promedio, mejor se comporta en este
apartado (87% de ejecución sobre lo previsto para este periodo),. Por su parte, hay que prestar atención
a retraso que acumulan algunos Proyectos de la temática de ‘Educación técnica’ y ‘Acción pública’ ya que
acumulan menos porcentaje de ejecución del gasto (70-72%).
31. Por países, Panamá y Ecuador, además de puntualmente a la única Acción de Brasil
subvencionada por AECID, están marcando unos porcentajes de ejecución por debajo de la media. En
menor medida, también los Proyectos en República Dominicana y los de corte regional-federativo. Esta
foto significa que el resto de los países, y en general de Proyectos, están ejecutándose adecuadamente
en relación a los presupuestos previstos, liderados por un grupo de 8 países que superan el 80% de
ejecución (Bolivia, Perú, Paraguay, Guatemala, Nicaragua, El Salvador, Colombia y Honduras).
32. Por Proyectos, 9 de los 35 subvencionados por AECID presentan un nivel de ejecución financiera
significativamente por debajo del 75%. Son los Proyectos 13 de Colombia (63%), 14 de Ecuador (58%),
21 de Panamá (64%), 25 de Ecuador (44%), 27 de República Dominicana (68%), 28 de Guatemala
(50%), 31 de Panamá (58%), 35 de Brasil (39%) y 38 regional – federativo (60%). Representan, por orden
de importancia en cada temática: a) 5 de los 8 Proyectos de ‘Educación técnica subvencionados por
AECID; b) 2 de los 5 Proyectos de ‘Acción pública’; y c) apenas 3 de los 13 Proyectos que financia la
61
AECID de ‘Calidad educativa’. Ninguno de los Proyectos del OE1 ‘Acceso educación’ acumula retrasos
significativos en la ejecución de su presupuesto.
5.4. Referidas a la eficacia o desempeño
33. En términos generales, el Convenio ha logrado alcanzar un satisfactorio grado de desempeño o
avances en términos de eficacia. A poco más de la mitad de su periodo de ejecución, los indicadores
generales del Convenio reportaban mayoritariamente un grado de notable de avance, y en cualquier caso
razonable a falta de prácticamente dos años para su finalización.
34. El grado de desempeño a nivel del OE es razonablemente más alto que al nivel de los OG del
Convenio. En cierta medida es normal que los Proyectos vayan concretando la realización de sus RE
antes que sus OE, por lo que los indicadores de los OE del Convenio también van arrojando un grado de
realización mayor que los indicadores de los OG del Convenio.
35. A tenor de los datos del indicador referido al ‘sistema de mejora de la calidad’ (indicador 1 del
OE, en torno al 70%) es probable que no se cubran las expectativas del Proyecto que abandera la
implementación regional de tal ‘sistema’ (Proyecto 23). Tal indicador está referido a un número de centros
implicados que, de no alcanzarse en esta primera etapa del Convenio, es difícil que aumente, ya los
centros han de ir participando en sucesivas fases desde el primer año del Convenio.
36. En función de las deficiencias detectadas en algunos indicadores y las dificultades para reportar de
manera sistemática y lo más objetivamente posible sobre ciertos logros de la línea de ‘Calidad educativa’,
en algunos casos relacionados con indicadores del Objetivo específico 2 del Convenio se albergan dudas
sobre si el dato reportado remita efectivamente al logro referido en el indicador. Es decir, sobre si se
está ante centros que han mejorado su calidad educativa, y no a centros participantes en ‘sistema de
mejora de la calidad, de educadores/as con las competencias necesarias y no ante educadores que
asisten o terminan una formación; o centros con una gestión colegiada y participativa y no ante equipos
directivos capacitados en la materia.
37. En materia de educación técnica, los Proyectos relacionados con el OE3 que inciden en la
capacitación están llegando a muchos más docentes de los previstos inicialmente, tal y como se
deduce del indicador 4 del OE3 referido a “educadores/as que adquieren las competencias necesarias”,
cuya evolución hasta ahora ha registrado un 200% de incremento.
38. Dado lo complejo y novedoso de las intervenciones en las que se basa, las actuaciones en el OE4
de ‘Acción pública’, no establecieron en su momento una concreción completa de sus indicadores de
logro, lo que hace difícil estimar cuantitativamente su grado de desempeño a mitad de ejecución del
Convenio.
39.
Por línea temática y sus Proyectos asociados tendríamos la siguiente valoración:
a. Los Proyectos de ‘Acceso a la educación’ han incrementado su cobertura respecto a lo planificado,
con algunos casos muy destacados. Si bien acumulan retrasos en cerca de la mitad de los casos,
alguno bastante importante, es una línea temática que destaca por la satisfacción de desempeño de las
actividades de cara a los resultados. Esto revierte en una valoración muy alta en cuanto a la
probabilidad de lograr todos sus resultados, incluido su Objetivo específico.
62
b. Los Proyectos de ‘Calidad educativa’ tienen una cobertura más variable, mayoritariamente
conforme a lo previsto. Si bien existe un retraso generalizado de ejecución de actividades en la mayoría
de casos, ninguno parece ser grave. Dentro de un buen desempeño de las actividades, es la línea peor
valorada en este aspecto, lo que se corresponde ser la línea que, en consecuencia, presenta más
Proyectos con dificultad para garantizar en plazo todos sus resultados. De hecho, es la línea temática
cuyos Proyectos mayoritariamente necesitarían, según el personal expatriado, de prórrogas de un año
para lograr sus respectivos Objetivos específicos.
c. La mayoría de los Proyectos de ‘Educación técnica’ tienen una cobertura conforme a lo previsto,
pero se dan casos extremos, tanto positivos, como negativos. La ejecución de actividades tiene ciertos
retrasos en cerca de la mitad de los casos, alguno bastante significativo, pero al igual que la línea de
‘Acceso a la educación’ destaca por la buena valoración del desempeño de sus actividades de cara a
los resultados, que es probable que se alcance en su gran mayoría, descontando algún Proyecto
particular que encierra alguna dificultad. En consecuencia, esta temática también se valora como con
garantías de cumplir con los Objetivos específicos en plazo, con casos aislados de prórroga y alguno
en que no llegará a alcanzarlo.
d. ‘Acción pública’ tiene un comportamiento positivo, con algún caso de mayor cobertura respecto a
lo previsto inicialmente. También la realización de actividades es positiva, con un grado de ejecución,
en general, acorde a lo previsto, y bien valorado el desempeño de sus actividades. En todo caso, por
diversos factores de gestión y externos, demandará ligeras prórrogas para la consecución de sus
resultados, con un caso de un Proyecto que no llegará a lograr su Objetivos específico.
40. Como valoración global podríamos concluir que la mayoría de los proyectos se ejecutan
satisfactoriamente, en todo caso con ligeros problemas que no afectarán al resultado final. En todo caso,
en 1 de cada 3 Proyectos la evolución hasta la fecha está un poco por debajo de las expectativas o con
problemas que afectarán de alguna manera al resultado final. Sólo existe un caso cuya marcha del
proyecto es muy poco satisfactoria, presentando graves problemas que impedirían, de no ser resueltos,
su buen desempeño en términos de resultados.
6. RECOMENDACIONES
Más si cabe que las conclusiones anteriores, estas recomendaciones tratan de alimentar la reflexión de la
organización acerca de la gestión de proyectos y el perfeccionamiento de los mecanismos de
seguimiento, los indicadores entre ellos. Por lo tanto, sólo serán una propuesta completa cuando las
recomendaciones sean discutidas y perfiladas en atención a las prioridades, factibilidad, recursos y
tiempos adecuados para su efectiva consideración y el desarrollo de medidas para implementarlas. .
Una buena parte de las recomendaciones operativas están orientadas a reconducir o rediseñar
determinados aspectos en los Proyectos de cara al segundo periodo de ejecución del Convenio. Tal
ejercicio no es sino la expresión de la utilidad esperada de los resultados de una evaluación intermedia.
En todo caso, es inevitable que algunas, las clasificadas como recomendaciones generales o más
estratégicas, aludan a mejoras a implementar a medio plazo o que afecten a su vez a los procedimientos
de gestión de proyectos y de cooperación entre la entidad Fundación Entreculturas y sus socios
federativos en América Latina y el Caribe.
63
Estas recomendaciones son fruto de un ejercicio de evaluación que tiene sus propios límites (ver
apartado 3.4) y cobran verdadero sentido si pueden servir de insumo al conocimiento más amplio y
directo sobre la realidad del Convenio y sus Proyectos que tiene, fruto de un trabajo más cercano y
continuado, el personal técnico de Entreculturas y sus socios. Esperamos que estas recomendaciones
sirvan a este ejercicio, que ha de ampliarse —como señalaremos en la primera recomendación— con
debates internos de puesta en común de buenas prácticas y lecciones aprendidas, en los que no han de
faltar el personal de las contrapartes socias y una dosis de capacitación y puesta en común tendente a
la homogeneización de prácticas de diseño y seguimiento de proyectos.
6.1. De carácter general y estratégicas
1.
Buena parte de las recomendaciones serán más factibles de aplicar si son consideradas en un
escenario de trabajo que utilice la fórmula de revisión de pares o cualquier otro mecanismo que facilite el
intercambio de prácticas de diseño y seguimiento. El personal expatriado, junto con sus iguales en los
países, serían un primer ‘círculo de aprendizaje y mejora’, que ha de hacerse extensivo a todo el personal
encargado de la gestión de proyectos de cooperación. Diagnosticar y documentar entre pares, o en
equipo, pautas sobre el diseño de proyectos y cómo expresarlos en una lógica de intervención
coherente, y compartir lecciones aprendidas en el establecimiento de indicadores y su mecanismo de
seguimiento es, con los recursos apropiados, algo cuando menos posible. Sobre todo, en un ámbito de
trabajo técnico en el que el sector (educación), las temáticas de los proyectos, los socios y las áreas de
intervención de los Proyectos son semejantes, es posible, como sería deseable en el actual Convenio,
que los Proyectos dispusieran de al menos un indicador común a nivel de su Objetivo específico, en
función de cada área temática de acción (ver Recomendación 11).
2.
Los Proyectos suelen estar mejor diseñados si forman parte de un plan de trabajo, cuando no de
un plan estratégico, que nortee la definición de los objetivos de los Proyectos. En cualquier caso, es
siempre enriquecedor para los equipos técnicos encargados del diseño de los proyectos colaborar con
las áreas técnicas y el personal relacionado con la materia o servicios educativos o de promoción
social relativos a la problemática a atender por el Proyecto a formular, y que será el encargado de
llevar a cabo las medidas previstas en el plan general o estratégico en el que tal intervención específica
debería estar insertada. En ese sentido, es recomendable evitar en lo posible que el diseño de los
Proyectos cree procedimientos de seguimiento (indicadores y fuentes de verificación) paralelos o
impuestos que no sean de utilidad a la organización. Si, por el contrario, los de la entidad fuesen
deficitarios, con probabilidad aquellos que se acuerden entre los equipos de Proyectos y de los servicios
técnicos (áreas pedagógicas y de promoción social) para el seguimiento de los resultados clave del
Proyecto, sin son de calidad, sin duda favorecerán también el adecuado seguimiento de los cambios que
la organización quiere promover a través de su plan de actuación general y sus servicios y programas
institucionales. De esta manera, a la pericia profesional a la hora de establecer indicadores –labor a
la que contribuye sin duda el personal expatriado— se le une el conocimiento del área o temática de
intervención particular del Proyecto y la problemática a atender. Esto sin duda ayudará establecer
indicadores de mayor calidad, incluida una proyección adecuada (estándar de logro alcanzable).
3.
Como continuación de la recomendación anterior, hay que recordar que la capacidad de formular
indicadores específicos está relacionada con el conocimiento de los problemas a atender (fase de
identificación); y que también resulta difícil establecer indicadores específicos y concretos cuando no
existe una lógica vertical del todo coherente o si estamos ante un OE o RE que resulta ser la síntesis o
resumen de su nivel inferior, y no del cambio provocado por él (fase de diseño). La dificultad de
especificar los indicadores es la consecuencia directa de no contar en todos los casos con un adecuado
64
estudio de base que documente las manifestaciones concretas de los problemas en los agentes que
posteriormente serán sujetos del cambio provocado por el proyecto. Es sobre esas evidencias concretas
sobre los que se perfila después la identificación y diseño, en positivo, de los indicadores de logro de los
OE y RE. Tal estudio de base no de hacerse siempre para cada intervención particular, sobre todo si está
justificada e identificada a partir de un programa más amplio que sí lo hubiera contemplado como parte de
la dinámica de trabajo conjunta de los equipos de Proyectos y otras áreas afectadas.
4.
Una recomendación general, que se especificará en el siguiente apartado en otras operativas,
tiene que ver con prever los mecanismos de seguimiento adecuados desde el diseño de los
Proyectos y el Convenio en general. En algunos casos se ha detectado la relación entre los resultados y
sus indicadores, y en ocasiones, también entre estos y las fuentes de verificación, no resulta evidente en
la Matriz de planificación. Una fórmula que ayudaría a propiciar tal ejercicio y a clarificar qué se espera de
su seguimiento y evaluación de resultados final entre las personas implicadas en la gestión del Proyecto,
es ‘acortar la distancia’ que a veces opera entre indicadores y fuentes de verificación de aquellos
resultados orientados a un cambio en los colectivo meta. Esto implica clarificar para aquellos indicadores
más relevantes en la medición de los resultados: a) qué expresa el indicador y cómo se relaciona con el
resultado (definición y variables), y ii) qué proceso básico se seguirá para la obtención de las fuentes de
verificación (unidad de análisis, fuentes y/o técnicas), mientras que al interno del Plan de Seguimiento
debería especificarse más en detalle estas cuestiones (responsables, tiempos, etc.). Un buen punto de
partida, que habría de simplificarse, es la propuesta de FIDA para la realización de los Estudios de base
(ver Figura 3). Como es natural, en la medida que es amplía la calidad de los mecanismos de seguimiento
así previstos y detallados, se hace más necesario enfatizar la necesidad de contar con los indicadores
imprescindibles, ya que un volumen muy alto no sería operativo.
Figura 3. Transición entre la planificación y el seguimiento
Fuente: Los estudios de base. Fundamentos para una gestión por resultados”. PREVAL, FIDA (jun. 2007)
5.
Buena parte de las recomendaciones están destinadas a cumplir con los principios de la
planificación y seguimiento basados en resultados. Por lo tanto, inciden en garantizar la existencia de
65
indicadores de logro adecuados y prescindir de aquellos que remiten a avances en el Proyecto
relacionados con sus actividades, que, por otro lado, complican y recargan el seguimiento y, en
consecuencia, distraen al personal técnico de las cuestiones relevantes. En todo caso, ha de advertirse
que en sí mismo el contraste entre resultados previstos y alcanzados no permite una valoración
correcta de una buena o mala ejecución, y no aporta más valor que invitar a la reflexión y una mayor
profundización acerca de los procesos clave, factores externos y/o elementos del diseño que puedan
estar influyendo en una realización de logros por encima o por debajo de las expectativas.
6.
Para futuros diseños de otros proyectos, en los Documentos de Formulación ha que quedar
clarificada la relación entre el Objetivo específico, los Resultados esperados que conducen a él, y cómo
las actividades llevan al logro de tales Resultados. Probablemente los apartados de “Análisis crítico del
Objetivos específico” y “Análisis crítico de los Resultados esperados” de la plantilla del Documento de
Formulación sean, tras presentar la Matriz de planificación, el lugar indicado para explicar la “teoría del
programa”, esto es, cómo se espera que la implementación de tal Proyecto conduzca al logro del
Objetivo específico planteado y qué condiciones se han de dar para hacer posible los ‘saltos’ en la
cadena de actividades a Resultados esperados, y de éstos al Objetivo específico. Esta reflexión, si se
hace cuidadosamente —y es común hacerlo gráficamente—, ayudará a explicitar además las hipótesis
más relevantes.
6.2. De carácter específico y operativas
7.
Como primera recomendación operativa, ha de procurarse en primera instancia, en la medida en
que este informe y las ‘Fichas de Proyecto’ anexas contribuyan a ello, trabajar conjuntamente con el
personal técnico de los países la especificación de los indicadores y el desarrollo de los
procedimientos, técnicas y fuentes de verificación para aquellos indicadores que, resultando
pertinentes, no tienen la calidad suficiente como para ser medidos y verificados. Deseablemente, una
adecuada formulación que facilite a su vez el seguimiento y rendición final de los resultados alcanzados
ha de basarse necesariamente en indicadores pertinentes, específicos y medibles, y en fuentes de
verificación útiles y disponibles. Esta secuencia ha de recomponerse en aquellos casos en los que la
debilidad del indicador está ‘trasladando la responsabilidad’ del seguimiento a la fuente de verificación.
A lo largo del apartado de Análisis de este informe, así como en las Fichas de Proyecto anexas, son
comentados ejemplos de buenas y malas prácticas a la hora de establecer indicadores y prever
fuentes de verificación que puedan alimentarlos (ver Tablas 11 a 27 de este informe, y las 11 Fichas de
Proyecto que analizan y valoran 166 indicadores). Son ejemplos que han de servir como primer insumo,
junto con el análisis ya realizado al respecto por el personal expatriado, con el fin de contar y compartir
con los equipos técnicos de las organizaciones contraparte: a) pautas comunes para establecer
indicadores y sus procedimientos de seguimiento y verificación, y los criterios de calidad que adoptará la
organización para validarlos; y b) un repositorio de indicadores por temática o tipo de actuación dentro
del sector de educación y promoción social en el que la ONGD habitualmente coopera.
8.
Para aquellos casos en que una revisión ayude a clarificarla, es recomendable examinar las
lógicas de intervención (matrices de planificación) de aquellos Proyectos menos coherentes. Se trataría
de: i) adecuar la formulación de los Objetivos específicos en algunos Proyectos puntuales, no tanto para
alterar su alcance, como para especificarlos mejor; ii) reformular como resultados los Resultados
esperados en aquellos casos en los que están expresando la síntesis de la implementación de las
actividades y no su efecto inmediato (ver ejemplo en Tabla 10). En algún caso extremo, y minoritario,
cuando el Resultado esperado no está representando adecuadamente la amplitud y variedad de las
66
acciones, tal revisión podría dar un lugar a nuevos resultados. En las ‘Fichas de Proyectos’ anexas, se
documentan algunos casos que, esperamos, sirvan para ilustrar el resto de Proyectos. En los casos en
los que esto afecte al establecimiento de indicadores, por lo general significará una reducción de aquellos
indicadores que remiten a actividades.
9.
Es detectable un error en la formulación de los OE y de los RE cuando para alcanzar a
entenderlos hay que recurrir a la lectura de los indicadores. El OE ha de ser comprensible por sí mismo,
ayudando los RE a entender la estrategia puesta en marcha, y el resto de elementos del Proyecto (las
actividades, los indicadores) a comprender su alcance. Lo mismo cabe decir de los RE: ha de ser lo
suficientemente claro por sí mismo, ayudando las actividades y los indicadores a dimensionar su alcance.
10. Estamos ante otro posible error del diseño de la lógica de intervención (RE no suficientes, OE y RE
no claros en sus términos, actividades que transcienden los RE identificados) cuando surge la necesidad
de documentar a través de indicadores no solo lo que el Proyecto logra, sino otros hitos, cambios,
efectos o productos. Los indicadores no son el instrumento para traducir todos los matices del Proyecto
y sus efectos, sino que —como hemos venido insistiendo y se ha hecho en una buena parte del
Convenio— han de servir para marcar la pauta principal de comportamiento de sus resultados, y en su
caso, facilitar la detección de momentos críticos o buenos resultados finales que inviten a profundizar en
tal experiencia y ayuden a delimitar posteriormente el campo de la evaluación orientada al aprendizaje y
extracción de lecciones aprendidas.
11. El Convenio ha tenido el mérito de sintetizar el alcance y efectos de todos los Proyectos, aún con
distintos niveles de ambición en algunos de ellos, en 21 indicadores de sus Objetivo general (5
indicadores) y específicos (16 indicadores para 3 objetivos temáticos). Se sugiere descender un nivel y,
en lo posible, tratar de uniformizar los indicadores también de los Resultados esperados del
Convenio, nivel que representa a los Objetivos específicos de los Proyectos. Compartiendo objetivos
similares en temática, ha de ser factible fijar un pequeño grupo de indicadores que faciliten la medición a
ese nivel, lo que redundaría en menos indicadores, más homogéneos, un seguimiento más factible y
menos costoso en recursos y una mayor claridad en el mensaje final acerca de los resultados.
Respetando las particularidades de cada Proyecto, sería deseable en un primer estadio la existencia de
uno o dos indicadores comunes de Objetivos específicos para aquellos pertenecientes a las mismas
líneas temáticas. Sin duda, muchos de ellos pueden encontrarse entre el listado de 21 indicadores de los
Proyectos reutilizados como indicadores generales del Convenio.
12. A nivel de cada Proyecto, es recomendable ajustar los indicadores a aquellos que resulten
suficientes para disponer de un sistema básico y suficientemente comprensivo de los resultados
previstos. En general, ha de tenerse en cuenta que la función de los indicadores, bajo una
perspectiva de planificación por objetivos, no es dar cuenta de todo lo que un proyecto hace, sino
directamente de aquello que logra. Por un lado, por lo tanto, son prescindibles los indicadores
señalados como ‘no pertinentes’ por estar referidos a actividades que el Proyecto está ejecutando o va a
ejecutar. Por otro lado, la Matriz de planificación no sustituye la existencia de un procedimiento de gestión
y seguimiento más completo a cargo del personal de terreno más directamente implicado en las
actividades, incluso la introducción de otros indicadores de resultados sobre aspectos relevantes para la
organización pero no centrales para el Proyecto en cuestión.
13. En la línea de simplificar y rendir cuentas de lo esencial, los resultados, lo anterior aplicaría
también a los indicadores complementarios, generalmente indicadores de procesos, introducidos en
las PAC. Siendo sobre todo las PAC un planteamiento de programación (qué será realizado y, en todo
caso, qué logros previstos hay para ese año, si los hubiera), y no de planificación, hay que estudiar
67
cuidadosamente cuándo es necesario añadir un nuevo indicador, teniendo en cuenta que, acorde a un
enfoque de planificación por objetivos como el Marco Lógico, es normal que buena parte de los
resultados se generen en el último periodo de ejecución. Comoquiera que los indicadores iniciales están
casi todos convenientemente temporalizados (indican el año de realización), han de ser la referencia
principal de las PAC y los sucesivos informes de seguimiento. De lo contrario, en un caso extremo que no
está sucediendo pero que ayuda a ilustrar esta recomendación, cada PAC correría el riesgo de
convertirse en una auto-referencia anualizada de los logros, sin tener la visión global y poder contrastar la
evolución de los indicadores clave desde el inicio del Convenio y año a año. En un Convenio con 38 RE /
Proyectos y más de 400 indicadores previstos de inicio, ha de cuidarse la pertinencia de introducir nuevos
indicadores anuales que no se deriven de ‘anualizar’ los logros que pudieran estar produciéndose en los
ya previstos.
14. A la hora de establecer indicadores, pero también para definir resultados, ha de tenerse en cuenta
que el lenguaje es una herramienta muy precisa. Por lo general, los indicadores vinculados a resultados
tangibles cuyo logro viene representado por un producto (ej. contar con un plan o reforzar la
sostenibilidad a través de un convenio), el indicar se limitará a documentar la realización u obtención de
tal producto. Ahora bien, si un resultado tangible está cualificado y el indicador no haya sido capaz de
hacer operativa la medición de tal cualidad (una currícula acorde al contexto, un plan de mejora
coherente, por citar dos ejemplos), ha de tenerse en cuenta que no basta con tal documento como fuente
de verificación, sino que es necesario documentar su cualidad (ej: informe de valoración de la currícula
por expertos/as, informe de valoración independiente de los planes de mejora). Obsérvese cómo, al
trasladar la valoración resultado desde el indicador, que no lo logra, hacia la fuente de verificación, que sí
lo documenta, se levanta la pista para reelaborar el indicador (ej. la currícula es valorada como acorde al
contexto por un comité de expertos/as; un informe de valoración independiente establece que más del
60% de los planes de mejora son coherentes).
15. Lo anterior aplicaría para aquellos casos, sobre todo en representación de la línea de ‘Calidad
educativa’, pero no solo, en los que el indicador (ej: “número de personal capacitado o formado”) recurre
a la misma fórmula o similar que el resultado que trata de medir (ej. “desarrolladas capacidades del
personal educador…”). Es decir, si el indicador no consigue hacer operativa la medición del resultado —
no es específico—, habrá de trabajar sobre la fuente de verificación y el procedimiento asociado de
seguimiento para dar cuenta de tal indicador. Al igual que en el caso anterior, con toda probabilidad, la
propia reflexión acerca de cómo dar seguimiento al indicador y qué herramientas y protocolos
utilizar, revertirá posteriormente en una mayor capacidad para especificarlo y expresarlo en los
términos adecuados y afines a la medición que se ha diseñado.
16. Ha de reducirse la tentación de utilizar las fuentes de verificación para mostrar y probar que se
está avanzando en el Proyecto en una lógica de ‘hacer cosas’, de ejecución de actividades. La lógica de
planificación y seguimiento está orientada a resultados, por lo que las fuentes de verificación a aportar
han de estar destinadas a documentar su nivel avance o logro final. En todo caso, ante el hecho de que el
formato de seguimiento también exige identificar las fuentes de verificación a nivel de actividades,
disponer de un listado de fuentes que prueben en su caso su realización no habría de generar mayores
esfuerzos y cargas de gestión que los derivados de la propia ejecución de las acciones del Proyecto, al
estar generalmente en posesión del personal técnico o pedagógico encargado de su implementación, y
por lo tanto, a disposición del Convenio si fuera necesario aportar alguna fuente en concreto. En cualquier
caso, el punto relevante de la recomendación es discernir con claridad cuáles son las fuentes apropiadas
para el nivel de resultados y evitar en su identificación alimentarlas con aquellas del nivel de actividades.
68
17. Es conveniente asegurar que el dato reportado remita efectivamente al logro referido en el
indicador. Es decir, sobre centros que “han mejorado” su calidad educativa, y no a centros “participantes
en el proceso” de evaluación de su calidad y establecimiento de planes de mejora al respecto; a
educadores/as “con las competencias necesarias” y no educadores que “asisten o terminan una
formación”; o centros con “una gestión colegiada y participativa” y no a “equipos directivos capacitados”
en la materia.
18. Las actuaciones en el OE4 de ‘Acción pública’, dada dificultad de estimar cuantitativamente sus
efectos inmediatos (RE y OE) sin caer en la tentación de medir su grado de realización, ha de prever
mecanismos de valoración basados en técnicas cualitativas.
19. Varios Proyectos recurren a la participación de los centros en el denominado ‘sistema de
mejora de la calidad’ ideado por FyA como base para establecer indicadores que miden resultados
expresados como “mejora de la calidad educativa”. También algún indicador general del Convenio utiliza
esta fórmula. En este punto, ha de asegurarse que participar en un ‘sistema de mejora de la calidad’ y
comprometerse como centro y comunidad escolar el proceso de evaluación de su calidad y el
establecimiento de planes de mejora coherentes con tal evaluación, además de buena práctica de
sistematizar la experiencia es representa en sí mismo un hito de la calidad del centro Es decir, que se
participar en un ‘sistema de la calidad educativa’ —según el cual, el hecho de participar en él denota la
calidad del centro al preocuparse por su mejora constante—, más que en un ‘sistema para la calidad
educativa’ —con lo que la calidad no se medirá por el hecho de participar, sino por los resultados
posteriores—. Esto tiene consecuencias a la hora de establecer los indicadores, ya que la participación
en este ‘sistema’ como sinónimo de una mayor ‘calidad educativa’ en el centro ha de denotar el adecuado
cumplimiento de los hitos y apropiación por la comunidad educativa, no solo su ejecución. En su caso, tal
cumplimiento puede ser atestiguado con la entrega de un certificado.
20. En indicadores del OG y OE del Convenio, es recomendable remitir a un breve informe a modo
de fuente de verificación que detalle por Proyecto y país los datos que forman parte del indicador. Este
primer documento de síntesis ayudará a interpretar el dato ofrecido por el indicador. En él, tal y como se
hace actualmente, habrá de remitirse a las fuentes de verificación pertinentes de los Proyectos
correspondientes, en tanto que los indicadores generales del Convenio están alimentados por algunos
indicadores particulares de los Proyectos. En todo caso, al remitir a las fuentes particulares de cada
Proyecto, asegurar en lo posible que son referenciadas aquellas que tienen que ver con el indicador del
OG u OE del Convenio, y no otros indicadores del Proyecto que aludan a otras mediciones.
21. Es recomendable anticiparse en el seguimiento y actuar sobre las fuentes de verificación que, si
bien ahora mismo no están disponibles porque no se ha producido el hecho que han de verificar, ya están
estimadas como no útiles y referidas a indicadores pertinentes. Si además tales indicadores no han
sido suficientemente especificados, este ejercicio ayudará, a su vez, a especificarlos, tal y como
demuestra ya el trabajo de supervisión y análisis de los indicadores iniciado por el personal expatriado.
22. El volumen de documentación generada por el Convenio reitera la necesidad de calibrar la
pertinencia del esfuerzo de gestión asociado a recabar fuentes de verificación no relevantes en términos
de resultados y a asegurarse que éstas han de estar referencias a indicadores adecuados. Esto ayudaría
a evitar en lo posible los costes de gestionar fuentes de verificación sobre indicadores no válidos en
términos de medición de los resultados de cada Proyecto.
23. En relación a la ejecución financiera, habrá que vigilar y, llegado el caso, proponer medidas
correctoras para los Proyectos que están marcando un bajo porcentaje de gasto sobre lo previsto para el
periodo. Por países, habrá de prestarse una especial atención a Panamá y Ecuador. En menor medida, a
69
los Proyectos en República Dominicana y los de corte regional-federativo. Por Proyectos, y por este
orden, a los Proyectos 35 de Brasil, 14 y 25 de Ecuador, 28 de Guatemala, 31 de Panamá y 38 regional
– federativo, todos por debajo del 60% de ejecución. También a los Proyectos 21 de Panamá, 13 de
Colombia, y 27 de República Dominicana. En el caso del Proyecto 31 de Panamá tiene que ver con una
sobreestimación de los costes que acarrearía la intervención —de ahí también la disparidad entre la
ejecución de presupuesto (58%) y de realización de actividades (90% PAC 2, 98% PAC3)— por lo que
habrían de continuarse las medidas correctoras de gestión presupuestaria ya previstas.
24. En relación a la marcha de los Proyectos y la progresión de la eficacia, se recomienda en lo
posible actuar sobre las causas que están afectando más severamente a algún Proyecto de manera
puntual (ej. el Proyecto 36 de Honduras) e impidiendo el satisfactorio desempeño de algunos otros:
Proyecto 5 de Guatemala y 9 de El Salvador para el OE1 ‘Acceso a la educación’; Proyecto 12 de Brasil,
17 de República Dominicana, 18 de Guatemala, 19 de Honduras y 21 de Panamá para el OE2 ‘Calidad
educativa’; Proyecto 26 de Perú, 27 de República Dominicana, 28 de Guatemala, 29 de Honduras y 31 de
Panamá para el OE3 ‘Educación técnica’; y Proyecto 35 de Brasil para ‘Acción pública’. No presentan
problemas de ejecución o perspectivas de incumplimiento de los resultados graves, pero que sí ha de
estarse atento/a para poner los recursos suficientes que permitan colaborar con los equipos en los países
y emprender las medidas correctoras necesarias. Esta recomendación final se realiza sobre la base de
que la ejecución del Convenio se mejorará más aún si cabe y serán alcanzables sus resultados si la
mayoría de los Proyectos es ejecutado de la mejor manera posible en un entorno no siempre favorable,
que —en todo caso— justifica la existencia del Convenio y da sentido a la cooperación para el desarrollo.
70
Anexos
Anexo 1. Relación de Proyectos y número de indicadores
Anexo 2. Fichas de proyectos
Anexo 3. Encuesta para la selección de muestra de Proyectos y tablas de respuestas.
Anexo 4. Estructura general del Convenio
Anexo 5. Objetivos específicos del Convenio y Objetivos generales de los Proyectos
Anexo 6. Cuestionario, tablas de datos y gráficas de encuesta a personal expatriado
71
ANEXO 1. Relación de Proyectos y número de indicadores
Valores detallados
Número
Proyecto
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
País
Bolivia
Perú
Paraguay
R. Dominicana
Guatemala
Haití
Nicaragua
Panamá
El Salvador
Argentina
Bolivia
Brasil
Colombia
Ecuador
Perú
Paraguay
R. Dominicana
Guatemala
Honduras
Nicaragua
Panamá
El Salvador
Regional
Colombia
Ecuador
Perú
R. Dominicana
Guatemala
Honduras
Nicaragua
Panamá
El Salvador
Venezuela
Bolivia
Brasil
Honduras
Nicaragua
Regional
Línea de Acción
1 Acceso educación
1 Acceso educación
1 Acceso educación
1 Acceso educación
1 Acceso educación
1 Acceso educación
1 Acceso educación
1 Acceso educación
1 Acceso educación
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
2 Calidad educativa
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
3 Educación técnica
4 Acción pública
4 Acción pública
4 Acción pública
4 Acción pública
4 Acción pública
Nº de
OE
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
38
Nº de
Indicadores
OE
8
4
4
2
4
2
3
4
3
4
5
5
4
4
4
5
3
2
2
4
2
1
3
3
4
5
3
3
1
3
4
2
3
2
5
2
3
4
129
Nº de
RE
4
2
3
2
2
2
3
2
2
2
4
3
2
4
2
3
5
2
2
4
2
5
4
2
3
2
3
2
3
3
2
2
6
3
4
2
2
2
107
Nº de
Presupuesto
Indicadores
(Costes Directos)
RE
14
605.189
4
314.946
11
793.708
3
207.519
8
209.502
5
175.000
7
309.000
6
178.135
4
297.000
11
150.000 (*)
12
739.139
11
175.000 (*)
8
461.535
16
900.000
7
669.659
10
471.292
16
621.789
8
179.331
4
183.142
13
589.000
6
77.950
13
310.750
16
1.081.200
7
248.465
12
600.000
10
715.395
8
195.692
6
186.167
7
214.380
10
85.000
6
173.915
6
107.250
13
120.000 (*)
7
355.672
19
175.000
5
82.478
6
42.000
9
368.800
344
12.925.000
(*) Costes directos financiados por Ec.
72
Valores por Línea de acción
Número
Proyecto
País
Totales
Porcentajes
Promedios
Línea de Acción
Nº de
OE
Nº de
Indicadores
OE
Nº de
RE
Nº de
Presupuesto
Indicadores
(Costes Directos)
RE
L1
L2
L3
L4
L1
L2
L3
L4
L1
L2
L3
9
14
10
5
24%
37%
26%
13%
1
1
1
34
48
31
16
26%
37%
24%
12%
3,8
3,4
3,1
22
44
28
13
21%
41%
26%
12%
2
3
3
62
151
85
46
18%
44%
25%
13%
6,9
10,8
8,5
3.089.999
6.284.787
2.526.264
1.023.950
24%
49%
20%
8%
4.160.414
4.840.387
23.430.986
L4
1
3,2
3
9,2
3.550.215
73
ANEXO 2. Fichas de Proyectos
Ficha # 1 / Proyecto 1. Bolivia
Ficha # 2 / Proyecto 2. El Salvador
Ficha # 3 / Proyecto 14. Ecuador
Ficha # 4 / Proyecto 15. Perú
Ficha # 5 / Proyecto 18. Guatemala
Ficha # 6 / Proyecto 20. Nicaragua
Ficha # 7 / Proyecto 23. Regional – Federativo
Ficha # 8 / Proyecto 24. Colombia
Ficha # 9 / Proyecto 31. Panamá
Ficha # 10 / Proyecto 35. Brasil
Ficha # 11 / Proyecto 38. Regional – Federativo
74
FICHA # 1. PROYECTO 1 (BOLIVIA)
A) Resumen descriptivo
1. Título: Inserción social, educativa y laboral de población indígena de zonas dispersas de áreas rurales.
2. Proyecto nº: 1
3. Objetivo específico Convenio: 1 Acceso educación
4. País: Bolivia
5. Resumen de la intervención: 69
El proyecto pretende generar las condiciones para la inserción social, educativa y/o laboral de niñas, niños y
jóvenes indígenas de zonas dispersas rurales de Bolivia.
El proyecto se propone trabajar en 4 líneas:
a. Incorporar la formación técnica y la educación laboral a la propuesta pedagógica del modelo de casas
del saber.
b. Promover y recuperar el papel protagónico de las comunidades en la gestión de las casas
adecuándolas a las realidades culturales propias de las zonas de intervención creando las
condiciones para la transferencia completa de la la gestión en al menos 3 Casas.
c. Favorecer el compromiso de las autoridades públicas comunales y municipales con el efectivo
ejercicio del derecho a la educación.
d. Conformar la construcción teórico-práctica del modelo renovado y actualizado generando condiciones
para la réplica (al menos 2 nuevas casas durante la ejecución) y para el reconocimiento a nivel
nacional.
6. Lógica de la intervención: La matriz de planificación de marco lógico del proyecto se resume en la
siguiente tabla:
Obj. General
Contribuir al desarrollo local de áreas Rurales Indígenas de Bolivia a través de la inserción social, laboral y
educativa de su población joven y adulta con altos índices de pobreza
Obj. Específico
1.000 niños/niñas, adolescentes jóvenes desarrollan competencias pertinentes para su inserción en el entorno
sociocultural y productivo en el que viven
RE1
1.000 niños/niñas,
adolescentes y jóvenes hombres y mujeresacceden en la CS a una
formación técnica y una
educación laboral,
funcionales a su contexto.
69
RE2.
Las casas del saber se
gestionan a nivel
administrativo y comunitario
de acuerdo a los usos y
costumbres de las zonas
RE3.
Los actores políticos
locales contribuyen al
funcionamiento de las
Casas del Saber y a la
ampliación de la oferta
educativa técnica de su
municipio
RE4.
La propuesta Casas del
Saber se convierte en
referente de educación
para el desarrollo
comunitario
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
75
B) Análisis valorativo del diseño
7. Coherencia70 de la lógica de intervención: Alta / Mayoritariamente alineada al OE
La lógica de intervención presenta un nivel de coherencia alto entre los niveles de RE y OE, con una salvedad respecto del pleno alineamiento del RE4 con el OE.
1. El RE1 y el RE2 están directamente relacionados con el OE. Ambos actúan en factores que contribuyen al OE. Por un lado el acceso a la formación técnica y educación
labora (RE1) y por otro a la gestión de los centros educativos (RE2).
2. El RE3 está relacionado con factores socioculturales de sostenibilidad del OE, en tanto que la implicación de los actores locales puede ayudar a sostener el proyecto.
3. El R4 está vinculado a factores de sostenibilidad política y, con ello, financiera del proyecto. No obstante, varias de sus actividades tienen un carácter nacional, esto es,
no focalizado en los colectivos beneficiarios y están dirigidas a aprovechar tal estrategia de incidencia pública en aras de reconocimiento y expansión del modelo
educativo contenido en el proyecto, una finalidad no alineada con el OE y el colectivo de beneficiarios en él establecido.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
1.000 niños/niñas,
adolescentes jóvenes
desarrollan competencias
pertinentes para su
inserción en el entorno
sociocultural y productivo en
el que viven.
Enunciado adecuado.
No obstante, no parece realista establecer que el
100% de la cobertura del proyecto, es decir los/as
1.000 niños/as que “acceden” a los 15 centros
actuales más 2 nuevos centros (ver RE1) alcanzan el
nivel de logro especificado en el OE (“desarrollar
competencias pertinentes”).
Los indicadores vienen a confirmar que los datos
finales esperados son menores.
La variable a medir es de un alto nivel de abstracción (“competencias”) y a la vez está calificada
(“pertinentes”), lo cual exige establecer varios indicadores, probablemente cualitativos, para su
correcta comprehensión.
Dos posibilidades no excluyentes:
a) Establecer indicadores directos que midan el desarrollo de competencias en aquellas
áreas/temas que se estimen pertinentes. Implican una batería de técnicas de levantamiento
primario de datos (entrevistas, cuestionarios, pruebas de valoración, etc.).
Establecer indicadores indirectos que pongan de manifiesto el efecto primero del desarrollo de
aquellas competencias relacionadas con la “inserción sociocultural y productiva” al que aparece
ligado en el OE más fácilmente observables. Supone la aplicación de unas herramientas de
seguimiento sobre unas pocas variables clave relacionadas con la inserción laboral71 o el
continuum educativo, por ejemplo. Tales casos laboral deberían ser significativamente mayores
entre los colectivos de beneficiarios respecto de otros colectivos similares sin proyecto.
70
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de generar
el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
71 A cubrir una de estas facetas está dirigida la actividad 1.15. Construir una base de datos capaz de recuperar la trayectoria de inserción de la población que se ha formado en una especialidad técnica.
76
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
R1
1.000 niños/niñas,
adolescentes y jóvenes
acceden en la CS a una
formación técnica y una
educación laboral,
funcionales a su contexto.
Enunciado adecuado.
Compromete un doble resultado: lograr un
determinado volumen de acceso (demanda), y que la
oferta brindada sea funcional a su contexto.
Una de las variables (“acceso”) no es demasiado compleja de medir y existe indicadores
estandarizados para ello (ej. matrícula). La segunda variable es más abstracta y específica al
caso (“educación funcional”).
Esto implicaría establecer dos tipos de indicadores para cada dimensión a lograr:
a) Un indicador que de cuenta de la cobertura lograda, en torno a los 1.000 beneficiarios/as.
b) Un indicador, o varios, que evidencie que la oferta es funcional al contexto y que no sería
sino la expresión en positivo de los problemas específicos detectados en el estudio de línea de
base. Tal diagnóstico de línea de base está, en este caso, incluido dentro de las primeras
actividades del proyecto. En tal situación cabrían dos alternativas, ambas a partir del
procesamiento de información que proporcionaría el propio proyecto:
i) Determinar de antemano qué tipo de especialidad ofertada es adecuada en cada uno de los
centros. Esta información partiría del resultado de las actividades 1.1 a la 1.3. El indicador
verificaría que tales especialidades están disponibles.
ii) Someter a valoración de actores clave las especialidades ofertadas. Esta información
partiría de la actividad 1.15 y 2.5.
R2
Las casas del saber se
gestionan a nivel
administrativo y comunitario
de acuerdo a los usos y
costumbres de las zona
Enunciado adecuado.
A priori, también compromete dos dimensiones de
cambio en el resultado: un nivel administrativo y un
nivel comunitario de gestión.
La variable a medir (“gestión”) podría ser estandarizada en base a los hitos esperables de un
modelo determinado de gestión, que además ha de corresponderse con la calificación de tal
modelo (“de acuerdo a usos y costumbres”).
A priori, establecer dos tipos de indicadores para cada dimensión de la gestión a lograr
(administrativa y comunitaria).
El referenciar el resultado a un tipo de gestión determinada (“de acuerdo a los usos y
costumbres”) obliga a establecer los parámetros de tal modelo de gestión en los dos ámbitos
comentados (administrativo y comunitario).
En función de la complejidad del modelo de gestión, de los problemas específicos
determinados en el estudio de línea de base, y del grado de ambición establecido a tenor de las
actividades, cabrían dos alternativas:
a) Para modelos sencillos: Establecer uno o varios indicadores relativos a hitos formales que
han de cubrirse, tales como por ejemplo, que un número determinado de padres/madres
(desagregado) formen parte de las unidades gestoras de los centros; o que se realizan un
determinado número de reuniones anuales con representantes locales cuyo objeto es
validar/retroalimentar el modelo de gestión.
b) Para modelos complejos: En estos casos, es recomendable:
77
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
i. Fijar algunos hitos clave de la gestión en la que se esperaría un comportamiento acorde a
los usos y costumbres de la zona, huyendo en lo posible de tratar de medir todos y cada uno
de los aspectos de la gestión y su concordancia con el contexto.
ii. Establecer los diferentes estadios (de menos a más deseables) referidos a la gestión para
cada uno de los hitos.
iii. Establecer en base a tales parámetros/niveles los respectivos indicadores de grado.
iv. Desarrollar una herramienta de observación/medición que, para cada hito de la gestión,
permita clasificar las situaciones observadas en sus distintos estadios/grados.
R3
Los actores políticos locales
contribuyen al
funcionamiento de las
Casas del Saber y a la
ampliación de la oferta
educativa técnica de su
municipio
Enunciado adecuado.
Como el resultado (“la contribución de los actores
políticos locales”) tiene una doble finalidad (“el
funcionamiento” y “la ampliación”), cabe a posibilidad
de tener que verificar ambas dimensiones del
cambio.
La variable del resultado (“contribución”) ha de ser medida atendiendo a las diferentes fórmulas
de contribución que sean esperables. Al menos ha de evidenciarse dos tipos: i) aquellas
dirigidas al funcionamiento de los centros; y ii) aquellas otras cuyo destino es la ampliación de
la oferta educativa técnica.
Caben distintas expresiones de tal “contribución” y en cada caso es probable que estén
relacionadas con los problemas de ‘falta de contribución’ establecidos en el estudio de línea de
base (ej. contribuciones financieras y/o en especie, participación de las familias en las juntas de
gobierno, pago a docentes por autoridades locales, etc.).
En todo caso, en este tipo de resultados, es conveniente diferenciar los compromisos de
contribución (ej. convenios, planes), de las contribuciones efectivas (ej. presupuestos
marcados, desembolsos, cesión de personal), correspondiéndose estas segundas con el
resultado nº 3.
R4
La propuesta Casas del
Saber se convierte en
referente de educación para
el desarrollo comunitario.
Enunciado adecuado.
La variable contenida en el resultado (“ser referente”) es de un nivel de abstracción tal que va a
exigir más de un indicador. El no establecer para qué tipo de actores se convertirá el modelo en
referente, deja también abierta la posibilidad de establecer un indicador para cada categoría de
agente.
Como en el caso anterior, caben distintas expresiones que pueden evidenciar que el modelo
educativo del proyecto “es un referente”. Es probable que tengan relación con los problemas
específicos detectados en el estudio de línea de base (ej. desconocimiento del modelo, falta de
amparo legal, etc.).
78
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible72) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y
concreción qué medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación
adecuada o se reporta con base a una fuente
sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta
relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
72
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
79
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
OE
1.000 niños/niñas,
adolescentes jóvenes
desarrollan
competencias
pertinentes para su
inserción en el entorno
sociocultural y
productivo en el que
viven
Inserción socio económica y educativa
IOE.1. Los/as jóvenes promocionados de
una oferta técnica (280) se insertan en:
− Actividades económicas del área rural
acordes a su formación. 5% (año 2), 15%
(año 3) y 20% (año 4).
− Actividades económicas en la ciudad
acordes a su formación: 5% (año 2), 10%
(año 3), 15% (año 4).
− Continúan estudios superiores (técnicos
o universitarios): 2% (año 2), 5% (año 3),
7% (año 4)
Inserción sociocultural y política
IOE2. Al menos el 40% de los adolescentes
jóvenes (280) promocionados de las 8 CS
que ofertan educación técnica explican o
justifican sus conocimientos y habilidades
adquiridos en relación a las necesidades de
desarrollo local.
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. El indicador mide efectos establecidos al nivel del
OE.
Específico: Sí. La inserción en actividades económicas y la
continuidad en estudios superiores son dimensiones concretas y
significativas de la inserción sociocultural y productiva establecida
en el OE.
Medible: Sí. Son establecidas tasas porcentuales, fijado el total al
que aplican y años de evolución de los datos. Recomendable
desagregar por sexo.
FV. Reportes anuales del sistema de
seguimiento a los ex - alumnos.
Utilidad: Sí. La F.V. prevista proveería de
datos para reportar sobre el indicador.
Disponible: No aplica. Todavía no se ha
puesto en marcha el sistema de seguimiento
a ex alumnos/as.
Pertinente: Sí. El indicador mide efectos establecidos al nivel del
OE.
Específico: No.. La capacidad de explicar y justificar
conocimientos y habilidades adquiridos en relación a las
necesidades de desarrollo local no es una variable precisa y
concreta, sino un campo de investigación que, en su caso,
requeriría de técnicas elaboradas de levantamiento y
procesamiento de la información obtenida. En todo caso, cabe la
duda de si el Sistema de Evaluación Continua (SEC) es capaz de
reportar sobre tal indicador.
FV. Reportes del Sistema de Evaluación
Continua.
Utilidad: Dudosa. No queda claro qué aspecto
de la F.V. prevista proveería de datos para
reportar sobre un indicador tan abstracto (no
específico).
Disponibilidad: Sí
Medible: Sí. Son establecidas tasas porcentuales y fijado el total
al que aplican. Recomendable desagregar por sexo.
80
Nivel
R1
Enunciado original
1000 niños/niñas,
adolescentes y
jóvenes -hombres y
mujeres- acceden en
la CS a una formación
técnica y una
educación laboral,
funcionales a su
contexto.
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
IOE3. Hombres y mujeres, niños y niñas,
adolescentes y jóvenes de las 15 CS73
(aprox. 800) refuerzan los referentes
étnico/culturales de su comunidad.
Pertinente: Sí. El indicador mide efectos establecidos al nivel del
OE.
Específico: No. El reforzar los referentes étnico/culturales de su
comunidad no es una variable precisa y concreta, sino un campo
de investigación que, en su caso, requeriría de técnicas
elaboradas de levantamiento y procesamiento de la información
obtenida.
Medible: Dudoso. Es establecido un total absoluto, lo que da a
entender que se alcanzaría en el 100%, algo que no parece muy
realista. Por otro lado, si bien en el último informe de seguimiento
se da cuenta de que el indicador ha sido alcanzado en su PAC
correspondiente, tal indicador no parece muy fiable74. Por último,
es recomendable desagregar por sexo.
FV. Reportes del Sistema de Evaluación
Continua
Utilidad: Dudosa. No queda claro qué aspecto
de la F.V. prevista proveería de datos para
reportar sobre un indicador tan abstracto (no
específico).
.
Disponible: Sí.
Educación técnica
IR1.1 Se forman en una rama técnica 35
adolescentes y jóvenes, en promedio año
por Casa; de los cuales al menos un 40%
son externos a las Casas, favoreciendo
paulatinamente la presencia femenina.
Pertinente: Sí. El indicador mide efectos establecidos al nivel del
RE, es decir, la formación recibida como evidencia del acceso.
Específico: Sí. Se sugiere indicar “asisten a la formación en…” en
lugar de “se forman en…”. La formación —entendida en este caso
como asistencia, no como adquisición de aprendizajes— en
ramas técnicas es una variable específica que suele tener una
verificación estandarizada.
FV.1. Módulos. Formación técnica:
FV.2. Módulos del Competencias laborales
FV.3. Lista de asistencia, por especialidad
Medible: Dudoso. Establecido un promedio por centro. No
especificada la tasa de presencia femenina esperable por año.
Especificar si son 15 CS.
IR1.2. Una Casa por Municipio, abre su
oferta técnica con al menos una
especialidad – que responde a
características socioculturales, vocación
Pertinente: Sí. El indicador mide efectos establecidos al nivel del
RE, es decir, brindar una oferta técnica funcional al contexto.
Específico: No. La apertura de una oferta técnica por centro es
Utilidad: Sí. La FV.3 informaría sobre el IR1.1
en términos de población registrada en la
formación en rama técnica. La FV ha de estar
desagregada por ‘internos/as’ y ‘externos/as’
y por sexo.
Las FV.1 y FV.2 son la expresión de
productos relacionados con los IR1.2 e IR1.3.
En tanto que tales módulos estén
implementándose, y no únicamente editadas,
73
En la pretensión de un lenguaje más directo, se ha eliminado la expresión “gestionadas de acuerdo a usos y costumbres” en referencia a las Casas del Saber. No afecta a la cuestión a medir en el OE, y puede
llevar a confusión en la interpretación del indicador.
74 El carácter de fiable de un indicador alude a que conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias
diferentes. [Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
81
Nivel
Enunciado original
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
productiva y potencialidades de desarrollo-.
A lo largo del 3er y 4to año se amplía
ofreciendo al menos 8 especialidades,
ampliando y diversificando la formación
técnica de dichos contextos.
Atendiendo a su definición
una indicación específica que se corresponde en realidad con el
nivel de actividades. Lo que convertiría tal enunciado en un
indicador es tratar de indicar si tal oferta es adecuada.. Para ello
se recurre a enunciados abstractos (inespecíficos) que el
indicador debería concretar.
Atendiendo a su aplicación / Fuente verif.
sí resultarían adecuadas.
Disponible: Sí (FV.1 y 2.), No aplica (FV.3.,
porque el RE1 no ha sido alcanzado hasta la
fecha).
Medible: Sí. Es necesario especificar el número de CS.
Educación laboral
IR1.3. En las 15 Casas del Saber se
implementan los módulos sobre
competencias laborales de acuerdo a la
edad y grado, bajo dos criterios de calidad:
a) Contextualización de competencias
laborales al medio rural y campesino;
observando las prácticas culturales y el
tratamiento de género; b) Incorporación del
enfoque de género en las competencias.
Sabiendo que en la actualidad no existe
dicha oferta, y considerando que la escuela
centra los procesos de enseñanza en áreas
netamente humanísticas.
Cobertura-Acceso
IR1.4. A partir del 2º año del proyecto 850
niñas/os y jóvenes acceden a propuestas
de formación laboral centradas en
competencias generales y/o formación en
especialidades técnicas. A partir del 3er
año la cobertura para el acceso a estas
modalidades alcanza (internos y externos)
1.000 niños, niñas y jóvenes.
Pertinente: Sí. El indicador mide efectos establecidos al nivel del
RE, es decir, brindar una educación laboral funcional al contexto.
Específico: No. Los módulos implementados están calificados por
dos criterios de calidad que, a su vez, necesitarían de nuevas
variables de medición que los hagan verificables.
Medible: Sí.
Pertinente: Sí. Este indicador es el que más directamente mide
los efectos establecidos al nivel del RE, es decir, el acceso a la
formación técnica y educación laboral.
Específico: Sí. El acceso a la formación es una variable estándar
que puede verificarse directamente (ej. matriculación). El
indicador, no obstante, no califica si se accede a una formación
funcional al contexto, tal y como establece el R1, por lo que sería
necesario un segundo indicador al respecto.
FV.3. Lista de asistencia, por especialidad
Utilidad: Sí. La FV.3 informaría sobre el IR1.1
en términos de población registrada en la
formación en rama técnica. La FV ha de estar
desagregada por sexo.
Disponible: No aplica (FV.3. porque el RE1
no ha sido alcanzado hasta la fecha).
Medible: Sí. Recomendable desagregar por sexo.
R2
Las casas del saber
se gestionan a nivel
administrativo y
I2.1. Las Comisiones gestoras asumen las
dimensiones clave del servicio de la CS
concentrándose en los aspectos:
Pertinente: Sí. Los cambios en el papel de las Comisiones
gestoras es una variable que evidencia los efectos de R2.
Específico: Dudoso. Se detallan los distintos roles que han de
FV.1 Manual de funciones y normas de
funcionamiento
FV.2 Plan de Gestión Participativo (PGP)
82
Nivel
Enunciado original
comunitario de
acuerdo a los usos y
costumbres de las
zonas.
Indicador/es original/es
− Selección de niños/niñas y jóvenes que
ingresan a las CS respetando criterios de
equidad:
o Género: preferencia por la población
femenina
o Socio-económico: pobreza extrema
o Geográfico: procedencia de
comunidades alejadas. Sin acceso a la
educación
o Educativo: sin acceso a la educación
y/o al nivel y grado escolar que le
corresponde.
− Organización y administración de los
servicios que brinda la CS a los
internos/internas y externos (diferenciando
a niños/niñas y jóvenes de comunidades
sede y comunidades circundantes, y al
resto de la población).
− Establecimiento del aporte (dinero y/o
productos y/o trabajo) de las familias de
internos e internas, y el aporte del resto de
la población.
− Liderazgo en procesos de negociación
con las autoridades municipales y los otros
actores vinculados a la CS.
I2.2. El 3ª año se identifica al menos una
CS potencialmente transferible a la
Comisión Gestora. Al finalizar el proyecto
se han transferido 3 Casas
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
jugar las Comisiones gestoras, pero no de una manera específica
que permita registrarlos de manera unívoca y estandarizada para
todas las situaciones y centros. Tales roles necesitarían, a su vez,
de nuevas variables de medición que los hagan verificables.
Medible: No. No especifica para cuántos casos (centros) es
esperable el indicador, ni en que grado (uno o todos los aspectos
de gestión de la Comisión gestora).
Pertinente: Sí. La potencial capacidad de la Comisión gestora
para asumir la gestión de un centro es una variable que evidencia
los efectos de R2.
Específico: Sí. No obstante, conviene acotar los términos
“transferible” y “transferidas” (¿la titularidad, toda la gestión, solo
una parte de la gestión, por ejemplo, la selección, las finanzas o
las relaciones con autoridades?)
Atendiendo a su aplicación / Fuente verif.
FV.3 Reportes del SEC sobre el perfil de
población inscrita por año.
Utilidad: Dudoso. Las FV.1 y FV.2
documentan la existencia de productos
relevantes para la gestión, pero no que se
estén efectivamente aplicando los aspectos
de gestión implementados por las Comisiones
gestoras. La FV.3 probaría el respeto por los
criterios de equidad en la selección, pero no
su aplicación por la Comisión gestora.
En el tercer informe de seguimiento se aporta
una nueva FV.
FV 07: Participación de Comisiones Gestoras
(Criterios de selección de participantes,
estructura de organización interna, plan de
trabajo de la comisión gestora, fotografías,
etc.)
No queda claro si es un compendio de
registros y documentos que dan cuenta del
papel de las Comisiones gestoras, o si por el
contrario la información está procesada para
poder alimentar el indicador de una manera
verificable.
Disponible: Sí. Para las FV.1 y FV.2 están
disponibles productos similares.
FV.2 Plan de Gestión Participativo (PGP)
Utilidad: Dudoso. No queda claro si la FV.2
reportaría sobre los centros que estarían en
condiciones de ser transferidos.
Disponible: No aplica. El indicador está
previsto para los años 3 y 4.
83
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Medible: Sí. Especificadas para cuántos casos (centros) por año.
I2.3. Desde el primer año y a lo largo del
proyecto la población retroalimenta el
currículo de educación técnica y educación
para el trabajo (Diálogos comunitarios).
Pertinente: Sí. La retroalimentación que pudiera realizar la
población de la zona es una evidencia del tipo de gestión
establecido en el R2.
Específico: No. No especifica qué actores de la población, ni en
qué términos se considera que se produce tal retroalimentación.
Es la expresión de una actividad cuya realización no bastaría para
evidenciar que se ha producido una retroalimentación efectiva del
currículo.
Medible: No. No especifica para cuántos casos (centros) es
esperable el indicador, ni para qué tipo de actores.
I2.4. A partir del 2 año y a lo largo del
proyecto la población de las zonas de
incidencia acceden al menos a una oferta
de formación y/o servicio promovido
desde la Casa (sobre la base de un
diagnóstico de demandas de la población)
R3
Los actores políticos
locales contribuyen
al funcionamiento de
las Casas del Saber y
a la ampliación de la
oferta educativa
técnica de su
municipio
I3.1. Se establecen compromisos con
gobiernos municipales y/o departamentales
para la manutención de las Casas. Y a
partir del segundo año, los Gobiernos
locales/departamentales cubren:
− Los costes de alimentación (sabiendo
que el aporte de los padres/madres de
familia en este rubro cubre en promedio no
más de un 15% de las necesidades) y de
servicios básicos (agua, luz, gas, etc.)
Pertinente: Sí. La apertura del centro a la comunidad de
referencia es una evidencia del tipo de gestión establecido en el
R2.
Específico: Sí.
Medible: Dudoso. No especifica pero se sobreentiende que es
para todos los centros afectados por el proyecto. No queda claro
cuánta y qué tipo de población, y cómo se medirá el acceso
efectivo. Se recomienda delimitarlo a que se “tiene la posibilidad
de acceder…”, ya que en caso contrario habría que especificar el
acceso real.
Pertinente: Sí. En todo caso, está más directamente relacionado
con el R3 el aspecto referido a la contribución efectiva (costes
cubiertos) que el establecimiento previo de compromisos que han
de hacerse posteriormente efectivos.
Específico: Sí.
Medible: Sí.
En el tercer informes de seguimiento se
aporta una nueva FV:
FV 08: Documento de ajustes técnicos a
curricula, documento de ajustes a propuestas
de formación
Utilidad: Sí. Bajo el supuesto de que el
documento aporte los elementos no
especificados en el indicador (Ver ‘específico’
y ‘medible’)
Disponible: Sí.
Utilidad: Dudoso. Bajo el supuesto de alguna
de las FV (tal vez la FV.1 Manual de
funciones y normas de funcionamiento)
especifique cuántos centros y qué tipos de
servicios están abiertos a la comunidad de
referencia. En todo caso, es conveniente
disponer de un documento que procese la
información específica para alimentar este
indicador.
Disponible: Dudoso. En función de las
observaciones arriba mencionadas.
Utilidad: Sí.
Disponible: Sí. Se aportan diversas actas y
presupuestos. En todo caso, es recomendable
procesar la información para dar cuenta de
para qué centros, por quienes y en qué
porcentaje se están cubriendo los costes y
gastos previstos en el indicador.
84
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
− Gastos Producción de Pequeña Escala
I3.2. Se cuenta en los seis municipios de
intervención con el compromiso de los
gobiernos municipales de cubrir el salario
de los maestros técnicos. A partir del 2º
año y hasta finalizar el proyecto, los
salarios de los/as maestros/técnicos son
cubiertos por los gobiernos municipales
R4
La propuesta Casas
del Saber se convierte
en referente de
educación para el
desarrollo comunitario
I4.1. Se cuenta con el reconocimiento legal
como Centros de Educación Alternativa
Permanente, lo que permite obtener ítems
para educadores
Pertinente: Sí. En la medida en que el reconocimiento legal sea,
sobre todo, un efecto derivado del proyecto y no tanto derivado de
otras acciones institucionales fuera del mismo o de la notoriedad
previa de la institución local gestora de los centros.
Específico: Sí.
Medible: Sí.
Utilidad: Sí.
Disponible: No aplica. El R4 no ha sido
alcanzado hasta la fecha. Según el último
informe de seguimiento, está en preparación
un borrador elaborado con el Ministerio del
ramo.
I4.2. Se difunden - en los municipios
demandantes con potencial de desarrollo y
altos niveles de pobreza- los criterios de
calidad que deben guiar la réplica de la
propuesta en los nuevos escenarios
Pertinente: No. El indicador da cuenta de una actividad o medio
para lograr el R4, pero no contiene variables que evidencien que
tal RE se esté logrando en este aspecto particular.
Específico: No. Es necesario concretar los términos de la difusión,
que puede comprender desde aspectos puntuales y esporádicos
(un actor, un evento) hasta más sistemáticos (varios actores,
varios eventos).
Medible: Sí. Sujeto a la cantidad de municipios demandantes.
Utilidad: Sí.
Disponible: Sí. Disponible la FV:
FV 12: Gestiones y difusión en
departamentales
En todo caso, es recomendable procesar la
información para dar cuenta de en qué
municipios, con quienes y bajo qué
modalidades se ha producido la difusión.
I4.3. Al finalizar, 2 municipios de pobreza
extrema y con potencialidades productivas
replican la propuesta CS
Pertinente: Sí. El indicador podría resultar en una evidencia de
que el modelo es reconocido y considerado en otras zonas. Es
con probabilidad la manifestación de la actividad que está detrás
del indicador anterior, y en ese sentido sí representaría un cambio
que identifica el logro del resultado.
Específico: Sí.
Medible: Sí.
Utilidad: Sí.
Disponible: No aplica. El indicador está
previsto para el año 4.
85
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV R 1
FV 01 Diagnósticos Socio culturales y Productivos
FV 02 Módulos Curriculares Formación Técnica
FV03 Planes Curriculares
FV04 Estadísticas Cobertura por Región
Relevancia dudosa. Necesario procesar.
Relevante
Relevante
Relevante
No relevante.
FV R 2
FV05 Planificación, memorias y fotos de 15 procesos de formación
realizadas
FV06 Actas y fotos de conformación de las Comisiones Gestoras en CDS.
FV07 Planes de gestión participativa de 15 CDS
FV R 3
FV 08 Convenios con 6 municipios de intervención
FV 09 Actas y Fotos Municipios
Relevante
Relevante/ No relevante (fotos).
FV R 4
FV10 Documentación sobre incorporación y replicara del modelo CDS en
Boyuibe
Relevante
No relevante.
Relevancia dudosa. Necesario procesar.
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01: Normas y Reglamentos
FV 02: Reportes del SEC (Sistema de Evaluación Contínua)
FV 03: Mallas Curriculares
No relevante (a este nivel).
Relevancia dudosa. Necesario procesar
No relevante (a este nivel).
FV R 1
FV 04: Documentación construcciones (Actas entrega, conformidad
comunidad, planos, etc.)
FV 05: Fotografías de equipamiento y actas de entrega
FV 06: Memorias de Talleres de Competencias laborales
No relevante.
No relevante.
Relevancia dudosa. Necesario
procesar.
Relevancia dudosa. Necesario procesar
FV R 2
FV 07: Participación de Comisiones Gestoras (Criterios de selección de
participantes, estructura de organización interna, plan de trabajo de la
comisión gestora, fotografías, etc.)
FV 08: Documento de ajustes técnicos a curricula, documento de ajustes a
propuestas de formación
FV R 3
FV 09: Presupuestos municipales o actas de acuerdos
FV 10: Presupuestos y Actas de acuerdos para aportes salariales
Relevante. Necesario procesar
Relevante. Necesario procesar
FV 11: Reglamento de la propuesta de las CDS elaborado con el ministerio
de educación (Borrador)
FV 12: Gestiones y difusión en departamentales
Relevante.
FV R 4
Relevante. Necesario procesar.
No relevante.
86
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 75%
−
Presupuestado: 500.546,48 euros
−
Ejecutado: 373.930,19 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC2: 63%
−
PAC3: 70%
87
FICHA # 2. PROYECTO 9 (EL SALVADOR)
A) Resumen descriptivo
1. Título: Mejora de la permanencia en el sistema formal de educación de menores y jóvenes vulnerables
2. Proyecto nº: 9
3. Objetivo específico Convenio: 1 Acceso educación
4. País: El Salvador
5. Resumen la intervención: 75
Facilitar el acceso y la permanencia en el sistema educativo a menores y jóvenes en riesgo social de ocho
centros educativos (El Rodeo I, Ashuquema, San Rafael, San Nicolás, San Luis La Planta, San Miguel, San
José Las Flores y CET Zacamil). El proyecto se propone trabajar en 3 aspectos:
e. Para siete centros: Mejorar los espacios físicos de 5 centros según la normativa del sistema educativo
salvadoreño y se dotar de mobiliario adecuado a otros 2 centros. Esto mejoraría las condiciones de
acceso y continuidad educativa de los estudiantes.
f.
Para el CET Zacamil: Desarrollar un programa de formación complementaria al sistema formal (dotar
con recursos lúdicos y pedagógicos, apoyar a los centros con actividades deportivas, artísticas y
lúdicas). Desarrollar un programa de refuerzo escolar en el CET Zacamil, que contribuirá a que mejoren
los resultados de los/as alumnos/as en centros de su entorno a donde asisten a sus clases regulares.
g. Para el CET Zacamil: Apoyar a educadores y educadoras sociales con formación psicopedagógica y
mejora de sus competencias para trabajar en un contexto marcado por el conflicto y el riesgo social de
la población que asiste al centro. Realizar visitas a las familias de la población que acude al centro para
incluirlas en las actividades de desarrollo comunitario en el entorno del centro.
6. Lógica de la intervención:
La matriz de planificación de marco lógico del proyecto se resume en la siguiente tabla:
Obj. General
Mejoradas y ampliadas las condiciones de acceso a la educación (básica y media) y la formación
complementaria para menores y jóvenes vulnerables de 8 acciones educativas en la zona rural y urbana.
Obj. Específico
Facilitar la permanencia en el sistema formal de educación a 4.533 menores y jóvenes vulnerables a través de
una oferta de educación integral.
75
RE1.
RE2.
Los alumnos y alumnas de 5 acciones educativas
beneficiarias reciben clases en espacios físicos
adecuados de acuerdo a la normativa del sistema
educativo nacional.
En las 8 acciones educativas se desarrolla un
programa alternativo de formación complementaria al
sistema formal de educación y dotación escolar para
fomentar la asistencia y la continuidad del alumnado en
el sistema formal de educación.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
88
B) Análisis valorativo del diseño
7. Coherencia76 de la lógica de intervención: Baja / No alineada al OE
La lógica de intervención presenta un nivel de coherencia bajo entre los niveles de RE y OE. Independientemente de que la permanencia resulte ser o no el problema focal
identificado y posteriormente trasladado como OE, o de que esté más o menos fundamentada la ‘teoría del programa’ por la cual mejores espacios físicos (RE1) y la
formación complementaria (RE2), con su dotación escolar, fomentan la permanencia escolar (OE), tenemos que:
1. Los RE no actúan de manera coincidente para los mismos centros y misma población. La realización de actividades relacionadas con solo uno de los dos RE no sería
suficiente de cara al garantizar la consecución del OE. Esto es, el proyecto en realidad actúa para materializar, en cada grupo de centros, los dos RE respectivos pero no
tiene visos de atribuirse el OE como un logro realizable.
2. En la práctica, en un mismo proyecto y bajo el paraguas de atajar la deserción (permanencia), han sido sumadas dos acciones expresadas como RE: i) obras de
acondicionamiento (RE1); y ii) oferta de clases extraescolares o cursos complementarios para la prevención y el buen uso del tiempo libre (RE2).
Lo anterior significa que aunque en los apartados siguientes se valore el enunciado particular de los OE y RE, así como sus indicadores y fuentes de verificación, con toda
probabilidad el OE: a) o bien no será alcanzado en los términos formulados; b) o bien, de serlo, su consecución responderá a otros factores no recogidos en lo RE.
Por otro lado, el OG actúa como resumen de la intervención, siendo así que el OE es más ambicioso que el OG.
Al margen, respecto al alcance, señalar que no hay concordancia entre el número de centros afectados en el RE1 en las distintas partes del Documento de proyecto.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
Facilitar la permanencia en el sistema
formal de educación a 4.533 menores y
jóvenes vulnerables a través de una
oferta de educación integral.
Análisis crítico
Enunciado adecuado, si bien formalmente sobraría la expresión
“a través de una oferta de educación integral” que, por otro lado,
tampoco se corresponde con las medidas reflejadas en los
niveles inferiores de la lógica de intervención.
Como tal, el OE no parece realista a la luz de los comentarios del
punto 7 anterior.
Consecuencias para el establecimiento de indicador/es
La variable a medir (“permanencia”) tiene su correspondencia con
indicadores estandarizados en educación. Dos posibilidades no
excluyentes pasan por establecer indicadores referidos a los efectos del
proyecto en:
b) La permanencia del colectivo beneficiario en el centro escolar (“no
deserción”) durante su escolarización.
c) La permanencia del colectivo beneficiario en el sistema educativo
(“continuidad educativa”). Este segundo indicador entraña más
complejidad por cuanto requiere del manejo de información no siempre
76
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de generar
el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
89
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
disponible para los casos de egresados/as que dejan el centro educativo
del proyecto para asistir a otros centros.
RE1
Los alumnos y alumnas de 5 acciones
educativas beneficiarias reciben clases
en espacios físicos adecuados de
acuerdo a la normativa del sistema
educativo nacional.
Enunciado adecuado.
Establecer la pauta de valoración de los espacios físicos como
adecuados, algo que debe tomar como referencia la normativa del
sistema educativo nacional al respecto.
RE2
En las 8 acciones educativas se
desarrolla un programa alternativo de
formación complementaria al sistema
formal de educación y dotación escolar
para fomentar la asistencia y la
continuidad del alumnado en el sistema
formal de educación
Enunciado no adecuado.
Se resume un programa (“se desarrolla un programa alternativa
de formación complementaria… y dotación escolar”), cuando
debería especificarse el resultado del mismo (ej. “menores
matriculados en los centros participan en clases extracurriculares
o talleres complementarios….”), dando por supuesto que la
dotación escolar es necesaria para la formación.
Como una nota al margen, el RE expresa el fin al que contribuye
(“asistencia y continuidad”), que por otro lado no está expresado
en los mismos términos que el contenido en el OE
(“permanencia”), si bien pueden entenderse como sinónimos.
Especificar la población beneficiaria.
El RE no expresa ninguna calificación que haga complejo el indicador,
por lo que solo tendrán que dar cuenta de la población beneficiaria de la
formación complementaria. Es en el OE en donde se pondría de
manifiesto qué influencia ha tenido esta estrategia de formación sobre la
permanencia de esta población en el sistema escolar.
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible77) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
77
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
90
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y
concreción qué medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación
adecuada o se reporta con base a una fuente
sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta
relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
OE
Facilitar la
permanencia en el
sistema formal de
I1.OE. El 75% de las alumnas y alumnos
de 7 centros escolares (38.5% niños y
36.5% niñas) y que participan en el
Pertinente: Sí. Los tres indicadores miden efectos establecidos al
nivel del OE, bien como continuidad educativa en cursos
superiores, bien como reducción de la deserción. Ambos efectos
Atendiendo a su aplicación / Fuente verif.
Utilidad: Sí. Han sido previstas numerosas
fuentes, más de las necesarias. Las
relevantes serían:
91
Nivel
RE1
Enunciado original
Indicador/es original/es
educación a 4.533
menores y jóvenes
vulnerables a través
de una oferta de
educación integral.
programa de formación complementaria
continúan sus estudios el año siguiente.
I2.OE. Al final del proyecto, el 95% de
alumnas/os atendidas/os en el CET
Zacamil (40% niños y un 60% niñas) y que
participan en el programa de formación
complementaria (refuerzo escolar)
aprueban el curso y continúan sus
estudios en el grado superior.
I3.OE. Al finalizar, el índice de deserción
de 1º a 2º ciclo es del 12%, con una
reducción del 5% respecto a la línea de
base; y el índice de deserción de 1º ciclo a
3er ciclo ha disminuido a 29% en 7 centros
escolares miembros de la Red Fe y
Alegría. La proporción de deserción es de
50% en niñas y niños.
Los alumnos y
alumnas de 5
acciones educativas
beneficiarias reciben
clases en espacios
físicos adecuados de
acuerdo a la normativa
del sistema educativo
nacional.
IR1. 1.737 alumnos (882 niños y 855 niñas)
recibirán clases en mejores condiciones
de enseñanza y de esparcimiento
recreativo en condiciones adecuadas.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
pueden tomarse como evidencias que expresan la “permanencia
en el sistema formar de educación” que determina el OE.
Específico: Sí.
Medible: Sí. Son establecidas tasas porcentuales, fijado el total al
que aplican. Desagregados datos por sexo.
Por otro lado, se sospecha que los datos del I3 provienen de
estadísticas a nivel nacional, no de los centros implicados, por lo
que serían datos no adecuados para medir los avances del
proyecto.
Atendiendo a su aplicación / Fuente verif.
- Para el I1 y el I3: Reportes estadísticos de
los centros escolares presentados al
Ministerio de Educación o similar.
- Para el I2. Cuadro resumen de los registros
de notas de los alumnos y alumnas o similar.
Disponible: Sí (indicadores I1 y I2), No
(indicador I3)
Finalmente las FV aportadas en el último
informe de seguimiento anual reportaban
sobre el indicador I1:
FV 01. Matrículas iniciales y finales de los
centros
FV 02. Muestra de listados de participantes
de los talleres.
Se dispone además de una FV para el I2 pero
que no sirve para informar por completo sobre
él:
FV 03. Muestra de las fichas de inscripción.
Pertinente: Sí. El indicador está referido al mismo fenómeno que
el reflejado en el RE1.
Específico: No. El indicador, en la práctica, es la misma expresión
bajo otro enunciado del RE. No especifica ni concreta a qué
mejores condiciones se refiere. La dificultad del indicador se
deriva de considerar como un RE acciones individuales de obras
y remodelaciones a demanda que cubren algún tipo de déficit
particular en cada centro del proyecto (servicios sanitarios,
techos, etc.)
Utilidad: Dudoso. Han sido previstas
numerosas fuentes, más de las necesarias,
referidas bien al alumnado (estadísticas y
cuadros de análisis), bien a las obras
(diseños, audiovisuales y comprobantes de
pagos). Las primeras van dirigidas a totalizar
el número de beneficiarios, mientras que las
segundas demostrarían que tales obras han
sido realizadas. Ninguna fuente verifica que
las obras son las adecuadas para disponer de
espacios adecuados en los que recibir clases
“de acuerdo a la normativa del sistema
educativo nacional”, tal y como establece el
RE. No obstante, en el último informe de
Medible: Dudoso. Se cuantifica el número de beneficiarios pero al
no ser un indicador específico no se sabe qué aspectos concretos
medir para tal población.
92
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
seguimiento se aporta una FV que podría dar
cuenta de este último aspecto.
FV.04.Informes finales obras
Disponible: Dudoso.
RE2
En las 8 acciones
educativas se
desarrolla un
programa alternativo
de formación
complementaria al
sistema formal de
educación y dotación
escolar para fomentar
la asistencia y la
continuidad del
alumnado en el
sistema formal de
educación.
I1R2. El 50% de los estudiantes de
matriculados de 4º a 9º grado (27% niños y
23% niñas) y bachillerato participan en
cursos complementarios fuera de su
horario escolar, que contribuye al uso al
uso adecuado del tiempo libre del niño/a o
joven.
Pertinente: Sí. El indicador da cuenta de acciones comprometidas
en el RE.
Específico: Sí. En todo caso se sugiere concretar el término
“participar”. Se sugiere sustituir por “están matriculados”. El hecho
de “participar” podría requerir de más especificaciones (ej: desde
asistir un número determinado de sesiones mínimo, hasta tener
que medir el rol más o menos activo de los/as participantes).
Se sugiere eliminar la expresión “que contribuye al uso adecuado
del tiempo libre del niño/a o joven” o, en caso contrario,
establecer mecanismos de valoración de tales efectos.
Medible: Sí. Sobre la base de “alumnos/as matriculados/as”.
I2.R2. El ambiente de aprendizaje del
100% de alumnas y alumnos de 4º a 9º
grados de 8 acciones educativas es
mejorado a través de la dotación de
recursos lúdicos y pedagógicos con lo
cual se contribuye a la permanencia del
alumnado en el aula.
Pertinente: No. El indicador da cuenta de una de las actividades
previstas para la consecución del RE.
Específico: No. Se entiende que el ambiente de aprendizaje será
valorado como mejor si ha sido dotado de recursos lúdicos y
pedagógicos, pero no se especifica cuál es la dotación de
recursos adecuada para entender que se dispone de un ambiente
de aprendizaje adecuado.
Se sugiere eliminar la expresión “con lo cual se contribuye a la
permanencia del alumnado en el aula” o, en caso contrario,
establecer mecanismos de valoración de tales efectos.
Utilidad: Sí. Han sido previstas numerosas
fuentes, más de las necesarias, por cuanto
algunas se refieren a la realización de las
actividades.
Disponible: Dudoso. En el último informe de
seguimiento anual la FV aportada está
limitada a una muestra:
FV.02.Muestras de listados de participantes
en talleres
Seria deseable disponer, más que de la
totalidad de un procesamiento estadístico de
los/as participantes matriculados o asistentes
a los cursos:
Utilidad: No. La FV prevista da cuenta gráfica
de la dotación de recursos, pero no es útil
para valorar la adecuación de los mismos de
cara al ambiente de aprendizaje (indicador).
Disponible: Sí. En el último informe de
seguimiento anual la FV aportada son
fotografías.
Medible: Sí. Recomendable desagregar datos por sexos.
I3R2. Cada año un 95% de los/as
estudiantes que comienzan el programa
Pertinente: No. El indicador da cuenta del cambio comprometido
en el OE. De hecho es un indicador similar al I2.OE.
Utilidad: Sí. Las dos FV previstas tienen a
priori capacidad de informar sobre la
93
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
de refuerzo escolar del CET Zacamil (60%
niñas y 40% niños) continúan asistiendo
al mismo al final del periodo y a sus
respectivos centros escolares donde
reciben sus clases normales (Centro
escolar San Alfonso, Escuela Oriental del
Uruguay y Centro escolar Miguel Pinto).
Específico: Sí.
Medible: Sí. Son establecidas tasas porcentuales, fijado el total al
que aplican. Desagregados datos por sexo.
Atendiendo a su aplicación / Fuente verif.
asistencia escolar.
FV1.I2) Listados de inscripción del alumnado
que participa en los programas
FV2.I2) Registros de notas y promedios de los
alumnos y alumnas.
Disponible: No. En el último informe de
seguimiento anual las FV aportadas son
muestras de inscripción y asistencia, pero no
se dispone de una tabla que recoja la
asistencia final tanto al programa del CET
Zacamil, como a los centros de procedencia,
cuyo contraste interesa al indicador.
FV 03. Muestra de las fichas de inscripción.
FV.08. Muestra de hojas de asistencia.
94
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
1. Estadísticas centros
2. Participantes en talleres
3. Fotografías
4. Hojas inscripción del CET Zacamil
5. Diplomas del CET Zacamil
6. Asistencias al CET Zacamil
FV OE y
RE2
Valoración
(relevancia para el indicador previsto)
Relevante.
Relevante. Necesario procesar.
No relevante
No relevante.
Relevante. Necesario procesar
Relevante.
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01. Matrículas iniciales y finales de los centros
FV 02. Muestra de listados de participantes de los talleres
FV 03. Muestra de las fichas de inscripción.
Relevante.
No relevante (a este nivel)
No relevante (a este nivel).
FV RE1
FV.04.Informes finales obras
Relevante.
FV RE2
FV 02. Muestra de listados de participantes de los talleres
FV.05.Fotografías
FV.06.Muestra de Constancias de entrega
FV.07.Fotografías
FV 03. Muestra de las fichas de inscripción.
FV.08. Muestra de hojas de asistencia
FV.09.Fotografías
FV.10.Muestra de hojas de visita a las familias
Relevancia dudosa (muestra).
No relevante
Relevancia dudosa (muestra)
No relevante.
Relevancia dudosa (muestra)
Relevancia dudosa (muestra)
No relevante.
No relevante
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 74%
−
Presupuestado: 180.257 euros
−
Ejecutado: 133.443 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 78%
−
PAC 3: 97%
95
FICHA # 3. PROYECTO 14 (ECUADOR)
A) Resumen descriptivo
1. Título: Mejorar la calidad de la educación popular en 29 centros que atienden a alumnos y alumnas en
situación de vulnerabilidad.
2. Proyecto nº: 14
3. Objetivo específico Convenio: 2 Calidad educativa
4. País: Ecuador
5. Resumen de la intervención: 78
El proyecto pretende mejorar la calidad de la educación popular en 29 centros que atienden a más de 11.000
alumnos/as en situación de vulnerabilidad en la sierra y la costa de Ecuador.
El proyecto se propone trabajar en 4 componentes del proceso educativo:
h. La conformación y fortalecimiento de equipos directivos en centros, revirtiendo el carácter administrativo
de estos equipos y orientando su rol hacia la gestión de los procesos educativos vitales del centro.
i.
La planificación institucional del centro y la gestión de esta planificación para que la gestión educativa
se articule y priorice en función de las más importantes debilidades.
j.
El mejoramiento de los aprendizajes esenciales (lectura-expresión y pensamiento lógico -matemático)
en respuesta a los resultados obtenidos en las evaluaciones de línea de base institucionales y del país
que revelan un preocupante déficit en este campo
Finalmente, se complementará este esfuerzo de transformación de los procesos educativos con un
componente de acción para la incidencia en políticas públicas, para que cada vez más sea el Estado quien se
responsabilice de dar acceso y mantener una educación de calidad.
6. Lógica de la intervención: La matriz de planificación de marco lógico del proyecto se resume en la
siguiente tabla:
Obj. General
Contribuir a la transformación social de las comunidades del ámbito de influencia de los 29 centros, a través de una educación
popular de calidad que responda a las necesidades de los destinatarios y que contribuya al desarrollo de sujetos libres, activos y
conscientes con capacidades para incidir en la mejora de su calidad de vida y de su comunidad
Obj. Específico
Mejorar la calidad de la educación popular en 29 centros que atienden a población escolar vulnerable en la sierra y la costa.
RE1
Desarrollada una
propuesta de formación y
conformación de equipos
directivos en 29 centros
educativos.
78
RE2.
Desarrolladas las
propuestas pedagógicas
de lectura y expresión y
pensamiento lógicomatemático en 29 centros
educativos.
RE3.
Fortalecido el sistema de
mejora de la calidad de la
educación popular en 29
centros.
RE4.
Desarrollada una propuesta de
acción pública que promueve en el
país el derecho a una educación de
calidad para todos.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
96
B) Análisis valorativo del diseño
7. Coherencia79 de la lógica de intervención: Medio-alta / Mayoritariamente alineada al OE
La lógica de intervención presenta un nivel de coherencia medio-alto entre los niveles de RE y OE, afectada por el bajo alineamiento del RE4 con el OE.
3. El RE1 y el RE2 están directamente relacionados con el OE. Ambos actúan en factores que contribuyen al OE, bien de gestión directiva, bien mejora de la educación
docente en aula en materias clave.
4. El RE3 es la traducción a nivel país de ciclo de evaluación-planes de mejora-sistematización alineado también al OE (calidad educativa) y que da cuenta, entre otros
muchos, de los dos elementos anteriores (gestión directiva, resultados académicos en lecto-escritura y matemáticas). De alguna manera, el RE3 opera como un medio
para evaluar, proponer mejoras a nivel de centros educativos y sistematizar experiencias sobre múltiples elementos que conforman la calidad educativa, mientras que los
RE1 y RE2 actúan sobre dos de ellos. En ese sentido, la coherencia del RE3 en el proyecto está supeditada a que actúe en los mismos centros y, al menos
mayoritariamente, con el mismo personal que los RE1 y RE2.
5. El R4 está vinculado a factores de incidencia pública que no tiene coherencia lógica en el proyecto. No es explícita su contribución al OE. Por la temática y finalidad
propia, es probable que encajase mejor en otro proyecto ad hoc.
Como nota al margen, es conveniente acotar el OG a aquél efecto principal al que contribuye el OE.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
Análisis crítico
Mejorar la calidad de la
educación popular en 29
centros que atienden a población
escolar vulnerable en la sierra y
la costa.
Enunciado adecuado, si bien la fórmula “mejorar la calidad” es polisémica y
da lugar a múltiples manifestaciones.
Es recomendable concretar en qué dimensiones de la calidad se espera
que se produzca la mejora a este nivel, independientemente de que para
lograrlo habrán de producirse mejoras en otros aspectos que hacen a la
calidad educativa y sobre los que actuarían los RE en el nivel inferior de la
lógica de intervención.
Consecuencias para el establecimiento de indicador/es
La variable a medir es la “calidad de la educación popular”80. El
proyecto toma los resultados académicos en la población
escolarizada como la manifestación final de un proceso educativo
de calidad. De ser así, como apuntábamos en la columna anterior,
sería más exacto enunciar el OE en estos mismos términos, y los
indicadores, por lo tanto, apuntarían hacia la medición de la mejora
en ese ámbito académico.
79
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de generar
el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
80
Según el modelo establecido por la organización, la calidad tendría múltiples dimensiones: i) a nivel de resultados en la población escolarizada (académicos y en valores); ii) en los procesos de enseñanza y
gestión escolar; iii) disponer de los recursos educativos que los hacen posible y hacer un uso eficiente de los mismos; y iv) por último, en la pertinencia socioeconómica de la población atendida, en tanto que la
opción por las personas más vulnerables es una condición sine qua non de la “educación popular”.
97
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
RE1
Desarrollada una propuesta de
formación y conformación de
equipos directivos en 29 centros
educativos.
Enunciado no adecuado.
Es la expresión sumaria de la realización de las actividades del R1, pero no
la expresión del efecto de ellas como resultado. Presumiblemente, la opción
correcta pasaría por poner en valor el resultado de las mejoras alcanzadas
con los equipos directivos como sujetos principales del RE1. Al respecto,
ver enunciado del RE1 en proyecto similar nº 15 de Perú.
El indicador ha de establecer con más claridad los términos del
efecto que es esperable en este RE1, y que el enunciado del propio
RE no ha aclarado.
Afirmaciones como “se ha desarrollado / desarrollado /
implementado” nos dicen qué es lo que se ha hecho a nivel de
actividades, resumiéndolas, pero no qué es aquellos que ha sido
logrado, que es lo que nos interesa a nivel de resultados. En
general, tales planteamientos llevan a que sean los indicadores los
que han de enunciar los cambios (ej. equipos directivos formados)
que deberían figurar en la concreción de los resultados. De esta otra
forma, los indicadores jugarían su verdadero papel: expresar la
manera de medir si tales cambios se han producido (en nuestro
caso, si los equipos directivos han sido formados, como por
ejemplo, estableciendo en el indicador cuántos han superado una
determinada prueba de conocimientos o práctica).
RE2
Desarrolladas las propuestas
pedagógicas de lectura y
expresión y pensamiento lógicomatemático en 29 centros
educativos.
Enunciado no adecuado.
Al igual que en el caso anterior, es la expresión sumaria de la realización de
las actividades del R2, pero no su expresión como resultado.
Presumiblemente, la opción correcta pasaría por poner en valor el resultado
de las mejoras alcanzadas con los/as docentes como sujetos principales del
RE2. Al respecto, ver enunciado del RE2 en proyecto similar nº 15 de Perú.
Al igual que en el caso anterior, el indicador ha de establecer con
más claridad los términos del efecto que es esperable en este RE1,
y que el enunciado del propio RE no ha aclarado.
RE3
Fortalecido el sistema de mejora
de la calidad de la educación
popular en 29 centros.
Enunciado adecuado.
El indicador ha de descomponer los elementos que evidencian en
qué aspectos concretos se ha producido el ‘fortalecimiento’ previsto
en el RE3.
RE4
Desarrollada una propuesta de
acción pública que promueve en
el país el derecho a una
educación de calidad para todos.
Enunciado no adecuado.
Al igual que en los casos del R1 y R2, es la idea que resume la realización
de las actividades del R4, pero no la expresión del efecto de ellas como
resultado. Presumiblemente, la opción correcta pasaría por poner en valor
el resultado de las mejoras alcanzadas en términos de incidencia pública;
pero se entiende que este resultado es el punto de partida de una línea de
trabajo sobre la que ha costado realizar una proyección a futuro y sobre la
que todavía sería necesario construir consensos y documentos marco.
El indicador estará al menos comprometido a mostrar evidencias de
tal “acción pública” y de que la “promoción de la educación de
calidad para todos” es el leitmotiv principal.
98
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible81) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y
concreción qué medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación
adecuada o se reporta con base a una fuente
sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta
relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
81
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
99
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
Enunciado original
Indicador/es original/es
OE
Mejorar la calidad de
la educación popular
en 29 centros que
atienden a población
escolar vulnerable en
la sierra y la costa.
IOV 1. Al finalizar el proyecto, los
estudiantes de 7º y 10º año mejoran
sus notas de matemáticas y lectura
en la evaluación interna final, tomando
como referencia la línea de base de
2008.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. Los dos indicadores miden uno de los efectos
establecidos al nivel del OE relacionando la “calidad de la
educación”: su manifestación a nivel de resultados académicos.
Específico: Sí. En todo caso, no se aprecia el beneficio de contar
con dos indicadores similares. Se recomienda eliminar uno.
Medible: No. No es establecido el estándar (en cuántos puntos es
esperable que mejore la nota). Recomendable desagregar por
sexo y utilizar similares procedimientos y herramientas de
medición que en la línea de base.
FV 1.y 2. Análisis de los resultados obtenidos
en la línea de base comparados con los
resultados obtenidos al aplicar las pruebas
internas al final del proyecto.
Utilidad: Sí. La F.V. prevista proveería de datos
para reportar sobre el indicador.
Disponible: No aplica. Es esperable al finalizar
el proyecto.
IOV 3. Al finalizar el proyecto se
mejora el índice de gestión de
equipos directivos de los 29 centros
que participan en el proyecto.
Pertinente: No. El indicador está referido al R1.
Específico: Sí. Se entiende que existe un procedimiento que
permite, de una manera sistemática y lo más objetiva posible,
obtener un índice de valoración de la gestión de equipos
directivos. En caso contrario, el indicador no estaría bien
especificado.
Medible: No. No es establecido el estándar (en cuántos puntos es
esperable que mejore el índice).
FV 3. Análisis comparativo del índice de gestión
de equipos directivos arrojado por la evaluación
del P1 y la evaluación que se realizará al final
del proyecto.
Utilidad: Sí. La F.V. prevista proveería de datos
para reportar sobre el indicador.
Disponible: No aplica Es esperable al finalizar el
proyecto.
IOV 4. Finalizado el proyecto, al
menos el 80% de los 29 centros
educativos aplican y evalúan sus PEI
y Planes de Mejora
Pertinente: No. El indicador está referido al R3, en donde los
indicadores 3.1 a 3.3 están recogiendo la misma idea.
Específico: Sí. En todo caso, ha de prestarse atención a que, si
bien pueden tomarse todos aquellos centros que participan en el
proceso de aplicación de sus PEI y Planes de Mejora, habría que
aclarar cuándo se considera que un centro efectivamente los
aplica (¿todos los componentes de tales planes?, ¿quién y cómo
se establece que han sido aplicados?).
FV 4. Lista de chequeo del sistema de mejora
de la calidad, del Programa P1 de la Federación
Internacional
Utilidad: Sí. La F.V. prevista proveería de datos
para reportar sobre el indicador.
Disponible: No aplica Es esperable al finalizar el
proyecto.
IOV 2. Al finalizar el proyecto, los
estudiantes de 7º y 10º año mejoran
sus notas de matemáticas y lectura
en la evaluación externa final, basada
en las pruebas del Programa 1 FIFyA
100
Nivel
Enunciado original
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Medible: Sí.
RE1
Desarrollada una
propuesta de
formación y
conformación de
equipos directivos en
29 centros educativos.
IOV 1.1. Entre el primer y el segundo
año los 29 centros que participan en el
proyecto cuentan con equipos
directivos conformados.
Pertinente: Sí. El indicador está referido a una de las dimensiones
más tangibles del RE3, la conformación de equipos directivos.
Específico: Sí. En todo caso, la variable del indicador
(“conformados”) no especifica y concreta ningún aspecto del
mismo término utilizado en el RE1 (“conformación”). El indicador
mejoraría si explicitase qué requisitos operan a la hora de dar por
adecuada la conformación de un equipo directivo.
Medible: Sí.
FV 1.1. Lista de miembros del equipo directivo
conformado por centro
Utilidad: Sí.
Disponible: Sí.
IOV 1.2. Al finalizar el tercer año, los
29 centros cuentan con directivos
(directores, rectores, vicerrectores)
capacitados en liderazgo
compartido orientado a la
democratización del poder y la toma
de decisiones
Pertinente: Sí. El indicador está referido a una de las dimensiones
más tangibles del RE3, la conformación de equipos directivos.
Específico: Dudoso. La variable del indicador (“capacitados”)
expresa el resultado esperable del proceso de formación pero, a
su vez, demandaría de nuevas variables que hagan operativa su
medición, es decir, nuevos indicadores para conocer si tal
capacitación se ha producido. No obstante, la resolución de este
punto quedaría a expensas de la capacidad de la fuente de
verificación para aportar evidencias de que los/as directivos/as
han sido efectivamente capacitados/as.
Medible: Sí. Se llama la atención sobre que el 100% de los/as
directivos/as superarían las evaluaciones de capacitación, un dato
a priori poco realista. Se recomienda desagregar por sexo.
Utilidad: Sí.
Disponible: Sí (para los dos primeros
indicadores). No aplica (para el I.1.4, que
aplicaría en el año cuarto)
Las FV previstas inicialmente remitían a listados
de asistentes a la formación, lo que no resultaba
útil. Finalmente en el último informe de
seguimiento se aportó una nueva FV que sí
cumple con los requisitos:
FV 05: Informes de evaluaciones de impacto del
proceso de formación.
Pertinente: No. Los cuatro indicadores previstos reflejan distintos
Utilidad: Dudosa. Las FV previstas daban
IOV 1.3. Al finalizar el cuarto año, los
29 centros cuentan con equipos
directivos (miembros de comisiones de
pedagogía, orientación educativa,
ciudadanía y convivencia) formados
en liderazgo compartido orientado a
la democratización del poder y la toma
de decisiones
IOV 1.4. Al finalizar el cuarto año, los
29 centros cuentan con miembros del
equipo directivo formados en
temáticas específicas de gestión
pedagógica, orientación educativa, y
ciudadanía y convivencia.
RE2
Desarrolladas las
IOV 2.1. Entre el primer y segundo
101
Nivel
Enunciado original
propuestas
pedagógicas de
lectura y expresión y
pensamiento lógicomatemático en 29
centros educativos.
Indicador/es original/es
año los 29 centros han construido
acuerdos curriculares para lectura y
expresión por cada ciclo de estudios.
IOV 2.2. Entre el tercer y cuarto año
los 29 centros ha construido acuerdos
curriculares para pensamiento lógicomatemático por cada ciclo de estudios.
IOV 2.3. Al finalizar el proyecto se
cuenta con estrategias
metodológicas de aula en lectura y
expresión, que respondan a acuerdos
curriculares
IOV 2.4. Al finalizar el proyecto se
cuenta con estrategias
metodológicas de aula en
pensamiento lógico-matemático, que
respondan a acuerdos curriculares
RE3
Fortalecido el sistema
de mejora de la
calidad de la
educación popular en
29 centros.
IOV 3.1. Al finalizar el primer año el
75% de los centros implementan sus
planes de mejora de la calidad
IOV 3.2. A lo largo del primer año se
ha llevado a cabo una evaluación de
contraste de la calidad en 27 centros
y evaluación inicial en 2 centros
IOV 3.3. Entre el segundo y tercer año
se rediseñan los planes de mejora
de la calidad, considerando los
resultados de la evaluación de
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
hitos contemplados en las actividades asociadas al RE2, pero no
evidencias sobre su efecto inmediato. El problema deriva de la
propia formulación del RE (ver punto 8 de esta Ficha). Ninguno de
los indicadores está referido a los efectos de las actividades clave
en este proceso: el acompañamiento y la formación de
docentes.82
El indicador adecuado sería aquel que reflejara el cambio
producido en el cuerpo docente responsable de aplicar las nuevas
propuestas pedagógicas (ej. conocimientos adquiridos, manejo de
las propuestas pedagógicas, dominio de la práctica, etc.). En el
último informe de seguimiento se introducen nuevos indicadores
en esta línea83. Tales indicadores presentan el mismo esquema
que los indicadores 2 al 4 del RE1, y por lo tanto les aplicaría la
misma valoración arriba comentada.
Específico: Sí. La mayoría de los indicadores representan
productos tangibles no cualificados.
Medible: Sí.
Atendiendo a su aplicación / Fuente verif.
cuenta de los productos de los indicadores
iniciales (ej. propuestas didácticas). Ahora bien,
se duda de que las FV de los nuevos
indicadores referidos a la capacitación docente
(como por ejemplo, FV 08: Memorias de los
encuentros nacionales LyE) arrojen información
sistematizada que alimente adecuadamente
tales indicadores.
Disponible: Sí
Pertinente: Dudoso. Los tres primeros indicadores previstos
reflejan distintos hitos contemplados en sistema de mejora de la
calidad. Como tales, su propia ejecución puede ir generando
fortalezas en los centros (análisis sistemático compartido,
conciencia de la importancia de la evaluación y de los planes de
mejora, etc.). En todo caso, se echan en falta evidencias sobre su
logro en términos de “fortalecimiento” de sistema de mejora de la
calidad (ver indicador 3.4.), y no tanto expresión de su ejecución.
El problema deriva de la propia formulación del RE (ver punto 8
de esta Ficha).
Específico: Sí. En todo caso, al no estar calificados cada uno de
los indicadores, será más arbitrario el proceso de verificación que
Utilidad: Sí. Las FV previstas dan cuenta de los
productos especificados en los indicadores
Disponible: Sí (en la medida que van siendo
elaborados los productos)
82
Serian las actividades: R2 A2 Acompañamiento a los procesos de lectura y expresión en los centros; R2 A5 Formación a docentes y equipos responsables de centro para los procesos de pensamiento lógicomatemático; y R2 A6 Acompañamiento a los procesos de pensamiento lógico-matemático en los centros.
83
Como por ejemplo: “IOV 2.3. A lo largo del 2012, 14 centros se capacitan en bases teóricas y se entrenan metodológicamente en lectura y expresión.”
102
Nivel
Enunciado original
Indicador/es original/es
Atendiendo a su definición
de cuenta de en qué medida han sido “implementados los planes
de mejora”, “llevado a cabo la evaluación de contraste” o
“rediseñados los planes de mejora” y con qué extensión han sido
tenidos en cuenta para su elaboración los resultados de la
evaluación de contraste.
Medible: Sí, salvo el indicador 3.3.
Atendiendo a su aplicación / Fuente verif.
IOV 3.4. Finalizado el proyecto el 90%
de los centros cuentan con instancias
de seguimiento y acompañamiento
a sus planes de mejora de la calidad
Pertinente: Sí. El indicador pone de manifiesto la generación de
una estructura de gestión derivada del sistema de mejora de la
calidad. Como tal, puede tomarse como una evidencia del
“fortalecimiento” generado.
Específico: Sí. En todo caso, al igual que para el caso de los
“equipos directivos conformados” (ver indicador 1.1), mejoraría si
explicitase la composición o requisitos mínimos que operan a la
hora de dar por adecuada la conformación de una “instancia de
seguimiento y acompañamiento”.
Medible: Sí.
Utilidad: Sí. La FV prevista da cuenta de las
comisiones/equipos conformados.
Disponible: No aplica. Es esperable al finalizar
el proyecto.
IOV 4.1. Durante el primer año se
genera una propuesta formativa para
la acción pública
Pertinente: No. El indicador da cuenta de una de las
actividades/productos previstos en el nivel inferior al RE. El
problema deriva de la propia formulación del RE (ver punto 8 de
esta Ficha).
Específico: Sí.
Medible: Sí.
Utilidad: Sí. La FV prevista da cuenta del
documento a elaborar.
Disponible: No aplica. El indicador no ha sido
alcanzado todavía. En el último informe de
seguimiento anual se documenta una versión
preliminar (FV 13: Borrador de marco teórico de
acción pública).
IOV 4.2. A lo largo de la ejecución del
proyecto se han desarrollado
campañas de sensibilización y acción
pública que promueven el derecho a
una educación de calidad
Pertinente: No. El indicador da cuenta de las actividades previstas
(Actividad 4.2) de acción pública a desarrollar. Para haber sido
válido, el indicador habría de ser el efecto del RE, y no una
actividad a ejecutar en el marco de tal RE.
Específico: Sí. Faltaría especificar las características más básicas
de las campañas, a riesgo de dar por buena cualquier tipo de
iniciativa realizada.
Medible: No. Falta especificar el número aproximado. De ser a
nivel de centro escolar, también cuántos centros las han
Utilidad: Dudoso. Las FV previstas aportarían
todo tipo de materiales que prueban la
realización de las variadas campañas. Habría
que procesar la información y aportar
únicamente el documento que dé cuenta de las
principales características de las campañas
realizadas.
Disponible: No. No están disponibles las FV
previstas. La FV aportada en el último informe
contraste e inicial del Programa 1 de la
Federación Internacional de FyA
RE4
Desarrollada una
propuesta de acción
pública que promueve
en el país el derecho a
una educación de
calidad para todos.
Análisis crítico del indicador y la fuente de verificación
103
Nivel
Enunciado original
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
de seguimiento anual (FV 14: Memorias talleres
de sensibilización) parece dar cuenta de las
actividades previas de concienciación, pero no
de las campañas realizadas.
IOV 4.3. A lo largo de la ejecución del
proyecto se han fortalecido los
canales de diálogo con instancias
públicas del sector educación
Pertinente: Sí. El indicador da cuenta de otra faceta de acción
pública distinta de la anterior. Habría que asegurar que los
“canales de diálogo” están enfocados a la temática del RE4.
Específico: No. El indicador requiere ser rediseñado y concretado.
La expresión “fortalecido” y el término “canales de diálogo” son
bastantes abstractos. En particular la expresión “fortalecido”
demandaría de nuevos indicadores que concretaran a qué está
referida y cómo se pondría de manifiesto.
En la práctica, el último informe de seguimiento aporta algún
ejemplo positivo de rediseño del indicador, no como expresión de
indicador previsto, sino como alcanzado (“IOV 4.3. Al final del año
2012 se firmó una adenda con el Ministerio de Educación…”)
Medible: No.
Utilidad: Sí. La FV prevista aportaría insumos
que, debidamente procesados, podrían informar
sobre el grado de realización del indicador.
FV 4.3. Informes de reuniones mantenidas con
instancias públicas del sector educación
Disponible: Sí. Está disponible alguna FV que
da cuenta de las acciones realizadas en esta
línea. (FV 15: Adenda Convenio 2010)
IOV 4.4. Finalizado el proyecto se han
desarrollado estrategias de
incidencia en políticas educativas a
nivel nacional, regional y local
Pertinente: No. El indicador expresa en otros términos el mismo
RE4.
Específico: No. No concreta las estrategias a desarrollar. Como el
indicador opera como RE4 (ver comentario anterior), en la
práctica especificarlo supondría remitirse a los indicadores 4.2 y
4.3.
Medible: No.
Utilidad: Sí. La FV prevista daría cuenta de las
estrategias de incidencia desarrolladas. (FV 4.4.
Informes sobre el trabajo de incidencia en
políticas educativas).
Disponible: No aplica. En el último informe de
seguimiento anual no se reporta sobre el
indicador.
ejecutado.
104
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01: Resultados de pruebas de línea de base 2008 (PUCE) y 2010 (P1)
FV 02: Formatos del Programa P1
Relevante
Relevante
FV R 1
FV 03: Lista de miembros que conforman los equipos directivos.
FV 04: Documentos de planificación operativa de los centros.
FV 05: Agendas y Memorias de Encuentros nacionales del Área de
Educación
FV 06: Diapósitivas de presentación del SMCFyA
FV 07: Fotos encuentros y formaciones
Relevante.
No relevante
No relevante
FV R 2
FV 08: Observación de clases
FV 09: Entrenamiento metodológico a acompañantes educativos
Relevancia dudosa. Necesario procesar
Relevante.
FV R 3
FV 10: Materiales de sensibilización y capacitación P1
FV 11: Guías de interpretación
No relevante.
No relevante.
FV R 4
FV 12: Módulos formativos del curso virtual sobre Acción Pública de la FIFyA No relevante.
FV13: Convenio de Colaboración Educativa con el Ministerio de Educación
No relevante.
de Ecuador
No relevante.
FV 14: Memoria fotográfica acciones incidencia
No relevante.
No relevante.
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01: Instrumentos de evaluación de lectura y expresión.
FV 02: Lista de cotejo gestión directiva por centro (muestra).
FV 03: Informes de seguimiento y acompañamiento a los centros (muestra)
No relevante
Relevante. Necesario un informe global.
Relevante. Necesario un informe global.
FV R 1
FV 04: Integrantes de los equipos Directivos.
FV 05: Informes de evaluaciones de impacto del proceso de formación.
Relevante
Relevante
FV R 2
FV 06: Equipos promotores LyE
FV 07: Equipos promotores LM
FV 08: Memorias de los encuentros nacionales LyE
FV 09: Memorias de los encuentros nacionales LM
No relevante.
No relevante.
Relevancia dudosa. Necesario procesar.
Relevancia dudosa. Necesario procesar
FV R 3
FV 10: Formatos 5: informes contextualizados
FV 11: Formato 6: Planes de Mejora
FV 12: Formato 6A: planificación operativa anual.
Relevante
Relevante.
Relevante
FV R 4
FV 13: Borrador de marco teórico de acción pública
FV 14: Memorias talleres de sensibilización
FV 15: Adenda Convenio 2010
No relevante
No relevante
Relevante
105
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 58%
−
Presupuestado: 466.118 euros
−
Ejecutado: 269.959 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 67%
−
PAC 3: 70%
106
FICHA # 4. PROYECTO 15 (PERÚ)
A) Resumen descriptivo
1. Título: Mejora de la calidad educativa en 60 centros de educación básica ubicados en sectores populares
y rurales.
2. Proyecto nº: 15
3. Objetivo específico Convenio: 2 Calidad educativa
4. País: Perú
5. Resumen de la intervención:84
El proyecto pretende mejorar la calidad educativa en al menos 60 centros de educación básica que atienden a
más de 65.000 estudiantes de (zonas urbano-marginales y rurales en 17 Departamentos del país.
El proyecto se propone transformar dos procesos fundamentales para la mejora de la calidad de la educación:
k. La gestión directiva del centro, mejorando el estilo de gestión de los centros (participación, colegialidad,
reparto del poder, manejo de recursos, etc.) a través de un proceso de conformación y formación de
equipos directivos.
l.
El proceso de enseñanza–aprendizaje, mejorando el desempeño profesional del docente de inicial,
primaria y secundaria (definir y construir el currículo, los objetivos a plantear, las estrategias
pedagógicas y de aula, y las formas de evaluación) a través de un proceso sostenido de formación.
Se espera que las mejoras en la gestión y en los procesos incidan en los resultados obtiene el centro, tanto en
las pruebas internas, como en las evaluaciones externas, pero también en las personas mismas.
6. Lógica de la intervención: La matriz de planificación de marco lógico del proyecto se resume en la
siguiente tabla:
Obj. General
Contribuir a la transformación social de las comunidades del ámbito de influencia de las instituciones educativas, a través de una
educación popular de calidad que responda a las necesidades de los destinatarios
Obj. Específico
Mejorar la calidad educativa en 60 instituciones educativas que atienden a 65.000 estudiantes de contextos vulnerables en 17
Departamentos del país
RE1
Los directores y equipos directivos de 60 instituciones
educativas mejoran su gestión directiva y pedagógica.
84
RE2.
2.400 docentes (70 % mujeres) de 60 instituciones educativas
mejoran sus habilidades sociales y pedagógicas así como el
dominio de sus habilidades básicas.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
107
B) Análisis valorativo del diseño
7. Coherencia85 de la lógica de intervención: Alta / Alineada al OE
La lógica de intervención presenta un nivel de coherencia alto entre los niveles de RE y OE. Tanto el RE1 como el RE2 están directamente relacionados con el OE, de manera
que de una mejor gestión directiva y pedagógica de directores/as y equipo directivos, y de la aplicación de mejores habilidades del cuerpo docente es coherente esperar una
contribución efectiva en el estándar de calidad de los centros en los que el proyecto actúa.
Como nota al margen, es conveniente acotar el OG a aquél efecto principal al que contribuye el OE.
8. Análisis de los resultados (OE y RE):
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
OE
Mejorar la calidad educativa en 60
instituciones educativas que atienden a
65.000 estudiantes de contextos
vulnerables en 17 Departamentos del
país
Enunciado adecuado, si bien la fórmula “mejorar la calidad” es
polisémica y da lugar a múltiples manifestaciones.
Es recomendable concretar en qué dimensiones de la calidad
se espera que se produzca la mejora a este nivel,
independientemente de que para lograrlo habrán de producirse
mejoras en otros aspectos que hacen a la calidad educativa y
sobre los que actuarían los RE en el nivel inferior de la lógica
de intervención.
La variable a medir es la “calidad de la educación popular”86. El
proyecto toma los resultados académicos en la población escolarizada
como la manifestación final de un proceso educativo de calidad. De ser
así, como apuntábamos en la columna anterior, sería más exacto
enunciar el OE en estos mismos términos, y los indicadores, por lo
tanto, apuntarían hacia la medición de la mejora en ese ámbito
académico.
RE1
Los directores y equipos directivos de 60
instituciones educativas mejoran su
gestión directiva y pedagógica.
RE2
2.400 docentes (70 % mujeres) de 60
instituciones educativas mejoran sus
habilidades sociales y pedagógicas
así como el dominio de sus habilidades
básicas.
Enunciados adecuados.
Expresa el efecto de las actividades en el colectivo meta de las
mismas, poniendo en valor el resultado de las mejoras
alcanzadas con los/as directores/as y equipos directivos como
sujetos principales del RE1.
Los indicadores han de aportar evidencias de la mejora en la gestión
de los/as directores/as y equipos (RE1) y de las habilidades del cuerpo
docente (RE2), expresando con ellos si los cambios se han producido.
Un buen estudio de base sobre los problemas existentes y sus
manifestaciones, tanto en la gestión directiva, como en las habilidades
docentes, ayudaría a identificar las variables problemáticas en ambos
asuntos, variables cuyo comportamiento positivo ahora debería ser
registrado a través de los indicadores de logro.
85
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de generar
el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
86
Según el modelo establecido por la organización, la calidad tendría múltiples dimensiones: i) a nivel de resultados en la población escolarizada (académicos y en valores); ii) en los procesos de enseñanza y
gestión escolar,; iii) disponer de los recursos educativos que los hacen posible y hacer un uso eficiente de los mismos; y iv) por último, en la pertinencia socioeconómica de la población atendida, en tanto que la
opción por las personas más vulnerables es una condición sine qua non de la “calidad de la educación popular”.
108
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible87) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y
concreción qué medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación
adecuada o se reporta con base a una fuente
sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta
relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
87
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
109
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel Enunciado original
OE
Mejorar la calidad
educativa en 60
instituciones
educativas que
atienden a 65.000
estudiantes de
contextos
vulnerables en 17
Departamentos del
país
Indicador/es original/es
IOV 1. Finalizado el proyecto al menos
el 75 % de las instituciones educativas
obtienen un promedio de 4 sobre 5 en
los indicadores de gestión
institucional de acuerdo a la escala
de caracterización de centros
IOV 4. Finalizado el proyecto el 75 %
del alumnado evaluado en
operaciones matemáticas mejora
sus resultados en un 5 % con relación
al grupo evaluado en 2008
Los directores y
equipos directivos
de 60 instituciones
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Pertinente: No. El indicador está referido al R1.
Específico: Sí. Sobre la base de que existe un procedimiento que
permite, de una manera sistemática, obtener un índice de valoración
de la gestión de equipos directivos.
Medible: Sí. Es establecido el estándar (porcentaje de centros en
los que es esperable el comportamiento del indicador).
FV.1 y FV. 2 Base de datos caracterización de
centros.
Utilidad: Dudosa. La F.V. prevista proveería de datos
para reportar sobre el indicador siempre que: a) sea
suficientemente operativa, es decir, que desagregue
adecuadamente todos y cada uno de los aspectos de la
gestión institucional a observar y valorar; y b) se aplica
de una manera sistemática, es decir, se cuente con un
protocolo de medición estandarizado para minimizar la
subjetividad de la valoración. Es calificada como
‘dudosa’ en base, además, a la entrevista con el
personal de la ONGD ejecutora del Convenio.
Disponible: No aplica. Es esperable al finalizar el
proyecto.
Pertinente: Sí. Los dos indicadores miden uno de los efectos
establecidos al nivel del OE relacionando la “calidad de la
educación”: su manifestación a nivel de resultados académicos.
Específico: Sí. Sobre la base de que existe un procedimiento que
permite, de una manera sistemática, valorar y conocer los
resultados académicos en estas dos asignaturas clave.
Medible: Sí. Establecido el estándar. Recomendable desagregar por
sexo y utilizar similares procedimientos y herramientas de medición
que en la línea de base.
FV 3. y FV.4 Resultados de la Evaluación Censal del
Ministerio de Educación
Utilidad: Sí. La F.V. prevista proveería de datos para
reportar sobre el indicador.
Disponible: No aplica Es esperable al finalizar el
proyecto.
Pertinente: Sí. El indicador está referido al mismo fenómeno y
colectivo que el RE1.
Específico: No. Como tal, el indicador no delimita variables
FV 1.1.1. Matrices de auto evaluación de las
instituciones educativas
FV 1.1.2. Informes de monitoreo a equipos directivos
IOV 2. Finalizado el proyecto al menos
el 75 % de las instituciones educativas
obtienen un promedio de 4 sobre 5 en
los indicadores de gestión
pedagógica de acuerdo a la escala de
caracterización de centros
IOV 3. Finalizado el proyecto el 75 %
del alumnado evaluado en
comprensión de textos escritos
mejora sus resultados en un 5 % con
relación al grupo evaluado en 2009
RE1
Análisis crítico del indicador y la fuente de verificación
IOV 1.1. Al menos 50 equipos
directivos de las instituciones
educativas beneficiarias ejercen su
110
Nivel Enunciado original
educativas mejoran
su gestión
directiva y
pedagógica.
Indicador/es original/es
gestión desde un liderazgo
compartido, coherente con la visión
y misión institucional
IOV 1.2. Al menos 50 instituciones
educativas tienen un equipo
ampliado de dirección que cuenta
con instrumentos de gestión, un
horario de reunión mensual y una
agenda para atender la
problemática del centro desde una
visión colectiva y coherente con los
propósitos institucionales
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
específicas y verificables. No concreta y hace operativo el RE1, sino
que, al contrario, añade nuevos elementos calificativos del
enunciado del RE y que sería en su caso necesario medir. Esto
pone nuevamente el acento en la falta de información específica
sobre los problemas concretos en los que se traduce la deficiente
gestión de los equipos directivos —o una identificación de diversos
problemas sin priorizarlos— y sobre los que este indicador podría
pronunciarse a respecto de las mejoras introducidas por el proyecto.
Medible: Sí. Establece un alcance de un 83% (50 de los 60 equipos
directivos-centros). No se indica en qué momento (año) será
alcanzado. Se recomienda desagregar por sexo.
Atendiendo a su aplicación / Fuente verif.
Utilidad: Sí. Tanto las FV previstas como la nueva FV
que se aporta en el último informe de seguimiento (FV
04: Propuesta e informes gestión directiva y desempeño
docente) resultarían útiles como insumo del indicador
alcanzado, sobre todo esta última, según la entrevista
realizada.
Disponible: Sí. En el último informe de seguimiento se
aporta la nueva FV arriba mencionada.
Pertinente: Dudoso. Puede entenderse que el indicador delimita
algunos insumos de gestión (instrumentos, horario, agenda) y no
que tal gestión ha mejorado. Pero puede interpretarse que disponer
de tales elementos es una evidencia de que la gestión está
asentándose sobre mejores procedimientos. En todo caso:
FV 1.2.1. Actas de conformación de equipos ampliados
de dirección.
FV 1.2.2. Informes de monitoreo a equipos directivos.
Utilidad: Sí. En el último informe de seguimiento se
aporta una nueva FV (FV 04: Propuesta e informes
gestión directiva y desempeño docente) que resulta útil
como insumo del indicador alcanzado, entendiendo que
en la misma se da cuenta de los equipos conformados y
de los demás elementos del indicador.
Disponible: Sí. En el último informe de seguimiento se
aporta la nueva FV arriba mencionada.
− El solo hecho de contar con un equipo ampliado no sería un
indicador válido.
− Serían necesarios indicadores complementarios directamente
orientados a medir si la gestión directiva ha mejorado (sobre la
gestión pedagógica se ocupe el indicador 1.4). El último informe
anual recoge un buen ejemplo88, del que se deduce que el
indicador apropiado debería estar formulado en otros términos.89
Específico: Dudoso. El indicador especifica tres elementos que se
sobreentienden propios de una adecuada gestión: instrumentos,
horario y agenda. Esta última, la agenda, está definida en términos
no operativos y su medición resultará compleja y dispar si no se
dispone de la fuente y procedimiento que permita discernir cuándo
88
Nos referimos al indicador alcanzado 1.1., que dice literalmente: “Según la evaluación a equipos directivos realizada al final del 2012 a 67 centros, 15 centros fueron evaluados con un nivel bueno de gestión con
equipos directivos ampliados, 17 con nivel regular, 10 nivel deficiente y 25 con nivel muy deficiente”.
89
Probablemente utilizando una fórmula similar a esta: “El nivel de gestión de los equipos directivos es calificada como ‘buena’ en un X% de los centros en el tercer año y un Y% en el cuarto año”, señalando como
fuente de verificación el instrumento de valoración de equipos directivos diseñado para el seguimiento del proyecto, y que a su vez debería haber servido para levantar el estado de la gestión de equipos directivos
durante la identificación del proyecto (línea de base).
111
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
tal agenda se corresponde con la atención de “la problemática del
centro desde una visión colectiva y coherente”, y cuando no. Por
otra parte, al no especificar el indicador cuáles serían los
instrumentos a disponer por una dirección de centro con mejor
gestión, será la fuente quien deba hacer operativa esa medición.
Todos los elementos anteriores ponen de manifiesto la necesidad
de contar con un adecuado estudio de base durante el proceso de
identificación que ayude a conocer de forma concreta las
manifestaciones de los déficit en mecanismos de gestión de los
equipos ampliados y sobre las que este indicador podría recoger
evidencias positivas.
Medible: Sí. Se deduce un alcance de un 83% (50 de los 60 equipos
directivos-centros). No se indica en qué momento (año) será
alcanzado.
Atendiendo a su aplicación / Fuente verif.
IOV 1.3. Al menos 30 subdirectores o
coordinadores pedagógicos
acompañan sistemáticamente la
labor pedagógica de sus docentes
Pertinente: Sí. Representa el indicador más directamente
relacionado con el RE1, en este caso con una de sus facetas de
cambio: la gestión pedagógica.
Específico: No. La variable “acompañar sistemáticamente” no es
específica y concreta, dificultando su medición y verificación. Esta
situación resultaría en que ha de ser la fuente y el procedimiento de
verificación quienes hagan operativas las variables a medir.
Medible: Sí. En todo caso, no se deduce con facilidad qué
porcentaje del total suponen los/as 30 subdirectores/as o
coordinadores/as pedagógicos/as. Se recomienda desagregar por
sexo. No se indica en qué momento (año) será alcanzado.
FV 1.3.1. Matrices de auto evaluación de las
instituciones educativas
FV 1.3.2. Informes de monitoreo a equipos directivos
Utilidad: Sí. Debería especificarse cuál de las dos
fuentes se tomará como la base para la valorar el
indicador. En todo caso, en el último informe de
seguimiento se aporta una nueva FV (FV 04: Propuesta
e informes gestión directiva y desempeño docente) que,
según la entrevista realizada, resulta útil como insumo
del indicador alcanzado.
Disponible: Sí. En el último informe de seguimiento se
aporta la nueva FV 04 arriba mencionada.
IOV 1.4. Al menos 30 equipos
directivos acompañan la
implementación y evaluación de sus
planes de mejora de la calidad y la
elaboración y difusión de sus
experiencias de sistematización
Pertinente: Sí. En tanto que las actividades del RE1 hayan incidido
sobre estos aspectos de “implementación, y evaluación…etc.”, el
indicador estaría recogiendo el efecto de la mejora de los procesos
de gestión establecidos en el RE1
Específico: No. La variable “acompañar” no es específica y
concreta, dificultando su medición y verificación. Esta situación
FV 1.4. Informes de monitoreo a equipos directivos.
Utilidad: Dudosa. En todo caso, en el último informe de
seguimiento se aporta una nueva FV (FV 05: Centros
P1) que parece documentar la participación de los
centros en el programa de evaluación-planes de
mejora-sistematización (denominado P1) pero del que
112
Nivel Enunciado original
RE2
2.400 docentes (70
% mujeres) de 60
instituciones
educativas mejoran
sus habilidades
sociales y
pedagógicas así
como el dominio de
sus habilidades
básicas.
Indicador/es original/es
IOV 2.1. 60 % de docentes de las
instituciones educativas beneficiarias
mejoran el diseño de unidades y
actividades de aprendizaje
contextualizadas con estrategias que
favorecen en el alumnado el logro de
habilidades para la vida
IOV 2.2. 50 % de docentes de las
instituciones educativas beneficiarias
mejoran su desempeño profesional
en el aula para lograr el desarrollo de
habilidades básicas en el alumnado,
generando un clima propicio y
aplicando estrategias que toman en
cuenta el contexto del mismo.
IOV 2.3. 50% de docentes de las
instituciones educativas mejoran la
evaluación permanente de las
habilidades que va adquiriendo el
alumnado, desde una perspectiva
sistémica y con carácter formativo.
90
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
resultaría en que ha de ser la fuente y el procedimiento de
verificación quienes hagan operativas las variables a medir. Cuenta
con la dificultad añadida de medir el “acompañamiento” en distintas
tareas: implementar planes de mejora, evaluarlos, elaborar
experiencias de sistematización, y difundirlas.
Medible: Sí. En todo caso, no se deduce con facilidad qué
porcentaje del total suponen los/as 30 subdirectores/as o
coordinadores/as pedagógicos/as. Se recomienda desagregar por
sexo. No se indica en qué momento (año) será alcanzado.
Atendiendo a su aplicación / Fuente verif.
no se desprendería a priori una valoración del
acompañamiento realizado por los equipos directivos.
Disponible: Sí. En el último informe de seguimiento se
aporta la nueva FV 05 arriba mencionada.
Pertinente: Sí. Las variables de los indicadores (“diseño de
unidades y actividades de aprendizaje”, “desempeño en el aula” y
“evaluación permanente”) están relacionadas con el RE2 y
expresarían aspectos del cambio de práctica del colectivo meta.
Específico: No. Las variables mencionadas no son específicas y
concretas. En el caso del indicador 2.2., la variable principal
(“mejora del desempeño en el aula”) parece operativizarse en dos
(“generación de un clima propicio” y “aplicación de estrategias
contextualizadas”), pero tampoco resultan medibles de una manera
evidente. Esta situación resultaría en que ha de ser la fuente y el
procedimiento de verificación de cada indicador quienes hagan
operativas las variables a medir. En los tres indicadores se
establecen además comportamientos y efectos de las variables
principales que hacen más compleja la operativa de su medición (ej:
las unidades de aprendizaje han de contener estrategias que
favorezcan en el alumnado el logro de habilidades para la vida).
En el último informe de seguimiento se aportan nuevos indicadores
alcanzados90 que, en realidad, vienen a establecer indicadores de
logro más específicos y operativos.
Medible: Sí. Recomendable desagregar por sexo. No se indica en
qué momento (año) será alcanzado.
FV 2.1.1. Informes de monitoreo a docentes
FV 2.1.2. Matrices de auto evaluación de los centros
educativos
Utilidad: Sí. Debería especificarse cuál de las dos
fuentes se tomará como la base para la valorar el
indicador. En todo caso, en el último informe de
seguimiento se aporta una nueva FV (FV 04: Propuesta
e informes gestión directiva y desempeño docente) que,
según la entrevista realizada, resulta útil como insumo
del indicador alcanzado
Disponible: Sí
Por ejemplo: “En el 2012, 38% de los docentes tienen un nivel bueno en la planificación de sus clases, 39% un nivel regular, 15% un nivel deficiente y 8% un nivel muy deficiente”
113
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
FV 01: Resultados Línea de Base Indicadores de Gestión
FV OE
FV R 1
FV R 2
Valoración
(relevancia para el indicador previsto)
FV 03: Avances Análisis de Contexto 2011
FV 04: Centros evaluados en el 2011
No relevante (aportar en la formulación, tras
fase de identificación).
No relevante (aportar en la formulación, tras
fase de identificación).
No relevante.
No relevante.
FV 05: Cuadro de avance del nivel de gestión por cada centro educativo
FV 06: Muestras de informes de monitoreo a directivos y docentes
FV 07: Experiencias de sistematización difundidas en la web.
FV 08: Informe del Encuentro nacional de directoras y directores
FV 09: Informes de talleres a directivos
Relevante.
No relevante.
No relevante.
No relevante.
No relevante.
FV 10: Matriz de monitoreo
Relevante. Siempre que no sea el instrumento
de seguimiento y sí los resultados del mismo
No relevante.
No relevante.
FV 02: Resultados de Línea de Base Indicadores sobre resultados
académicos
FV 11: Fotos de talleres
FV 12: Cuadro de docentes capacitados
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
FV OE
FV R 1
Valoración
(relevancia para el indicador previsto)
FV 01: Análisis de contexto.
FV 02: Plan de mejora FYA 17
FV 03: Cuadros de capacitación 2012
No relevante.
No relevante.
No relevante.
FV 04: Propuesta e informes gestión directiva y desempeño docente
FV 05: Centros P1
Relevante
Relevancia dudosa. Procesar información para
valorar acompañamiento de equipos directivos
FV 06: Memoria Encuentro Directores
FV 07: Reunión equipos directivos Lima
FV
Actividades FV 08: Reuniones equipos directivos provincias
FV 09: Borrador doc. comprensión lectora
Como bien se indica, son FV del nivel de
actividades. No relevantes como FV de la Matriz
de planificación (OE y RE).
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 83%
−
Presupuestado: 342.777euros
−
Ejecutado: 285.200 euros
114
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 88%
−
PAC 3: 87%
115
FICHA # 5. PROYECTO 18 (GUATEMALA)
A) Resumen descriptivo
1. Título: Mejora de la calidad educativa para alumnas y alumnos en 45 centros educativos de zonas rurales
y urbanas marginales
2. Proyecto nº: 18
3. Objetivo específico Convenio: 2 Calidad educativa
4. País: Guatemala
5. Resumen de la intervención:91
El proyecto busca mejorar la calidad educativa de los planteles escolares de 45 centros educativos. Para ello:
a. Desarrollará el segundo ciclo del sistema de mejora de la calidad educativa de Fe y Alegría, realizando
una evaluación de contraste a los 17 centros que ya participaron de este proceso en el primer ciclo; y
una evaluación inicial a 28 nuevos centros educativos que entran a formar parte del sistema de mejora.
Los datos obtenidos en las evaluaciones son analizados e interpretados, y devueltos a los centros en un
informe para que la comunidad educativa reflexione sobre ellos, y de manera participativa elaboren
unos planes de mejora con sus líneas de acción para trabajar en cada centro. En la elaboración de esos
planes de mejora irán saliendo elementos comunes que fortalecer y a los que deberá responder el
equipo pedagógico nacional.
b. En tanto que el proyecto prestará especial atención a la diversidad de las diferentes escuelas, se hace
necesario un acompañamiento más cercano. En esta segunda línea de trabajo se busca apoyar y
fortalecer un proceso de regionalización para atender de manera diferenciada a los centros de las zonas
rurales de Totonicapán y Chiquimula, así como a los centros urbanos, cuya caracterización y
necesidades hace necesario una atención pedagógica contextualizada y específica.
6. Lógica de la intervención: La matriz de planificación de marco lógico del proyecto se resume en la
siguiente tabla:
Obj. General
Contribuir a la transformación social de poblaciones vulnerables en Guatemala.
Obj. Específico
Se ha mejorado la calidad educativa para 6.211 alumnas y 6.543 alumnos en 45 centros educativos de zonas rurales y
urbano marginales de Guatemala.
RE1
RE2.
Se ha desarrollado de manera integral y participativa el
sistema de calidad de Fe y Alegría en 45 centros
educativos de Guatemala.
Se ha fortalecido la descentralización de los procesos de
gestión pedagógica y de enseñanza y aprendizaje en las tres
regionales de Fe y Alegría Guatemala.
91
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
116
B) Análisis valorativo del diseño
7. Coherencia92 de la lógica de intervención: Baja / No alineada al OE
La lógica de intervención presenta un nivel de coherencia bajo entre los niveles de RE y OE. Por un lado, el RE1 establece su propio circuito de mejora de la calidad
(evaluación-planes de mejora-sistematización) según el patrón de un programa regional denominado P1. Por otro lado, el RE2 se define en torno a una estrategia institucional
de regionalización/descentralización de los servicios de acompañamiento pedagógico a los centros solo indirectamente relacionada con la mejora de la calidad (OE). Si bien
puede ser una estrategia acertada para facilitar un acompañamiento más cercano a los centros, y aunque posiblemente de importante calado organizativo-institucional en la
ONG local, no deja de ser un medio y no un resultado. El RE o los RE estarían más bien reflejados en aquello que el RE2 no acierta a recoger: los resultados de la serie de
actividades de capacitación a docentes, a familias y a coordinadores/as pedagógicos/as que sí tendrían mayor incidencia en el OE.
La ejecución del proyecto apunta además otro elemento de inconsistencia. El RE1 alcanza a unos 22/23 centros, mientras que el RE2 actúa sobre el total de centros de la
ONG local, inicialmente 45. Esto dificulta que ambos RE tengan un efecto acumulado en el OE.
Con todo lo anterior, sobre ambos RE se establece un OE amplio —la calidad educativa— que en realidad no representa un alcance mayor de lo que cada RE puede alcanzar
por separado.
Como nota al margen, es conveniente acotar el OG a aquél efecto principal al que contribuye el OE.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
Análisis crítico
Se ha mejorado la calidad
educativa para 6.211
alumnas y 6.543 alumnos
en 45 centros educativos
de zonas rurales y urbanomarginales.
Enunciado adecuado, si bien la fórmula “mejorar la calidad” es
polisémica y da lugar a múltiples manifestaciones.
Es recomendable concretar en qué dimensiones de la calidad se
espera que se produzca la mejora a este nivel, independientemente
de que para lograrlo habrán de producirse mejoras en otros
aspectos que hacen a la calidad educativa y sobre los que actuarían
los RE en el nivel inferior de la lógica de intervención.
Consecuencias para el establecimiento de indicador/es
La variable a medir es la “calidad de la educación popular”93. Por lo que
parecen apuntar las actividades y los indicadores previstos, el proyecto
toma la gestión escolar como aspecto central de la calidad educativa. De
ser así, como apuntábamos en la columna anterior, sería más exacto
enunciar el OE en estos mismos términos, y los indicadores, por lo tanto,
apuntarían hacia la medición de la mejora en ese ámbito.
92
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de generar
el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
93
Según el modelo establecido por la organización, la calidad tendría múltiples dimensiones: i) a nivel de resultados en la población escolarizada (académicos y en valores); ii) en los procesos de enseñanza y
gestión escolar; iii) disponer de los recursos educativos que los hacen posible y hacer un uso eficiente de los mismos; y iv) por último, en la pertinencia socioeconómica de la población atendida, en tanto que la
opción por las personas más vulnerables es una condición sine qua non de la “calidad de la educación popular”.
117
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
RE1
Se ha desarrollado de
manera integral y
participativa el sistema de
calidad de Fe y Alegría en
45 centros educativos.
Enunciado no adecuado.
Es la expresión sumaria de la realización de las actividades del R1,
pero no la expresión del efecto de ellas como resultado.
Presumiblemente, la opción correcta pasaría por poner en valor el
resultado del cambio logrado en los centros que participan del
sistema de calidad articulado en evaluación-planes de mejorasistematización.94
El indicador ha de establecer con más claridad los términos del efecto que
es esperable en este RE1.
Un buen estudio de base sobre los problemas existentes y sus
manifestaciones –que es lo que parece proveer la fase primera de
evaluación— ayudaría a identificar las variables problemáticas que hacen a
la calidad educativa, variables cuyo comportamiento positivo ahora debería
ser registro a través de los indicadores de logro.
RE2
Se ha fortalecido la
descentralización de los
procesos de gestión
pedagógica y de
enseñanza y aprendizaje
en las tres regionales de
Fe y Alegría.
Enunciado adecuado.
No obstante, no queda claro si la descentralización desde la sede
nacional hacia las tres regionales, o también es a nivel de centros.
Ya que más adelante nos encontramos ambos elementos,
tomaremos el término “descentralización… en las tres regionales”
como una mayor transferencia de la gestión hacia las regionales y
hacia los centros.
En todo caso, como apuntábamos en el apartado 7, el enunciado
del RE2 no recoge el efecto acumulado de todas las actividades, o
mejor dicho, han sido previstas actividades en el RE2 que en
realidad tendrían cabida en un nuevo o nuevos RE.
El indicador ha de descomponer los elementos que evidencian en qué
aspectos concretos se ha ‘fortalecido la descentralización’ prevista en el
RE2.
Como bajo este RE2 se ejecutan actividades que van más allá de su
propósito y que apuntan a las mejoras en los procesos de gestión, tanto de
docentes, como de implicación de las familias, es probable que se quieran
hacer explícitos indicadores que den cuenta de tales logros. Con ello, la
expresión acumulada de los distintos indicadores sería más amplia que el
enunciado del propio RE2.
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible95) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
94
Una opción sugerida podría ser formular el RE1 en relación al número de centros que aplican un plan de mejora institucional basado en los aspectos concretos de mejora detectados por el proceso de
evaluación.
95
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
118
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada
o se reporta con base a una fuente sustituta
relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel Enunciado original
OE
Se ha mejorado la
calidad educativa
para 6.211
alumnas y 6.543
alumnos en 45
Indicador/es original/es
OE.I1. Al final del Convenio en el
80% de los centros, la ejecución
de los planes de mejora es
coordinada por equipos
integrados por directivos,
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. En tanto que el OE de calidad educativa se circunscriba
a elementos de la gestión escolar y no a otros posibles (ej. resultados
académicos). El comportamiento del indicador, en su caso, ha de ser
un efecto de los RE del Proyecto y no la realización de una actividad
más o menos de obligada ejecución. Es decir, ha de poner el acento
FV.1 Memoria de labores.
FV. 2 Informes trimestrales entregados al MINEDUC.
FV. 3 Estadísticas del INE y MINEDUC que reflejan
los índices de escolarización.
119
Nivel Enunciado original
centros educativos
de zonas rurales y
urbano-marginales.
Indicador/es original/es
docentes y estudiantes y
acompañada desde la
coordinación regional de
manera sistemática.
OE.I2. Al finalizar el proyecto se
ha producido un aumento del
40% del número de Centros
Educativos cuyos padres y
madres de familia participan en
la planificación, gestión y
ejecución de proyectos de
mejora, según el análisis
realizado en torno a los
resultados obtenidos de la
evaluación del sistema de calidad
96
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
en la capacidad de los equipo por ejecutar de manera “coordinada” los
planes de mejora, más que su mera realización; y la capacidad de la
coordinación regional de “acompañar” tal proceso. En caso contrario,
el indicador dejaría de ser pertinente al estar referido al nivel de
actividades.
Específico: No. El indicador establece dos variables condicionales
(ejecución coordinada y acompañamiento regional), sin especificar de
una manera concreta qué es esperable en cada una de las
situaciones. Sin con el indicador se quiere evidenciar la calidad
alcanzada en términos de coordinación e implicación de todo el centro
en los planes de mejora, debería fijar tal condición de una manera más
específica y cercana a la verificación que tendrá que después
realizarse. En caso contrario, descansará sobre la calidad y capacidad
de análisis de la fuente de verificación el poder realizar un seguimiento
operativo de las condiciones/variables todavía abstractas marcadas en
el indicador. Por ejemplo, delimitando cuándo el acompañamiento de
la coordinación regional es sistemático y cuando no.
Medible: Sí. Es establecido el estándar (porcentaje de centros en los
que es esperable el comportamiento del indicador).
Pertinente: Sí. Al igual que en el caso anterior, en tanto que el OE de
calidad educativa se circunscriba a elementos de la gestión escolar y
no a otros posibles (ej. resultados académicos).
Específico: No. El indicador establece una variable (participación de
las familias en los proyectos de mejora), sin especificar de una manera
concreta qué es esperable en cada una de las tres fases en las que se
las quiere implicar (planificación, gestión y ejecución). El indicador
debería fijar, para cada fase, una condición específica que aproxime el
indicador a una verificación lo más objetiva posible que tendrá que
después realizarse. En caso contrario, descansará sobre la calidad y
capacidad de análisis de la fuente de verificación el poder realizar un
Atendiendo a su aplicación / Fuente verif.
Utilidad: No. Las F.V. previstas no parecen tener
relación con los datos que serían necesarios para
informar sobre los dos indicadores del OE.
Para reportar sobre ellos, la FV óptima ha de:
a) Ser suficientemente operativa, es decir, que
desagregue adecuadamente todos y cada uno de los
aspectos a observar y valorar, bien de la ejecución
coordinada de los planes de mejora, por un lado, y su
acompañamiento regional, por el otro (indicador 1);
bien de la participación de las familias (indicador 2).
b) Ser aplica de una manera sistemática, es decir,
que se cuente con un protocolo de medición
estandarizado para minimizar la subjetividad de la
valoración.
En el último informe de seguimiento anual, se aporta
una nueva FV para el indicador 1 (FV.01. Muestra
planes de mejora de centros) que documentaría la
actividad realizada, pero no si ha sido acorde a lo
establecido en el indicador.
Disponible: Sí (indicador 1), No (indicador 2). De
este último, se da cuenta en el último informe de
seguimiento anual96, pero no se ha detectado la FV
correspondiente.
“Al finalizar el 2012, todos los centros tienen un consejo escolar en el que participan padres y madres, apoyando especialmente en la gestión del personal y en la búsqueda de proyectos de apoyo al centro.”
120
Nivel Enunciado original
Indicador/es original/es
(cogestión de los centros
educativos).
RE1
Se ha
desarrollado de
manera integral y
participativa el
sistema de
calidad de Fe y
Alegría en 45
centros educativos.
R1.I1. Al finalizar el primer año
en el 100% de los centros
educativos de la red de Fe y
Alegría Guatemala se habrá
aplicado la propuesta de
evaluación de la calidad, sobre
contexto, procesos y resultados.
R1.I2. Al finalizar el proyecto, el
85% de los centros educativos
participantes en el proyecto (45
centros) ha elaborado su plan
de mejora integrado con el PEI.
R1.I3. Finalizado el proyecto el
80% de los centros sistematiza
una experiencia significativa de
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
seguimiento operativo de las condiciones en que se da la participación
de las familias (la variable todavía abstracta del indicador) en cada una
de las fases (planificación, gestión y ejecución).
Si el indicador está referido, como apunta el último informe de
seguimiento, al rol de los padres y madres en el Consejo Escolar,
habría de ser reformulado en esos términos concretos.
Un buen punto de partida es contar con 6 funciones definidas para el
consejo escolar como las que se tienen que cumplir para decir que las
familias participan, y en su caso, establecer distintos estadios de
participación (desagregando por sexo). Asociado a ello, debería
elaborarse una herramienta y un protocolo de recogida de información,
así como el esquema de informe en el que se sintetiza la información y
que daría lugar a la fuente de verificación final.
Medible: Sí. Es establecido el estándar incremental (porcentaje de
centros en los que aumentaría el comportamiento del indicador).
Puede deducirse que si la línea de base identifica 17 centros con este
problema, el indicador supondría la mejoría en unos 6 centros.
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. En tanto que el RE1 se circunscribe a la aplicación del
sistema de calidad en los centros educativos, los indicadores van
fijando los hitos del mismo. El conjunto de indicadores darían cuenta
de que el sistema de calidad ha sido “desarrollado de manera integral”,
es decir, en todas sus fases. Sería necesario un indicador o varios que
reportasen sobre si ha sido “desarrollado de manera participativa”,
especificando en su caso qué niveles de participación son los
deseables y por parte de qué agentes.
Específico: Sí. Los tres indicadores delimitan variables específicas y
verificables. En todo caso, cabe señalar las dudas que suponen la
valoración de si el plan de mejora está “integrado con el PEI (indicador
2) o si la experiencia sistematizada es “una experiencia significativa”
(indicador 3), y en su caso cómo se realizarán tales verificaciones de
una manera lo más objetiva y estandarizada posible.
Medible: Sí. Establece un alcance en términos porcentuales sobre el
total 45 centros.
Utilidad: Sí. El proyecto preveía 8 fuentes de
verificación para estos indicadores, 6 de las cuales
remiten a documentos probatorios de la ejecución de
las actividades y, por lo tanto, prescindibles. Las
otras dos FV (FV.1 Registro de seguimiento de los
planes de mejora de las Coordinaciones
Pedagógicas, y FV.6 Treinta y ocho informes, 80%
del total, de sistematización socializados) serían
suficientes para informar sobre los indicadores 2 y 3.
En los sucesivos informes anuales se aportan como
FV una muestra de los planes de mejora que se van
elaborando (indicador 2) y los productos de la
evaluación (indicador 1).
Disponible: Sí indicadores 1 y 2). No aplica
(indicador 3, ya que es esperable al finalizar el
proyecto).
121
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
una de sus líneas de mejora.
RE2
97
Se ha fortalecido la
descentralización
de los procesos de
gestión pedagógica
y de enseñanza y
aprendizaje en las
tres regionales de
Fe y Alegría.
R2.I1. Finalizado el proyecto
cada una de las tres regionales
cuenta con una Planificación
Regional validada y socializada
por los equipos directivos y
coordinadores regionales.
Pertinente: Sí. Contar con un instrumento de planificación a nivel
regional, que además está validado por los actores clave, es una de
las posibles evidencias de que se ha avanzado en la descentralización
regional. En todo caso, se estima conveniente otros indicadores
complementarios que cubran aspectos de la “práctica” regionalizada,
más allá de “contar” con un marco de planificación que lo avale.
Ninguno de los indicadores posteriores apunta en esta línea, sino que
descienden al nivel de centro.
Específico: Sí. El indicador establece un elemento concreto, un
producto en este caso, que ha de estar disponible. La cuestión de la
validación puede derivar en un elemento de verificación a su vez
fácilmente contrastable (ej. un acta de una reunión), pero la
socialización de dicha Planificación regional debería estar definida en
términos más concretos.
En el último informe de seguimiento se aportan nuevos indicadores
alcanzados97 que añade un nuevo elemento de consolidación de la
estructura regional.
Medible: Sí.
FV 2.1. Planificaciones regionales
Utilidad: Sí. Es el producto mencionado en el
indicador.
Disponible: Sí
R2.I2. Al final del proyecto al
interno de los centros de cada
una de las regiones se registra
un aumento en la toma de
decisiones de manera
compartida.
Pertinente: Sí. El indicador recoge el segundo aspecto que
entendemos supone la descentralización: hacia el nivel de centros.
Específico: No. El indicador ha de ser más concreto, ya que la variable
“toma de decisiones compartida” no es verificable de una manera
suficientemente objetiva. En todo caso, recaería sobre el diseño y
aplicación de la fuente de verificación el hacer operativo el registro de
este “aumento en la toma de decisiones de manera compartida”.
Medible: No. No se especifica qué porcentaje o cantidad de centros, ni
se deduce de forma directa.
FV 2. Memoria anual de la regional y de cada centro
educativo
FV 3. Libro de actas de los Centros Educativos
Utilidad: Dudosa. Si bien las FV previstas parecen
contener información que pudiera ser útil, es muy
probable que no se ciña a los elementos establecidos
en el indicador, no presentando de una forma
sistemática y fundamentada en datos la información
precisa para alimentar el indicador. En este caso, al
respecto de la toma de decisiones compartida.
Disponible: No aplica (esperable al finalizar el
“Finalizado el 2012, cada una de las tres regiones ha elaborado un plan operativo a partir de la planificación regional realizada en el 2011”.
122
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
proyecto).
R2.I3. Al finalizar el primer año
del proyecto se encuentran
activos procesos de mejora
generados y gestionados por
los miembros del consejo escolar
con participación de mujeres
en el proceso.
Pertinente: No. Aunque interesante y relevante, el indicador informa
sobre uno de los efectos del proyecto a nivel de actividades (A2.3
Formación a padres y madres de familia sobre cogestión y
participación en la comunidad educativa) que no tiene cabida en el
RE2.
Específico: No. El indicador no está definido en términos operativos
que lo aproximen a un medio de verificación de manera inmediata. No
concreta a que tipo de “procesos de mejora” o cómo identificarlos, o si
bien lo importante es que participen mujeres98 en cualquier tipo de
iniciativa. En ese caso, debería especificarse más tal variable
(“participación de las mujeres”), como por ejemplo, indicando un
porcentaje sobre el total de integrantes del consejo escolar, su rol (ej:
responsable-líder, equipo promotor, apoyo). Son aspectos que, en
caso de existir previamente los consejos escolares, deberían provenir
de las manifestaciones de la baja participación de las mujeres en ellos
levantadas durante el proceso de identificación y línea de base.
El indicador alcanzado presentado en el último informe anual 99
tampoco informa sobre este indicador previsto, o mejor dicho, lo hace
sobre una condición necesaria (la existencia de mujeres en los
consejos escolares) pero no suficiente (su participación en los
procesos de mejora generados en los mismos),
Medible: Sí.
FV 2. Memoria anual de la regional y de cada centro
educativo
FV 3. Libro de actas de los Centros Educativos
Utilidad: No. Ni las FV previstas (arriba) ni la FV
aportada en el segundo informe anual (FV.
Actividades con PP y MM de familia y equipos
directivos) parecen dar cuenta de manera inmediata y
sistematizada sobre el comportamiento del indicador.
Disponible: Sí.
R2. I4. Los coordinadores
pedagógicos de los centros
educativos acompañan de
manera sistemática a los
docentes en su práctica en el
aula.
Pertinente: No. Aunque interesante y relevante, el indicador informa
sobre uno de los efectos del proyecto a nivel de actividades (A2.2
Formación a docentes…..) que no tiene cabida en el RE2.
Específico: No. El indicador ha de ser más concreto, ya que la variable
“acompañar de manera sistemática” no es verificable de una manera
suficientemente objetiva y está sujeta a múltiples interpretaciones y
Utilidad: No. Ninguna de las FV previstas en el
documento de proyecto parece estar relacionada con
este indicador.
Disponible: No. Si bien en el segundo informe de
seguimiento anual se reporta como indicador
alcanzado que “Semanalmente, los y las
98
El enunciado, en ese caso, debería ser más claro al respecto (ej: Al cabo del primer año, las mujeres participan en procesos de mejora generados y gestionados por el consejo escolar”)
99
“Al finalizar el primer año del proyecto se han integrado 49 consejos escolares, dentro de los cuales el 60% son mujeres”.
123
Nivel Enunciado original
Indicador/es original/es
R2.I5. Al final del proyecto el 50
% de los docentes de las tres
regionales ha mejorado su
práctica de aula como resultado
de las formaciones impartidas de
manera contextualizada en las
regionales y acompañada
sistemáticamente por sus
coordinadores pedagógicos.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
características, como por ejemplo el tiempo (visitas semanales,
mensuales, etc.), la dedicación (visitas de una hora, media jornada,…)
o alcance (tareas o procesos más relevantes acompañados) . Es
posible que, diseñada y aplicada de la manera adecuada, una fuente
ad hoc de verificación pueda hacer operativo el registro de este
“acompañamiento sistemático”.
Medible: No. No se especifica qué porcentaje o cantidad de
coordinadores/as pedagógicas realizan un adecuado
acompañamiento, ni el momento (año) en que se espera alcanzar el
indicador.
Atendiendo a su aplicación / Fuente verif.
coordinadoras pedagógicas de los centros educativos
acompañan de manera sistemática a los docentes en
su práctica en el aula” no se aporta la FV.
Pertinente: No. Aunque interesante y relevante, el indicador informa
sobre uno de los efectos del proyecto a nivel de actividades (A2.2
Formación a docentes…..) que no tiene cabida en el RE2.
Como recomendación, el texto que sigue a partir de “como resultado
de…” es prescindible por cuanto no aporta más elementos operativos
al indicador, sino explicativos, los cuáles formarían en su caso parte de
la evaluación del proyecto.
Específico: No. El indicador ha de ser más concreto, ya que la variable
“práctica de aula” no es verificable de una manera suficientemente
objetiva y está sujeta a múltiples aspectos susceptibles de mejora.
Estos, como se ha mencionado para otros casos, es probable que se
hubieran detectado a través del proceso de estudio de la línea de base
y habrían de ser los aquí especificados. No obstante, es posible que,
diseñada y aplicada de la manera adecuada, una fuente ad hoc de
verificación pueda hacer operativo el registro de este “práctica de aula”
mejorada.
Medible: Sí.
FV.6 Documentos que desglosan el plan general de
contenidos de los materiales formativos
FV.7 Lista de asistencia a dos seminarios formativos
internacionales, actas y publicación de las ponencias
Utilidad: No. Las FV previstas en el documento de
proyecto documentarían la realización de las
actividades de formación a docentes, pero no el
resultado establecido en el indicador.
Disponible: No aplica (esperable al finalizar el
proyecto).
124
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
1.Muestras de análisis de contexto
2. Gráficas con los resultados de las evaluaciones
FV R 1
FV R 2
Valoración
(relevancia para el indicador previsto)
Fuente de verificación aportada en el informe anual
Relevancia dudosa. El producto final esperable es el
informe de evaluación de centro.
Relevancia dudosa. El producto final esperable es el
informe de evaluación de centro.
3. Actividades con PP y MM de familia y equipos directivos
Relevante. Necesario procesar información para detectar
si documenta la participación de madres en los consejos
escolares.
4. Planificaciones regionales
Relevante.
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
FV.01. Muestra planes de mejora de centros
Relevante. Necesario disponer de totalidad o de un
breve documento que dé cuenta de todos los
elaborados y de la participación de la comunidad
educativa.
FV.01. Muestra planes de mejora de centros
Relevante. Necesario disponer de información sobre si
están integrados con los PEI
FV.02. Muestra de formaciones a docentes
No relevante.
FV OE
FV R 1
FV R 2
Valoración
(relevancia para el indicador previsto)
Fuente de verificación aportada en el informe anual
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 93%
−
Presupuestado: 114.048 euros
−
Ejecutado: 105.920 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 99%
−
PAC 3: 94%
125
FICHA # 6. PROYECTO 20 (NICARAGUA)
A) Resumen descriptivo
1. Título: Aumento de la calidad docente en centros de Fe y Alegría y centros estatales de Nicaragua
2. Proyecto nº: 20
3. Objetivo específico Convenio: 2 Calidad educativa
4. País: Nicaragua
5. Resumen de la intervención:100
El proyecto apoya la mejora de la calidad educativa en 16 centros de Fe y Alegría y 55 estatales a través de:
c. La mejora de la práctica docente, incidiendo en procesos de aprendizaje, evaluación y
profesionalización de docentes
d. La gestión escolar asociada a la práctica de los equipos directivos, para fomentar gestiones
participativas y colegiadas en los centros.
e. La participación de la comunidad a través de: i) proyectos comunitarios que sean una oportunidad para
las poblaciones aledañas a los centros educativos, y ii) formación en ciudadanía que fortalezca los
valores.
Acompañando al proceso de calidad educativa, se hará una evaluación internacional y evaluaciones periódicas
nacionales que nos permitan medir los avances y retos en cada uno de los componentes.
Una gran parte de la propuesta se centrará en formación a equipos directivos, pedagógicos, docentes,
asesoras/es pedagógicos del MINED, estudiantes, madres y padres de familia y redes comunitarias.
6. Lógica de la intervención: La matriz de planificación de marco lógico del proyecto se resume en la
siguiente tabla:
Obj. General
Contribuir a la transformación social de las poblaciones vulnerables de Nicaragua.
Obj. Específico
Mejorada la calidad educativa de 32 centros de Fe y Alegría y estatales, que atienden a 15,200 niñas/os, jóvenes y
personas adultas.
RE1
Mejorados los procesos de
gestión de 16 centros
escolares de FyA y 16
centros estatales.
100
RE2.
Mejorados los procesos de
enseñanza y de
aprendizaje en el aula en
22 centros de FyA y 55
Centros estatales.
RE3.
Mejorado el clima de
convivencia escolar en 16
centros de FyA y 16 centros
públicos.
RE4.
Mejorada la relación escuelacomunidad en 16 centros FyA
y 16 públicos.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
126
B) Análisis valorativo del diseño
7. Coherencia101 de la lógica de intervención: Media-alta / Mayoritariamente alineada al OE
La lógica de intervención presenta un nivel de coherencia media-alta entre los niveles de RE y OE, si bien no lo es tanto si son consideradas las actividades del proyecto.
i.
Todos los RE estarían alineados con un marco de mejora de la ‘calidad educativa’ expresado en el OE. Ahora bien, a la luz de unos indicadores que, como veremos,
reiteran aspectos medidos —o que deberían de medirse— en el nivel de RE, el amplio OE no parece representar un alcance mayor de lo que cada RE puede alcanzar
por separado. Esto apunta hacia que el proyecto tomó cuerpo a partir de una secuencia de actividades temáticas asociadas a cada uno de los RE. Y, por lo tanto, más
allá de cada uno de los propósitos establecidos en cada RE, no parece haberse acertado a concretar qué mejoras en términos de calidad se persiguen (OE). Como
veremos, esto tiene consecuencias a la hora de establecer los indicadores a nivel de OE.
ii.
Los RE1, RE3 y RE4 alcanza a unos 32 centros, mientras que el RE3 actúa sobre 77. Esto dificulta que todos los RE tengan un efecto acumulado en el OE.
La valoración anterior sería sensiblemente menos positiva si tomamos en consideración las actividades de cada RE, muchas de las cuales tienen sentido en sí mismas pero
no establecen una secuencia de contribución entre ellas (son más bien discrecionales) de cara a su RE, y algunas están particularmente disociadas del RE que les da cabida.
Como nota al margen, es conveniente acotar el OG a aquél efecto principal al que contribuye el OE.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
Mejorada la calidad educativa de 32
centros de Fe y Alegría y estatales, que
atienden a 15,200 niñas/os, jóvenes y
personas adultas
Análisis crítico
Consecuencias para el establecimiento de indicador/es
Enunciado adecuado, si bien la fórmula
“mejorar la calidad” es polisémica y da
lugar a múltiples manifestaciones.
Es recomendable concretar en qué
dimensiones de la calidad se espera que se
produzca la mejora a este nivel,
independientemente de que para lograrlo
habrán de producirse mejoras en otros
aspectos que hacen a la calidad educativa
La variable a medir es la “calidad de la educación popular”102. Por lo que parecen apuntar
las actividades y los RE, el proyecto toma la gestión escolar, la práctica docente, y a
implicación de la comunidad como aspectos importantes que hacen a la calidad educativa
(establecidos en cada RE), pero no termina de definir cuál es el efecto esperado de la
intervención en esos aspectos (es decir, el OE) en términos de calidad educativa.
Esta indefinición afectará al establecimiento de indicadores, en tanto que: i) no está
explicitado claramente el fin último del proyecto y al que, por otro lado, llevarían las
mejoras en los aspectos anteriores (relacionados con cada RE), con lo que es más difícil
que el indicador haga explícito tal fin; y ii) no se han tomado en cuenta los problemas
101
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de
generar el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
102
Según el modelo establecido por la organización, la calidad tendría múltiples dimensiones: i) a nivel de resultados en la población escolarizada (académicos y en valores); ii) en los procesos de enseñanza y
gestión escolar; iii) disponer de los recursos educativos que los hacen posible y hacer un uso eficiente de los mismos; y iv) por último, en la pertinencia socioeconómica de la población atendida, en tanto que la
opción por las personas más vulnerables es una condición sine qua non de la “calidad de la educación popular”.
127
Nivel
Enunciado original
RE1
Mejorados los procesos de gestión de 16
centros escolares de FyA y 16 centros
estatales.
RE2
Mejorados los procesos de enseñanza y
de aprendizaje en el aula en 22 centros de
FyA y 55 Centros estatales.
RE3
Mejorado el clima de convivencia escolar
en 16 centros de FyA y 16 centros
públicos.
RE4
Mejorada la relación escuela-comunidad
en 16 centros FyA y 16 públicos.
Análisis crítico
Consecuencias para el establecimiento de indicador/es
y sobre los que actuarían los RE en el nivel
inferior de la lógica de intervención.
centrales a través de los cuales se pone en evidencia la baja calidad (no los que la
causan, que sí estarían representados en los RE), y por lo tanto es más difícil establecer
indicadores sobre los mismos.
Enunciados mejorables.
Se solapan con las dimensiones de calidad
del OE. Los RE son formulados como
cambio a nivel de centro (ej: mejorados los
procesos de gestión). Tales RE así
expresados van, a priori, más allá del
primer efecto de las actividades asociadas
a cada RE y que estaría representado, en
primera instancia, en un cambio de práctica
a nivel de cada agente de la comunidad
educativa (ej: equipos directivos
capacitados en modelos gestión escolar).
Cada uno de los RE enunciado en tales términos (a nivel de centro y como efecto de los
cambios de práctica a nivel de la comunidad educativa) habría de encontrar un indicador
apropiado que evidencie esos cambios institucionales de centro.
Para cada RE, el indicador ha de establecer con claridad los términos del efecto que es
esperable en cada RE1, tal y como veremos más adelante. Por ejemplo, qué evidencia
observable o medible (variable del indicador) nos indica que han sido mejorados los
procesos de gestión o los de enseñanza y aprendizaje.
Un buen estudio de base sobre los problemas existentes y sus manifestaciones ayudaría a
identificar las variables problemáticas que hacen a la calidad educativa, variables cuyo
comportamiento positivo ahora debería ser registro a través de los indicadores de logro.
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible103) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Pertinente
El indicador está relacionado con el OE/RE
Dudoso
No está clara la relación entre el indicador y el OE/RE
No
El indicador no está relacionado con el OE/RE
103
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
128
Sí
Dudoso
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada
o se reporta con base a una fuente sustituta
relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
No
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
OE
Enunciado
original
Indicador/es original/es
Mejorada la
calidad educativa
de 32 centros de
Fe y Alegría y
estatales, que
IOV.1. 12 centros educativos
(60% de equipos directivos
de FYA y 10% de centros
estatales) han mejorado su
práctica de gestión
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Pertinente: No. Está referido al logro expresado en el RE1.
Específico: Dudoso. La variable primera del indicador (‘práctica de gestión’)
no es lo suficientemente concreta de manera que pueda estimarse una
medición y verificación lo más objetiva posible. El intento por hacer operativa
tal variable a través de otras dos (‘organización en equipos’ y ‘tomar
Atendiendo a su aplicación / Fuente verif.
Utilidad: Sí. Tanto la FV prevista como la aportada en
realidad en el último informe de seguimiento anual
(FV.1 Evaluación de la comunidad educativa sobre la
gestión [y práctica docente]) tienen relación con los
datos que serían necesarios para informar sobre este
104
“En 2012, cuatro (4) centros de FYA han mejorado su práctica de gestión colegiada según las dos condiciones descritas en el indicador (están organizados en equipos y toman decisiones teniendo en cuenta la
participación de estudiantes y madres y padres de familia); doce (12) centros de FYA están organizados en equipos pero no han mejorado en relación con la toma de decisiones.”
129
Nivel
Enunciado
original
atienden a 15,200
niñas/os, jóvenes y
personas adultas.
Indicador/es original/es
colegiada (están
organizados en equipos y
toman decisiones teniendo
en cuenta la participación de
estudiantes y madres y
padres de familia), con la
participación de un 85% de
mujeres.
IOV.2. Un 30% de 918
docentes (93% mujeres) han
mejorado sus prácticas en
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
decisiones considerando la participación de estudiantes y familias’) es más
certero en el caso de la primera que de la segunda, por cuanto la verificación
de la existencia de que los equipos directivos está organizados en equipos
parece más evidente que la de deducir si toman decisiones teniendo en
cuenta a estudiantes y familias.
En cualquier caso, de no mejorarse el enunciado del indicador, sería
necesario diseñar y aplicar un procedimiento y herramientas de análisis y
verificación de tales aspectos lo más objetiva y sistemática posible, de manera
que recogiesen, a su vez, todas las variables que llevan implícitas la
‘organización de equipos directivos’ y ‘su toma de decisiones
participativamente’).
En el último informe de seguimiento se reportan avances sobre este indicador
en los mismos términos104. Esto parece apuntar que, a priori, tal procedimiento
y herramientas han sido desarrollados para funcionar como fuente de
verificación. Según la entrevista realizada, parece reportar información útil y el
equipo local estar satisfecho, lo que lleva a calificar el indicador, que en
principio no es ‘pertinente’, como ‘dudoso’. Es conveniente asegurarse que su
aplicación informe con fiabilidad de tal indicador y que la medición sea
objetivamente verificable (ver nota a pié de página nº 129).
Por último, si el elemento de género está referido a que las mujeres formen
parte de tales equipos directivos, sería más exacto expresarlo en términos de
composición de tales equipos (ej. “compuestos por mujeres en un 85%), más
que como “participación”, concepto que tiene un rango más amplio de
interpretaciones.
Medible: Sí. Es establecido el estándar (porcentaje de centros en los que es
esperable el comportamiento del indicador). No se especifica el momento
(año) al que está referido.
Atendiendo a su aplicación / Fuente verif.
indicador del OE.
Para reportar sobre él, la FV ha de:
a) Ser suficientemente operativa, es decir, que
desagregue adecuadamente todos y cada uno de los
aspectos a observar y valorar, bien la organización
de los equipos, bien su toma de decisiones
participativa.
b) Ser aplica de una manera sistemática, es decir, se
cuente con un protocolo de medición estandarizado
para minimizar la subjetividad de la valoración.
Disponible: Sí.
Pertinente: No. Está referido al logro expresado en el RE2.
Específico: No. La variable primera del indicador (‘mejora de la práctica en
aula) no es lo suficientemente concreta de manera que pueda estimarse una
Utilidad: Sí. Tanto la FV prevista como las aportadas
en realidad en el último informe de seguimiento anual
(FV.1 Evaluación de la comunidad educativa sobre la
105
“IOV.2) Durante el año 2012, el 38% (154 docentes) de 401 docentes (82% mujeres) de 14 Centros Educativos de FYA, han mejorado sus prácticas en el aula (se ajustan al ritmo de aprendizaje de las y los
estudiantes).”
130
Nivel
Enunciado
original
Indicador/es original/es
el aula (se ajustan al ritmo
de aprendizaje de los/las
estudiantes).
IOV.3. 5.000 jóvenes (56%
106
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
medición y verificación lo más objetiva posible. El intento por hacer operativa
tal variable a través de una aclaración posteriormente añadida en la PAC
(‘ajustarse al ritmo de aprendizaje del alumnado’) está más acotada pero
sigue sin suponer un elemento específicamente verificable.
Como en el caso anterior, de no mejorarse el enunciado del indicador, sería
necesario diseñar y aplicar un procedimiento y herramientas de análisis y
verificación de este u otros aspectos de mejora de la práctica de aula lo más
objetiva y sistemáticamente posible.
Como en el caso anterior, en el último informe de seguimiento se reportan
avances sobre este indicador en los mismos términos105. Esto parece apuntar
que, a priori, tal procedimiento y herramientas han sido desarrollados para
funcionar como fuente de verificación. Es conveniente asegurarse que su
aplicación informe con fiabilidad de tal indicador y que la medición sea
objetivamente verificable (ver nota a pié de página nº 4).
Por último este indicador tendría además el problema de que no está claro
cómo son especificados el número de docentes que se menciona como
colectivo beneficiario (918). Una de las hipótesis es que se sumó al número
de docentes todo el personal que trabaja en los centros (directivos,
administrativos, etc.), lo cual no sería correcto. La otra, que se consideran
los/as docentes de los centros públicos donde se incide con el Proyecto. En
este caso, FyA encuentra la gran limitación de no tener un acceso libre a las
aulas de los centros públicos por lo que no se podría hacer el seguimiento al
indicador como en los centros de FyA, lo que afectaría a su medición y
disponibilidad.
Medible: Sí. Es establecido el estándar (porcentaje de centros en los que es
esperable el comportamiento del indicador). Es recomendable desagregar por
sexo no solo el total de la población meta del indicador (918), sino el
porcentaje de hombres/mujeres en el que se distribuye el logro (30%), un dato
muy relevante a la hora de estimar la eficacia del proyecto en función del
sexo. No se especifica el momento (año) al que está referido.
Atendiendo a su aplicación / Fuente verif.
gestión [y práctica docente]; FV.2 Evaluación sobre
los procesos de enseñanza-aprendizaje) tienen
relación con los datos que serían necesarios para
informar sobre este indicador del OE.
Para reportar sobre él, la FV ha de:
a) Ser suficientemente operativa, es decir, que
desagregue adecuadamente todos y cada uno de los
aspectos a observar y valorar, bien la organización
de los equipos, bien su toma de decisiones
participativa.
b) Ser aplica de una manera sistemática, es decir, se
cuente con un protocolo de medición estandarizado
para minimizar la subjetividad de la valoración.
Disponible: Sí.
Pertinente: No. Está referido al logro expresado en el RE4.
Utilidad: No. Tanto la FV prevista (FV. Informe de
“En el año 2012, 1.349 jóvenes de 16 centros de FyA y 4 estatales y de la comunidad participan en redes municipales y elaboran acciones de desarrollo para la comunidad.”
131
Nivel
Enunciado
original
Indicador/es original/es
de mujeres) de 32 centros
(16 de FyA y 16 estatales) y
de la comunidad, participan
en redes municipales y
elaboran acciones de
desarrollo para la
comunidad
IOV.4. Un 100% de
equipos directivos,
docentes, personal técnico
y de calidad formados en
género pone en práctica
el lenguaje no sexista (93%
mujeres).
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Específico: Sí. El indicador establece dos variables, en lugar de una, por lo
que se entiende que han de cumplirse las dos. En cualquier caso, habrían de
especificarse en qué términos se supone ha de darse la “participación en
redes municipales” (ej: asistir a reuniones; y de ser el caso, expresar el
indicador en tales términos), y qué tipos de acciones son susceptibles de ser
consideradas “acciones de desarrollo”.
Para ello, es necesario diseñar y aplicar un procedimiento y herramientas de
análisis y verificación al respecto de las dos variables arriba resaltadas.
Como en el caso anterior, en el último informe de seguimiento se reportan
avances sobre este indicador en los mismos términos106. Esto parece apuntar
que, a priori, tal procedimiento y herramientas han sido desarrollados para
funcionar como fuente de verificación. Es conveniente asegurarse que su
aplicación informe con fiabilidad de tal indicador y que la medición sea
objetivamente verificable (ver nota a pié de página nº 4)
Medible: Sí. Es establecido el estándar (porcentaje de centros en los que es
esperable el comportamiento del indicador) y está desagregado por sexo. No
se especifica el momento (año) al que está referido.
Atendiendo a su aplicación / Fuente verif.
actividades de centro y la comunidad….) como las
finalmente aportadas (FV 06: Estadísticas de
beneficiarios/as (personas y centros) no parecen
atender el requerimiento informativo del indicador. Al
ser un indicador que se mueve en grandes cifras
(5.000 jóvenes) y trata de medir comportamientos
que se suponen individuales, debe de asegurarse
que el agregado obtenido (en el último informe, 1.349
jóvenes) responde a un mismo concepto inequívoco
de “participación en redes municipales” y
“elaboración de acciones de desarrollo”, tal y como
establece el indicador.
Disponible: Sí.
Pertinente: No. Está referido al logro expresado en el RE2, asociado al cual
se ejecuta una actividad en esta materia. A mayores, no queda clara la
consideración en el indicador “del personal técnico y de calidad”.
Específico No. El indicador no contiene una variable específica, sino una
expresión genérica (“poner en práctica”) que requeriría, a su vez, de nuevas
variables operativas que puedan concretar si tal uso del lenguaje no sexista
se ha producido.
Para ello, al no ser explícito en el indicador, es necesario diseñar y aplicar un
procedimiento y herramientas específicos. Cabe señalar la dificultad que
entraña la medición y verificación de un indicador de esta naturaleza si ha de
hacerse de una manera sistemática y lo más objetiva posible (fiable). Dado el
universo del proyecto, además, solo sería factible tomando una muestra
representativa de personas.
Medible: Sí. Es establecido el estándar (porcentaje de personas en los que es
esperable el comportamiento del indicador) y está desagregado por sexo. No
se especifica el momento (año) al que está referido.
Utilidad: Dudoso. La FV prevista y reportada (FV. 03:
Estadísticas […] y utilización lenguaje no sexista)
parecen atender el requerimiento informativo del
indicador. Al ser un indicador que mide un cambio de
hábito de fuerte arraigo cultural, se mueve en
grandes cifras (100% de directivos/as, docentes, etc.)
y trata de medir prácticas individuales, debe de
asegurarse que la FV se basa en la aplicación de un
procedimiento inequívoco de registro, factible de
aplicar y libre del potencial sesgo que puede
introducir en el comportamiento del agente observado
la presencia de la persona que realiza la observación.
Disponible: Sí.
132
Nivel
Enunciado
original
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Obvia decir que establecer un estándar del 100% es una meta elevadísima
poco realista. En descargo del equipo gestor del Convenio, hay que recordar
que la meta inicial (30%) fue modificada por la AECID, quien sugirió subirla
al 100%.
RE1
Mejorados los
procesos de
gestión de 16
centros escolares
de FyA y 16
centros estatales.
I1R1. 131 personas
miembros de los equipos
directivos y de calidad se
forman para la mejora de los
procesos de gestión escolar.
Pertinente: No. La variable del indicador (“se forman”) está referida a una
actividad del RE1, pero no a su logro, es decir, no aportan evidencias de que
se han mejorado los procesos de gestión.
Específico: No. Si lo que se pretende es expresar que 131 personas han sido
formadas en procesos de gestión escolar, el indicador no contiene una
variable específica107, sino una expresión genérica (“se forman”) que
requeriría, a su vez, de nuevas variables operativas que puedan concretar si
tal formación se ha producido.
En las sucesivas PAC y en los informes de seguimiento se reporta sobre un
indicador complementario formulado en relación al porcentaje de docentes
que lograr terminar un diplomado en Gestión Directiva, más adecuado que el
inicialmente diseñado para evidenciar la formación del cuerpo docente pero
en todo caso insuficiente como indicio de que se han mejorado los procesos
de gestión, efecto posterior a la formación adquirida en Gestión Directiva.
Medible: Sí. Si bien no permite deducir con facilidad qué alcance significan
esas 131 personas sobre el total. Recomendable desagregar por sexo, algo
que ya se ha introducido en los informes de seguimiento anual. No se
especifica el momento (año) al que está referido.
Utilidad: No. La FV (FV. Memoria de los procesos
formativos) es suficiente para documentar la
participación (asistencia) en las actividades de
formación pero informaría de formación adquirida.
Disponible: Sí
RE2
Mejorados los
procesos de
enseñanza y de
aprendizaje en el
aula en 22 centros
de FyA y 55
Centros estatales.
R2.1. En el 80% de centros
de FYA hay espacios de
reflexión con docentes y
estudiantes sobre los
procesos de aprendizaje.
Pertinente: Sí. En tanto que no suponga una actividad o medio creado para
favorecer el RE2, sino un producto derivado de la introducción de mejoras en
los procesos de enseñanza y aprendizaje, independientemente de que puede
contribuir a seguir mejorándolos con su puesta en marcha.
Específico: Dudoso. Si bien pueden tomarse como la variable del indicador
(“espacios de reflexión”) todos aquellos que parezcan cumplir esta función y
requisitos de composición (docentes y estudiantes), cabe explicitar y concretar
más el indicador para aproximarlo a una medición y verificación lo más
Utilidad: Sí. La FV (FV.09 Visitas de Seguimiento y
acompañamiento a los CE/seguimiento aulas),
debidamente procesada, tiene a priori potencial para
reportar sobre el indicador.
Disponible: Sí
107
Sí sería un indicador específico en tanto la expresión “se forman” indicase que asisten a determinadas actividades de formación.
133
Nivel
Enunciado
original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
objetiva posible.
Elementos a concretar del indicador son, por ejemplo, si por “espacios” se
entiende la celebración de reuniones, o la existencia de grupos más
formalmente constituidos.
Medible: Sí. Desagregar composición por sexo de las personas que
habitualmente asistente a tales “espacios”. No se especifica el momento (año)
al que está referido.
108
R2.2. En el 50% de los
centros de FYA los y las
docentes diseñan
propuestas de evaluación
de aprendizaje enfocadas a
contenidos, procedimientos
y actitudes.
Pertinente: Sí. El indicador recoge el un aspecto de la mejora de los procesos
de enseñanza y aprendizaje, en este caso, en términos de productos para un
trabajo mejor evaluado por parte del cuerpo docente.
Específico: Sí. El indicador establece una variable asociada a un producto
(“propuestas de evaluación de aprendizaje”). La medición de tal indicador
implicará el diseño de un procedimiento y herramienta que verifique su
elaboración y, lo más sistemática y objetivamente posible, que tal producto de
evaluación abarca “contenidos, procedimientos y actitudes”.
Medible: No. El indicador reportaría una información más pertinente si la
medición se realizase sobre las personas beneficiarias, y no sobre los centros,
de manera que se evite, como es el caso, establecer un logro en el 100% de
docentes del 50% de centros. Recomendable desagregar por sexo. No se
especifica el momento (año) al que está referido.
Utilidad: Sí. La FV prevista (FV. Propuestas de
evaluación diseñadas en los centros) tenía el
potencial de reportar sobre el indicador.
Disponible: No. Si bien se reporta sobre este
indicador en el segundo informe anual, no se aporta
una FV específica.
R2.3. Un 60% de docentes
de centros de FYA se forma
en género.
Pertinente: No. La variable del indicador (“se forman”) está referida a una
actividad de este RE2, pero no a su logro, es decir, no aportan evidencias de
que se el personal docente se ha formado en género.
Específico: No. Si lo que se pretende es expresar que tales docentes han sido
formadas en género, el indicador no contiene una variable específica108, sino
una expresión genérica (“se forman”) que requeriría, a su vez, de nuevas
variables operativas que puedan concretar si tal formación se ha producido.
Medible: Sí. Recomendable desagregar por sexo. No se especifica el
momento (año) al que está referido.
Utilidad: No. Las FV previstas sólo documentaban la
realización de la formación y los materiales utilizados.
La FV aportada en el último informe de seguimiento
(FV. Memorias de procesos formativos) apuntaría
en la misma línea, y a priori no parecen poder
reportar sobre el nivel de formación en género
adquirido por los docentes.
Disponible: Sí
R2.4. Un 30% de docentes
Pertinente: Sí. Es con diferencia el indicador más directamente relacionado
Utilidad: No. Ninguna de las FV previstas en el
Sí sería un indicador específico en tanto la expresión “se forman” indicase que asisten a determinadas actividades de formación.
134
Nivel
Enunciado
original
Indicador/es original/es
de los centros de FYA
aplican estrategias de aula
que se ajustan al ritmo de
aprendizaje de los
estudiantes y promueven la
motivación al estudio y el
trabajo en equipo.
R2.5. 15 centros de FYA
elaboran Planes de Mejora
con líneas priorizadas
enfocadas a mejorar el clima
afectivo en el aula de clases.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
con el RE2, y el más significativo y relevante. En gran medida, bastaría como
único indicador, actuando algún otro, si fuera necesario y factible, como
indicador complementario de contraste.
Específico: No. El indicador ha de ser más concreto, ya que las dos variables
en él contenidas necesitarían a su vez de nuevas variables operativas que
puedan concretar las expresadas en él, es decir, si la “aplicación de
estrategias” y “promoción de la motivación al estudio y trabajo en equipo” se
han producido. Esta concreción ayudaría a aproximar el indicador a una
medición y verificación lo más objetiva posible.
En todo caso, es posible que, diseñada y aplicada de la manera adecuada,
una fuente ad hoc de verificación pueda hacer operativo el registro de los
fenómenos que todavía son demasiado genéricos en el indicador,
estableciendo con claridad las variables empíricas que ayudan a su
identificación inequívoca.
Medible: Sí. Desagregar composición por sexo. No se especifica el momento
(año) al que está referido.
Atendiendo a su aplicación / Fuente verif.
documento de proyecto parece estar relacionada con
este indicador.
Disponible: No. Si bien en el segundo informe de
seguimiento anual se reporta como indicador
alcanzado que “Semanalmente, los y las
coordinadoras pedagógicas de los centros educativos
acompañan de manera sistemática a los docentes en
su práctica en el aula” no se aporta la FV.
Pertinente: No. El indicador recoge un elemento necesario para mejorar los
procesos de enseñanza y aprendizaje fruto de una actividad particular: un
producto en el que basar las líneas prioritarias de actuación. No puede
considerarse como evidencia de que han mejorado los procesos de
enseñanza-aprendizaje (RE2), sino como un input necesario para la adecuada
planificación de las líneas de mejora en el centro, de las cuáles formarían
parte tales procesos.
Por otro lado, no se entiende la pertinencia de condicionar el contenido a
determinados elementos (líneas relacionadas con el clima afectivo en el aula);
y de ser así, cabe la duda de si no aplicaría el indicador al RE3 relacionado
con el clima de convivencia.
Específico: Sí. El indicador establece una variable asociada a un producto
(“planes de mejora con líneas priorizadas”).
Medible: Sí. No se especifica el momento (año) al que está referido.
Utilidad: Sí. La FV prevista (FV. Planes de mejora)
documentan la existencia de tales productos.
Disponible: Sí.
135
Nivel
Enunciado
original
Indicador/es original/es
R2.6. 500 docentes de
centros de FYA y de centros
estatales se forman en
temáticas específicas.
RE3
Mejorado el clima
de convivencia
escolar en 16
centros de FyA y
16 centros
públicos.
IR3.1. En el 80% de los
centros de FYA y 10% de
centros públicos se
elaboran
participativamente las
normas de convivencia
escolar.
109
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Pertinente: No. La variable del indicador (“se forman”) está referida a un
abanico de actividades y tareas puntuales de este RE2, pero no a su logro, es
decir, no aportan evidencias de que se el personal docente se ha formado en
tales temáticas específicas.
Específico: No. Si lo que se pretende es expresar que tales docentes han sido
formadas, el indicador no contiene una variable específica109, sino una
expresión genérica (“se forman”) que requeriría, a su vez, de nuevas variables
operativas que puedan concretar si tal formación se ha producido.
Medible: Sí. Recomendable desagregar por sexo. No se especifica el
momento (año) al que está referido.
Utilidad: No. Las FV previstas sólo documentaban la
realización de la formación. La FV aportada en el
último informe de seguimiento (FV. Memorias de
procesos formativos) apuntaría en la misma línea, y
a priori no parecen poder reportar sobre el nivel de
formación adquirido por los docentes.
Disponible: Sí
Pertinente: Sí. En tanto que el indicador no esté referido a una actividad
pensada para mejorar el clima de convivencia (un medio para el RE3); y sí
refleje en realidad un efecto de haber mejorado el clima de convivencia. Es
decir, que la elaboración participativa de las normas de convivencia sea un
logro derivado del logro del RE3, de forma tal que se haya actuado sobre la
manifestación de un fenómeno problemático detectado en el estudio de base
relacionado con la elaboración no participativa de dichas normas. En ese
sentido, el indicador ha de ser la expresión de haber logrado el RE, no una
actividad prevista para ello.
Específico: No. El indicador no se ciñe al producto (contar con unas normas
de convivencia escolar), sino que la variable del mismo las cualifica
(“participativamente”), es decir, ha de ser fruto de un proceso de participación.
Esto introduce un concepto abstracto en el indicador (¿participación de
quién?, ¿en qué?, ¿cómo o en qué grado?) que habría de ser operativizado
para poder medirlo de una manera lo más objetivamente posible.
En todo caso, es posible que, diseñada y aplicada de la manera adecuada,
una fuente ad hoc de verificación pueda hacer operativo el registro de un
indicador que no es específico, estableciendo en la herramienta y su
procedimiento de aplicación con claridad las variables empíricas que ayudan a
su identificación inequívoca.
Medible: Sí. No se especifica el momento (año) al que está referido.
Utilidad: Dudosa. Si bien ha sido prevista una FV
relacionada con el indicador (FV. Normas de
convivencia elaboradas participativamente), parece
en realidad tener solo capacidad de documentar la
existencia del producto “norma de convivencia” más
que de informar de una manera lo más objetiva
posible sobre si ha sido elaborado o no de una
manera participativa.
Disponible: No aplica. No se ha producido hasta la
fecha el RE en estos términos.
Sí sería un indicador específico en tanto la expresión “se forman” indicase que asisten a determinadas actividades de formación.
136
Nivel
Enunciado
original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
IR3.2. El 50% de los centros
de FYA destaca en al menos
una actividad pública un
tema sobre equidad de
género.
Pertinente: Sí. En tanto que el indicador no esté referido a una actividad
pensada para mejorar el clima de convivencia (un medio para el RE3, es
decir, una actividad prevista que va a ser realizada y por lo tanto computada
ficticiamente como indicador); y sí refleje en realidad un efecto de haber
mejorado el clima de convivencia. Es decir, que la actividad pública sobre un
tema de equidad de género sea un logro derivado del logro del RE3, de forma
tal que se haya actuado sobre la manifestación de un fenómeno problemático
detectado en el estudio de base relacionado con la visibilidad y concepción
del tema de género en el centro educativo.
Específico: Sí. Si bien es necesario de alguna forma establecer en el proceso
de verificación del indicador alguna pauta para discernir qué se entiende por
“actividad pública” y cuándo ésta está relacionada con la “equidad de género”.
Para evitar una mayor complejidad en el indicador, se recomienda no exigir al
centro que “destaque” en tal actividad pública —que requeriría una nueva
pauta de medición que establezca cuando el centro ha destacado y cuando
no—, limitando el indicador a establecer que el centro “realiza” tal actividad.
Medible: Sí. No se especifica el momento (año) al que está referido.
Utilidad: Dudosa. Ha sido prevista una FV
relacionada con el indicador (FV. Informe de
actividades donde se proyecte la equidad de género).
En todo caso, las reportadas en el último informe de
seguimiento anual (FV 14: Política de género de FYA
Nicaragua y memorias del proceso de construcción
de la misma., y FV 15: Memorias de talleres y
actividades para la mejora del clima de convivencia
escolar) habría de valorar el comportamiento del
indicador, y no solo documentar la realización de
actividades.
Disponible: Sí.
IR3.3. El 40% de estudiantes
de los centros están
organizados y aprovechan
espacios colectivos del
centro (acto cívico,
reuniones, etc.) para
compartir sus intereses o
acciones.
Pertinente: Sí. Es considerado el indicador más directamente relacionado con
el RE3, en tanto se haya actuado sobre la manifestación de un fenómeno
problemático detectado en el estudio de base relacionado con convivencia en
el centro educativo.
En todo caso, está acotado a una dimensión de la convivencia: entre
alumnos/as. Sería necesario un indicador complementario al respecto del
clima escolar alumno/a-docente.
Específico: No. El indicador establece variables (“organización”,
“aprovechamiento”, “compartir”) no concretas y que es necesario, a su vez,
desagregar en nuevas variables más operativas que aproximen el indicador a
Utilidad: Dudosa. Ha sido prevista una FV
relacionada con el indicador (FV. Planes de
comisiones de estudiantes que reflejen actividades
en espacios colectivos) que parcialmente informaría
sobre el indicador. Las reportada en el último informe
de seguimiento anual (FV 15: Memorias de talleres y
actividades para la mejora del clima de convivencia
escolar) habría de valorar el comportamiento del
indicador, y no solo documentar la realización de
actividades.
Disponible: No.
137
Nivel
RE4
110
Enunciado
original
Mejorada la
relación escuelacomunidad en 16
centros FyA y 16
públicos.
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
una medición lo más objetiva posible.
Si bien en el último informe de seguimiento se reporta sobre este indicador110,
existen dudas sobre las fuentes (no se ha detectado ninguna claramente
relacionada) para informar sobre el indicador de una manera sistemática.
Medible: Sí. No se especifica el momento (año) al que está referido.
Recomendable desagregar por sexo.
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. Es un indicador directamente relacionado con el RE3, en tanto
esté recogiendo la manifestación de un cambio introducido por el RE, y no la
constatación de un hecho precedente o una actividad de obligada ejecución.
Específico: No (ver comentarios al indicador 3 del OE).
Medible: Sí. (ver comentarios al indicador 3 del OE).
Utilidad: No. (Ver comentarios al indicador 3 del OE).
Disponible: Sí. (Ver comentarios al indicador 3 del
OE).
IR4.2. Se incrementa en un
10% la participación de
padres (hombres) de familia
en las actividades de los
centros de FYA y la
comunidad.
Pertinente: Sí. Es un indicador directamente relacionado con el RE3, en tanto
esté recogiendo la manifestación de un cambio introducido por el RE, y no la
constatación de un hecho precedente o una actividad de obligada ejecución.
Específico: Sí. En todo caso, cabría limitar el término “participación” con toda
probabilidad a la “asistencia”, en tanto el concepto de participación es más
amplio.
También cabe prever unas pautas y herramientas para establecer qué tipo de
actividades son aquellas en las que es esperable tal asistencia de los padres
de familia, para focalizar y clarificar el proceso de medición del indicador.
Medible: Sí. No se especifica el momento (año) al que está referido.
Utilidad: Sí. En tanto la FV (FV 17: Informes de
actividades con participación de madres y padres ),
más allá de documentar la asistencia, aporte tales
datos procesados para contrastar la variación
porcentual de la misma entre los padres.
Disponible: Sí.
IR4.3. Se ejecuta
conjuntamente con la
comunidad al menos un
proyecto de desarrollo en
todas sus fases.
Pertinente: Sí. Es un indicador directamente relacionado con el RE3, en tanto
esté recogiendo la manifestación de un cambio introducido por el RE, y no la
constatación de un hecho precedente o una actividad de obligada ejecución.
Específico: Sí. En todo caso, de cara al procedimiento de verificación, cabría
aclarar: i) qué se entiende por proyecto o si, por el contrario, se registrará las
Utilidad: Sí. La FV prevista (FV Diseño del proyecto),
solo documentaría una de las fases de la ejecución
del proyecto de desarrollo. En todo caso, se aporta
en el último informe de seguimiento una nueva FV
(FV 19: Proyectos ejecutados de forma conjunta con
IR4.1. 40% de jóvenes de
centros de FYA, públicos y
de la comunidad,
integrados en comisiones,
participan con redes
municipales en acciones de
desarrollo para la
comunidad.
“En 2012 el 30% de los estudiantes de 9 centros de FYA y públicos están organizados y aprovechan espacios colectivos del centro para compartir sus intereses o acciones”.
138
Nivel
Enunciado
original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
iniciativas centro-comunidad de cualquier naturaleza; y ii) cuáles son las fases
mencionadas, de manera que pueda registrarse distintos grados de ejecución,
si fuera el caso.
Medible: Sí. No se especifica el momento (año) al que está referido.
Atendiendo a su aplicación / Fuente verif.
la comunidad) que sí se corresponde con la
información necesaria para alimentar el indicador.
Disponible: Sí.
139
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
01. Informes evaluación comunidad educativa sobre gestión.
02. Documentos de formación a Equip Direct, de calidad y técnicos
03. Mejora de prácticas educativas en los 15 CE del SMC
Relevante.
No relevante (actividades)
Relevante. Si bien corresponde a RE3
FV R 1
01. Informes evaluación comunidad educativa sobre gestión.
04. Conformación de equipos de calidad
05. Acompañamiento y Jornadas Equipos Directivos
06. Documentos de formación Equip de calidad
07. Diplomado en Gestión Directiva
Relevante.
No relevante.
Relevante. Procesar datos.
No relevante (actividades)
Relevante.
FV R 2
08. Intercambio Experiencias de Aula
09. Visitas Segto y acompañamiento CE/seguimiento aulas
10. Doc propuestas curriculares formación docentes/CE
11. Diagnóstico género FYA.doc
No relevante.
Relevante. Procesar datos.
No relevante (actividades)
No relevante. (Identificación, línea base)
03. Mejora prácticas educativas en los 15 CE del SMC
12. Memorias Trabajos para análisis de contexto
13. Formación docentes/estudiantes en AER y HPV
Relevante.
No relevante.
No relevante. Interesan resultados de la
formación
14. Manual centro de recursos CS
15. Planes de comisiones de estudiantes
No relevante.
Relevante. Procesar datos.
FV R 3
FV R 4
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01: Evaluación de la comunidad educativa sobre la gestión y práctica
docente en el aula.
FV 02: Evaluación sobre los procesos de enseñanza-aprendizaje
FV 03: Estadísticas formación en género y utilización lenguaje no sexista
FV 04: Diagnóstico de género en FYA Nicaragua
FV 05: Memorias de procesos formativos
FV 06: Estadísticas de beneficiarios/as (personas y centros)
FV 07: Fotografías y vídeos
Relevante.
FV R 1
FV 08: Informes de visitas de acompañamiento al centro y equipos directivos. Relevante. Necesario procesar datos.
FV 09: Sistematización trabajo con Equipos Directivos de mejora de la gestión Relevante
FV 10: Estadísticas Equipos Técnicos y de Calidad
Relevancia dudosa.
FV R 2
FV 11: Planes de Mejora
FV 12: Informes de acompañamiento en el aula
FV 13: Nuevas propuestas curriculares
Relevante.
Relevante.
No relevante. (Identificación, línea base)
No relevante. (actividades)
No relevante.
No relevante. (actividades)
Relevante.
Relevante. Necesario procesar datos.
No relevante. (actividades)
140
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
No relevante. (actividades)
FV R 3
FV 14: Política de género de FYA Nicaragua y memorias del proceso de
construcción de la misma.
FV 15: Memorias de talleres y actividades para la mejora del clima de
convivencia escolar
FV R 4
FV 16: Memorias y listados de actividades en red
FV 17: Informes de actividades con participación de madres y padres
FV 18: Listados de jóvenes organizados
FV 19: Proyectos ejecutados de forma conjunta con la comunidad
Relevancia dudosa.
Relevante.
Relevante.
Relevante.
Relevancia dudosa.
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 94%
−
Presupuestado: 338.090 euros
−
Ejecutado: 318.165 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 93%
−
PAC 3: 93%
141
FICHA # 7. PROYECTO 23 (REGIONAL – FEDERATIVO)
A) Resumen descriptivo
1. Título: Fortalecimiento del sistema de sistema de mejora de calidad educativa de Fe y Alegría.
2. Proyecto nº: 23
3. Objetivo específico Convenio: 2 Calidad educativa
4. País: Regional (17 países, incluido Haití).
5. Resumen de la intervención:111
El proyecto pretende continuar con la implementación del sistema de mejora de calidad educativa en los
centros de Fe y Alegría para lograr transformaciones en los procesos y resultados que se dan en la escuela.
Con ello se intentan obtener mayores niveles de apropiación en el ámbito de la evaluación y una mejora
permanente de la calidad en los centros educativos a través de:
a) Una evaluación de la calidad educativa en los centros educativos. Esta evaluación será la segunda
en 375 centros (de ‘contraste’ con respecto a los resultados de 2008), y la primera en 187 nuevos
centros (‘inicial’). La organización de las 4 fases (evaluación, interpretación, planificación y
sistematización) en los países será la siguiente:
−
Cada Fe y Alegría se encargará de la aplicación en cada uno de los centros que participen en el
proceso. Desde cada país se enviarán las hojas de respuesta para ser procesadas por una Unidad
de Evaluación que será creada con el proyecto, quién posteriormente devolverá un informe
estadístico por centro que deberá ser interpretado y entregado a cada uno de los centros por el
equipo pedagógico nacional.
−
Los equipos pedagógicos nacionales acompañarán a la comunidad escolar en los centros (equipos
directivos, docentes, alumnos y alumnas, padres y madres,…) en el análisis y la reflexión sobre el
contenido de los informes, así como en la revisión y en la implementación de los planes de mejora
y el establecimiento de líneas de acción en cada centro.
−
A lo largo del proyecto se realizarán tres encuentros internacionales con los responsables de país
para formación y construcción colectiva de este proceso. Desde la Coordinación del Programa de
Mejora de Calidad se realizará el acompañamiento a los países.
El sistema de mejora de la calidad educativa incorporará el enfoque de género, inclyendo elementos
relacionados con la equidad de género en las evaluaciones de contraste e inicial. Los resultados se
tendrán en cuenta para elaborar los informes de cada centro, serán utilizados en el análisis por parte de
la comunidad educativa en las escuelas y se irá incorporando el enfoque de género en la elaboración de
los planes de mejora acción que se trabajen en los centros. Del mismo modo, como se tendrán insumos
y una línea de base a partir de las evaluaciones realizadas, se trabajará en los encuentros de
formación con los responsables pedagógicos de los países para construir colectivamente un enfoque de
género en la educación integrado en el sistema de mejora de la calidad de Fe y Alegría.
b) El fortalecimiento y el desarrollo de capacidades pedagógicas. En el marco del sistema de mejora,
uno de los componentes fundamentales que contribuirá a la mejora de la calidad educativa será la
formación, el acompañamiento y el desarrollo de competencias de los equipos directivos, de los
educadores y los técnicos pedagógicos de Fe y Alegría. Esto implica:
111
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
142
−
Se mejorará la gestión de los equipos directivos a través de la socialización de los materiales de
formación para directivos elaborados por la Federación y el posterior acompañamiento de los
equipos pedagógicos nacionales en la sistematización de experiencias piloto de gestión directiva en
centros educativos de Fe y Alegría.
−
También se fortalecerán las competencias de los educadores de Fe y Alegría en 2 líneas:
−
i.
en los fundamentos y la conceptualización de la calidad en la pedagogía de la educación
popular, promoviendo cursos por dimensiones: aprender a aprender, sociopolítica,
pedagógica; y
ii.
con la formación en temáticas específicas (investigación-acción, planificación,…), algunas de
las cuáles serán resultado de los procesos de revisión y actualización de los planes de
mejora en los centros educativos.
El establecimiento del portal educativo Mundo Escolar de Fe y Alegría como espacio de
socialización y de formación virtual al servicio del sistema de mejora de la calidad. Se pondrán en
marcha redes de aprendizaje de docentes (comunidades de aprendizaje) y de estudiantes
(proyectos telemáticos interescolares) como espacios de formación e intercambio de los planes de
mejora impulsados por los centros educativos. Para ello se fortalecerá la formación de los equipos
pedagógicos de los países y los promotores de informática educativa en los elementos claves del
sistema de mejora de la calidad.
6. Lógica de la intervención: La matriz de planificación de marco lógico del proyecto se resume en la
siguiente tabla:
Obj. General
Implementar un sistema de mejora continua de la calidad educativa al servicio de los sistemas públicos de educación de América
Latina, para ampliar oportunidades y capacidades de los sectores más empobrecidos.
Obj. Específico
Logradas transformaciones en los procesos y resultados que se dan al interior de la escuela y en su contexto desde la
formación y el desarrollo del sistema de mejora de la calidad en 562 centros de Fe y Alegría incorporando el enfoque de género.
RE1
Se han fortalecido el
sistema de mejora de la
calidad de Fe y Alegría en
16 países de América
Latina.
RE2.
Establecido un sistema de
formación permanente
dirigido a los equipos
pedagógicos de las 17
oficinas nacionales y de los
equipos directivos y
docentes de los centros que
incide en la mejora de la
calidad educativa.
RE3.
Establecido el portal educativo
Mundo Escolar como espacio
de socialización y formación
virtual al servicio del sistema de
mejora de la calidad.
RE4.
El sistema de mejora de la
calidad educativa de Fe y
Alegría incorpora el enfoque
de género construido
colectivamente.
143
B) Análisis valorativo del diseño
7. Coherencia112 de la lógica de intervención: Baja / Secuencial entre RE
La lógica de intervención presenta un nivel de coherencia baja entre los niveles de RE y OE, particularmente si es considerada la relación causal entre, por un lado, el RE1 y
el RE4, y por otro el carácter instrumental del RE3, más propio del nivel de actividades.
iii.
Son fundamentalmente el RE1 y el RE2 los que apuntan, a través de dos estrategias distintas, a la mejora de la calidad educativa. Por un lado, el RE1 toma el centro
educativo como unidad de análisis y de trabajo; también unidad ‘beneficiaria’ con base a los planes educativos de centro resultado de un proceso de evaluación en cada
escuela. Detrás del RE1 está el Programa federativo de Calidad. Por otro lado, el RE2 toma como unidad de trabajo a los y las profesionales (equipos directivos,
docentes y personal técnico de las ONG locales), incrementando sus capacidades mediante una estrategia de capacitación. Detrás de este RE2 está el Programa
Estratégico de Formación de Educadores de la Federación de ONG local. Como un intento de establecer sinergias entre ambos RE de cara al OE, han sido incluidas bajo
el RE2 las actividades de formación relacionadas con la adecuada aplicación del sistema de mejora de la calidad (RE1).
iv.
Por su parte, los RE3 y RE4, aún siendo hitos programáticos para la institución local, la Federación Internacional, en la lógica de intervención desempeñan
respectivamente un rol instrumental o complementario.
1. El RE3 es instrumental, al ser concebido como: ) una plataforma de contenidos accesible a la comunidad educativa en general, ii) un espacio para el intercambio y
formación de equipos directivos y docentes —que contribuye al RE2— relacionado con las Comunidades de Aprendizajes, y iii) una vía virtual de conocimiento y
vínculos entre estudiantes relacionado con los Proyectos Telemáticos Interescolares. De los tres componentes, el segundo es un medio para el RE2, mientras que
el primero y el tercero cobrarían sentido en la lógica del proyecto si tienen una clara interrelación con la estrategia de actuación del RE1 (el sistema de mejora de la
calidad educativa) y/o con del RE2 (sistema de formación). En caso contrario, aún siendo pertinentes, no tendrían un encaje claro en la lógica del proyecto.
2. El RE4 es un componente del RE1 a considerar dentro del proceso del sistema de medición y mejora de la calidad.
v.
Así, el logro del OE es definido como alcanzable “desde la formación y el desarrollo del sistema de mejora de la calidad”, es decir, los RE 1 y 2.
Con todo lo anterior, el OE —que debería dar origen al proyecto— actúa en realidad como marco de actuación de unos RE preconcebidos, en particular del RE 1
Como nota al margen, el OG ha sido enunciado como un resumen del proyecto, más que como aquél efecto principal al que contribuye el OE.
112
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de
generar el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
144
8. Análisis de los resultados (OE y RE):
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
OE
Logradas
transformaciones en los
procesos y resultados
que se dan al interior de
la escuela y en su
contexto desde la
formación y el desarrollo
del sistema de mejora
de la calidad en 562
centros de Fe y Alegría
incorporando el enfoque
de género
Enunciado no adecuado.
El fin último no explicitado gira en torno a la “calidad de la educación
popular”113. Con esta premisa, el OE está formulado más sobre la base
de algunas de las dimensiones de análisis del RE 1 relacionado con el
programa federativo de mejora de la calidad educativa, que como el
efecto acumulado de los ámbitos de actuación establecidos en sus RE.
Opera como síntesis (“logradas transformaciones”) de las acciones
desplegadas en los RE precedentes, más que como expresión del efecto
acumulado que éstas propician.
Se reconoce la dificultad de formular el OE en estos términos por cuanto
no representa el punto central (problemático) del proyecto, sino una
fórmula que da cabida a unos RE muy perfilados por la propia inercia de
los distintos programas federativos que los sustentan.
Aspectos formales a mejorar del OE serían:
a) Eliminar la referencia a lograr transformaciones en el contexto de la
escuela, por cuanto este fin no forma parte del enfoque del sistema
de mejora de la calidad114, y los RE y la ejecución de las actividades
previstas no contemplan logros en ese ámbito.
b) Eliminar referencias a las estrategias (RE) empleadas (“desde la
formación y el desarrollo del sistema de mejora de la calidad” e
“incorporando el enfoque de género”).
La lógica de intervención comentada (ver punto 7) imprime un carácter genérico
a un OE cuyos logros han de ser explicitados por sus indicadores. Al no poder
representar el OE más allá de lo que los RE principales son capaces de lograr
por sí mismos, estaría limitada la capacidad de los indicadores de aportar
evidencias a nivel del OE más allá de las que puedan ser logradas para cada
uno de los ámbitos principales de actuación del proyecto, en particular el RE 1 y
el RE 2.
RE1
Se han fortalecido el
sistema de mejora de la
calidad de Fe y Alegría
en 16 países de América
Latina.
Enunciado adecuado.
El RE es formulado tomando como unidad beneficiaria el ‘sistema de
mejora de la calidad’, esperándose al final del proyecto que éste haya
salido fortalecido en los países en los que es aplicado.
El hecho de que el RE no sea formulado en términos de los beneficios
generados en los propios centros, deja en los indicadores el rol de evidenciar
tales efectos.
El indicador ha de establecer con claridad los términos del ‘fortalecimiento’ en el
‘sistema de mejora de la calidad’ como efecto que es esperable en este RE1.
113
Según el modelo establecido por la organización, la calidad tendría múltiples dimensiones: i) a nivel de resultados en la población escolarizada (académicos y en valores); ii) en los procesos de enseñanza y
gestión escolar; iii) disponer de los recursos educativos que los hacen posible y hacer un uso eficiente de los mismos; y iv) por último, en la pertinencia socioeconómica de la población atendida, en tanto que la
opción por las personas más vulnerables es una condición sine qua non de la “calidad de la educación popular”.
114
Este sistema toma algunas referencias contextuales del centro como una variable explicativa independiente, no como una variable dependiente sobre la que influir con el proyecto y que, en todo caso, son
considerados para adecuar el proyecto educativo del centro.
145
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
A los efectos de establecer de los indicadores adecuados, cabe señalar que el
RE establece como deseable el ‘fortalecimiento’ del ‘sistema de mejora de la
calidad’, no su aplicación, de manera tal que cobran sentido las actividades de
acompañamiento y de formación. Se entiende que tal ‘fortalecimiento’ ha de
estar orientado el desarrollo de capacidades y competencias cuyas deficiencias
han sido detectadas en la fase de identificación.115
En ese sentido, un buen estudio de base ayudaría a identificar las variables
problemáticas relacionadas con las deficiencias de tal ‘sistema de mejora de la
calidad educativa’, variables cuyo comportamiento positivo ahora debería ser
registro a través de los indicadores de logro.
RE2
Establecido un sistema
de formación
permanente dirigido a los
equipos pedagógicos de
las 17 oficinas nacionales
y de los equipos
directivos y docentes de
los centros que incide en
la mejora de la calidad
educativa.
Enunciado adecuado.
El RE es formulado tomando como unidad beneficiaria el ‘sistema de
formación’, esperándose al final del proyecto que éste haya sido
establecido en los países en los que es aplicado.
El hecho de que el RE no sea formulado en términos de los beneficios
generados en los propios equipos pedagógicos, equipos directivos y docentes,
deja en los indicadores el rol de evidenciar tales efectos.
A los efectos de establecer los indicadores adecuados, cabe señalar que el RE
establece como deseable el ‘establecimiento de un sistema de formación’
orientado el desarrollo de capacidades y competencias cuyas deficiencias han
sido detectadas en la fase de identificación.116
En ese sentido, un buen estudio de base ayudaría a identificar las variables
problemáticas relacionadas con las deficiencias de tal ‘sistema de mejora de la
calidad educativa’, variables cuyo comportamiento positivo ahora debería ser
registro a través de los indicadores de logro.
RE3
Establecido el portal
educativo Mundo
Escolar como espacio de
Enunciado adecuado.
El RE es formulado tomando como unidad beneficiaria el ‘portal
Al no ser el RE formulado en términos de los beneficios generados en la
comunidad educativa en general —en cuanto a su acceso a contenidos
generales—, en los equipos directivos y docentes —relacionado con las
115
En el Documento de Proyecto se señala respecto a los problemas sobre los que se interviene algunos relacionados con tales deficiencias, y que podrían ser retomados como evidencias para indicador el
fortalecimiento alcanzado (RE 1). Así por ejemplo, relacionada con la fase de planificación del ‘sistema de mejora de la calidad’, se comenta (cursiva propia): “esta fase en particular tiene un alto componente
técnico y demanda de los equipos de calidad de los centros competencias en planificación que no se encuentran desarrolladas en todos los equipos en el mismo nivel. (…) Las dificultades observadas, pasan por la
construcción de problemas, la elaboración de líneas de acción, la definición de estrategias coherentes con la educación popular y que realmente contribuyan a atender las causas que están a la base de las
problemáticas y necesidades, la formulación de indicadores tanto de gestión como de efecto e impacto, la articulación efectiva entre el plan de mejora del sistema de calidad y otros planes que se elaboran en los
centros (como los exigidos por los Ministerios, que son parte del marco institucional de cada centro educativo); entre otros aspecto.”
116 En el Documento de Proyecto se resumen algunos “déficit importantes en los saberes y prácticas de gestión de directivos de los centros educativos” como resultado del “diagnóstico preliminar realizado por la
Comisión del Programa de Formación del Personal de la Federación Internacional de Fe y Alegría” y que podrían ser retomados como evidencias para indicador de los efectos de la formación alcanzada (RE 2).
La problemática que experimentan los directivos tiene como causas los procesos de formación marcadamente gerenciales en detrimento de la formación y acompañamiento pedagógico, lo cual no permite el
acompañamiento a los docentes para atender los procesos de mejoramiento de la calidad educativa y de atención a la diversidad e inclusión equitativa. Por todo ello, los equipos directivos recibirán una especial
atención en los procesos de formación y acompañamiento que se pondrán en marcha en el presente Convenio para fortalecer el sistema de mejora en los centros educativos.”
146
Nivel
RE4
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
socialización y formación
virtual al servicio del
sistema de mejora de la
calidad.
educativo’, esperándose al final del proyecto que éste haya sido
establecido en los países en los que es aplicado.
Comunidades de Aprendizajes—, y en estudiantes —relacionado con los
Proyectos Telemáticos Interescolares— deja en los indicadores el rol de
evidenciar tales efectos.
Se entiende que esta plataforma virtual ha de estar orientada a resolver
deficiencias detectadas en la fase de identificación. En ese sentido, un buen
estudio de base ayudaría a identificar las variables problemáticas relacionadas
con las deficiencias de tal ‘sistema de mejora de la calidad educativa’, variables
cuyo comportamiento positivo ahora debería ser registro a través de los
indicadores de logro.
El sistema de mejora de
la calidad educativa de
Fe y Alegría incorpora el
enfoque de género
construido
colectivamente.
Enunciado adecuado.
El RE es formulado tomando como unidad beneficiaria el ‘sistema de
mejora de la calidad educativa’, esperándose al final del proyecto que
éste haya incorporado el enfoque de género en su modelo de aplicación.
(Ver comentarios a RE1)
El hecho de que el RE no sea formulado en términos de los beneficios
generados en el propio modelo o su aplicación en los centros (el alcance variaría
a tenor de las actividades), deja en los indicadores el rol de evidenciar tales
efectos.
Se entiende que la incorporación del enfoque de género ha de estar orientada a
resolver deficiencias detectadas en la fase de identificación. En ese sentido, un
buen estudio de base ayudaría a identificar las variables problemáticas
relacionadas con las deficiencias de tal ‘sistema de mejora de la calidad
educativa’, variables cuyo comportamiento positivo ahora debería ser registro a
través de los indicadores de logro.
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible117) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
117
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
147
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y
concreción qué medir. En algunos casos va a depender de la
capacidad de la fuente de información de dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada
o se reporta con base a una fuente sustituta
relevante.
No está clara la capacidad de la fuente de verificación para alimentar
el indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de
verificación prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que
se reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
OE
Enunciado
original
Indicador/es original/es
Logradas
transformaciones
en los procesos y
resultados que se
dan al interior de la
escuela y en su
IOE1. El 60% de los 562 centros
educativos que participan del proceso
logran alcanzar la certificación de
calidad emitida por la Unidad de
Evaluación de la Federación
Internacional de FyA.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Pertinente: Dudoso. El indicador:
− Puede operar como expresión principal de haber culminado con éxito
el RE1, con lo que no sería un indicador pertinente al nivel del OE, sino
de su RE correspondiente.
− Ahora bien, puede ser también la expresión que acredite la calidad
alcanzada por aquellos centros que participan con éxito en el sistema de
Atendiendo a su aplicación / Fuente verif.
Utilidad: No. Las FV previstas documentan los
aspectos y productos clave de la aplicación del
sistema de mejora de la calidad (RE1) pero a priori
no se ha detectado la FV que reportaría sobre el
número de centros que obtienen el certificado
establecido en el indicador del OE.
148
Nivel
Enunciado
original
Indicador/es original/es
contexto desde la
formación y el
desarrollo del
sistema de
mejora de la
calidad en 562
centros de Fe y
Alegría
incorporando el
enfoque de
género
IOE2. El 70% de los equipos
pedagógicos nacionales de FyA
integran los aprendizajes obtenidos
del sistema de calidad en el
acompañamiento de las líneas de
acción de los planes de mejora de
los centros educativos.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
mejora de la calidad (RE1), considerando en tal sistema el enfoque de
género adecuadamente integrado (RE4), y cuyos equipos directivo y
docentes han sido también satisfactoriamente formados (RE2) o se
hayan beneficiado —incluido los/as estudiantes— del portal educativo
(RE3). En este segundo caso, el procedimiento y criterios para otorgar
el ‘certificado de calidad’ debería considerar todos estos aspectos.
Específico: Sí. La variable del indicador (‘certificación’) opera como
evidencia específica que la mejora pretendida a través del ‘sistema’
implantado en el RE1. Se entiende que la concesión de tal certificado es
el resultado de diseñar y aplicar un procedimiento y herramientas de
análisis y verificación de tales mejoras en la calidad lo más objetiva y
sistemática posible.
Medible: Sí. Es establecido el estándar (porcentaje de centros en los que
es esperable el comportamiento del indicador).
Atendiendo a su aplicación / Fuente verif.
Disponible: No aplica (esperable al finalizar el
proyecto).
Pertinente: No. Opera como expresión de una de las facetas del
fortalecimiento producido en el sistema de mejora de la calidad (RE1).
Específico: No. La variable del indicador (‘integrar aprendizajes… en el
acompañamiento…”) no es una variable lo suficientemente concreta
como para aproximar el indicador a una verificación lo más objetiva
posible que tendrá que después realizarse.
El indicador sería más operativo si estuviera construido sobre las
evidencias de mejora en aquellos aspectos concretos —que operarían
como variables del indicador— del acompañamiento de los equipos
pedagógicos que resultaron problemáticos o deficientes, y que han sido
revelados por el proceso de identificación y estudio de base.
En caso contrario, descansará sobre la calidad y capacidad de análisis
de la fuente de verificación el poder verificar de manera sistemática y
fundamentada si el indicador tiene el comportamiento deseable, es decir,
si en el acompañamiento de las líneas de acción de los planes de mejora
realizada por los equipos pedagógicos, éstos integran los aprendizajes
adquiridos durante el proyecto.
Medible: Sí. Es establecido el estándar (porcentaje de equipos en los que
es esperable el comportamiento del indicador).
Utilidad: No. Las FV previstas documentan los
aspectos y productos clave de la aplicación del
sistema de mejora de la calidad (RE1), incluida los
‘guiones de acompañamiento’ que se suponen
instrumento de trabajo de los equipos
pedagógicos, pero a priori no se ha detectado la
FV que reportaría sobre si tales equipos se
comportan según lo establecido en el indicador del
OE.
Disponible: No aplica (esperable al finalizar el
proyecto).
149
Nivel
Enunciado
original
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
Atendiendo a su definición
IOE3. El 60% de los equipos
pedagógicos nacionales se apropian
del enfoque de género propuesto por
Fe y Alegría en términos de
socializarlo e implementarlo en los
procesos de mejora de calidad que se
desarrollan en los centros que son
parte del sistema.
Pertinente: Dudoso. El indicador:
− Puede operar como expresión principal de haber culminado con éxito
el RE4, con lo que no sería un indicador pertinente al nivel del OE,
sino de su RE correspondiente.
− Ahora bien, puede ser también la expresión que acredite la aplicación
del enfoque de género alcanzada por aquellos centros que participan
con éxito en el sistema de mejora de la calidad (RE1), considerando
en tal sistema el enfoque de género adecuadamente integrado (RE4),
y cuyos equipos directivo y docentes han sido satisfactoriamente
formados en temáticas de género (RE2) o se hayan beneficiado —
incluido los/as estudiantes— del portal educativo (RE3) para
documentarse, intercambiar o disponer de material educativo
apropiado para trabajar el género en el centro escolar.
Específico: No. La variable del indicador (‘apropiarse del enfoque de
género”) no es una variable lo suficientemente concreta como para
aproximar el indicador a una verificación lo más objetiva posible que
tendrá que después realizarse. El intento por hacerla más operativa
(traduciendo la apropiación en dos dimensiones: “socializarlo” e
“implantarlo”) es un primer eslabón hacia la concreción del indicador que
no resulta del todo suficiente.
El indicador sería más operativo si estuviera construido sobre las
evidencias de mejora en aquellos aspectos concretos —que operarían
como variables del indicador—que resultaron problemáticos o deficientes
en la consideración del enfoque de género por los equipos pedagógicos,
y que han sido revelados por el proceso de identificación y estudio de
base.
En caso contrario, descansará sobre la calidad y capacidad de análisis
de la fuente de verificación el poder verificar de manera sistemática y
fundamentada si el indicador tiene el comportamiento deseable, es decir,
si en el acompañamiento de las líneas de acción de los planes de mejora
realizada por los equipos pedagógicos, éstos integran los aprendizajes
adquiridos durante el proyecto.
Medible: Sí. Es establecido el estándar (porcentaje de centros en los que
Atendiendo a su aplicación / Fuente verif.
Utilidad: No. Las FV previstas documentan los
aspectos y productos clave de la aplicación del
sistema de mejora de la calidad (RE1) en los que
podrían detectarse la consideración de la temática
de género, pero que por sí mismos no reportarían
sobre el indicador del OE.
Disponible: No aplica (esperable al finalizar el
proyecto).
150
Nivel
RE1
Enunciado
original
Se ha fortalecido el
sistema de
mejora de la
calidad de Fe y
Alegría en 16
países de América
Latina.
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
es esperable el comportamiento del indicador).
Atendiendo a su aplicación / Fuente verif.
I1.1. Al finalizar la primera fase del
sistema de mejora (evaluación) 375
centros cuentan con una evaluación
de contraste y 187 nuevos centros
educativos cuentan con una
evaluación inicial.
Pertinente: No. Opera como expresión de la realización de una serie de
actividades del RE1. Finalizar a través de tales actividades una de las
fases de la implementación del RE1 no da necesariamente cuenta de
que el sistema ha sido “fortalecido”, sino “implementado”.
Específico: Sí. La variable del indicador remite a productos tangibles no
cualificados cuya obtención expresaría el logro del indicador.
Medible: Sí. Es establecido el estándar en términos absolutos. Se llama
la atención sobre el establecimiento de su logro en el 100% de los
centros participantes, porcentaje de éxito que no es en principio acorde a
las condiciones de aplicación y riesgos identificados (ver hipótesis).
Utilidad: Sí. Las FV, en particular la reportada en el
segundo informe anual (FV Registros de la
ejecución de las diferentes fases del sistema),
documentan la aplicación de la primera fase —la
evaluación— del sistema de mejora de la calidad
establecida en el indicador del RE1.
Disponible: Sí.
I1.2. En el 90% de los centros que
realizan la evaluación contraste y en el
60% de los centros que realizan la
evaluación inicial cumplen con las
normas generales del proceso de
aplicación definidos.
Pertinente: Sí. El indicador daría cuenta, de manera general, del
fortalecimiento generado durante la aplicación de una de las 4 fases del
sistema de mejora de la calidad, esto es, la capacidad de que los centros
apliquen adecuadamente la fase de evaluación. La teoría que relaciona
el indicador con el RE1 es tal que si los centros cumplen durante la fase
de evaluación con las normas generales de aplicación definidas,
demuestran tener las suficientes capacidades como para garantizar una
correcta aplicación118, con lo que el sistema de mejora de la calidad
habrá salido fortalecido en cuanto a la fase de evaluación se refiere.
Específico: Sí. La variable del indicador remite a un procedimiento cuyo
cumplimiento expresaría el logro del indicador. Para ello, es deseable
que existan los protocolos de comprobación y valoración necesarios, de
manera que la verificación del indicador sea realizada de la manera más
objetiva y sistemática posible.
Medible: Sí. Es establecido el estándar en términos porcentuales,
sensible y razonablemente más baja para aquellos centros que participan
por primera vez en la fase de evaluación.
Utilidad: Dudoso. Las FV, tanto las reportadas en
el segundo informe anual (FV Registros de la
ejecución de las diferentes fases del sistema),
como las del último informe de seguimiento anual
(FV04 Documentación sobre Aplicación
Evaluación), documentan la aplicación de la
primera fase —la evaluación— del sistema de
mejora de la calidad establecida en el indicador del
RE1. Es probable que informen sobre la
realización de los principales hitos, pero existen
dudas sobre la capacidad para informar valorativa
y sistemáticamente sobre el cumplimiento de las
normas generales establecido en el indicador.
Disponible: Sí.
I1.3. Al finalizar la primera fase
Pertinente: No. Opera como expresión de término de una secuencia de
Utilidad: Sí. Las FV, en particular la reportada en el
118
Esto redundaría, entre otras cosas, en una recolección de datos (encuestas) de calidad, bajas incidencias en los procedimientos de aplicación de cuestionarios, baja pérdida de datos reportados a la Unidad de
Evaluación, etc.
151
Nivel
Enunciado
original
Indicador/es original/es
(evaluación) el 60% de los centros de
segundo ciclo y el 30% del primer ciclo
generan una práctica investigativa
del contexto.
I1.4. Al finalizar la fase de evaluación,
el 85% de los informes redactados
por los acompañantes de los
centros cumplen con los criterios
establecidos por la Unidad de
servicios de Evaluación de FyA.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
actividades del RE1. Finalizar a través de ellas una de las fases de la
implementación del RE1 no daría cuenta del “fortalecimiento” generado.
Específico: Sí. La variable del indicador remite a una actividad/producto
tangible cuya obtención expresaría el logro del indicador. En todo caso, si
como reporta el segundo informe de seguimiento anual, tal “práctica
investigativa del contexto” remite que “los centros están realizando el
análisis de contexto” y su informe respectivo como una
actividad/producto regido por una metodología y contenidos definidos, se
recomienda redactar el indicador en estos términos específicos.
Medible: Sí. Es establecido el estándar en términos porcentuales,
sensible y razonablemente más baja para aquellos centros que participan
por primera vez en la fase de evaluación.
Atendiendo a su aplicación / Fuente verif.
segundo informe anual (FV Informe de análisis de
contexto), documentan la realización de los
‘análisis de contexto’ que forman parte de la
primera fase —la evaluación— del sistema de
mejora de la calidad establecida en el indicador del
RE1.
Disponible: Sí.
Pertinente: Sí. El indicador daría cuenta, de manera general, del
fortalecimiento generado durante la aplicación de una de las 4 fases del
sistema de mejora de la calidad: la elaboración de los informes de
evaluación por centro. La teoría que relaciona el indicador con el RE1 es
tal que si los centros cumplen durante la fase de evaluación con las
normas generales de redacción definidas, demuestran tener las
suficientes capacidades como para garantizar unos informes
satisfactoriamente redactados119, con lo que el sistema de mejora de la
calidad habrá salido fortalecido en cuanto a la fase de evaluación se
refiere.
Específico: Sí. La variable del indicador remite a un procedimiento cuyo
cumplimiento expresaría el logro del indicador. Para ello, es deseable
que existan los protocolos de comprobación y valoración necesarios, de
manera que la verificación del indicador (el cumplimiento de
determinados criterios en la redacción de los informes de evaluación de
centro) sea realizada de la manera más objetiva y sistemática posible.
Medible: Sí. Es establecido el estándar en términos porcentuales. Al
contrario que en casos anteriores, tal porcentaje de logro no es sensible
Utilidad: Sí. Las FV previstas, en particular la
reportada en el segundo informe anual (FV
Registros de la ejecución de las diferentes fases
del sistema), no parecen en principio tener la
capacidad para informar de manera concisa y clara
sobre el cumplimiento de las normas generales
establecido en el indicador.
En el último informe de seguimiento anual se
aporta una nueva FV (FV09 Matriz Evaluación
Informe Descriptivo) que sí daría cuenta del
indicador, estableciendo presumiblemente para
ello el procedimiento de valoración similar al
indicado en la columna anterior. Anotar que no
resultaría relevante en este punto aportar como FV
añadida los centenares de informes (FV08
Informes Descriptivos: Países, Federativo,
Centros).
Disponible: Sí.
119
Esto significaría, entre otras cosas, atender a todos y cada uno de los ítems a valorar para cada dimensión del estudio de evaluación, una interpretación contrastada de los datos obtenidos a través de diferentes
actores, una interpretación adecuada de las diferencias significativas respecto a centros de referencia del mismo contexto socio-familiar y recursos educacionales.
152
Nivel
Enunciado
original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
y razonablemente más baja para aquellos centros que participan por
primera vez en la fase de evaluación.
I1.5 Al finalizar la segunda fase del
sistema (interpretación), el 70% de los
centros de segundo ciclo y el 50% de
los del primer ciclo, definen y
jerarquizan los problemas centrales
encontrados en la institución.
I1.6 En el 60% de los centros de
segundo ciclo y el 30% de los de
primer ciclo, al finalizar la 3ª fase de
planificación se construyen planes
de mejora coherentes que relacionan
problemas, metas, resultados e
indicadores.
Pertinente: Dudoso. El indicador puede:
− Operar como expresión de término de una secuencia de actividades
del RE1, con lo que finalizar a través de ellas una de las fases de la
implementación del RE1, la fase de reflexión previa a la planificación de
las mejoras por centro, no daría cuenta del “fortalecimiento” generado.
Atendiendo a su aplicación / Fuente verif.
Utilidad: Sí. La FV reportada en el segundo informe
anual (FV Informes contextualizados),
documentaría el grado de cumplimiento del
indicador del RE1.
Disponible: Sí.
− Demostrar el ‘fortalecimiento del sistema de mejora de la calidad’ en
aquellos centros que con el Proyecto sí son ahora capaces de definir y
jerarquizar los problemas de sus institución. En todo caso, la verificación
de tal indicador no ha de pasar por la simple realización de la actividad
sino por validar tal comportamiento (ej. la adecuada identificación de los
problemas y su definición en el producto elaborado por el centro).
Específico: Sí. La variable del indicador remite a una actividad/producto
tangible cuya obtención expresaría el logro del indicador. En todo caso, si
como reporta el segundo informe de seguimiento anual, el “definir y
jerarquizar los problemas centrales” remite que los centros realizan los
“informes contextualizados” como un producto regido por una
metodología y contenidos definidos, se recomienda redactar el indicador
en estos términos específicos.
Medible: Sí. Es establecido el estándar en términos porcentuales,
sensible y razonablemente más baja para aquellos centros que participan
por primera vez en la fase de evaluación.
Pertinente: Sí. El indicador daría cuenta, de manera general, del
fortalecimiento generado durante la aplicación de una de las 4 fases del
sistema de mejora de la calidad: la elaboración de planes de mejora por
centro. La teoría que relaciona el indicador con el RE1 es tal que si los
centros elaboran planes con la debida coherencia entre problemas,
metas, resultados e indicadores, demuestran tener las suficientes
capacidades como para garantizar unos planes de mejora satisfactorios,
con lo que el sistema de mejora de la calidad habrá salido fortalecido en
cuanto a la fase de planes de mejora se refiere. El indicador dejaría de
ser pertinente si solo aplicase a la elaboración de los planes, sin más, ya
Utilidad: No. Las FV previstas y la reportada en el
segundo informe anual (FV01 Planes de Mejora Muestra) documentarían la realización de la
actividad y sus productos (los planes de mejora),
pero no parecen en principio tener la capacidad
para informar de manera concisa y clara sobre el
cumplimiento de las normas de coherencia
establecido en el indicador.
Disponible: Sí.
153
Nivel
RE2
Enunciado
original
Establecido un
sistema de
formación
permanente
dirigido a los
equipos
pedagógicos de
las 17 oficinas
nacionales y de los
equipos
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
que remitiría a una actividad.
Específico: Dudoso. La variable del indicador remite a un procedimiento
cuyo cumplimiento expresaría el logro del indicador. Para ello, es
deseable que existan los protocolos de comprobación y valoración
necesarios, de manera que la verificación del indicador (el cumplimiento
de determinados criterios de coherencia) sea realizada de la manera más
objetiva y sistemática posible. Al contrario que en indicadores anteriores
similares, en este caso se califica como ‘dudoso’ al no poder contrastarse
con una fuente de verificación que parezca reflejar que tal protocolo de
valoración de la coherencia de los planes de mejora exista o se esté
aplicando de una manera sistemática.
Medible: Sí. Es establecido el estándar en términos porcentuales. Al
contrario que en casos anteriores, tal porcentaje de logro no es sensible
y razonablemente más baja para aquellos centros que participan por
primera vez en la fase de evaluación.
Atendiendo a su aplicación / Fuente verif.
I1.7. Al final del Convenio, al menos el
60% de los 562 centros que han
participado en el segundo ciclo del
sistema de calidad han realizando una
evaluación de contraste.
Pertinente: No. Opera como expresión de la cobertura parcial de las
actividades del RE1, es decir, su aplicación en aquellos centros que
participan por segunda vez en una evaluación de la calidad educativa.
Tal comportamiento es una situación de partida que no tiene relación con
el “fortalecimiento” generado durante el proyecto.
Específico: Sí. La variable del indicador remite a una actividad/producto
tangible cuya obtención expresaría el logro del indicador.
Medible: Sí. Es establecido el estándar en términos porcentuales.
Utilidad: Sí. Las FV, en particular la reportada en el
segundo informe anual (FV Registros de la
ejecución de las diferentes fases del sistema),
documentan la aplicación de la primera fase —la
evaluación— del sistema de mejora de la calidad
establecida en el indicador del RE1.
Disponible: Sí.
1.2.1. Al finalizar la tercera fase del
sistema (planificación), el 60% de los
equipos directivos y los acompañantes
pedagógicos de los centros educativos
están organizados y formados en
estrategias de planificación.
Pertinente: Sí. La variable del indicador (estar “organizados y formados
en estrategias de planificación”) es la expresión de uno de los posibles
efectos del sistema de formación (RE2), si bien sus beneficios se dejarán
sentir en la adecuada aplicación del RE1. De hecho, en el primer informe
de seguimiento, este indicador es reportado asociado al RE1.
Específico: No. El indicador remite a una doble variable condicional
(“organizados” y “formados”) no suficientemente concretas como para
aproximar el indicador a una verificación lo más objetiva posible que
tendrá que después realizarse.
Utilidad: No. La FV prevista (FV Asistencia a los
talleres internacionales) no informa sobre el
indicador del RE2, sino sobre un estadio inicial de
la realización de alguna actividad asociada a la
ejecución del RE.
Disponible: No aplica. En los informes de
seguimiento anuales no se da cuenta de este
indicador.
154
Nivel
Enunciado
original
Indicador/es original/es
directivos y
docentes de los
centros que incide
en la mejora de la
calidad educativa.
I.2.2 Finalizado el Convenio se han
formado al menos 540 docentes en
contenidos relacionados con las líneas
de mejora de la calidad en Fe y
Alegría
I.2.3 Finalizado el primer año se
habrán formado al menos 50
coordinadores pedagógicos
nacionales de las FyA en temas de
acompañamiento pedagógico.
I.2.4 Finalizado el segundo año se han
desarrollado capacidades en al
menos 40 responsables pedagógicos
que ejecutarán itinerarios de
formación de la pedagogía de la
educación popular
120
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
El indicador sería más operativo si estuviera construido sobre las
evidencias de mejora en aquellos aspectos concretos —que operarían
como variables del indicador—que resultaron problemáticos o deficientes
en relación con la planificación dentro del sistema de mejora de la calidad
por parte de los equipos directivos y los acompañantes pedagógicos, y
que han sido revelados por el proceso de identificación y estudio de
base.
En caso contrario, descansará sobre la calidad y capacidad de análisis
de la fuente de verificación el poder verificar de manera sistemática y
fundamentada si el indicador tiene el comportamiento deseable, es decir,
si en los agentes mencionados han sido organizados y formados en
estrategias de planificación durante el proyecto.
Medible: Sí. Es establecido el estándar en términos porcentuales.
Recomendable desagregar por sexo.
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. Las variables de los indicadores (“formados” o
“desarrollado capacidades”) son la expresión de uno de los posibles
efectos del sistema de formación (RE2).
Específico: No. Si lo que se pretende es expresar ha sido formado o
capacitado el diverso personal afectado por el proyecto (docentes y
coordinadores/as o responsables pedagógicos nacionales), el indicador
no contiene una variable específica120, sino una expresión genérica
(“formados” o “desarrollado capacidades”) que requeriría, a su vez, de
nuevas variables operativas que puedan concretar si tal formación se ha
producido y aproximar el indicador a una verificación lo más objetiva
posible que tendrá que después realizarse.
Los indicadores serían más operativos si estuviera construido sobre las
evidencias de mejora en aquellos aspectos concretos —que operarían
como variables del indicador—que resultaron problemáticos o deficientes
en relación con el manejo de contenidos de docentes y el
acompañamiento pedagógico de los equipos nacionales, y que han sido
Utilidad: No. Las FV previstas o las nuevas
aportadas en el último informe de seguimiento
anual (FV16 Anexos de los Cursos de Formación;
FV17 Anexos de Acompañamiento: Memoria del
taller de formación y acompañamiento, informes
de acompañamiento a países) no informan sobre
el indicador del RE2, sino sobre la realización de
alguna actividad asociada a la ejecución del RE.
Disponible: Sí (indicadores 2, 3, 4, y 6). No aplica
(indicador 5, esperable al finalizar el tercer año del
proyecto).
Sí sería un indicador específico en tanto la expresión “se forman” indicase que asisten a determinadas actividades de formación.
155
Nivel
Enunciado
original
Indicador/es original/es
I.2.5. Al final del tercer año se han
formado al menos 540 docentes en
cursos de formación virtual en
contenidos de Educación Popular (en
las dimensiones Humana, Pedagógica
y Socio-Política).
I.2.6 Finalizado el segundo año se
tienen al menos 50 miembros de
equipos directivos de los centros
educativos de FyA formados en
temáticas de gestión democrática y
que cuentan con herramientas teórico
- prácticas que les permiten la lectura
del contexto, la gestión institucional, la
gestión pedagógica, y el mejor
ejercicio de su rol.
I.2.7 Finalizado el segundo año al
menos 30 representantes de los
países participantes en el proyecto
han evaluado el proceso formativo y
han socializado experiencias
significativas en la dirección
democrática de centros educativos
escogidos como referencia, para su
futura réplica en otros centros que no
participaron y en experiencias fuera
del ámbito de FyA.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
revelados por el proceso de identificación y estudio de base.
En caso contrario, descansará sobre la calidad y capacidad de análisis
de la fuente de verificación el poder verificar de manera sistemática y
fundamentada si el indicador tiene el comportamiento deseable, es decir,
si en los agentes mencionados han sido formados durante el proyecto.
Medible: Sí. Es establecido el estándar en términos absolutos, si bien
esto no permite tener una impresión directa del alcance logrado sobre el
total. Recomendable desagregar por sexo.
Atendiendo a su aplicación / Fuente verif.
Pertinente: No. El indicador remite a actividades puntuales del RE).
Específico: No. El indicador contiene dos variables condicionales, la
primera más específica que la segunda (“socializado experiencias
significativas”), por cuanto requeriría, a su vez, de nuevas variables
operativas que puedan concretar si tal socialización se ha producido y ha
sido realizada sobre experiencias calificables como significativas, de
manera que pueda aproximarse el indicador a una verificación lo más
objetiva posible.
De no especificarse mejor, descansará sobre la calidad y capacidad de
análisis de la fuente de verificación el poder verificar de manera
sistemática y fundamentada si el indicador tiene el comportamiento
deseable.
Medible: Sí. Es establecido el estándar en términos absolutos, si bien
esto no permite tener una impresión directa del alcance logrado sobre el
total. Recomendable desagregar por sexo.
Utilidad: No. Las varias FV no informan sobre el
indicador del RE2, sino sobre la realización de
alguna actividad asociada a la ejecución del RE.
Disponible: No.
156
Nivel
RE3
Enunciado
original
Establecido el
portal educativo
Mundo Escolar
como espacio de
socialización y
formación virtual al
servicio del
sistema de mejora
de la calidad.
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
I.3.1. Al finalizar el proyecto, al menos
el 60% de los equipos pedagógicos
nacionales de las FyA acompañan
los procesos de incorporación de
las TIC al aula como línea de acción
propuesta en los planes de mejora de
los centros escolares.
Pertinente: Sí. A pesar de las deficiencias en la formulación del RE3, el
indicador puede tomarse como la expresión de uno de los posibles
efectos de las actividades que acompañan al RE3, si bien sus beneficios
se dejarán sentir en la adecuada aplicación del RE1.
Específico: No. La variable del indicador (“acompaña procesos de
incorporación de las TIC en el aula”) no es específica y requeriría, a su
vez, de nuevas variables operativas que puedan concretar si tal
acompañamiento se ha producido y en qué términos, de manera que
pueda aproximarse el indicador a una verificación lo más objetiva posible.
Lo anterior supone considerar que el indicador trata de recoger un
cambio de comportamiento o habilidad de los equipos pedagógicos, y no
tanto una manera de constatar que los planes de mejora consideran o no
las TIC o que se aplican medidas para que esto suceda. De ser esto
último, habría que reformular el indicador en estos términos más
concretos.121
De no especificarse mejor, descansará sobre la calidad y capacidad de
análisis de la fuente de verificación el poder verificar de manera
sistemática y fundamentada si el indicador tiene el comportamiento
deseable.
Medible: Sí. Es establecido el estándar en términos porcentuales.
Recomendable desagregar por sexo.
Utilidad: No. Las varias FV no informan sobre el
indicador del RE2, sino sobre la realización de
alguna actividad asociada a la ejecución del RE.
Disponible: No aplica (esperable al finalizar el
proyecto).
I.3.2. Al finalizar el proyecto se
concluyeron, cumpliendo con los
objetivos, alcances, cronogramas y
subproductos definidos previamente
en la planificación, al menos 12
Comunidades de Aprendizaje con
240 docentes matriculados.
Pertinente: Sí. Indicador directamente relacionado con el alcance
instrumental del RE3, es decir, con uno de los componentes, las
Comunidades de Aprendizaje, que da cuenta del “establecimiento” del
portal educativo.
Específico: No. La variable del indicador (“concluir” determinados
Comunidades de aprendizaje) no es lo suficientemente específica. Si
bien establece algunos elementos condicionales sobre su
comportamiento ideal fácilmente verificables (240 docentes
matriculados), otros no lo son tanto (cumpliendo con objetivos, alcances,
Utilidad: No. Las FV previstas (FV. Diseño
instruccional de las comunidades de aprendizaje y
de los proyectos telemáticos, FV. Lista de
participantes) documentarían los insumos
necesarios para la puesta en marcha de las
Comunidades de Aprendizaje especificadas en el
indicador, pero no su funcionamiento y
cumplimiento de objetivos.
La FV prevista e incorporada en el último informe
121
Tal y como parece apuntar el indicador contenido en el último informe de seguimiento anual (“I.3.2. Al finalizar el año al menos el 30% de los equipos pedagógicos nacionales incorporan dentro del plan anual
una línea de acción vinculada al acompañamiento de los procesos de incorporación de las TIC al aula como línea de acción propuesta en los planes de mejora de los centros escolares”).
157
Nivel
Enunciado
original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
cronogramas y subproductos, etc.) y establecen condiciones particulares
que alejan al indicador de su deseable carácter específico.
De no especificarse mejor, descansará sobre la calidad y capacidad de
análisis de la fuente de verificación el poder verificar de manera
sistemática y fundamentada si el indicador tiene el comportamiento
deseable.
Medible: Sí. Es establecido el estándar en términos absolutos (12),
entendiendo que supone el 100%.
Atendiendo a su aplicación / Fuente verif.
de seguimiento anual (FV19. Interacciones
realizadas en el espacio de trabajo colaborativo
web) parece dar cuenta de la actividad de la
Comunidad de Prácticas, pero no del contraste de
tal actividad respecto a lo previsto, tal y como
establece el indicador.
Disponible: No aplica (esperable al finalizar el
proyecto).
I.3.3. Finalizado el proyecto el 70% de
docentes de FyA que participan en
Comunidades de Aprendizaje
cumplen con el mínimo establecido
de actividades y asignaciones
incluyendo aportes oportunos y
adecuados al proceso de trabajo en
colaboración.
Pertinente: Sí. Indicador directamente relacionado con el alcance
instrumental del RE3, es decir, con uno de los componentes que dan
cuenta del “establecimiento” del portal educativo, midiendo en este caso
su carácter de “espacio de socialización y formación virtual”.
Específico: Sí. La variable del indicador (“cumplir” determinadas
actividades y asignaciones) es suficientemente específica, siempre que
responda a un proceso de verificación debidamente procedimentado y
capaz de detectar el cumplimiento o no de tales actividades y
asignaciones.
Medible: Sí. Es establecido el estándar en términos porcentuales.
Recomendable desagregar por sexo.
Utilidad: Dudosa. Alguna de las FV previstas (ej.
FV. Sistematización de los resultados) podría
llegar a documentar si se están dando las
condiciones del indicador por parte de los docentes
participantes en las Comunidades de Aprendizaje.
Disponible: No aplica (esperable al finalizar el
proyecto).
I.3.4 Después de 36 meses, al menos
720 alumnos de 12 escuelas ubicadas
en países distintos han
intercambiado experiencias,
recursos e información y construido
conocimiento en colaboración dentro
de su proceso de participación en 6
Proyectos Interescolares (PTI).
Pertinente: Sí. Indicador directamente relacionado con el alcance
instrumental del RE3, es decir, con uno de los componentes que dan
cuenta del “establecimiento” del portal educativo, los efectos de los
Proyectos Interescolares.
Específico: No. El indicador contiene varias variables no específicas
(“intercambio de experiencias”, “intercambio de recursos”, “intercambio
de información”, “construcción de conocimiento”) no suficientemente
específicas.
Lo anterior supone considerar que el indicador trata de recoger una serie
de acciones (“intercambiar”) y efectos de las mismas (“construir
conocimiento”), y no tanto una constatación que la realización de los
Proyectos Interescolares y de la existencia de 720 alumnos/as como
miembros de los mismos. De ser esto último, sería posible reformular el
Utilidad: No. Las FV previstas y la aportada en los
dos últimos informes de seguimiento anual (FV21.
Diseños instruccional es del proyecto telemático,
FV6. Interacciones realizadas en el espacio de
trabajo colaborativo web; FV7. Listado de grados
participantes por escuela y país) dan cuenta del
producto (Proyectos Interescolares) o su
funcionamiento, pero no sobre la valoración de la
misma en los términos establecidos en el
indicador.
Disponible: No aplica (esperable al finalizar el
tercer año del proyecto).
.
158
Nivel
RE4
Enunciado
original
El sistema de
mejora de la
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
Atendiendo a su definición
indicador en estos términos más concretos (ej: “realizados 6 PTI con
participación de 720 alumnos/as”), pero este dejaría de ser un indicador
relativo al RE3, ya que daría cuenta de sus actividades, no del resultado
en sí.
Medible: Sí. Es establecido el estándar en términos porcentuales.
Recomendable desagregar por sexo.
Atendiendo a su aplicación / Fuente verif.
I.3.5 Al finalizar el proyecto el 80% de
los enlaces y promotores de
Informática Educativa de las FyA
impulsan la apropiación de las TIC
en centros escolares en
correspondencia con el sistema de
mejora de la calidad de FyA.
Ver comentarios al indicador 3.1.
Utilidad: No. Las varias FV no informan sobre el
indicador del RE2, sino sobre la realización de
alguna actividad asociada a la ejecución del RE.
Disponible: No aplica (esperable al finalizar el
proyecto).
I.3.6. Durante la realización del
encuentro internacional de Informática
Educativa se presentará por país por
lo menos una experiencia
significativa de integración de las
TIC al aula en correspondencia con
los planes de mejora generado por
los centros educativos de Fe y Alegría.
Pertinente: No. El indicador da cuenta de una de las tareas previstas en
las actividades del proyecto.
Específico: Sí. Si bien es necesario clarificar los términos en los que se
considera “significativa” la experiencia a presentar por cada país.
Medible: Sí. Es establecido el estándar en términos absolutos (el 100%
de los países). Recomendable desagregar por sexo. No se detecta de
manera evidente el momento (año) de su medición.
Utilidad: Sí. La FV prevista (FV. Síntesis de
experiencias relevantes que presenten los
docentes / promotores / responsables pedagógicos
participantes en el encuentro internacional.)
informarían sobre el grado de cumplimiento del
indicador.
Disponible: No.
I.3.7. En el 3er año del proyecto se
espera incrementar en un 30% los
accesos, descargas y registros en el
portal Mundo Escolar en la sección
de directivos/investigadores.
Pertinente: Sí. Indicador directamente relacionado con el alcance
instrumental del RE3, es decir, con el uso del portal educativo.
Específico: Sí. Las variables que componen el indicador son específicas
(“accesos”, “descargas” y “registros”) y cercanas a una verificación
contrastada y objetiva, siempre que el portal Web permita disponer de
tales datos.
Medible: Sí. Es establecido el estándar en términos porcentuales.
Recomendable desagregar por sexo.
Utilidad: Sí. Las FV previstas (FV. Número de
visitas en el Portal Escolar, FV. Número de
participación en los diferentes servicios del portal:
foros, blogs, wikis, encuestas, etc.) tienen en
principio capacidad para informarían sobre el
grado de cumplimiento del indicador.
Disponible: No aplica (esperable al finalizar el
tercer año del proyecto).
I.4.1. En la primera fase de evaluación
(2011), se han introducido ítems y
Pertinente: Sí. Los indicadores dan cuenta de la incorporación de la
temática de género del sistema de mejora de la calidad educativa, logro
Utilidad: Sí. Las FV previstas y varias de las ya
aportadas en los informes de seguimiento tienen
159
Nivel
Enunciado
original
calidad educativa
de Fe y Alegría
incorpora el
enfoque de
género construido
colectivamente.
Indicador/es original/es
aspectos relevantes relacionados
con la equidad de género en el
sistema de mejora de la calidad
educativa de Fe y Alegría.
I.4.2. En la segunda fase de
interpretación de los resultados de la
evaluación, el análisis de la situación
de género forma parte de los
informes que se devuelven a los
centros para la reflexión y el análisis
de la comunidad educativa.
I.4.3. El informe de cada país que
realizará la Unidad de Evaluación
después de la primera fase de
evaluación, incluirá un análisis de
las relaciones de equidad a partir de
los datos obtenidos en los centros
educativos que han participado de la
evaluación.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
al que se ha comprometido el RE4, a través de su incorporación, a su
vez, en cada una de las fases o productos principales
Específico: Sí. Las distintas variables de los indicadores son lo
suficientemente concretas como para aproximar el indicador a una
verificación lo más objetiva y sistemática posible. Deberá contarse para
ello con un procedimiento que establezca con claridad los criterios o
parámetros bajo los cuáles se calificaría el comportamiento de la variable
como adecuado, y en su caso, el grado.
En todo caso, cabría especificar para el Indicador 4.1 en qué tareas,
productos o instrumentos de la fase de evaluación habrían de estar
introducidos los ítems y aspectos relacionados con la equidad de
género122, y de ser posible, reformular el indicador para expresarlo en
esos términos concretos.
Medible: Sí. Es establecido el estándar en términos absolutos (el 100%
de los casos) para los primeros cuatro indicadores, y porcentuales (50%
de los países) para el último. En este último indicador, por sugerencia de
AECID, se entiende que aplicaría al 100% de los planes de mejora en
tales países, meta no realista y poco acorde a las condiciones de
ejecución del proyecto y su contexto y problemas, tal y como establecen
los riesgo que se traducen de las hipótesis del proyecto.123
Atendiendo a su aplicación / Fuente verif.
en principio capacidad para informarían sobre el
grado de cumplimiento de los indicadores, en tanto
por lo general se corresponden con los productos
en los que podría, debidamente procesados,
detectar la incorporación de la temática de género.
Disponible: Sí (indicadores a, 2 y 3), No aplica
(indicadores 4 y 5, esperables al finalizar tercer
año y el el proyecto, respectivamente).
I.4.4. En el 3er año del Convenio se
tiene definido un enfoque de género
en el sistema de la calidad educativa
de Fe y Alegría.
I.4.5. Al final del Convenio, la equidad
de género está presente en las
líneas de acción de los planes de
mejora de los centros educativos al
menos en el 50% de los países.
122
En tanto que no es lo mismo introducirlo, por ejemplo, en un cuestionario o en un protocolo de administración de encuestas.
Así, por ejemplo, las acciones del proyecto podrían no haber vencido todas las resistencias identificadas como hipótesis en este RE4 (“Hay que vencer ciertas resistencias, y no todos los equipos y
comunidades educativas están abiertas a trabajar de manera prioritaria sobre este tema”).
123
160
161
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Valoración
(relevancia para el indicador previsto)
Fuente de verificación aportada en el informe anual
FV R 1
1. Informes de los centros que han participado en la evaluación.
Relevante. .
No relevante. (Actividad)
FV R 3
2. Diseño instruccional de las comunidades de aprendizaje y de los
proyectos telemáticos.
3. Listado de participantes Comunidades de Aprendizaje
4. Interacciones realizadas en el espacio de trabajo colaborativo web.
5. Indicadores TIC diseñados.
FV R 4
6. Memorias proceso de sensibilización al enfoque de género
7. Memoria de talleres de enfoque de género.
No relevante. (Actividad)
No relevante. (Actividad)
No relevante. (Actividad)
Relevante. Necesario procesar información
No relevante. (Actividad)
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01: Planes de Mejora (Muestra)
FV 02: Capacitación del enfoque de género.
FV 03: Documento Borrador Género
No relevante. (Relacionado con RE1).
No relevante. (Actividad del R4).
No relevante. (Actividad del R4).
FV R 1
FV 04: Documentación sobre Aplicación Evaluación
FV 05: Informes Estadísticos
FV 06: Informe Análisis de Contexto.
FV 07: Matriz seguimiento análisis de Contexto
FV 08: Informes Descriptivos (Paises, Federativo, Centros).
FV 09: Matriz Evaluación Informe Descriptivo.
FV 10: Informes Contextualizados
FV 11: Informes descriptivos GÉNERO de centro y de país.
Relevante.
No relevante.
Relevante.
No relevante.
No relevante.
Relevante.
Relevante.
No relevante. (Relacionado con RE4)
No relevante. (Actividad)
FV R 2
FV 12: Documento base del Marco Referencial de la formación para la
mejora de la calidad en Fe y Alegría
FV 13: Estrategia de Formación Semipresencial
FV 14: Sistematizaciones y material del encuentro
FV 15: 12 diseños instruccionales con sus respectivas guías conceptuales
FV 16: Anexos de los Cursos de Formación
FV 17: Anexos de Acompañamiento
FV R 3
FV 18: Informes de países TIC (Muestra)
FV 19: Interacciones realizadas en espacio de trabajo colaborativo Web.
FV 20: Listado de participantes.
FV 21: Diseños instruccionales del proyecto telemático.
No relevante. (actividades)
Relevante. Necesario procesar información.
No relevante. (Actividad)
No relevante. (Actividad)
FV R 4
FV 11: Informes descriptivos de centro y de país. GÉNERO
FV 22: Grupos Focales
FV 23: Talleres Género
Relevante.
No relevante. (Actividad)
No relevante. (Actividad)
No relevante. (Actividad)
Relevante / No relevante.
No relevante. (Actividad)
No relevante. (Actividad)
No relevante. (Actividad)
162
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 78%
−
Presupuestado: 650.433 euros
−
Ejecutado: 504.472 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 64%
−
PAC 3: 80%
163
FICHA # 8. PROYECTO 24 (COLOMBIA)
A) Resumen descriptivo
1. Título: Fortalecimiento de la educación en tecnología en 16 centros educativos
2. Proyecto nº: 24
3. Objetivo específico Convenio: 3 Educación técnica
4. País: Colombia
5. Resumen la intervención124:
El proyecto pretende:
a. La mejora e implementación de 4 nuevas aulas tecnológicas y la readecuación de 12 de las 33
existentes en la actualidad. Estas aulas no sólo estarán al servicio de los estudiantes, sino como
espacios de formación de docentes para construir e impulsar conjuntamente propuestas de trabajo para
la totalidad de estudiantes de educación básica y media en Fe y Alegría Colombia.
b. La formación de 40 maestros multiplicadores de la propuesta educativa a nuevos docentes y
estudiantes.
El proyecto se inserta en una trayectoria iniciada en 1998, año en el que se comenzó a implementar en las
regionales de Bogotá y Antioquia la educación en tecnología vista como una formación de carácter general y
dimensión fundamental de la capacitación inicial para el trabajo, fomentando proyectos y actividades
tecnológicas en amplios campos del sector laboral, superando el esquema de especialización temprana y
constituyéndose en base de la formación polivalente requerida en los nuevos entornos ocupacionales. El
proyecto contribuye a aumentar esfuerzos en la adecuación y equipamiento de nuevas aulas y en la formación
de docentes multiplicadores de la propuesta a un nivel más amplio.
6. Lógica de la intervención:
La matriz de planificación de marco lógico del proyecto se resume en la siguiente tabla:
Obj. General
A partir de la educación en tecnología, mejorar las capacidades de estudiantes de sectores populares para su
futuro desempeño laboral, cualquiera que sea la profesión.
Obj. Específico
Mejorar las capacidades para la resolución de problemas tecnológicos de 6.400 estudiantes de sectores
populares de los grados de sexto a décimo de 16 centros educativos de 6 Departamentos de Colombia.
RE1.
RE2.
Se cuenta con 4 nuevas aulas tecnológicas y 12
rehabilitadas para impulsar la enseñanza de la
educación en tecnología a estudiantes de los grados de
sexto a décimo.
Se han capacitado 40 docentes para implementar la
enseñanza de la educación en tecnología a 6.400
estudiantes.
124
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
164
B) Análisis valorativo del diseño
7. Coherencia125 de la lógica de intervención: Alta / Alineada al OE
La lógica de intervención presenta un nivel de coherencia alta entre los niveles de RE y OE, en tanto se esté actuando en los mismos centros y personal afecto a ellos, de
manera que:
6. El RE1 se propone la existencia de 4 aulas (1 Cali, 1 Eje Cafetero, 1 Costa Atlántica y 1 Santander) y adecuación de 12 (6 Antioquia y 6 Bogotá) para la educación en
tecnología, incrementando así los 33 ‘espacios de aprendizaje’ existentes en los 63 centros a nivel nacional. El RE1 actúa, por lo tanto, para corregir el déficit de estas
aulas, que era de un 30% respecto a la cobertura necesaria.
7. El RE2 se capacita a los 40 docentes (32, 18 mujeres) y directivos (8, 4 mujeres) de los centros beneficiarios.
8. La contribución al OE está basada en la actuación coincidente de ambos RE en los mismos centros y con la misma población estudiantil beneficiaria.
8. Análisis de los resultados (OE y RE):
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
OE
Mejorar las capacidades para la resolución de problemas
tecnológicos de 6.400 estudiantes de sectores populares de los
grados de sexto a décimo de 16 centros educativos de 6
Departamentos de Colombia.
Enunciado
adecuado.
La medición del OE (“capacidad para resolver problemas”) pasaría por la valoración de los
resultados alcanzados y la evolución del alumnado en esta competencia. El indicador estaría
construido entonces a partir de los datos proporcionados por este sistema de valoración.
En el contexto de los resultados de la educación tecnológica, la competencia de “resolución de
problemas” ha de estar definida en términos conceptuales y operacionales, de manera que
puedan ser diseñadas y aplicadas herramientas de valoración de los resultados y la evolución del
alumnado en esta competencia. El indicador estaría construido sobre los datos proporcionados
por este sistema de valoración académico. De no existir, el proyecto habría de dotarse de
herramientas y un procedimiento para medir el OE en términos similares.
RE1
Se cuenta con 4 nuevas aulas tecnológicas y 12
rehabilitadas para impulsar la enseñanza de la educación en
tecnología a estudiantes de los grados de sexto a décimo.
Enunciado
adecuado.
El indicador ha de dar cuenta de la realización de los productos tangibles establecidos en el RE1.
RE2
Se han capacitado 40 docentes para implementar la
enseñanza de la educación en tecnología a 6.400 estudiantes.
Enunciado
adecuado.
El indicador ha de evidenciar elementos, bien en primera instancia de la capacitación adquirida,
bien en segunda instancia del manejo práctico del contenido de la formación.
125
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de
generar el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
165
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
Un buen estudio de base sobre los problemas existentes relacionados con los conocimientos y
práctica docente ayudaría a identificar las variables problemáticas, variables cuyo comportamiento
positivo ahora debería ser registro a través de los indicadores de logro.
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible126) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y concreción
qué medir. En algunos casos, dependerá de la capacidad de la fuente
de información para dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada o
se reporta con base a una fuente sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar el
indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de verificación
prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que se
reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
126
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
166
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
OE
RE1
Enunciado original
Indicador/es original/es
Mejorar las
capacidades para la
resolución de
problemas
tecnológicos de 6.400
estudiantes de
sectores populares de
los grados de sexto a
décimo de 16 centros
educativos de 6
Departamentos de
Colombia.
IOV 1. Al finalizar el proyecto, el 40%
de los estudiantes beneficiarios
alcanzan como mínimo el nivel básico
(50% mujeres).
Se cuenta con 4
nuevas aulas
tecnológicas y 12
rehabilitadas para
impulsar la enseñanza
de la educación en
tecnología a
estudiantes de los
grados de sexto a
décimo.
IOV 1.1. Al finalizar el primer año se
cuenta con 1 aula tecnológica nueva
y 3 rehabilitadas
IOV 2. Al finalizar el proyecto, el 30%
de los estudiantes beneficiarios
alcanzan mínimo el nivel alto (50%
mujeres).
IOV 3. Al finalizar el proyecto, el 20%
de los estudiantes beneficiarios están
mínimo el nivel superior (50%
mujeres).
IOV 1.2. Al finalizar el segundo año se
cuenta con 2 aulas tecnológicas
nuevas y 6 rehabilitadas
IOV 1.3. Al finalizar el tercer año se
cuenta con 3 aulas tecnológicas
nuevas y 9 rehabilitadas
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí. Los tres indicadores miden efectos
establecidos al nivel del OE, entendiendo que los niveles
referidos (‘básico’, ‘alto’ y ‘superior’) están referidos a la
medición de la capacidad de resolver problemas
tecnológicos de los/as estudiantes.
Específico: Sí. Se recomienda refundir en un único indicador,
señalando las escalas de valoración y porcentajes de logro
en cada una de ellas.
Medible: Sí. Son establecidas tasas porcentuales respecto al
total definido en el OE.
Utilidad: Sí. Si bien no con base a la FV prevista (FV 1.
Reporte consolidado de evaluaciones de estudiantes en
el área de tecnología), la FV aportada en los dos
últimos informes de seguimiento (FV01 Datos del
Sistema de Evaluación de Aprendizajes, SIEE) tiene
correspondencia con los datos necesarios para
alimentar el indicador.
En todo caso, un componente de utilidad de la FV, la
‘fiabilidad’, (ver nota a pié de página nº 3) está
supeditada a la capacidad del SIEE de recabar de
forma sistemática y lo más objetiva posible las distintas
variables operacionales que componen la valoración de
la “capacidad de resolución de problemas tecnológicos”.
Disponible: Sí.
Pertinente: Sí. El indicador está referido los mismos
productos tangibles reflejados en el RE1.
Específico: Sí. Se recomienda refundir en un único indicador,
señalando las escalas de valoración y porcentajes de logro
en cada una de ellas.
Medible: Sí. Son establecidas cantidades parciales respecto
al total definido en el OE en función de los años de ejecución
del proyecto.
Utilidad: Sí. La FV prevista documentaría el indicador
(FV 1.1. Actas de entrega y recepción de las aulas
tecnológicas) ha sido sustituida por una similar (FV02
Actas de entrega de los equipos)
Disponible: Sí.
167
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
IOV 1.4. Al finalizar el cuarto año se
cuenta con 4 aulas tecnológicas
nuevas y 12 rehabilitadas
RE2
Se han capacitado 40
docentes para
implementar la
enseñanza de la
educación en
tecnología a 6.400
estudiantes.
IOV 2.1. Finalizado el primer año, se
cuenta con una propuesta formativa
de docentes de educación en
tecnología
Pertinente: No. El indicador remite a una actividad del RE2.
Específico: Sí. En todo caso documenta un producto
específico que resultaría verificable de una manera directa.
Medible: Sí.
Utilidad: Sí. La FV reportaría sobre el logro del producto
especificado en el indicador.
FV. Documento del plan de formación
Disponible: Sí.
IOV 2.2. El 90% de los docentes
beneficiarios participan anualmente
de un taller nacional de 40 horas de
duración
Pertinente: No. El indicador remite a una actividad del RE2.
Específico: Sí. En todo, cabría limitar el término
“participación” con toda probabilidad a la “asistencia”, en
tanto el concepto de participación es más amplio. Así, la
variable del indicador (“participar”), asimilada a “asistir”, es
específica y resultaría verificable de una manera directa.
Medible: Sí. Recomendable desagregar por sexo.
Utilidad: Sí. Es muy probable que la FV (FV. Informes
del equipo de pedagogía) documente la asistencia de
los/as docentes reflejados en el indicador.
Disponible: Sí. En el último informe anual de
seguimiento (no en el anterior, el segundo).
IOV 2.3. El 60% de los docentes se
muestran satisfechos con su
formación en la educación en
tecnología
Pertinente: No. El indicador da cuenta de la valoración
positiva a nivel de actividades, que si bien es importante de
cara a la capacitación, no da cuenta de que ésta se ha
producido.127
Específico: Sí.
Medible: Sí. Son establecidas tasas porcentuales, fijado el
total al que aplican. Desagregados datos por sexo.
Utilidad: Sí. La FV (FV06. Informes de Satisfacción)
tiene a priori capacidad de informar sobre el indicador.
Su calidad está supeditada a la capacidad para recabar
de forma sistemática y lo más objetiva posible la
satisfacción de los/as asistentes a la formación.
Disponible: Sí. En el último informe anual de
seguimiento (no en el anterior, el segundo).
127
Según modelos reconocidos (Kirkpatrick), la ‘satisfacción’ está relacionada con un primer estadio de los procesos de formación (actividades), no con sus resultados. En ese sentido, el nivel de ‘reacción’ de un
proceso formativo equivale, en sentido positivo, a la satisfacción por la capacitación recibida. Parece razonable suponer que la satisfacción de un participante en una formación es una condición necesaria para que
se produzca un aprendizaje, pero no suficiente.
Efecto
Resultado
Actividad
Niveles
Fortalecimiento de capacidades
Formación de agentes
Cursos de formación
Escala Kirkpatrick
Conducta
Aprendizaje
Reacción (satisfacción)
168
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
Plan de logros e indicadores de logros en Tecnología
No relevante.
FV RE2
Encuentros nacionales de marzo y junio
Ficha técnica de implementación de robótica
Plan de formación de docentes en educación en tecnología
Fotos de primer taller nacional en tecnología
Relevante. Necesario procesar información.
No relevante (Actividad).
No relevante (Actividad).
No relevante (Actividad).
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
FV 01: Datos del SIEE (Sistema de Evaluación de Aprendizajes)
Relevante.
FV RE1
FV 02: Actas de entrega de los equipos
Relevante.
FV RE2
FV 03: Plan de Formación
FV 04: Unidades Didácticas
FV 05: Informes de Equipos de Pedagogía
FV 06: Informes de Satisfacción
No relevante (Actividad).
No relevante (Actividad).
Relevante. Necesario procesar información.
Relevante.
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 119%
−
Presupuestado: 122.407 euros
−
Ejecutado: 145.438 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 73%
−
PAC 3: 97%
169
FICHA # 9. PROYECTO 31 (PANAMÁ)
A) Resumen descriptivo
1. Título: Formación para el trabajo para jóvenes en riesgo social, fomentando el trabajo productivo y
desarrollo de emprendidurismo.
2. Proyecto nº: 31
3. Objetivo específico Convenio: 3 Educación técnica
4. País: Panamá
5. Resumen la intervención128:
El proyecto pretende contribuir al desarrollo de las habilidades y destrezas técnicas y profesionales de
estudiantes de tres centros educativos San Ignacio de Loyola, Padre Joaquín López y López y San Pedro
Claver de Fe y Alegría Panamá, bien jóvenes que estén fuera del sistema educativo formal o que estén
terminando el bachillerato de centros educativos públicos.
Para la implementación de los cursos técnicos, se desarrollaran módulos académicos para cada especialidad,
que garanticen la adecuada formación técnica y profesional de los y las participantes del proceso.
El desarrollo de los módulos será supervisado por el equipo ejecutor de FyA. Las acciones formativas, estarán
relacionadas con áreas acordes a las necesidades del mercado dentro del contexto de los Centros Educativos.
El objetivo fundamental, es brindar a jóvenes en riesgo social una formación integral, que no solo se ocupa de
la formación técnica y académica, sino que también se orienta a la transformación del sujeto, desarrollando un
proceso de acompañamiento y cercanía entre el centro educativo y la comunidad, fortaleciendo los lazos entre
los docentes/estudiantes y padres de familia, a manera de potenciar las capacidades que faciliten la incursión
de los jóvenes al mercado laboral.
6. Lógica de la intervención:
La matriz de planificación de marco lógico del proyecto se resume en la siguiente tabla:
Obj. General
Mejorar las oportunidades de acceder a una formación laboral de calidad, para jóvenes fuera del sistema educativo
formal en zonas urbanas marginales de Panamá y rurales de la Costa Abajo de Colón.
Obj. Específico
900 jóvenes (356 mujeres y 544 hombres) de zonas urbanas marginales de Panamá y rurales de la Costa
Abajo de Colón desarrollan las capacidades y actitudes productivas necesarias para acceder al mercado
laboral (por cuenta ajena o propia).
RE1.
Fe y Alegría de Panamá cuenta con una propuesta
educativa de Formación en y para el Trabajo actualizada
al contexto y al mercado laboral.
128
RE2.
Fe y Alegría de Panamá cuenta con un equipo de
docentes actualizados en sus especialidades y en el
manejo de técnicas pedagógicas integrales y por
competencias.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
170
B) Análisis valorativo del diseño
7. Coherencia129 de la lógica de intervención: Baja / No alineada al OE
La lógica de intervención presenta un nivel de coherencia baja entre los niveles de RE y OE, en tanto que se articula en realidad como una secuencia de actividades.
9. El RE1 representa una serie de actividades desde la elaboración de módulos, pasando por el equipamiento necesario y la ejecución de los cursos con los/as estudiantes,
hasta el cierre de las promociones de grado anuales. A la hora de establecer el RE1, éste se propone contar con una propuesta educativa130 utilizándolo como sinónimo
de “ejecutarla”, cuando debería elevar su rango al nivel de la actuación con el colectivo beneficiario.
10. .El RE2 se mueve entre dos puntos de conexión con el RE1:
-
Por un lado, está enunciado en términos de capacitación al personal docente. Como tal RE, sería entonces el punto de intersección entre las actividades “1.4
Contratación de facilitadotes” y “1.8 Planificación…” y “1.9 Desarrollo de los cursos especializados” del RE1 anterior.
-
Por el otro lado, sobre el RE2 se reportan actividades en los informes de seguimiento que van más allá de su enunciado como logro centrado en docentes,
implicando en el RE2 actuaciones dirigidas al seguimiento de egresados/as. De esta manera, el RE2 parece continuar en donde termina el RE1, esto es, la
promoción del/a egresado/a.
En conjunto, este tipo de lógicas de intervención lineales tiene poco encaje en el modelo del Marco Lógico.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
900 jóvenes (356 mujeres y
544 hombres) de zonas
urbanas marginales de
Panamá y rurales de la Costa
Abajo de Colón desarrollan
las capacidades y actitudes
productivas necesarias para
acceder al mercado laboral
(por cuenta ajena o propia).
Enunciado adecuado, salvo en la cuantificación del colectivo beneficiario.
La medición del OE (“capacidades y actitudes productivas”) pasaría
por la valoración de los resultados alcanzados y la evolución del
alumnado en tales ámbitos, tanto en términos de habilidades (para las
capacidades), como de conductas (para las actitudes). El indicador
estaría construido entonces a partir de los datos proporcionados por
este sistema de valoración.
En el contexto de los resultados de la educación para el trabajo, tales
“capacidades y actitudes productivas” han de estar definidas en
términos conceptuales y operacionales, de manera que puedan ser
129
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de
generar el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
130
En sentido estricto, tal propuesta educativa sería el producto representado por no más de un par de las 16 actividades previstas en el RE, con lo que se soslaya otras muchas que van dirigidas a la ejecución de
la formación a estudiantes.
171
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
diseñadas y aplicadas herramientas de valoración de los resultados y
la evolución del alumnado en estas habilidades y conductas. El
indicador estaría construido sobre los datos proporcionados por este
sistema de valoración académico. De no existir, el proyecto habría de
dotarse de herramientas y un procedimiento para medir el OE en
términos similares.
Llama la atención que se establezca el logro en el 100% del colectivo
atendido, algo que ha de corregirse a través de los indicadores.
RE1
Fe y Alegría de Panamá
cuenta con una propuesta
educativa de Formación en y
para el Trabajo actualizada al
contexto y al mercado laboral.
Enunciado no adecuado.
Es la expresión sumaria de la realización de algunas actividades
puntuales del R1, pero no la expresión del efecto como resultado de todo
el conjunto. (Ver comentarios en punto 7).
Esta formulación “a la baja” del RE pone el acento en los productos que
conformarían la propuesta educativa (ej. disponer de módulos de
formación), y menos en el logro alcanzable por el conjunto de sus
actividades, muchas de las cuales van más allá de contar con los
productos que conforman la propuesta educativa y pasan por la difusión
de la formación y la ejecución de los cursos con el colectivo destinatario.
Como un defecto formal resultado de lo anterior, el RE es enunciado
anteponiendo a la institución como beneficiaria, más que al colectivo
destinatario. La alternativa pasaría, por ejemplo, por: “900 jóvenes son
formados en….”, dejando en este caso el alcance del OE para aquellos
que efectivamente logran “desarrollar las capacidades y actitudes
productivas necesarias”.
Ateniéndonos a la formulación “a la baja” del RE, el indicador ha de
dar cuenta de la realización de los productos tangibles establecidos en
el RE1, no siendo entonces más que la expresión de haberse
finalizado la actividad o actividades asociadas a tales productos.
Si el RE estuviese enunciado en términos jóvenes que
participan/asisten a la formación, el indicador habría de medir este
grado de cobertura.
RE2
Fe y Alegría de Panamá
cuenta con un equipo de
docentes actualizados en sus
especialidades y en el manejo
de técnicas pedagógicas
integrales y por competencias.
Enunciado adecuado.
Como un defecto formal, el RE es enunciado anteponiendo a la
institución como beneficiaria, más que como el cambio esperable en el
colectivo destinatario. La alternativa pasaría, por ejemplo, por: “El equipo
de docentes están/han sido actualizados….”.
El indicador ha de evidenciar elementos, bien en primera instancia de
la capacitación adquirida, bien en segunda instancia del manejo
práctico del contenido de la formación.
Un buen estudio de base sobre los problemas existentes relacionados
con los conocimientos y práctica docente ayudaría a identificar las
variables problemáticas, variables cuyo comportamiento positivo ahora
debería ser registro a través de los indicadores de logro.
172
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible131) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y concreción
qué medir. En algunos casos, dependerá de la capacidad de la fuente
de información para dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada o
se reporta con base a una fuente sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar el
indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de verificación
prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que se
reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
131
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
173
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel Enunciado original
OE
900 jóvenes (356
mujeres y 544
hombres) de zonas
urbanas marginales
de Panamá y
rurales de la Costa
Abajo de Colón
desarrollan las
capacidades y
actitudes
productivas
necesarias para
acceder al mercado
laboral (por cuenta
ajena o propia).
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
I1. 300 estudiantes (120 mujeres
y 180 hombres) egresados del
Programa de Formación para el
trabajo continúan estudiando y
capacitándose.
Pertinente: No. El indicador y su variable principal (“continuar
estudiando”) están referidos a un fin no contenido en el OE, que
alude al “desarrollo de capacidades y actitudes productivas”
referidas al “acceso al mercado laboral”.
Específico: Sí. La variable del indicador es lo suficientemente
concreta como para medirla de una manera directa.
Medible: Sí. Son establecidas tasas absolutas, se entiende que
sobre el total del 900 beneficiarios. Los datos han sido
desagregados por sexo. No se especifica el momento (año) de
cumplimiento de la meta del indicador.
Utilidad: Sí. La FV utilizada en el último informe anual de
seguimiento (FV 01. Base de datos e investigación sobre
la situación de egresados/as de 2011 y 2012.) tiene
correspondencia con los datos para alimentar el indicador.
En todo caso, al aplicarse sobre una muestra de
estudiantes egresados, la ‘fiabilidad’, (ver nota a pié de
página nº 3) de la FV está supeditada a su capacidad para
recabar de forma sistemática y lo más objetiva posible el
dato del indicador, y para una muestra no sesgada y
representativa.
Disponible: Sí.
I2. 630 jóvenes, 250 mujeres y
380 hombres, que participan del
Programa de formación para el
Trabajo (el 70% de matriculados),
desarrollan capacidades para el
emprendimiento.
Pertinente: Sí. El indicador y su variable principal (“desarrollar
capacidades para el emprendimiento”) están referidos al OE, hasta
el punto de resultar expresiones sinónimas (ver punto siguiente).
Específico: No. La variable del indicador no es lo suficientemente
concreta como para medirla de una manera directa. En la práctica,
se recurre a una expresión similar a la contenida en el OE y que el
indicador tenía que hacer operativa y medible.
Un buen punto de partida es contar con una definición de
“capacidades de emprendimiento” y las diversas dimensiones e
ítems/variables que comprende, para a partir de ellas ir
descomponiendo el término en aquellas variables empíricas
(registrables, observables) a ser medidas. Asociado a ello, debería
elaborarse una herramienta y un protocolo de recogida de
información, así como el esquema de informe en el que se sintetiza
la información y que daría lugar a la fuente de verificación final.
Si, como parece apuntar el último informe de seguimiento anual y la
fuente de verificación aportada, la elaboración de los ‘Perfiles de
Utilidad: Sí. La FV utilizada en el segundo informe de
seguimiento anual (FV1. Registro con información sobre
participantes de los cursos) no documenta el indicador,
sino la realización de una actividad.
En todo caso, si se reformula el indicador en los términos
sugeridos (en relación a los “Proyectos de negocio”, la FV
aportada en el último informe anual de seguimiento (FV
02. Perfiles de Proyectos técnicos productivos - Planes de
Negocio) tendría sí correspondencia con los datos
necesarios para alimentar el indicador como una evidencia
de su capacitación.
Disponible: Sí. Es importante recordar en este punto, ante
informaciones obtenidas de las entrevistas realizadas, que
el indicador y la FV que le acompañan han de ser el
resultado de un efecto directo de las actividades, no una
actividad en sí misma. Esto quiere decir, que no se trata
con el proyecto de lograr que los/as jóvenes elaboren ‘sí o
174
Nivel Enunciado original
RE1
Fe y Alegría de
Panamá cuenta
con una propuesta
educativa de
Formación en y
para el Trabajo
actualizada al
contexto y al
mercado laboral
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
proyectos productivo – planes de negocio’ suponen la traducción de
la capacidad desarrollado por el alumnado, el indicador habría de
ser formulado en esos términos concretos. La teoría subyacente
sería que han desarrollado las capacidades aquellos/as alumnos/as
que han elaborado un Plan de negocio, correspondencia que ha de
estar bien fundamentada y que, al resultar en un indicador indirecto,
debería ser complementado con otros indicadores.
Medible: Sí. Son establecidas tasas absolutas y porcentuales. Los
datos han sido desagregados por sexo. No se especifica el
momento (año) de cumplimiento de la meta del indicador.
Atendiendo a su aplicación / Fuente verif.
sí’ tales Planes de Negocio, sino que las actividades de
formación propician un grado de “capacidad y actitudes”
en ellos/as (el RE1) suficiente como para que sean
capaces de elaborarlos. En caso contrario, el proyecto se
desvirtuaría para lograr el indicador, y no el RE1. A este
fenómeno se le ha llamado “el fetichismo del indicador”.
I3. Durante los cuatro años de
ejecución del Proyecto, 630
jóvenes (250 mujeres y 380
hombres) que se inscriben en los
cursos de Formación en y para el
trabajo en sus tres
especialidades, se certifican al
completar los tres meses de
ejecución modular.
Pertinente: Sí. El indicador y su variable principal (“certificación”)
están referidos al OE. La variable es una fórmula común en el sector
educativo, siempre y cuando esté dirigida a evidenciar los
conocimientos adquiridos y esté basada en pruebas de valoración
de la capacitación lo más objetivas, comprensivas y sistemáticas
posibles. Es decir, no ha de ser equivalente a haber finalizado los
cursos sin más y sin una valoración continua o final de los
cocimientos o competencias adquiridas que dé lugar al certificado.
Específico: Sí. La variable del indicador es lo suficientemente
concreta como para medirla de una manera directa.
Medible: Sí. Son establecidas tasas absolutas, se entiende que
sobre el total de 900 beneficiarios/as. Los datos han sido
desagregados por sexo.
Utilidad: Sí. La FV utilizada en el último informe anual de
seguimiento (FV 03. Registro de participantes certificados)
tiene correspondencia con los datos necesarios para
alimentar el indicador.
Disponible: Sí.
R1.I2. Se cuenta con un
Diagnóstico Técnico de la
situación de los jóvenes
beneficiarios del Programa de
Formación en y para el Trabajo.
Pertinente: No. El indicador está referido alguno de las
actividades/productos del RE1.
Específico: Sí. El indicador remite a un producto tangible de directa y
objetiva verificación.
Medible: Sí.
Utilidad: Sí. La FV aportada en el segundo informe de
seguimiento anual (FV7. Diagnóstico sobre la situación
laboral prevista documentaría el indicador) documentaría
la realización del producto especificado en el indicador.
Disponible: Sí.
R1.I3 Se cuenta con módulos
especializados revisados y
actualizados (a nivel pedagógico
y técnico) para los cursos de
Pertinente: Sí. El indicador está referido alguno de las
actividades/productos del RE1, pero ya que el RE ha sido formulado
en términos instrumentales (ver comentarios punto 7), tales
productos, los “módulos”, actuarían como evidencia de que se
Utilidad: Sí. La FV aportada en el segundo informe de
seguimiento anual (FV4. Contenidos de los módulos por
cada especialidad.) documentaría la realización del
producto especificado en el indicador.
175
Nivel Enunciado original
Indicador/es original/es
Atendiendo a su definición
cuenta con una propuesta educativa.
Específico: Sí. El indicador remite a un producto tangible de directa y
objetiva verificación.
Medible: Sí.
Atendiendo a su aplicación / Fuente verif.
Disponible: Sí.
R2.I1. 7 docentes de técnica de
Fe y Alegría de Panamá, se
actualizan en temáticas de su
especialidad.
Pertinente: No. El indicador remite a una actividad del RE2 pero no
a su logro, es decir, no aporta evidencias de que el equipo de
docentes ha sido formado.132
Específico: Sí. Si lo que se pretende es expresar que el equipo
docente han sido formado, el indicador no contiene una variable
específica, sino una expresión genérica (“actualizados”) que
requeriría, a su vez, de nuevas variables operativas que puedan
concretar si tal actualización en sus especialidades y manejo de
técnicas pedagógicas se ha producido.
Si con el indicador se quiere dar cuenta de que “asisten” a
determinadas actividades de formación (ver nota a pié de página), el
indicador podría concretarse en tales términos. El resultado, no
obstante, seria una evidencia a nivel de actividades y no podría
operar como indicador del RE2.
En el último informe de seguimiento anual se recurre a la
certificación de la formación docente como variable a manejar. En tal
caso, conviene reformular el indicador en tales términos (“ej.
Docentes obtienen un certificado….”)
Medible: Sí.
Utilidad: Sí. La FV aportada en el último informe anual de
seguimiento (FV 08. Certificados de formaciones a
docentes de técnica) sí parece tener una más clara
correspondencia con los datos necesarios para alimentar
el indicador, que habría de ser expresado en tales
términos, es decir, relacionado con certificación de los/as
docentes como evidencia de su actualización.
Disponible: Sí.
R2.I2. A partir del segundo año,
se registran un incremento de
11 estudiantes mujeres (un 5%)
en las inscripciones a los
cursos de Formación en y para el
trabajo en las modalidades de
Ventas, Hotelería y Cocina y
Agro ecoturismo.
Pertinente: No. El indicador, aún abordando una temática pertinente,
no tiene relación con el RE.
Específico: Sí. El indicador remite a una variable específica
(“inscripciones”) que puede ser verificada de una manera directa y
objetiva.
Medible: Sí. Recomendable desagregar por sexo.
Utilidad: Sí. Es muy probable que la FV prevista
(FV1.Registros estadísticos de matrícula, certificaciones,
listas de asistencia) documente las inscripciones
especificadas en el indicador.
Disponible: No aplica. En el último informe de
seguimiento no se reporta sobre este indicador.
Formación para el trabajo en
Ventas, Hotelería y Cocina y
Agro ecoturismo
RE2
132
Fe y Alegría de
Panamá cuenta
con un equipo de
docentes
actualizados en
sus especialidades
y en el manejo de
técnicas
pedagógicas
integrales y por
competencias.
Análisis crítico del indicador y la fuente de verificación
Sí sería un indicador pertinente en tanto la expresión “se actualizan” indicase que asisten a determinadas actividades de formación.
176
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
R2.I3. Al finalizar el segundo año
de ejecución del proyecto, se
cuenta con un sistema de
monitoreo y seguimiento de
los egresados del Programa de
Formación y para el trabajo en
las especialidades de Ventas,
Hotelería y Cocina y Agro
ecoturismo.
Pertinente: No. El indicador remite a una probable nueva actividad
del RE (ya que no figura entre las previstas en el Documento de
proyecto) pero no al logro del RE2, es decir, no aporta evidencias de
que el equipo de docentes ha sido formado.
Específico: Sí. Remite a un producto que puede ser verificado de
una manera directa y objetiva.
Medible: Sí.
Utilidad: Sí. Las FV aportadas en el último informe de
seguimiento anual (FV10. Herramienta para el
seguimiento a egresados/as; y FV11. Informe de
evaluación de la experiencia de los dos primeros años)
documentan la existencia de elementos del “sistema de
monitoreo” especificado en el indicador.
Disponible: Sí.
R2.I4. Al finalizar el proyecto, 7
de los docentes del área técnica
de los centros educativos de Fe y
Alegría de Panamá, mejoran su
práctica técnica - pedagógica,
mediante la incorporación de
propuestas definidas por su
especialidad.
Pertinente: Sí. Es con diferencia el indicador más directamente
relacionado con el RE2, ya que representa el efecto inmediato que
evidencia su logro.
Específico: No. La variable “mejoran su práctica” no es una variable
específica que aproxime el indicador a una fórmula de verificación lo
más objetiva y directa posible, sino la descripción del efecto
inmediato del logro del indicador cuyas evidencias operativas son
las que nos interesan para definir el indicador adecuado.
Si el indicador fuera construido sobre la condición de “incorporar
propuestas definidas por su especialidad”, debería concretarse
mejor tal expresión y redactarse un indicador que especificase tal
comportamiento de una manera operativa, y en su caso, por grados.
Por último, si el indicador va a ser comprobado chequeando si el
proyecto de aula docente incorpora elementos derivados de su
aprendizaje, conviene reformular el indicador en tales términos (ej.
“Los proyectos de aula docente incorporan…”), especificando de
manera operativa qué elementos de su aprendizaje se espera
localizar en los proyectos de aula docente. Tales elementos han de
ser lo más concretos y objetivamente verificables posibles.
Medible: Sí. Definido en términos absolutos, se entiende que el
100% de los docentes beneficiarios/as del proyecto. Recomendable
desagregar por sexo.
Utilidad: No. Las FV previstas (FV1.Evaluaciones desde la
Dirección de Centros Educativos. Evaluaciones por los
estudiantes) documentarían de una manera muy indirecta
la “mejora de la práctica docente” expresada en el
indicador. Su adecuada verificación exigiría del diseño de
un procedimiento y herramientas de valoración de la
actuación docente muy específicos y que, según las
entrevistas realizadas, no ha sido desarrollado,
planteándose de hecho ante esta limitación la utilización
de un indicador alternativo.
Disponible: No aplica (esperable al finalizar el proyecto).
177
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Valoración
(relevancia para el indicador previsto)
FV OE
1. Registro con información sobre participantes de los cursos
No relevante.
FV RE1
2. Fotos y listados de participantes a los cursos.
3. Material de divulgación creado
4. Contenidos de los módulos por cada especialidad.
5. Fotografías del acto de clausura
6. Pre test hotelería y cocina y ventas
7. Diagnóstico sobre la situación laboral
No relevante (Actividad).
No relevante (Actividad).
Relevante.
No relevante (Actividad).
No relevante (Actividad).
No relevante (Actividad propia de la
identificación o estudio de base).
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
Relevante.
FV OE
FV 01: BBDD e investigación sobre la situación de egresados/as
de 2011 y 2012.
FV 02: Perfiles de Proyectos técnicos productivos - Planes de
Negocio
FV 03: Registro de participantes certificados.
FV 04: Contenidos de los módulos por cada especialidad
FV 05: Material de divulgación de los cursos
FV 06: Listados de asistencia, certificaciones e informes de los
cursos
FV 07: Fotografías, memorias y listados de actividades
complementarias
Relevante.
No relevante (Actividad).
FV 08: Certificados de formaciones a docentes de técnica
FV 09: Registro de calificaciones de estudiantes de técnica
FV 10: Herramienta para el seguimiento a egresados/as
FV 11: Informe de evaluación de la experiencia de los dos
primeros años
Relevante.
No relevante (relacionado con el OE).
No relevante (Actividad).
Relevante. Necesario procesar información.
FV RE1
FV RE2
Valoración
(relevancia para el indicador previsto)
Relevante
Relevante
Relevante.
No relevante (Actividad).
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 58%
−
Presupuestado: 117.601euros
−
Ejecutado: 68.215 euros
178
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 90%
−
PAC 3: 98%
179
FICHA # 10. PROYECTO 35 (BRASIL)
A) Resumen descriptivo
1. Título: Incidencia en políticas públicas para la promoción de la educación de calidad para todos/as y la
promoción social en Brasil.
2. Proyecto nº: 35
3. Objetivo específico Convenio: 4 Acción pública
4. País: Brasil
5. Resumen la intervención133:
El proyecto tiene como objetivo que Fe y Alegría Brasil disponga de las condiciones para incidir en las políticas
públicas a nivel local y nacional con el fin de garantizar el cumplimiento del derecho fundamental a una
educacion de calidad para todos y todas.
Las líneas de actuación son:
a) Desarrollar una estrategia institucional de acción pública y dotarla de los insumos para su implementación.
La estrategia ha de recoger las propuestas y las experiencias generadas a nivel local y marcar unas
pautas metodológicas comunes para el trabajo de todos los equipos involucrados en Acción Pública.
b) Fomentar la participación ciudadana en localidades con centros educativos de FyA, abriendo espacios de
sensibilización y dialogo con los ciudadanos y las ciudadanas, y articulando iniciativas para incidir en los
procesos decisionales de los organismos públicos en materia educativa con otras organizaciones sociales.
c) Promover la articulación de los principales actores de la sociedad civil relacionados con el sector
educativo para fortalecer el trabajo de plataformas y foros como el CONANDA y FNDCA, y apostando por
una mayor coordinación entre los diferentes actores del sector para conseguir un amplio apoyo social en
la labor de defensa de los derechos de niños, niñas y adolescentes.
6. Lógica de la intervención:
La matriz de planificación de marco lógico del proyecto se resume en la siguiente tabla:
Obj. General
Contribuir al desarrollo de políticas educativas a nivel local y nacional que garanticen el derecho a una educación de
calidad para todos y todas.
Obj. Específico
Fe y Alegría tiene capacidad para incidir en las políticas públicas del sector educativo.
RE1.
FyA cuenta con al menos
10 equipos locales
capacitados que
implementan la estrategia
institucional de AP
133
RE2.
Fe y Alegría cuenta con
una estrategia articulada
de Acción Pública.
RE3.
Las comunidades donde
actúa Fe y Alegría conoce
sus derechos
fundamentales y se
moviliza para reivindicar.
RE4.
Fe y Alegría contribuye a
la implementación de la
acción pública en las Redes
donde participa.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
180
B) Análisis valorativo del diseño
7. Coherencia134 de la lógica de intervención: Baja / No alineada al OE
La lógica de intervención presenta un nivel de coherencia baja entre los niveles de RE y OE, en tanto algunos RE son necesarios para el logro del OE y otros RE son el efecto
de haberlo alcanzado.
11. Los RE1 y RE2 son los medios que permiten a FyA lograr la “capacidad de incidir” (OE), mientras que los RE3 y RE4 son la expresión activa de tal capacidad, esto es,
el efecto del OE.¿qué efecto logramos cuando alcanzamos los RE?, tendríamos:
-
Que al lograr los RE1 y RE2, FyA tiene efectivamente más capacidad de incidencia pública (OE).
-
Pero que al lograr el RE3 —que las comunidades conozcan sus derechos y se movilicen por ellos— y/o el RE4 —que FYA contribuya a la implementación de la
acción pública en las redes en las que participa—, el efecto no es que FyA tenga más capacidad de incidencia, sino al contrario, son la manifestación de que tal
capacidad se ha incrementado, combinando así dos estrategias de actuación: redes y centros educativos.
12. El problema parece derivarse de una formulación de un OE como síntesis ‘a la baja’ de las actuaciones a nivel de los RE y no como un efecto. Al representar un
compromiso con lograr “capacidad”, más que con “actuar”, el OE pierde la correspondencia con el problema focal que había sido identificado en términos de “actuación”
y no de “capacidad”.135
13. Como resultado de lo anterior, a nivel de RE se detectan ciertas incoherencias (relaciones causales entre ellos).
-
Por un lado, el RE2 y el RE1 representan, por este orden, una secuencia ‘medio-fin’, de manera que contar con una estrategia de acción pública (RE2) es un
medio necesario para que los equipo locales capacitados la implementen (RE1) de una manera coherente, si bien como parece desprenderse del cronograma,
los equipos locales reciben al tiempo capacitación en temáticas relacionadas con la Acción pública.
-
Por otro lado, es a su vez necesario el logro de los anteriores RE para incidir en los dos siguientes. Esto tiene su traducción también en el cronograma,
quedando relegadas las acciones relacionadas con los RE3 y RE4 tras la efectiva realización de las correspondientes a los RE1 y RE2. De esta manera, al
contar con una estrategia (RE2) y equipos locales capacitados con base a ella e implementándola (RE1) será posible: i) que las comunidades afectadas por el
proyecto conozcan sus derechos (RE3) en las temáticas priorizadas por cada plan de acción público local (coherente con el nacional); y ii) que la institución
contraparte contribuya a nivel nacional y local a la implementación de la acción pública en las redes en las que participa (RE4).
Por su parte, el OG está formulado adecuadamente, es decir, como una contribución realista del OE.
134
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de
generar el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
135
“Fe y Alegría actúa de forma insuficiente en las políticas públicas para la calidad de la educación integral e inclusiva”.
181
8. Análisis de los resultados (OE y RE):
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
OE
Fe y Alegría tiene capacidad
para incidir en las políticas
públicas del sector educativo.
Enunciado adecuado.
El establecimiento de indicadores enfrenta una doble problemática:
a) Por un lado, al estar el OE enunciado como síntesis —más que como efecto— de unos RE
cercanos a la conformación de “capacidades” (el RE1 como equipos capacitados, y el RE2 como
disponer de una estrategia), ha de evitarse recurrir a evidencias relacionadas con tales RE1 y
RE2 como muestra de la “capacidad” expresada en el OE.
b) Por otro lado, podrían utilizarse indicadores que muestren que tal capacidad está activa, pero no
pueden tomarse elementos de la actuación y logros del RE3 (comunidades locales) y RE4
(redes) como evidencias de la capacidad de incidencia expresada en el OE ya que esto invertiría
la lógica del proyecto (ver comentarios punto 7).
Un buen estudio de base sobre los problemas existentes relacionados directamente con los
capacidad de FyA en esta materia ayudaría a identificar las variables problemáticas, variables cuyo
comportamiento positivo ahora debería ser registro a través de los indicadores de logro.
RE1
FyA cuenta con al menos 10
equipos locales capacitados
que implementan la estrategia
institucional de AP.
Enunciado adecuado.
El indicador ha de atender al doble propósito del RE1, esto es, evidenciar que los equipos están
capacitados y que implementan la estrategia institucional de acción pública.
RE2
Fe y Alegría cuenta con una
estrategia articulada de
Acción Pública.
Enunciado adecuado.
El indicador ha de evidenciar elementos que muestren que se dispone de una estrategia de acción
pública. Como expresión de su calidad, además que tal estrategia está “articulada”, siendo
necesario para ello identificar qué se entiende por tal concepto y acordando las variables concretas
que muestren tal cualidad.
RE3
Las comunidades donde
actúa Fe y Alegría conoce sus
derechos fundamentales y se
moviliza para reivindicar.
Enunciado no unívoco, dudoso.
No queda claro si:
a) El RE expresa un doble propósito (“conocer”
y “movilizarse”) en una relación causal
‘medio-fin’, de manera que se busca la
movilización informada, esto es, sobre la
base de un conocimiento previo sobre los
derechos. En ese caso, el primer elemento
del RE (“conocer”) podría relacionarse con el
nivel de actividades, dejando para el RE el
segundo.
El indicador ha de evidenciar elementos que muestren que los avances en el grado de
“conocimiento” de los derechos fundamentales, y evidencias que las movilizaciones generadas
gracias a la actuación del proyecto.
Sobre este segundo punto, es importante recordar que el indicador ha de ser el resultado de un
efecto directo de las actividades, no una actividad en sí misma. Esto quiere decir, que no se trata
con el proyecto de organizar y ejecutar ‘sí o sí’ las movilizaciones en las comunidades —ya que esto
rebajaría el indicador al nivel de actividades y no sería adecuado para evidenciar el RE—, sino que
las actividades del proyecto propician una toma de conciencia y actitud suficiente como para que las
comunidades se movilicen. En caso contrario, el proyecto se desvirtuaría para lograr el indicador, y
no el resultado. A este fenómeno se le ha llamado “el fetichismo del indicador”.
182
Nivel
Enunciado original
Análisis crítico
Consecuencias para el establecimiento de indicador/es
b) El RE expresa un doble fin paralelo, esto es,
lograr que las comunidades aledañas a los
centros educativos conozcan sus derechos y
que también se manifiesten en su defensa.
RE4
Fe y Alegría contribuye a la
implementación de la acción
pública en las Redes donde
participa.
Enunciado adecuado.
El indicador ha de presentar evidencias de la contribución de FyA a la implementación de la acción
pública en las redes en las que participa. No ha de conformarse con evidenciar su participación (ej.
ser miembro o asistir a eventos), ya que esto representa un nivel de actividades, no el logro los
términos en los que ha sido identificado el RE4 (“contribuir a la implementación”).
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible136) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y concreción
qué medir. En algunos casos, dependerá de la capacidad de la fuente
de información para dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada o
se reporta con base a una fuente sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar el
indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
136
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
183
Disponible
Sí
Dudoso
Existe y se reporta con base a la fuente de verificación
prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que se
reporta alimente el indicador
No aplica
No
No se aporta la fuente de verificación prevista
u otra sustituta.
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel Enunciado original
Análisis crítico del indicador y la fuente de verificación
Indicador/es original/es
Atendiendo a su definición
OE
137
Fe y Alegría tiene
capacidad para
incidir en las
políticas públicas
del sector
educativo.
Atendiendo a su aplicación / Fuente verif.
IOV. Al final del primer año 300
personas de los equipos de Fe
y Alegría cuenta con
herramientas fundamentales
de acción pública
Pertinente: No. El indicador y su variable principal (“contar con
herramientas”) daría cuenta del RE1 (ver indicador 1.5).
Específico: Sí. La variable del indicador es lo suficientemente concreta
como para medirla de una manera directa, siempre y cuando sean
especificadas en el procedimiento de verificación cuáles son tales
herramientas fundamentales.
Medible: Sí. Son establecidas tasas absolutas, se entiende que sobre el
total del 100% beneficiarios identificados en el indicador 1.5 del RE1.
Recomendable desagregar datos por sexo.
Utilidad: Sí. La FV utilizada en el último informe
anual de seguimiento (FV01 Formación nacional)
tiene correspondencia con los datos necesarios
para alimentar el indicador, en tanto informe de las
herramientas concretas facilitadas a los equipos.
Disponible: Sí.
IOV. Después de 18 meses Fe
y Alegría cuenta con una
propuesta nacional de
acción pública conocida por
al menos 1.200 personas de 12
comunidades educativas
Pertinente: Sí. El indicador aportaría evidencias de la capacidad de FyA
para actuar en las comunidades incidiendo en las políticas públicas del
sector educativo, tal y como expresa el OE. Como tal fenómeno, el
indicador expresaría la conexión entre la “capacidad” (RE1 y RE2) y la
“actuación” en incidencia pública (RE3 y RE4)137. La teoría del indicador
sería tal que si la propuesta de FyA es conocida en las comunidades
Utilidad: No. No se ha identificado FV que puedan
dar cuenta del indicador en términos de
“conocimiento” de las comunidades educativas,
sino de la realización de actividades para lograrlo,
lo cual no es una fuente adecuada.
Disponer de esta información llevaría parejo el
Al respecto ver comentarios sobre la coherencia de la lógica de intervención (punto 7).
184
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
educativas (indicador), la institución tiene más capacidad para incidir en las
políticas públicas de sector educativo (OE).
Muestra de que el indicador es apropiado para el nivel de OE, es que
representa la conjunción de actividades del RE2 (propuesta nacional) , del
RE1 (actividades de difusión y actuación de equipos locales) y del RE3
(actuación en las comunidades).
Específico: Sí. La variable del indicador (“conocida”) aplicada al producto
“propuesta nacional de acción pública” es lo suficientemente concreta como
para medirla de una manera directa, siempre y cuando se cuente con el
procedimiento de verificación adecuado para verificar el grado de
conocimiento en las comunidades educativas.
Medible: Sí. Son establecidas tasas absolutas, se entiende que sobre el
total del 100% beneficiarios identificados en el indicador 2.5 del RE2.
Recomendable desagregar datos por sexo.
Atendiendo a su aplicación / Fuente verif.
diseño de unas herramientas de medición lo más
sencillas posibles y un protocolo de aplicación que
permita verificar, probablemente a través de una
encuesta, si las comunidades conocen la
propuesta nacional de acción pública de FyA,
diferenciando por sexo y por actores.
Disponible: No aplica. El indicador no ha sido
alcanzado todavía.
IOV. Al final del proyecto al
menos 800 personas de las
comunidades de intervención
han participado en
movilizaciones promovidas por
Fe y Alegría
Pertinente: No. El indicador está relacionado con el RE3, cuantificando de
una manera similar el utilizado en ese nivel (ver indicador 3.4).
Específico: Sí. La variable del indicador (“participar”) aplicada como “asistir”
a las movilizaciones es lo suficientemente concreta como para medirla de
una manera directa, siempre y cuando se cuente con el procedimiento de
verificación adecuado.
Medible: Sí. Son establecidas tasas absolutas, se entiende que sobre el
total del 10 municipios especificados en el indicador 3.4 del RE3. Si fuera
posible, recomendable desagregar datos por sexo.
Utilidad: Dudosa. No se ha identificado FV que
puedan dar cuenta del indicador en términos de
“movilización” de las comunidades educativas. Si
bien en el último informe de seguimiento anual se
reporta que tales FV están disponibles en el país,
no se identifica cuáles son.
Disponible: Sí.
IOV. Al final del proyecto Fe y
Alegría tiene presencia
estable en al menos una red
de acción pública del
municipio
Pertinente: No. El indicador está relacionado con el RE4 similar al utilizado
en ese nivel (ver indicador 4.1).
Específico: Sí. Si bien sería recomendable especificar de una manera más
concreta la variable del indicador (“presencia”) en términos más
directamente verificables (ej:“ser miembro formal” de las redes), la utilizada
es lo suficientemente concreta como para medirla de una manera directa,
siempre y cuando se cuente con el procedimiento de verificación adecuado
y se concrete los criterios que definen la “estabilidad” de tal “presencia”.
Medible: Sí. Son establecidas tasas absolutas, si bien no se deduce de
Utilidad: Sí. La FV (FV03 Planes locales de Acción
Pública) documentaría la presencia de FyA en las
redes, tal y como establece el indicador.
Disponible: Sí.
185
Nivel Enunciado original
RE1
FyA cuenta con al
menos 10 equipos
locales capacitados
que implementan
la estrategia
institucional de AP.
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
manera inmediata a cuántas redes/municipios aplicaría. En tanto que la
“presencia” sea un equivalente a tener un/a representante de FyA en las
redes municipales, es recomendable desagregar por sexo, de manera que
puede evidenciarse el enfoque de equidad de género a través de la
presencia de la mujer en tales órganos de participación pública.
Atendiendo a su aplicación / Fuente verif.
IOV. Al final del proyecto las
redes donde actúa Fe y Alegría
conocen la campaña
“Compromiso por la
educación”.
Pertinente: No. El indicador representaría el efecto de la actuación al nivel
del RE4 (ver actividad 4.3). La teoría que relaciona el indicador con el RE
establecería que el conocimiento de la campaña apoyada por FyA por parte
de las redes (indicador) es una muestra de la capacidad de contribuir a la
acción pública en tales redes (RE4).
Específico: Sí. La variable del indicador (“conocer”) aplicada al producto
“campaña” es lo suficientemente concreta como para medirla de una
manera directa, siempre y cuando se cuente con el procedimiento de
verificación adecuado para verificar el grado de conocimiento en las redes
donde actúa FyA.
Medible: Sí. Son establecidas tasas absolutas, si bien no se deduce de
manera inmediata a cuántas redes/municipios aplicaría.
Utilidad: No. No se ha identificado FV que puedan
dar cuenta del indicador en términos de
“conocimiento” de las redes.
Disponible: No aplica (esperable al finalizar el
proyecto).
IOV. 1.1. Creada un área de
AP a nivel nacional
Pertinente: No. Los indicadores están referidos las actividades/productos
del RE1, no aportando evidencias sobre la implementación de la estrategia
por los equipos capacitados, tal y como establece el RE.
Específico: Sí. Los indicadores remiten al la realización de actividades que
pueden ser verificadas de manera directa y objetiva.
Para el caso particular del indicador 1.5, cuya variable no es la realización
de una actividad, sino la evidencia de su efecto (“conocen”), aplicaría lo
comentado más arriba para indicadores similares. Esto es, aplicado al
producto “herramientas de incidencia en AP”, el indicador es lo
suficientemente concreto como para medirlo de una manera directa,
siempre y cuando se cuente con el procedimiento de verificación adecuado
para verificar el grado de conocimiento por los 300 funcionarios/as.
Medible: Sí. No se especifica el momento (año) de su consecución.
Recomendable desagregar por sexo.
Utilidad: Sí. En general, las FV previstas
documentarían la creación de las áreas a nivel
nacional y local (1.1 y 1.2), la constitución de los
equipos locales (1.3) y la participación en la
formación (1.4.).
Para el caso del indicador 1.1, si bien la FV
aportada en el segundo informe de seguimiento
anual (FV. Imagen de sitios de contratación) no
documentaría el indicador, la FV prevista (FV
Documentos de contratación del personal técnico)
sí lo haría.
Disponible: Sí para el indicador 1.1 (si bien no está
documentada en la matriz de ejecución, sí lo está
en la tabla económica ECO IV.1. Relación de
Personal) e indicador 1.4. No para indicadores 1.2
y 1.3.
IOV. 1.2. Creada un área
experimental de AP a nivel
local
IOV. 1.3. Constituidos equipos
locales de al menos 3
personas en 10 de las 20
ciudades donde actúa Fe y
Alegría
IOV. 1.4. Al menos 40
funcionarios de Fe y Alegría
participan en la formación en el
encuentro nacional de AP
186
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
RE2
Fe y Alegría cuenta
con una estrategia
articulada de
Acción Pública.
Atendiendo a su aplicación / Fuente verif.
IOV. 1.5. Al menos 300
funcionarios conocen las
herramientas fundamental de
incidencia en AP
Utilidad: No. No se ha identificado FV que puedan
dar cuenta del indicador en términos de
“conocimiento” del indicador 1.5. Las FV aportadas
(FV04 Formación Local y FV05 Fotos formación
local) documentarían la realización de la actividad
Disponible: Sí.
IOV. 1.6. El equipo nacional de
Acción pública elabora con la
colaboración de los equipos
locales y distribuye al menos
12 boletines electrónicos
bimestrales
Utilidad: Sí. Está prevista una FV que dé cuenta
del indicador.
Disponible: No aplica. Indicador no alcanzado en
el periodo.
IOV. 2.1. En al menos 10
municipios donde actúa, Fe y
Alegría cuenta con un
diagnóstico local de Acción
Pública
Pertinente: No. El indicador está referido a una actividad necesaria para
alcanzar el RE2, es decir, para elaborar la estrategia.
Específico: Sí. El indicador remite a un producto que puede ser verificado
de manera directa y objetiva.
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: Sí. La FV prevista (FV. Diagnósticos
locales) informaría sobre el indicador.
Disponible: Dudosa. No se aporta la FV prevista,
si bien es probable que la FV aportada en el último
informe de seguimiento anual (FV03 Planes
locales de Acción Pública) pueda contener los
diagnósticos previos a la elaboración de la
estrategia
IOV. 2.2. Fe y Alegria cuenta
con un plan nacional de AP
Pertinente: Sí. Ambos indicadores, dado el carácter instrumental del RE1,
están directamente relacionados con su logro, es decir, contar con una
estrategia articulada de acción pública a nivel nacional y local.
Específico: Sí. El indicador remite a productos que pueden ser verificados de
manera directa y objetiva.
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: Sí. Las FV (FV03 Planes locales de Acción
Pública y FV06 Plan nacional de Acción Pública)
informarían sobre el indicador.
Disponible: Sí. Aportadas en el último informe de
seguimiento anual.
Pertinente: No. El indicador está referido al OE, es decir, a evidenciar la
capacidad de FyA para actuar incidiendo en las políticas públicas del sector
educativo, tal y como expresa el OE.
Específico: Sí. El indicador remite a un producto que, puede ser verificado
de manera directa y lo más objetiva posible, siempre y cuando se cuente
Utilidad: Sí. La FV prevista (FV. Documentos de
sistematización publicados) informaría sobre el
indicador.
Disponible: No aplica. Indicador no alcanzado en
el periodo..
IOV. 2.3. En al menos 10
municipios donde actúa Fe y
Alegría, cuenta con un plan
local de AP
IOV. 2.4. Fe y Alegría cuenta
con 3 experiencias exitosas
de Acción Pública
sistematizadas
187
Nivel Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
con el procedimiento y criterios claros que permitan identificar cuando una
experiencia es exitosa en relación al OE y ha de ser sistematizada.
Medible: Sí. No se especifica el momento (año) de su consecución.
RE3
Las comunidades
donde actúa Fe y
Alegría conoce sus
Atendiendo a su aplicación / Fuente verif.
IOV. 2.5. Fe y Alegría cuenta
con una propuesta nacional de
AP conocida por al menos
1.200 personas de las
comunidades educativas
Pertinente: No. El indicador está referido al OE, es decir, a evidenciar la
capacidad de FyA para actuar en las comunidades incidiendo en las
políticas públicas del sector educativo, tal y como expresa el OE. (Ver
comentarios al indicador 2 del OE).
Específico: Sí. La variable del indicador (“conocer”), aplicaría lo comentado
más arriba para indicadores similares. Esto es, aplicada al producto
“propuesta nacional de AP”, es lo suficientemente concreta como para
medirla de una manera directa, siempre y cuando se cuente con el
procedimiento de verificación adecuado para verificar el grado de
conocimiento por las comunidades educativas. (Ver comentarios al segundo
indicador del OE)
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: No. (Ver comentarios al segundo
indicador del OE)
Disponible: No. (Ver comentarios al segundo
indicador del OE)
IOV. 2.6. Diagnósticos y
estrategias incluyen
perspectivas de género
(Análisis de las problemáticas y
las demandas específicas de
los colectivos de niñas,
jóvenes, mujeres).
Pertinente: No. El indicador está referido a una cualidad de los productos
del RE1 no previamente expresadas en el RE. Para que fuese pertinente tal
indicador:
a) El RE habría de ser reformulado para dar cabida al enfoque de
género en su compromiso de logro
b) El indicador ha de remitirse a las estrategias referidas en el RE,
dejando fuera el producto “diagnósticos” que forman parte de las
actividades preparatorias.
Específico: Sí. El indicador remite a una cualidad de los productos que
puede ser verificado, siempre que se cuenta con el procedimiento e
instrumento necesario para verificar la inclusión del enfoque de género en
tales documentos de una manera lo más objetiva y sistemática posible, y en
su caso, el grado de inclusión.
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: Sí. La FV (FV. Planes de Acción pública)
informaría sobre el indicador, una vez que fuera
procesada tal documentación.
Como recomendación, en casos similares en otros
proyectos, se aporta como FV el instrumento que
resume la valoración del comportamiento del
indicador, esto es, que da cuenta de la inclusión
del enfoque de género en los documentos
aludidos.
Disponible: No.
IOV. 3.1. Reducción de 20% a
10% los miembros de la
comunidad que tienen poco
Pertinente: Sí. El indicador está directamente referido a uno de los aspectos
a lograr del RE3 (“conocimiento), que sería suficiente para evidenciar su
Utilidad: Sí. La FV prevista (FV Informes de
diagnósticos realizados en 2010 y 2014) remite a
un contraste de datos que informaría sobre la
188
Nivel Enunciado original
derechos
fundamentales y se
moviliza para
reivindicar.
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
alcance si se complementa con el indicador 3.4.
Específico: Sí. La variable del indicador (“conocer”), aplicaría lo comentado
más arriba para indicadores similares. Esto es, será lo suficientemente
concreta como para medirla de una manera directa siempre y cuando se
cuente con el procedimiento adecuado para verificar el grado de
conocimiento de sus derechos por las comunidades educativas.
Medible: Sí. No se especifica el momento (año) de su consecución.
Atendiendo a su aplicación / Fuente verif.
evolución del indicador.
Disponible: No aplica. Indicador no alcanzado en
el periodo..
Pertinente: No. Los indicadores están referidos las actividades del RE3, no
aportando evidencias sobre su logro.
Específico: Sí. Los indicadores remiten al la realización de actividades que
pueden ser verificadas de manera directa y objetiva.
Medible: Sí. No se especifica el momento (año) de su consecución.
Recomendable desagregar por sexo.
Utilidad: Sí. La FV prevista (FV Listados de
asistencia en los encuentros de formación
realizados en los 2 estados elegidos y FV Listados
de asistencias en las reuniones de formación)
informarían sobre el indicador.
Disponible: No aplica. Indicador no alcanzado en
el periodo.
IOV. 3.4. Al menos uno de los
problemas discutidos en las
reuniones de socialización con
la comunidad de al menos 10
municipios es objeto de
movilización ciudadana
Pertinente: Sí. El indicador está directamente referido a uno de los aspectos
a lograr del RE3 (“movilización), que sería suficiente para evidenciar su
alcance si se complementa con el indicador 3.1. En todo caso, el indicador
ha de ser una expresión del logro del RE, no una actividad a promover
dentro del mismo.
Específico: Sí. La variable del indicador (“conocer”), aplicaría lo comentado
más arriba para indicadores similares. Esto es, será lo suficientemente
concreta como para medirla de una manera directa siempre y cuando se
cuente con el procedimiento adecuado para verificar el grado de
conocimiento de sus derechos por las comunidades educativas.
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: Dudosa. Las FV previstas (FV Informe de
las reuniones de socialización, FV Actas de
reuniones realizadas y FV Documentos utilizados
para la movilización) documentarían la realización
de las actividades relacionadas con el indicador.
No obstante, cabe la posibilidad de que
debidamente procesadas, puedan verificarlo. En
todo caso, sería recomendable una FV ad hoc más
directamente relacionada con el indicador (ej.
informe sumario de las movilizaciones realizadas a
partir de la síntesis de las FV anteriores).
Disponible: No aplica. Indicador no alcanzado en
el periodo.
IOV. 3.5. Asesorados al
Pertinente: No. El indicador está referido al nivel de actividades del RE3, no
Utilidad: Sí. La FV prevista (FV Informe de
conocimientos de sus derechos
IOV. 3.2. Al menos 20 líderes
comunitarios de la comunidad
participan de formación de AP
en el estado donde se
implementa la experiencia
piloto
IOV. 3.3. Al menos 1.200
personas de las comunidades
de intervención participan en
los espacios de discusión y
debate
189
Nivel Enunciado original
Indicador/es original/es
Atendiendo a su definición
aportando evidencias sobre su logro.
Específico: Sí. El indicador remite a la realización de actividades que
pueden ser verificadas de manera directa y objetiva.
Medible: Sí. No se especifica el momento (año) de su consecución.
Recomendable desagregar por sexo.
Atendiendo a su aplicación / Fuente verif.
asesoría prestada a equipos locales) informaría
sobre el indicador.
Disponible: No aplica. Indicador no alcanzado en
el periodo.
IOV. 4.1. Fe y Alegría tiene
presencia estable en al menos
una red de AP en al menos 10
municipios donde actúa
Pertinente: No. El indicador está relacionado con el RE4 similar al utilizado
en ese nivel (ver indicador 4.1).
Específico: Sí. Si bien sería recomendable especificar de una manera más
concreta la variable del indicador (“presencia”) en términos más
directamente verificables (ej:“ser miembro formal” de las redes), la utilizada
es lo suficientemente concreta como para medirla de una manera directa,
siempre y cuando se cuente con el procedimiento de verificación adecuado
y se concrete los criterios que definen la “estabilidad” de tal “presencia”.
Medible: Sí. Son establecidas tasas absolutas, si bien no se deduce de
manera inmediata a cuántas redes/municipios aplicaría. En tanto que la
“presencia” sea un equivalente a tener un/a representante de FyA en las
redes municipales, es recomendable desagregar por sexo, de manera que
puede evidenciarse el enfoque de equidad de género a través de la
presencia de la mujer en tales órganos de participación pública.
Utilidad: Sí. La FV (FV03 Planes locales de Acción
Pública) documentaría la presencia de FyA en las
redes, tal y como establece el indicador.
Disponible: Sí.
IOV. 4.2. Divulgada la
campaña “Compromiso para la
educación” en las redes en que
participa Fe y Alegría
Pertinente: No. El indicador está referido al nivel de actividades del RE4, no
aportando evidencias sobre su logro.
Específico: Sí. El indicador remite al la realización de actividades que
pueden ser verificadas de manera directa y objetiva.
Medible: Sí. No se especifica el momento (año) de su consecución.
Recomendable desagregar por sexo.
Utilidad: Sí. La FV prevista (FV Actas de las
reuniones de las redes en las que conste la
divulgación de la campaña) informaría sobre el
indicador.
Disponible: No. La FV aportada en el último
informe de seguimiento anual (FV07 Boletines)
documentaría la existencia del medio de
divulgación, pero no su realización en las redes.
menos 5 equipos de
movimientos sociales locales
en el estado donde se
implementa la experiencia
piloto de acción pública
RE4
Fe y Alegría
contribuye a la
implementación de
la acción pública en
las Redes donde
participa.
Análisis crítico del indicador y la fuente de verificación
190
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
FV RE1
Valoración
(relevancia para el indicador previsto)
Fuente de verificación aportada en el informe anual
FV1 Publicación interna sobre la puesta en marcha de AP
FV2 Perfil da Vacante de Coordinador Nacional de AP
FV3 Divulgación de la vacante de Coordinador/a Nacional de AP
FV4 Perfil de Asistente de AP
FV5 Dinámica de Contratación en el Área de AP
FV6 Comunicado Coordinadores Estatales
FV7 Equipos de AP
FV8 Materiales de Planes de Formación
No relevante (Actividad).
No relevante (Actividad).
No relevante (Actividad).
No relevante (Actividad).
No relevante (Actividad).
No relevante (Actividad).
Revelante.
No relevante (Actividad).
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Valoración
(relevancia para el indicador previsto)
Fuente de verificación aportada en el informe anual
FV OE
FV 01: Formación nacional
FV 02: Nombramiento en el CONANDA
FV 03: Planes locales de Acción Pública
FV 04: Formación Local
FV05 Fotos local
FV06 Plan nacional de Acción Pública.
No relevante (Actividad).
No relevante (relacionado con el RE4).
No relevante (relacionado con el RE1).
No relevante (Actividad).
No relevante (Actividad).
No relevante (relacionado con el RE1).
FV RE1
FV 04: Formación Local
FV 05: Fotos formación local
No relevante (Actividad).
No relevante (Actividad).
FV RE2
FV 03: Planes locales de Acción Pública
FV 06: Plan nacional de Acción Pública
Relevante.
Relevante.
FV 03: Planes locales de Acción Pública
Relevancia dudosa. Necesario procesar información
para verificar la participación en redes no como tareas
planificadas sino como actuación efectiva.
No relevante (Actividad).
FV RE4
FV 07: Boletines
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 39%
−
Presupuestado: 107.761 euros
−
Ejecutado: 41.577 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 36%
−
PAC 3: 49%
191
FICHA # 11. PROYECTO 38 (REGIONAL – FEDERATIVO)
A) Resumen descriptivo
1. Título: Fortalecimiento de la Acción Pública para el derecho a una educación de calidad en América Latina.
2. Proyecto nº: 35
3. Objetivo específico Convenio: 4 Acción pública
4. País: Regional
5. Resumen la intervención138:
El proyecto pretende:
a. Fortalecer las capacidades institucionales para desarrollar acciones de incidencia política mediante una
estrategia de capacitación que provea nociones y herramientas al personal de cada FyA nacional
(Responsable Nacional de Acción Pública, personal de las Oficinas Nacionales implicado, y docentes y
educadores) con distintas modalidades: i) encuentros regionales presenciales, cursos virtuales, y dos
comunidades virtuales de aprendizaje. Cada FyA podrá acordar la modalidad y estrategia de formación.
b. Impulsar iniciativas en diálogo con la sociedad civil, las organizaciones internacionales y los gobiernos
que afirmen la relevancia de las cuestiones educativas y contribuyan a su mejora. A dos niveles:
−
Nacional: Profundizar en la campaña “Compromiso por la Educación” (lanzada en 2008) con énfasis
en calidad educativa y educación técnica. La campaña es una plataforma común sobre la cual cada
FyA realizará iniciativas adaptadas a su contexto: foros con la sociedad civil y las autoridades
educativas, acciones de movilización y trabajo en red. La Coordinación del Programa de Acción
Pública brinda asesoramiento en la gestión de las estrategias nacionales de acción pública.
−
Regional: Con base en publicaciones, colaboraciones inter-institucionales y trabajo en red desde el
inicio del Programa, se realizarán dos documentos de posicionamiento sobre los temas mencionados,
contando con experiencia educativa de FyA; y una investigación regional sobre un tema relacionado
con el derecho a la educación. Estas publicaciones serán la base para dos encuentros regionales con
redes educativas, organizaciones internacionales y representantes de los Ministerios de Educación
para analizar y hacer propuestas sobre las políticas públicas educativas de la región. .
6. Lógica de la intervención:
La matriz de planificación de marco lógico del proyecto se resume en la siguiente tabla:
Obj. General
Contribuir a la construcción de políticas educativas que garanticen el pleno cumplimiento del derecho a la educación.
Obj. Específico
La Federación Internacional de Fe y Alegría es reconocida a nivel latinoamericano como interlocutor de
referencia en temas de derecho a la educación.
RE1.
La red Fe y Alegría ha fortalecido sus capacidades
institucionales para realizar el trabajo de acción pública.
138
RE2.
La Federación Internacional de Fe y Alegría contribuye al
debate para incidir a favor del derecho a la educación.
Extraída del documento de proyecto. No se valora la coherencia del mismo con respecto a la matriz de planificación posterior.
192
B) Análisis valorativo del diseño
7. Coherencia139 de la lógica de intervención: Alta / Alineada al OE
La lógica de intervención presenta un nivel de coherencia alto entre los niveles de RE y OE, siendo más evidente entre el RE1 y el OE, y más sujeta a interpretación entre el
RE2 y el OE.
14. Es clara la relación ‘medio-fin’ entre el RE1 (fortalecer capacidades institucionales) como un medio para contribuir al OE (ser reconocida como interlocutor de
referencia).
15. La relación ‘medio-fin’ entre el RE2 y el OE operaría en tanto que la ‘teoría del programa’ sitúa la contribución al debate sobre educación (RE2), materializada de un
modo instrumental (documentos, trabajo en redes y encuentros regionales), como un medio para que la institución sea reconocida como interlocutora (OE).
Por su parte, el OG está formulado adecuadamente, es decir, como una contribución realista del OE.
8. Análisis de los resultados (OE y RE):
Nivel
OE
Enunciado original
La Federación Internacional de
Fe y Alegría es reconocida a
nivel latinoamericano como
interlocutor de referencia en
temas de derecho a la
educación.
Análisis crítico
Enunciado
adecuado.
Consecuencias para el establecimiento de indicador/es
El establecimiento del indicador pasaría por hacer operativo el cambio expresado en el OE (“reconocida como interlocutor de
referencia”) a través de:
− Bien variables que evidencien ese reconocimiento especializado en educación por otros actores.
− Bien a través de los efectos directos que tal reconocimiento genera en la agenda internacional sobre temas educativos en la
región.
La dificultad, en ambos casos, estriba en estimar si tales cambios son producidos por el proyecto o precedían al mismo. Para
ello es importante contar, al menos, con un adecuado estudio de base sobre el cual contrastar la situación ‘antes-después’.140
Dada la deficiente concreción de los problemas expuestos en el Documento de Proyecto141 y la no realización efectiva de la
línea de base comprometida al inicio del proyecto (actividad 1.1), es probable que el establecimiento de indicadores sea
complejo de realizar y difícil de medir, a menos que se haya creado un adecuado mecanismo de seguimiento basado en
resultados a posteriori.
139
Se analiza someramente la coherencia entre los RE y el OE en términos de contribución/alineamiento. No se analiza la suficiencia de la lógica establecida, es decir, si los RE por sí solos son capaces de
generar el OE o, por el contrario, el proyecto habría de incorporar otros factores clave.
140
Si fuera posible, aunque se reconoce la complejidad de abordarlo, sondear los factores externos y temporales que pudieran afectar a tal evolución ‘antes-después’ para aproximar el contraste entre línea de
base e indicador a una comparación más rigurosa bajo un enfoque ‘con y sin’ proyecto.
141
Relacionados con los problemas generales de la región en materia de educación, con lo el problema central que daría origen al proyecto.
193
Nivel
Enunciado original
Análisis crítico
RE1
La red Fe y Alegría ha
fortalecido sus capacidades
institucionales para realizar el
trabajo de acción pública.
Enunciado
adecuado.
RE2
La Federación Internacional de
Fe y Alegría contribuye al
debate para incidir a favor del
derecho a la educación.
Enunciado
adecuado.
Consecuencias para el establecimiento de indicador/es
El indicador ha de hacer operativo los conceptos centrales de ambos RE (“fortalecimiento de capacidades” y “contribuir al
debate) para, a partir de sus distintas dimensiones o componentes, establecer las variables de los indicadores más adecuados.
Un buen diagnóstico de base ayudaría detectar las variables operativas que operan como manifestación tanto de la deficiente
“capacidad institucional”, como de las falencias relacionadas con la “contribución al debate”, y con ello facilitaría la detección de
variables a las que dar seguimiento de su evolución positiva a través de los indicadores del proyecto.
Para el caso particular del RE2, hay que tomar en cuenta que los eventos en los que la institución participa propiciados por la
ejecución de las actividades de tal RE2, no pueden considerarse como una evidencia (indicador) del “reconocimiento como
interlocutor” especificado en el OE.
Por su parte, y al contrario que el caso anterior, sí podrían ser considerados como base para el establecimiento de indicadores
del OE aquellos efectos directos a nivel nacional derivados de manera directa del logro del RE1, es decir, aquellos que
evidencien el “reconocimiento como interlocutor” (OE) de las FyA en sus ámbitos de influencia nacional fruto de su
fortalecimiento de capacidades institucionales (RE1).
9. Análisis de los indicadores del nivel de resultados (OE y RE) y funcionalidad de las fuentes de verificación:
El diseño de los indicadores es analizado atendiendo a su pertinencia (debe de corresponderse con el OE o el RE, y no con evidencias de otra naturaleza, como por ejemplo las
actividades realizadas para alcanzarlos), su carácter específico (debe describir una condición futura precisa y concreta, de manera que la variable definida en él sea la adecuada para
medir el avance en el OE o el RE de una manera lo más objetivamente verificable posible142) y medible (cuantificado, que haga posible valorar en qué grado se ha conseguido).
La aplicación de los indicadores es analizada teniendo en cuenta la relación entre el indicador y su o sus fuentes de verificación respectivas. Se valora su utilidad (la previsible
capacidad de la fuente de verificación u otra sustituta aportada en los informes de seguimiento para informar sobre el indicador) y la disponibilidad (existencia de la fuente de
verificación en los informes de seguimiento).
Las pautas para el análisis son las siguientes:
Sí
Dudoso
No
Pertinente
El indicador está relacionado con el OE/RE
No está clara la relación entre el indicador y el OE/RE
El indicador no está relacionado con el OE/RE
Específico
El indicador establece con claridad y concreción qué
medir
Existen dudas sobre si el indicador establece con claridad y concreción
qué medir. En algunos casos, dependerá de la capacidad de la fuente
de información para dar cuenta de tal indicador.
El indicador no establece con claridad y
concreción qué medir/observar/registrar
142
Un indicador es “verificable objetivamente” cuando traduce o concreta de manera inequívoca el resultado al que se refiere sin favorecer algún tipo de interpretación subjetiva. Esto está relacionado con a
‘fiabilidad’ del indicador, es decir, que las conclusiones basadas en ellos deben ser las mismas, aunque la medición sea realizada por personas distintas, en momentos diversos y en circunstancias diferentes.
[Fuente: PREVAL, FIDA; s/f: Conceptos clave de seguimiento y evaluación de programas y proyectos. Breve guía].
194
Sí
Dudoso
No
Medible
Define la cantidad o valores a partir de los cuales
valorar lo alcanzado
Define solo alguno de los aspectos a tomar en cuenta para valorar lo
alcanzado
No define la cantidad o valores a partir de los
cuales valorar lo alcanzado
Útil
Ha sido prevista una fuente de verificación adecuada o
se reporta con base a una fuente sustituta relevante.
No está clara la capacidad de la fuente de verificación para alimentar el
indicador
No ha sido prevista o reportada una fuente de
verificación adecuada
Disponible
Existe y se reporta con base a la fuente de verificación
prevista u otra fuente sustituta relevante
No está claro que la fuente de verificación existente con base a que se
reporta alimente el indicador
No se aporta la fuente de verificación prevista
u otra sustituta.
No aplica
La fuente de verificación no está disponible porque el OE/RE no ha sido alcanzado a la fecha.
A la hora de valorar si un indicador es adecuado o no, hay que tener en cuenta que las tres primeras características de los indicadores (pertinencia, especificidad y medible) no son
independientes, sino que unas están supeditadas a otras. En ese sentido, un indicador ha de ser, en primer lugar, pertinente; luego ha de ser específico y finalmente medible. Dicho
de otra manera, no resulta útil para la gestión por resultados disponer de un indicador que define la cantidad o valor esperable (medible) pero que no especifica con claridad qué medir
(específico), o un indicador específico y medible pero que no tiene relación con el OE/RE a medir (pertinente).
En el mismo sentido, a la hora de valorar la correspondencia entre la fuente de verificación y el indicador, el criterio primero (utilidad) se antepone al segundo (disponibilidad). Así,
es primero necesario que la fuente de verificación tenga capacidad para informar sobre el indicador (utilidad) y que además esté disponible; no resultando relevante para el diseño el
caso contrario: que estén disponibles fuentes de verificación que no informan adecuadamente sobre el indicador.
Nivel
OE
Enunciado original
La Federación
Internacional de Fe
y Alegría es
reconocida a nivel
latinoamericano
como interlocutor
de referencia en
temas de derecho a
la educación.
Indicador/es original/es
1. El Programa de Acción Pública de la
Federación Internacional de Fe y Alegría
mantiene la interlocución con las siguientes
instancias de decisión en ámbito educativo:
I. Nivel regional:
a. OEI - Organización Iberoamericana de
Educación (en relación a la iniciativa “Metas
2021”,entre otras);
b. SEGIB: Foro Cívico;
c. PREAL, IIPE-UNESCO, Banco Mundial.
II. Nivel nacional:
a. Por lo menos 6 Ministerios de Educación
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
Pertinente: Dudoso. El indicador y su variable principal (“mantener
interlocución”) darían cuenta del OE en la medida en que la
interlocución en ambos niveles, regional y nacional, sea un efecto
directo del proyecto, o en su mayor parte, y no una dinámica
institucional establecida o unas actividades a ejecutar. Cabría
distinguir dos situaciones:
a) A nivel regional: El indicador sería pertinente en la medida en
que la interlocución con tales organismos sea un efecto directo del
reconocimiento internacional de FyA como una institución
especializada en educación fruto, sobre todo, de las acciones del
RE2 a través de las cuales la institución presenta productos y
organiza eventos para posicionarse en ese espacio. Bajo esta
supuesto, cabe también la posibilidad de que el reconocimiento
Utilidad: Sí.
Para el indicador I a nivel regional:
Debidamente procesadas, las FV previstas
(FV Acta de las reuniones mantenidas con
las instituciones e instancias mencionadas y
FV Registro de asistencia en los dos
eventos regionales organizados por el
Programa), junto con el dossier de
intercambio de correos más significativos
documentarían, el indicador de manera
similar a las variadas FV aportadas en los
informes de seguimiento anual.
195
Nivel
Enunciado original
Indicador/es original/es
de diferentes países latinoamericanos, que
hayan participado en los dos eventos
regionales organizados por el Programa de
Acción Pública.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
como interlocutor se genere en otras organizaciones, lo que no
debería afectar a la esencia del indicador.
b) A nivel nacional: El indicador sería pertinente en la medida que
las FyA de cada país sean capaces de propiciar una interlocución
con las autoridades locales. Esto podría concretarse en términos
de ‘capacidad de convocatoria’, esto es, en la medida en que un
determinado número de Ministerios de Educación participen de los
actos organizados por FyA, tal y como establece el indicador II.a.
Específico: No (indicador nivel I), Sí (indicador nivel II).
La variable del indicador I de nivel regional (“mantener la
interlocución”) no es lo suficientemente concreta como para medirla
de una manera directa, remitiendo en la práctica al mismo fenómeno
recogido en el OE y que se supone debería ayudar a hacer
operativo y medible.
En su caso, si tal y como parecen apuntar los informes anuales de
seguimiento, se entiende por “mantener la interlocución” en el
sentido de que la relación con las entidades internacionales y
regionales tiene hitos (reuniones, foros, cumbres, etc.) a los que
habría que dar seguimiento —y que no habrían de forman parte de
las actividades del proyecto, sino ser un llamado ad hoc a FyA—,
entonces cabría reformular el indicador en esos términos para
hacerlo más específico (ej: “FyA es invitada a asistir a….”).
Por su parte, el indicador II de nivel nacional, es más concreto en su
variable de medición (“participar en eventos”), aproximándolo a una
verificación más directa y lo más objetiva posible.
Medible: Sí.
Para el indicador I, se determina un número de organismos, y para
el indicador II un número de Ministerios de Educación. En este
segundo caso, sería recomendable establecer el número absoluto
de Ministerios que son convocados para contrastar con aquellos que
efectivamente responden a la convocatoria y, por lo tanto,
interpretar mejor el alcance del indicador.
No se especifica el momento (año) de su consecución.
Atendiendo a su aplicación / Fuente verif.
Para el indicador 2 a nivel nacional: la FV
prevista (FV Actas de los dos eventos
regionales organizados por el Programa)
documentaría la participación de los
Ministerios, tal y como establece el
indicador.
Disponible: Sí. (indicador I) No aplica
(indicador II). Sobre este segundo indicador
no se reporta en el último informe de
seguimiento anual.
196
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
2. Las principales redes regionales de
educación en que participa el Programa (sobre
todo la CLADE – Campaña Latinoamericana
por el Derecho a la Educación –, ALER y
CEAAL) valoran positivamente su [FyA]
contribución y participación.
Pertinente: Sí. Si bien el indicador tiene cierta relación con el RE2,
está más directamente relacionado con el OE, en el sentido de que
la “valoración positiva de la contribución y participación” realizada
por otros (indicador) es la manifestación que podría evidenciar si
FyA es “reconocida como interlocutor de referencia” (OE)
Específico: Sí. La variable del indicador (“valoración positiva”)
aplicada la “contribución y participación” de FyA es lo
suficientemente concreta como para medirla de una manera directa,
siempre y cuando se cuente con el procedimiento de verificación
adecuado para verificar el grado de valoración de una manera lo
más objetiva y sistemática posible, es decir, estableciendo a su vez
ítems operativos que permitiesen vincular su valoración positiva
individual a una valoración global de la contribución y participación
de FyA.
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: Sí. La FV prevista (FV Cuestionario
de valoración de la participación del
Programa aplicado a representantes de
CLADE, ALER y CEAAL al inicio y
conclusión de la intervención) podría aportar
elementos los informativos necesarios para
el indicador.
Cabe la posibilidad también de aplicar una
entrevista con un guión elaborado sobre la
base de los ítems definitorios de la
“contribución y participación” establecidos en
el indicador.
Disponible: No.
3. Alcance de la cobertura en los medios de
comunicación de los dos foros regionales
organizados por el Programa:
Pertinente: No. El indicador está relacionado actividades del RE2, y
no como un efecto directo del logro del OE.
Específico: Sí. La variable más específica del indicador (“presencia”)
es lo suficientemente concreta como para medirla de una manera
directa, siempre y cuando se cuente con el procedimiento de
verificación adecuado.
Medible: No. El indicador no está cuantificado. No se especifica el
momento (año) de su consecución.
Utilidad: Sí. Si bien la FV prevista (FV 2.
Clipping: servicio contratado a empresas
especializadas) ha sido sustituida en el
segundo informe de seguimiento anual por
otra alternativa similar (FV Informe de
medios) el proyecto sigue siendo capaz de
informar sobre el indicador.
Disponible: Sí. (en el segundo informe de
seguimiento anual, pero no disponible en el
último informe de seguimiento anual)
Pertinente: No. El indicador está relacionado con el RE1, más
específicamente con el efecto directo de su consecución. No es
pertinente al OE en tanto que el indicador mediría el reconocimiento
del trabajo de incidencia por la propia institución (una evidencia del
logro del RE1), más que el reconocimiento de su labor por otros, tal
y como establece el OE.
En todo caso, no es recomendable reubicarlo por completo como
indicador del RE1, ya que solo el indicador 4.c) estaría relacionado
Utilidad: Sí. La FV (FV03 Planes locales de
Acción Pública) documentaría la presencia
de FyA en las redes, tal y como establece el
indicador.
Disponible: Sí.
− Presencia en los principales periódicos y
medios de comunicación de los países en que
se realizan los foros.
4. La importancia del trabajo de incidencia en
educación se ha consolidado y es reconocida al
interior de Fe y Alegría:
a. El Programa de Acción Pública realiza
trabajo de incidencia en sinergia con otros
Programas Federativos (por lo menos con tres)
del Plan Estratégico 2010-2014.
197
Nivel
Enunciado original
Indicador/es original/es
b. Por lo menos 4 Fe y Alegría cuentan con
planes nacionales de incidencia.
c. Valoración de la relevancia del trabajo de
incidencia de las y los Directores Nacionales de
Fe y Alegría, Representantes Nacionales del
Programa, personal de las Oficinas Nacionales
y las y los Coordinadores de los Programas
Federativos.
RE1
La red Fe y Alegría
ha fortalecido sus
capacidades
institucionales
para realizar el
trabajo de acción
pública.
1. El Movimiento de Fe y Alegría cuenta con
un equipo de 19 personas (1 por cada Fe y
Alegría) formadas en incidencia en políticas
públicas educativas (con enfoque de género):
a. adquisición de los conocimientos básicos;
b. satisfacción al final del ciclo de encuentros.
2. Aprox. 120 personas de varias Fe y Alegría
y de organizaciones locales socias (50%
mujeres y 50% hombres) participan en dos
cursos virtuales sobre incidencia política con
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
con los logros del RE, en tanto que:
− El indicador 4.a) y 4.b) está relacionado con la propia dinámica
de ejecución las actividades de este y otros proyectos, y no con
los efectos directos del RE1.
− El indicador 4.b) se corresponde con actividades del R1.
Específico: Sí (indicador 4.a y 4.b) No (indicador 4.c)
Los dos primeros sub-indicadores remiten a una verificación directa.
En el caso del tercer sub-indicador, es necesario reformularlo en
términos específicos, de manera que concrete qué valoración es
esperable y se aproxime a una estimación lo más objetiva y
sistemática posible.
Medible: Sí (indicador 4.a y 4.b) No (indicador 4.c), en tanto que el
último sub-indicador no está cuantificado. No se especifica el
momento (año) de su consecución.
Atendiendo a su aplicación / Fuente verif.
Pertinente: Sí (indicadores 1.a, 2.b y 3.a), No (indicadores 1.b, 2.a,
2.c y 3.b).
El primer bloque de indicadores está referido al RE1, asimilando en
su teoría que con contar con equipos capacitados (indicador) es una
expresión del fortalecimiento de capacidades perseguido (RE1).
El segundo bloque de indicadores está referido al nivel de
actividades, dando cuenta de terminación o su valoración positiva.
Si bien esto es importante y necesario de cara contar con personas
formadas, no da cuenta de que tal logro se ha producido.143
Utilidad: Sí. En general, las FV previstas
documentarían la realización de las
actividades (relacionadas con los subindicadores no ‘pertinentes’) y también
aquellos indicadores ‘pertinentes’
relacionados con la medición del logro del
RE1, basándose para ello en FV como
pruebas a la finalización de los cursos y
cuestionarios.
Disponible: No. En los informes de
143
Según modelos reconocidos (Kirkpatrick), la ‘satisfacción’ está relacionada con un primer estadio de los procesos de formación (actividades), no con sus resultados. En ese sentido, el nivel de ‘reacción’ de un
proceso formativo equivale, en sentido positivo, a la satisfacción por la capacitación recibida. Parece razonable suponer que la satisfacción de un participante en una formación es una condición necesaria para que
se produzca un aprendizaje, pero no suficiente.
Efecto
Resultado
Actividad
Niveles
Fortalecimiento de capacidades
Formación de agentes
Cursos de formación
Escala Kirkpatrick
Conducta
Aprendizaje
Reacción (satisfacción)
198
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
enfoque de género:
a. 60% de las personas inscritas termina el
curso;
b. 75 % de las personas que terminan el curso
ha adquirido los conocimientos previstos;
c. satisfacción al final del curso.
3. Aprox. 200 personas (50% mujeres y 50%
hombres) de 7 Fe y Alegría capacitadas en
gestión de los procesos de incidencia (en
temas escogidos por cada institución) a través
de los talleres impartidos por el Programa:
a. adquisición de los conocimientos;
b. satisfacción e impacto (seguimiento postcurso).
4. Aprox. 30 docentes y miembros de las
comunidades educativas de FyA (70% mujeres
y 30% hombres) intercambian sus
experiencias de sensibilización sobre el
derecho a la educación con enfoque de género
en dos comunidades virtuales de aprendizaje:
144
Específico: Sí (indicadores 1.a, 2.b y 3.a), No (indicadores 1.b, 2.a,
2.c y 3.b). Para este segundo bloque de indicadores, si lo que se
pretende es expresar ha sido formado o capacitado el diverso
personal afectado por el proyecto, el indicador no contiene una
variable específica, sino una expresión genérica (“formadas”,
“adquirido conocimientos”) que requeriría, a su vez, de nuevas
variables operativas que puedan concretar si tal formación se ha
producido y aproximar el indicador a una verificación lo más objetiva
posible que tendrá que después realizarse.
Tales indicadores serían más operativos si estuviera construido
sobre las evidencias de mejora en aquellos aspectos concretos —
que operarían como variables del indicador—que resultaron
problemáticos o deficientes en relación con las capacidades y
conocimientos previos de los/as destinatarios/as del RE1, y que
deberían haber sido revelados por el proceso de identificación y
estudio de base.
En caso contrario, descansará sobre la capacidad de análisis de la
fuente de verificación el poder verificar de manera sistemática y
fundamentada si el indicador tiene el comportamiento deseable, es
decir, si los agentes mencionados han sido formados durante el
proyecto. Tal alternativa (ej. una prueba de conocimientos) parece
ser la utilizada para el indicador 2 como procedimiento de valoración
sistemático acorde a los contenidos de la formación.
Medible: Sí. No se especifica el momento (año) de su consecución.
Pertinente: No. Los indicadores dan cuenta de la realización de las
actividades que en parte contribuyen al logro del RE2, pero no son
una evidencia de su consecución.144
Específico: Sí Ambos indicadores hacen operativas sus primeras
variables (“intercambiar experiencias” y “disponer”) a través de
variables más específicas y concretas que aproximan en cada caso
Atendiendo a su aplicación / Fuente verif.
seguimiento anuales se aportan
documentación que prueban la realización
de las actividades (matriculación, memorias
de los talleres, etc.) pero no se ha detectado
ninguna que de cuenta de los indicadores en
términos de “satisfacción” y “adquisición de
conocimientos”.
Utilidad: Sí. En general, las FV previstas
(FV. Número de personas inscritas y que
terminan, FV Frecuencia de intercambios,
FV. Análisis de los materiales puestos online, FV Cuestionario on-line de satisfacción
de las y los usuarios) aportarían los datos
En el caso del indicador 5, el hecho de que al cambiar su actividad de referencia haya implicado cambiar el indicador es ‘la prueba del 9’ de que no era el indicador adecuado para operar a nivel del RE.
199
Nivel
Enunciado original
Indicador/es original/es
a. 70% de las personas inscritas completan el
trabajo en las comunidades;
b. se cumple la frecuencia prevista del
intercambios entre las personas;
c. presencia de la perspectiva de derechos y
género en los materiales compartidos y
construidos on-line;
d. satisfacción de las personas.
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
cada sub-indicador a una medición lo más objetiva posible.
Medible: Sí (para los indicadores 4.a y 5.a y 5.b). No (para los
indicadores 4.b y 4.c) No se especifica el momento (año) de su
consecución.
Atendiendo a su aplicación / Fuente verif.
necesarios para alimentar cada uno de los
sub-indicadores.
Disponible: No aplica. No se reporta sobre
este indicador en el último informe de
seguimiento anual.
Pertinente: No. Los indicadores están referidos a actividades
(elaborar productos y difundirlos) necesarias para alcanzar el RE2,
es decir, para “contribuir al debate”, pero no sirven como evidencia
de su logro.
Específico: Sí. Los indicadores remiten a productos que puede ser
verificados de manera directa y objetiva. Se especifican además con
claridad los términos en que han de ser elaborados.
Medible: Sí. No se especifica el momento (año) de su consecución.
Utilidad: Sí. La FV prevista, tanto para la
elaboración de los productos referidos en los
indicadores, como para su difusión (FV
Registro de envíos y de acuses de recibo)
informarían sobre su realización.
Para que la verificación comprendiera todos
los requerimientos especificados en los subindicadores, se recomienda —como en
casos similares en otros proyectos— aportar
como FV el instrumento que resume la
valoración del comportamiento del indicador,
esto es, que chequea por ejemplo la
inclusión del enfoque de género la revisión
y validación de los documentos aludidos.
Disponible: Sí (indicador 1). No aplica
(indicador 2; sobre este segundo indicador
no se reporta en el último informe de
seguimiento anual) No (indicador 3; no se
han detectado FV que documenten el
5. A partir del tercer año del convenio, las
herramientas, documentos y experiencias de
incidencia política de las Fe y Alegría están a
disposición en un espacio virtual:
a. por lo menos 3 FyA ponen a disposición sus
documentos;
b. participan personas de 5 FyA.
RE2
La Federación
Internacional de Fe
y Alegría
contribuye al
debate para incidir
a favor del derecho
a la educación.
1. Se cuenta por con dos documentos de
incidencia sobre educación que:
a. recogen la experiencia de FyA;
b. han sido revisados y validados por los
Representantes Nacionales del Programa en
las FyA;
c. incluyen el enfoque de género.
2. Por lo menos un estudio sobre un tema
educativo de alcance latinoamericano:
a. en colaboración con otra red, universidad o
centros de investigación;
b. con enfoque de género.
3. Alcance de la difusión de los documentos
elaborados por el Programa:
a. A las principales redes e instituciones
educativas a nivel regional y nacional (por lo
menos de 6 países).
b. A las principales autoridades educativas a
200
Nivel
Enunciado original
Indicador/es original/es
Análisis crítico del indicador y la fuente de verificación
Atendiendo a su definición
Atendiendo a su aplicación / Fuente verif.
alcance de la difusión).
Pertinente: Sí. El indicador sería una referencia del logro del RE2,
es decir, de que FyA “contribuye al debate” en un espacio relevante.
Los sub-indicadores a) b) y c) retratarían la “calidad” de la
“participación” a la que se refiere el indicador.
Específico: No. El indicador y sus sub-indicadores no lograr
especificar variables concretas que lo aproximen a una verificación
lo más objetiva y directa posible.
Las diversas variables (“participar de manera constante” y “aportar”)
han de ser, a su vez, nuevamente operativizadas para estimar de
una manera sistemática en qué términos de produce tal
participación.
En caso contrario, descansará sobre la capacidad de análisis de la
fuente de verificación el poder verificar de manera sistemática y
fundamentada si el indicador tiene el comportamiento deseable.
Medible: No. No se especifica cantidad. No se especifica el
momento (año) de su consecución.
Utilidad: Dudosa. La FV aportadas ilustran
los documentos finales en los que
representantes del Programa 8 han
realizado aportaciones, pero no aplican a
todos los sub-indicadores y no se cuenta, en
todo caso, con una FV que documenta las
aportaciones realizadas. .
Con base a los diversas FV previstas (FV.
Registro de las principales reuniones y/o
intercambios realizados: asistencia y actas,
FV. Documentos elaborados, FV. Planes de
incidencia elaborados) y otras aportadas en
los informes de seguimiento anuales, sería
recomendable elaborar un breve un informe
de gestión en el que se sintetizaran y
sustentaran las evidencias de los tres subindicadores.
Disponible: Dudosa. En tanto que se
aportan los documentos y planes de
incidencia sujetos a aportación, pero no la
FV que muestre el comportamiento recogido
en el indicador.
nivel regional y a los Ministerios de educación
de por lo menos 6 países latinoamericanos.
4. Ha mejorado la calidad de la participación
del Programa 8 en la red de CLADE:
a. participa de manera constante en el trabajo
y consultas de la red;
b. aporta a la construcción de documentos
conjuntos;
c. aporta a la elaboración de planes conjuntos
de incidencia.
201
10. Análisis de las fuentes de verificación reportadas:
INFORME 2. AÑO 2011 (del 01-01-2011 al 30-06-2011)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
FV OE
FV 01 Relativas al Banco Mundial
FV 02 Congreso Internacional Acción Pública Calidad Educativa
FV 03 Relativas al Curso Virtual de AP
FV 04 Relativas a la OEI
Revelante.
Revelante.
No revelante (Relacionada con el RE1)
Revelante
FV 05 Encuentro de Enlaces
Relevancia dudosa. Procesar información para
verificar indicadores de formación del RE1.
Relevancia dudosa. Procesar información para
verificar indicadores de formación del RE1.
Relevancia dudosa. Procesar información para
verificar indicadores de formación del RE1.
No relevante.
FV 06 Taller Centroamérica
FV RE1
FV 07 Taller Haití
FV 08 Listado de Matriculación del Curso
FV RE2
FV 09 Congreso Internacional
FV 10 Relativas a la Asamblea Mundial
FV 11 Posicionamiento Haití.
Valoración
(relevancia para el indicador previsto)
Relevancia dudosa. Necesario procesar
información.
Relevante.
Relevante.
INFORME 3. AÑO 2012 (del 01-01-2012 al 31-12-2012)
FV y nivel
OE/RE
Fuente de verificación aportada en el informe anual
FV OE
FV 01: Correspondencia con CLADE-BM
FV 02: Análisis de documentación Reunión Metas 2021
FV 03: Declaración final de la asamblea de Quito
FV 04: Presentación taller seminario Informe delegación Río + 20
Relevante. Necesario procesar información.
Relevante.
Relevante.
Relevante.
FV 05: Cursos Virtual (listados, materiales, etc.)
Relevancia dudosa. Procesar información para
verificar indicadores de formación del RE1.
Relevancia dudosa. Procesar información para
verificar indicadores de formación del RE1.
Relevancia dudosa. Procesar información para
verificar indicadores de formación del RE1.
FV RE1
FV 06: Taller Bolivia.
FV 07: Taller de Colombia
FV RE2
FV 08: Documento Posicionamiento Haití y traducciones
FV 09: Análisis de documentación Reunión Metas 2021
FV 10: Documentación Río+20
FV 11: Documentación UNESCO
Valoración
(relevancia para el indicador previsto)
Relevante.
Relevante.
Relevante. Necesario procesar información para
verificar aportes y contribución de FyA del RE2.
Relevante. Necesario procesar información para
verificar aportes y contribución de FyA del RE2..
202
C) Datos relativos a la eficacia y a la eficiencia a 31 del 12 de 2012
11. Consumo presupuestario en el periodo (aporte AECID): 60%
−
Presupuestado: 237.736 euros
−
Ejecutado: 141.970 euros
12. Porcentaje de realización de actividades para el periodo:
−
PAC 2: 84%
−
PAC 3: 55%
203
ANEXO 3. Encuesta para la selección de la muestra de Proyectos, y tabla de respuestas
Selección de muestra para evaluación del diseño de Proyectos
Evaluación intermedia y global del Convenio
“Mejora de la calidad educativa para la inserción de poblaciones vulnerables en América Latina”
Responsable Área geográfica / Personal técnico expatriado / Técnico/a-país
Como parte de la evaluación intermedia y global del Convenio, se realizará una valoración del diseño de los
Proyectos que lo componen. Uno de los aspectos principales será analizar la calidad de los indicadores
establecidos en los niveles de Objetivos específicos (OE) y Resultados esperados (RE). Además se revisará la
‘lógica vertical’ establecida (relación RE con el OE), y la correspondencia de las fuentes de verificación con tales
indicadores. Esto se realizará sobre una muestra de Proyectos.
Serán utilizados dos criterios seleccionar esta muestra de Proyectos. Uno criterio técnico establecido por el
evaluador, y otro que represente el interés del personal gestor de Proyectos. Este segundo criterio parte de la
consideración de que el personal técnico que administra el Convenio es el agente que más de cerca sigue las
consecuencias, junto al socio local, de las bondades y deficiencias en el diseño del Convenio y sus Proyectos.
Instrucciones
Seleccionar un máximo de 8 Proyectos (responsable de Área geográfica), 5 Proyectos (personal
expatriado), 1, 2 ó 3 Proyectos (técnico/a-país, según gestione hasta 4, entre 5 y 6, o más de 6 Proyectos en
el Convenio, respectivamente) susceptibles de ser revisados. En el caso de tener algunos más prioritarios que
otros, indicarlo puntuándolos de 1 a 4 (donde 1 es más prioritario y 3 es menos prioritario).
Nota para el/la responsable de Área geográfica: La selección puede realizarse tomando en consideración o no
las prioridades previamente definidas por el personal técnico-país y expatriados de su Área geográfica.
No es necesario seleccionar el número máximo indicado, pudiéndose indicar menos Proyectos.
Se ha incluido una columna de observaciones para señalar cualquier aspecto relevante que deba ser tenido en
cuenta (ej. “De entre los Proyectos seleccionados, es importante considerar este Proyecto en la muestra final”).
Enviar la respuesta a [email protected] no más tarde del 4 de Abril. Gracias por vuestra colaboración.
Tabla de selección de muestra
Nº
Número Proyecto
Objetivo específico
(según formulación en
el Convenio)
(indicar: Acceso, Calidad,
Técnica o Acción Pública)
País
Prioridad (valorar de 1=más
Observaciones
prioritario, a 3=menos prioritario)
1
2
3
(..)
Persona que responde el cuestionario
Nombre y apellidos:
Correo electrónico:
Países bajo su responsabilidad:
Nº de Proyectos que gestiona en el Convenio:
204
Tabla de respuestas para seleccionar la muestra de Proyectos
Persona
Nº Número Proyecto
Objetivo específico
País
Javier Mencos
Javier Cortegoso
Alejandro Mendizabal
Alejandro Mendizabal
Marta del Barrio
Belen Medina / Ana Cirujano
Marta del Barrio
Alejandro Mendizabal
Javier Mencos
Javier Cortegoso
Alejandro Mendizabal
Mimi Cuque
Ana Vázquez
Alejandro Mendizabal
Mimi Cuque
Mimi Cuque
Raquel Abad
Belén Medina / Ana Cirujano
Marta del Barrio
Marta del Barrio
Raquel Abad
Belen Medina / Ana Cirujano
Raquel Abad
Marta del Barrio
Alejandro Mendizabal
Javier Cortegoso
Belén Medina / Ana Cirujano
Javier Cortegoso
Alejandro Mendizabal
Belén Medina / Ana Cirujano
Raquel Abad
Belén Medina / Ana Cirujano
Javier Mencos
Javier Cortegoso
Belén Medina / Ana Cirujano
Raquel Abad
Alejandro Mendizabal
Belén Medina / Ana Cirujano
1
2
3
4
5
6
7
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1
2
3
4
5
1
2
3
4
5
6
Acceso
Acceso
Acceso
Acceso
Acceso
Acceso
Acceso
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Calidad
Técnica
Técnica
Técnica
Técnica
Técnica
Acción publica
Acción Pública
Acción Pública
Acción Pública
Acción Pública
Acción Pública
Bolivia
Bolivia
Perú
Paraguay
Guatemala
Nicaragua
El Salvador
Bolivia
Bolivia
Bolivia
Colombia
Ecuador
Ecuador
Perú
Perú
Paraguay
Dominicana
Guatemala
Guatemala
Honduras
Nicaragua
Nicaragua
Panamá
El Salvador
Federación
Federación
Federación
Colombia
Perú
Dominicana
Panamá
El Salvador
Bolivia
Brasil
Honduras
Nicaragua
Federación
Federación
1
1
2
3
5
7
9
11
11
11
13
14
14
15
15
16
17
18
18
19
20
20
21
22
23
23
23
24
26
27
31
32
34
35
36
37
38
38
Nota: Se destaca en sombreado la selección del personal expatriado, en negrita los 11 Proyectos seleccionados como
muestra y en color aquellos que funcionarían como otros Proyectos de referencia.
El cuestionario recibió 7 respuestas: 4 de todo el personal expatriado, del responsable de Área Geográfica de
América del Sur, y la responsable de Centroamérica y el Caribe (conjuntamente con una técnico-país), y 2
responsables de países, los dos del área de América del Sur. Los Proyectos que fueron mencionados en el total
de respuestas fueron 28, el 74% de los existentes.
A la hora de priorizar los Proyectos que formarían parte de la muestra, el personal técnico optó mayoritariamente
por Proyectos del OEC2. Calidad educativa (20 ocasiones). En el resto de OEC, la elección fue más equilibrada:
en 7 ocasiones por Proyectos del OEC.1 Acceso, en 5 por los del OEC3. Educación técnica, y en 6 por aquellos
del OEC4. Acción pública.
205
ANEXO 4. Estructura general del Convenio
OBJETIVO GENERAL
Contribuir al ejercicio efectivo del derecho a una educación de calidad de poblaciones vulnerables y
desfavorecidas de 17 países de América Latina.
OE4
OE1
Mejorar las condiciones de acceso, permanencia y
finalización de unos 17.000 alumnos (55% mujeres) en
situación de vulnerabilidad social en Bolivia, Perú,
Paraguay, República Dominicana, Guatemala, Haití,
Nicaragua y El Salvador
OE2
Mejorar la calidad educativa en al menos 500 centros que atienden
a 260.000 alumnos y alumnas (50 % mujeres) de colectivos
vulnerables de Argentina, Bolivia, Brasil, Chile, Colombia, Ecuador,
Perú, Paraguay, Uruguay, Venezuela, R. Dominicana, Guatemala,
Honduras, Nicaragua, Panamá y El Salvador.
OE3
Crear las condiciones para la inclusión educativa y laboral de
aproximadamente 25.000 jóvenes y adultos/as (53% mujeres) de
55 centros educativos que atienden a los sectores vulnerables de
Colombia, Ecuador, Perú, Honduras, Nicaragua, Panamá,
Salvador, Venezuela, Dominicana, Guatemala
Contribuir a la participación de las comunidades educativas en
la elaboración e implementación de políticas públicas que
garanticen el ejercicio efectivo del derecho a la educación.
LÍNEA 1 ACCESO
LÍNEA 2 CALIDAD EDUCATIVA
LÍNEA 3 EDUCACIÓN TÉCNICA
LÍNEA 4 ACCIÓN PÚBLICA
R1 1000 niños/niñas, adolescentes
jóvenes, habitantes de los
municipios rurales, desarrollan
competencias pertinentes para su
inserción (Bolivia)
R2 Inclusión educativa y social de
3.400 personas excluidas del
sistema educativo de zonas urbano
marginales de Lima - Callao e Ica,
especialmente mujeres (Perú)
R3 420 Jóvenes y Adultos (mujeres
70%), acceden a una propuesta
educativa vinculadas a las
competencias de la educación
básica, habilidades para la vida y
refuerzan su dimensión comunitaria.
(Paraguay)
R4 Mejorar el acceso educativo
para 350 niños y niñas de 3
escuelas centros
(R. Dominicana)
R5 Se han ampliado las
oportunidades de culminación
del ciclo básico en
condiciones de equidad
dirigida a jóvenes de
comunidades indígenas del
occidente de Guatemala
R6 Se ha facilitado la
permanencia en el sistema
formal de educación a niños y
niñas (Haití)
R7 Crear oportunidades para
el acceso a una educación
integral de calidad a niños,
niñas, adolescentes, jóvenes y
adultos (Nicaragua)
R8 Facilitar el acceso y
continuidad de la educación
primaria bilingüe para 314
jóvenes y adultos con bajos
niveles de escolaridad (Panamá)
R9 Facilitar la permanencia
en el sistema formal de
educación a 4,533 menores y
jóvenes vulnerables a través
de una oferta de educación
integral (El Salvador)
R10 Mejorar la calidad educativa
del nivel secundario en 6 centros
de FyA que atiende a 1.700
jóvenes (55 % mujeres y 45%
hombres) de contextos vulnerables
(Argentina)
R11 43180 estudiantes en
condiciones de vulnerabilidad
acceden a propuestas educativas
que recogen sus expectativas,
necesidades y potencialidades
(Bolivia)
R12 Mejorar la calidad del servicio
educativo que prestan 25 centros
que atienden 1.000 niños y 1.5001
niñas
(Brasil)
R13 Mejorar las competencias de
los estudiantes de transición a 11º
grado de 44 centros de sectores
populares de 10 Departamentos de
Colombia (Colombia)
R14 Mejorar la calidad de la
educación popular en 29 centros
que atienden a población escolar
en situación de vulnerabilidad en la
sierra, costa y oriente ecuatoriano
(Ecuador)
R15 Mejorar la calidad educativa en
60 centros que atienden a 65.000
estudiantes de contextos
vulnerables en 16 Departamentos
(Perú)
R16 Mejora de la calidad de la
gestión pedagógica a través de la
implementación de estrategias
innovadoras en 25 Centros
Educativos. (Paraguay)
R17 Mejorar la calidad educativa
para 32.921 estudiantes (17.131
alumnas y 15.790 alumnos) en l45
centros (Dominicana)
R18 Se ha mejorado la calidad
educativa para 6.211 alumnas y
6.543 alumnos en 45 centros
educativos (Guatemala)
R19 Mejorada la calidad de los
servicios educativos que se ofertan
en 9 centros educativos que
atienden a 1.666 alumnos
(37%mujeres).
(Honduras)
R20 Mejorada la calidad educativa
de 32 centros (de Fe y Alegría y
estatales) que atienden a 15.200
niñas/os, jóvenes y personas
adultas (Nicaragua)
R21 Mejorar las capacidades de
docentes para el manejo y
resolución de situaciones
conflictivas en 15 centros
educativos con jóvenes en riesgo
social
(Panamá)
R22 Mejorada la calidad educativa
de 22 centros educativos que
atienden a 4.527 alumnas y 4.874
alumnos (El Salvador)
R23 Logradas transformaciones en
los procesos y resultados desde la
formación y el desarrollo del
sistema de mejora de la calidad en
562 centros incorporando el
enfoque de género
(Federación)
R24 Mejorar las capacidades
para la resolución de
problemas tecnológicos de
6.400 estudiantes de sectores
populares de los grados sexto
a décimo de 16 centros
educativos de 6
Departamentos (Colombia)
R25 Generar las condiciones
para la inserción social,
educativa y laboral de
jóvenes y adultos excluidos
del sistema educativo formal
en Guayaquil, Manta y
Portoviejo. (Ecuador)
R26 Ampliación del acceso a
una educación técnica
superior de calidad a 400
personas jóvenes y adultas
indígenas en Santa María de
Nieva (Amazonas) y Pampa
Cangallo (Ayacucho). (Perú)
R27 Fortalecidas las
competencias productivas y
empresariales de los 640
jóvenes del ciclo básico y de
los estudiantes de la
propuesta educativa técnica
no formal de cinco centros
(Dominicana)
R28 Fortalecidas las competencias
productivas y empresariales de los
2.560 jóvenes del ciclo básico y de
los estudiantes de la propuesta
educativa técnica no formal de
cinco centros
(Guatemala)
R29 Estudiantes de la red de
Centros Técnicos de Fe y Alegría
Honduras egresados con
competencias de acuerdo a las
necesidades actuales de formación
requeridas por el sector productivo
del país (Honduras)
R34 Fe y Alegría Bolivia contribuye
en el fortalecimiento de las
capacidades de la sociedad para la
incidencia en políticas educativas
(Bolivia).
R35 Fe y Alegría contribuye al
incremento de la participación de la
sociedad civil y de la comunidad
educativa en el derecho a la
educación
(Honduras)
R36 Fe y Alegría Brasil tiene
capacidad para incidir en las
políticas del sector educativo
(Brasil)
R37 22 centros públicos inciden por
el derecho a la educación en
Nicaragua a nivel local y nacional
(Nicaragua)
R38 La Federación Internacional de Fe y Alegría es reconocida a nivel
latinoamericano como interlocutor de referencia en temas de derecho a la
educación. (Federación)
R30 22 centros educativos de
crean condiciones adecuadas para
la inserción laboral de 2.727
mujeres y 1819 hombres
(Nicaragua)
R31 356 mujeres y 544 hombres
de zonas marginales desarrollan
las capacidades y actitudes
productivas necesarias para
acceder al mercado laboral
(Panamá)
R32 Impulsar la inserción laboral
de las y los participantes de los
cursos de formación ofrecidos en 3
centros de formación profesional
(El Salvador)
R33 Se han creado las condiciones de acceso a la educación técnica
acreditada e intermediación laboral para 2197 mujeres y 1709
hombres en el estado de Anzoátegui y del Estado de Mérida.
(Venezuela)
206
ANEXO 5. Objetivos específicos del Convenio y Objetivos generales de Proyectos
Objetivos específicos
Convenio
Mejorar las
condiciones de
acceso, permanencia
y finalización de unos
17.000 alumnos (55%
mujeres) en situación
de vulnerabilidad social
Objetivos generales de los Proyectos
Contribuir al desarrollo local de áreas Rurales Indígenas de Bolivia a través de la inserción social, laboral y educativa de su población joven y adulta con altos…
Contribuir a la inserción social, laboral-productiva y educativa de jóvenes y adultos que viven en condiciones de pobreza, exclusión y de alta vulnerabilidad social…
Contribuir a elevar las capacidades y oportunidades de la población adulta excluida del sistema educativo básico de zonas urbano marginales
Favorecer la continuidad en educación básica y media a población vulnerable de escasos recursos en Rep. Dominicana
Fortalecer la propuesta educativa de la zona occidente de Guatemala dirigida a jóvenes indígenas
Mejoradas y ampliadas las condiciones de acceso y permanencia la educación (preescolar y fundamental) de los niños y niñas en situación de vulnerabilidad…
Mejorar las oportunidades de acceso a la enseñanza básica universal para jóvenes y adultos indígenas de la Comarca Ngäbe Buglé en condiciones de extrema pobreza
Mejoradas y ampliadas las condiciones de acceso a la educación (básica y media) y la formación complementaria para menores y jóvenes vulnerables de 8 acciones…
(No especificado, Proyecto 7, Nicaragua)
Mejorar la calidad
educativa en al menos
500 centros que
atienden a 260.000
alumnos y alumnas (50
% mujeres) de
colectivos vulnerables
Contribuir a la transformación social de las comunidades del ámbito de influencia de los 6 centros, a través de una educación popular de calidad que responda a las
necesidades de los destinatarios y que contribuya al desarrollo de sujetos libres, activos y conscientes con capacidades para incidir en la mejora de su calidad de vida y...
Contribuir a la transformación social de las comunidades del ámbito de influencia de los 29 centros, a través de una educación popular de calidad que responda a las
necesidades de los destinatarios y que contribuya al desarrollo de sujetos libres, activos y conscientes con capacidades para incidir en la mejora de su calidad de vida y...
Contribuir a la transformación social de los entornos comunitarios en ubicaciones suburbanas y rurales de Bolivia a través de la mejora de la calidad de la educación popular….
Contribuir a la transformación social de las comunidades del ámbito de influencia de las instituciones educativas, a través de una educación popular de calidad que responda….
Contribuir a la transformación social de los entornos comunitarios de ubicaciones suburbanas y rurales de Paraguay a través de una educación popular de calidad que…
Contribuir a mejorar la calidad de la educación que reciben más de 47.000 estudiantes de sectores populares en 10 Departamentos de Colombia.
Mejorada la calidad educativa en Panamá
Contribuir al desarrollo integral de niños y niñas de sectores urbanos marginales de Brasil
Contribuir a la transformación social de poblaciones vulnerables en República Dominicana
Contribuir a la transformación social de poblaciones vulnerables en Guatemala
Contribuir a la transformación social de poblaciones vulnerables de Nicaragua
Contribuir a la transformación social de poblaciones vulnerables en El Salvador
Implementar un sistema de mejora continua de la calidad educativa al servicio de los sistemas públicos de educación de América Latina, para ampliar oportunidades y
capacidades de los sectores más empobrecidos
(No especificado. Proyecto 19, Honduras)
207
Objetivos específicos
Convenio
Crear las condiciones
para la inclusión
educativa y laboral de
aproximadamente
25.000 jóvenes y
adultos/as (53%
mujeres) de 55 centros
educativos que
atienden a los sectores
vulnerables
Objetivos generales de los Proyectos
A partir de educación en tecnología, mejorar las capacidades de estudiantes de sectores populares para su futuro desempeño laboral, cualquiera que sea la profesión
Mejora de la formación y la empleabilidad de los egresados de los centros educativos Santa Teresa, San Joaquín,….
A partir de la educación técnica, contribuir a la inclusión en el sistema económico y social de la población joven y adulta en situación de pobreza de zonas suburbanas de….
Favorecer la inserción social y la continuidad educativa de jóvenes en Rep. Dominicana.
Garantizar la calidad educativa de formación técnica dirigida a facilitar el acceso de jóvenes al mercado laboral o a la formación técnica profesional.
Mejorar las oportunidades de acceder a una formación laboral de calidad, para jóvenes fuera del sistema educativo formal en zonas urbanas marginales…
Contribuir al desarrollo humano y social de los/as jóvenes de Amazonas y Ayacucho.
Contribuir al desarrollo económico de las comunidades en condiciones de exclusión social a través de la formación e impulsando iniciativas emprendedoras
(No especificado, Proyecto 29, Honduras)
(No especificado, Proyecto 30, Nicaragua)
Contribuir a la
participación de las
comunidades
educativas en la
elaboración e
implementación de
políticas públicas que
garanticen el ejercicio
efectivo del derecho a
la educación
Contribuir a la legitimación de las políticas educativas públicas ante la sociedad civil
Contribuir al desarrollo de políticas educativas a nivel local y nacional que garanticen el derecho a una educación de calidad para todos y todas
Contribuir a la construcción de políticas educativas que garanticen el pleno cumplimiento del derecho a la educación.
(No especificado, Proyecto 36, Honduras)
(No especificado, Proyecto 37, Nicaragua)
208
ANEXO 6. Cuestionario, tablas de datos y gráficos de encuesta a personal expatriado
Cuestionario sobre el grado de ejecución y eficacia de los proyectos
Convenio 10-Co1-68
Este cuestionario tiene de 8 preguntas con las que trata de estimar el grado de ejecución y avance de los resultados
previstos en los proyectos contemplados en el Convenio 10-Co1-68 gestionado por Entreculturas.
Este cuestionario toma como referencia el Documento de proyecto, no sus respectivas PAC, de manera que ha de ser
respondido sobre la base del contraste entre el Documento de proyecto respecto a los cuatro años de ejecución y el estado
de los proyectos a fecha de hoy.
El cuestionario está referido fundamentalmente actividades y resultados. En él se pregunta sobre su alcance, avance o
grado de ejecución, factores que propiciaron un posible adelanto o retraso en dicha ejecución, y una estimación sobre la
probabilidad de que sean alcanzados los resultados.
El cuestionario consta de dos documentos. En esta hoja figuran las preguntas con sus posibles respuestas, junto con las
aclaraciones pertinentes. En una hoja de Excel aparte, se facilita la plantilla para el volcado de las respuestas. Por favor, no
responda en este archivo Word.
Gracias por vuestra colaboración.
a.
Cobertura. ¿Cuál es el alcance estimado de las actividades y resultados del proyecto a la fecha?
1.
El proyecto actúa sobre muchos más centros/beneficiarios de lo previsto inicialmente (variaciones superiores al
50% sobre lo previsto).145
2.
El proyecto actúa sobre más centros/beneficiarios de lo previsto inicialmente (variaciones entre un 10% y un 50%
sobre lo previsto).
3.
El proyecto actúa en los mismos, o más o menos los mismos centros/beneficiarios que los previstos inicialmente
(variaciones positivas o negativas alrededor del 10% sobre lo previsto).
4.
El proyecto actúa sobre menos centros/beneficiarios de lo previsto inicialmente (variaciones entre un 10% y un
50% sobre lo previsto).
5.
El proyecto actúa sobre muchos menos centros/beneficiarios de lo previsto inicialmente (variaciones superiores al
50% sobre lo previsto).146
Comentarios:
b.
Ejecución. ¿Cuál es el grado de ejecución general de las actividades del proyecto a la fecha?
1.
Bastante adelantadas respecto a lo previsto.
2.
Un poco adelantadas respecto a lo previsto.
3.
Más o menos respecto a lo previsto.
4.
Un poco retrasadas respecto a lo previsto.
145
Por ejemplo, si se ha pensado formar a 50 equipos directivos o actuar en 15 centros, y se está formando a más de 75 equipos
directivos o actuando en 23 centros o más.
146
Por ejemplo, si se ha pensado formar a 50 equipos directivos o actuar en 15 centros, y se está formando a menos de 25 equipos
directivos o actuando en 7 centros o menos.
209
5.
Bastante retrasadas respecto a lo previsto.
Comentarios:
c.
Si en la pregunta ‘b’ has respondido 1), 2) o 3)
favoreciendo una ejecución satisfactoria?
Factores positivos. ¿Cuáles son los factores que están
1.
Factores relacionados con el diseño y la planificación del proyecto (ej. previsión de las actividades, cronograma
realista, resultados pertinentes, presupuesto acorde a las necesidades, etc.).
2.
Factores relacionados con la gestión del proyecto (ej. rápida conformación de equipos y contratación de
actividades, cursos preparados y organizados a tiempo, estabilidad del personal técnico y cambios positivos en la
organización local, ejecución de obras en tiempo y forma, materiales y productos previstos listos en su momento y
útiles, etc.).
3.
Factores relacionados con elementos externos fuera del control del proyecto (ej. nuevos apoyos recibidos, agilidad
en los trámites, actividades147 y en la toma de decisiones de agentes externos al proyecto, etc.).
Comentarios:
d.
Si en la pregunta ‘b’ has respondido 4) o 5)
una ejecución no satisfactoria?
Factores negativos. ¿Cuáles son los factores que están favoreciendo
1.
Factores relacionados con el diseño y la planificación del proyecto (ej. actividades no adecuadamente previstas,
cronograma no realista, resultados no pertinentes, presupuesto desajustado de las necesidades, etc.).
2.
Factores relacionados con la gestión del proyecto (ej. lenta conformación de equipos y contratación de
actividades, cursos no preparados y organizados a tiempo, rotación de personal técnico o cambios negativos en la
organización local, demoras en ejecución de obras, materiales y productos no disponibles a tiempo, etc.).
3.
Factores relacionados con elementos externos fuera del control del proyecto (ej. trabas burocráticas, cambios en
las autoridades locales de referencia, demoras en toma de decisiones de agentes externos al proyecto148, etc.)
Comentarios:
e.
Desempeño. ¿Cuál es el grado de desempeño de las actividades del proyecto hasta la fecha?
1.
Muy alta. Todas o casi todas las actividades importantes, previstas o no, están dando resultados satisfactorios.
2.
Alta. La mayoría de actividades importantes, previstas o no, están dando resultados satisfactorios.
3.
Baja. La mayoría de actividades importantes, previstas o no, están dando resultados poco satisfactorios.
4.
Muy baja. Ninguna o casi ninguna de las actividades importantes, previstas o no, están dando resultados
satisfactorios.
Comentarios:
f.
Progresión eficacia. ¿Es probable que sean alcanzados los Resultados esperados?
1.
Sí, todos.
147
No han de considerarse las derivadas del personal afín al proyecto o contratado para realizar algunas de sus actividades, ya que su
control forma parte de la gestión del proyecto.
148
No han de considerarse las demoras generadas por personal afín al proyecto o contratado para realizar algunas de sus actividades, ya
que su control forma parte de la gestión del proyecto.
210
2.
Sí, la mayoría.
3.
Sí, unos pocos.
4.
No, ninguno.
Comentarios:
g.
Logro eficacia. ¿Es probable que sean alcanzado el Objetivo específico del proyecto?
1.
Sí, en los tiempos previstos.
2.
Sí, con una prórroga de no más de 6 meses y el mismo presupuesto.
3.
Sí, con una prórroga de un año y el mismo presupuesto.
4.
No, debido sobre todo a problemas de diseño del proyecto (ver aclaraciones en 4.a).
5.
No, debido sobre todo a problemas de gestión durante la ejecución (ver aclaraciones en 4.b).
6.
No, debido sobre todo a factores externos (ver aclaraciones en 4.c).
Comentarios:
h.
Valoración global. Por último, ¿cómo calificarías la evolución del proyecto hasta la fecha?
1.
Muy satisfactoria / Muy por encima de las expectativas / Sin problemas reseñables.
2.
Bastante satisfactoria / Igual o por encima de las expectativas / Con algunos problemas que no afectarán o
afectarán poco al resultado final.
3.
Poco satisfactoria / Por debajo de las expectativas / Con problemas que afectarán en buena medida al resultado
final.
4.
Muy poco satisfactoria. / Muy por debajo de las expectativas / Con graves problemas que impedirán lograr el
resultado final o una parte muy importante de él.
Comentarios:
211
Cobertura
Alcance estimado de las actividades y resultados del proyecto
8%
11%
14%
Muchos más de lo previsto
Más de lo previsto
Igual o similar a lo previsto
Menos de lo previsto
Muchos menos de lo previsto
67%
Grado de ejecución general de las actividades
5%
Bastante adelantadas
49%
46%
Un poco adelantadas
Más o menos lo previsto
Un poco retrasadas
Bastante retrasadas
212
Ejecución satifactoria: Factores positivos
5%
11%
Relacionados con el diseño y la
planificación del proyecto
Relacionados con la gestión del
proyecto
Relacionados con elementos
externos fuera del control del
proyecto
84%
Ejecución no satisfactoria: Factores negativos
17%
17%
Relacionados con el diseño y
la planificación del proyecto
Relacionados con la gestión
del proyecto
66%
Relacionados con elementos
ex ternos fuera del control del
proyecto
213
Grado de desempeño de las actividades del proyecto
3%
14%
16%
Muy alto
Alto
Bajo
Muy bajo
67%
Progresión eficacia
Probabilidad de alcanzar los Resultados esperados
8%
Todos
51%
41%
La mayoría
Unos pocos
Ninguno
214
Previsión eficacia
Probabilidad de alcanzar el Objetivo específico
3%
8%
Sí, en los tiempos previstos.
Sí, con una prórroga de no más de 6 meses
y el mismo presupuesto.
24%
51%
Sí, con una prórroga de un año y el mismo
presupuesto.
No, por problemas de diseño del proyecto
No, por problemas de gestión durante la
ejecución
14%
Valoración global
Calificación de la evolución del proyecto hasta la fecha
3%
Muy satisfactoria / Muy por encima de las
expectativas / Sin problemas reseñables.
5%
Bastante satisfactoria / Igual o por encima de las
expectativas / Con algunos problemas que no
afectarán o afectarán poco al resultado final.
35%
57%
Poco satisfactoria / Por debajo de las ex pectativas /
Con problemas que afectarán en buena medida al
resultado final.
Muy poco satisfactoria. / Muy por debajo de las
expectativas / Con grav es problemas que impedirán
215
Cobertura. Alcance estimado de las actividades y resultados del proyecto
100%
80%
60%
40%
20%
0%
Menos de lo previsto
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
Menos de lo previsto
0%
15%
10%
0%
Más de lo previsto
Igual o similar a lo previsto
56%
69%
70%
80%
Muchos más de lo previsto
Más de lo previsto
11%
15%
10%
20%
Muchos más de lo previsto
33%
0%
10%
0%
Igual o similar a lo previsto
Grado de ejecución general de las actividades
100%
90%
80%
70%
Bastante retrasadas
60%
50%
40%
Un poco retrasadas
30%
20%
Más o menos lo previsto
10%
0%
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
Bastante retrasadas
11%
0%
10%
0%
Un poco retrasadas
33%
69%
40%
20%
Más o menos lo previsto
56%
31%
50%
80%
216
Ejecución satisfactoria: Factores positivos
100%
80%
60%
Factores externos
40%
Gestión
Diseño y la planificación
20%
0%
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
Factores externos
0%
0%
20%
25%
Gestión
80%
100%
80%
75%
Diseño y la planificación
20%
0%
0%
0%
Ejecución no satisfactoria: Factores negativos
100%
90%
80%
70%
60%
50%
40%
30%
20%
Factores externos
10%
Gestión
0%
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
Factores externos
50%
0%
20%
0%
Gestión
25%
100%
40%
100%
Diseño y la planificación
25%
0%
40%
0%
Diseño y la planificación
217
Desempeño. ¿Están dando las actividades los resultados previstos?
100%
80%
60%
40%
20%
0%
Muy bajo
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
0%
0%
0%
20%
Bajo
11%
31%
10%
0%
Alto
67%
69%
70%
60%
Muy alto
22%
0%
20%
13%
Muy alto
Alto
Bajo
Muy bajo
Progresión eficacia. Probabilidad de alcanzar los Resultados esperados
100%
90%
80%
70%
60%
50%
40%
Unos pocos
30%
La mayoría
20%
Todos
10%
0%
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
Unos pocos
0%
8%
20%
0%
La mayoría
33%
62%
30%
20%
Todos
67%
31%
50%
50%
218
No, por problemas de
gestión
Previsión eficacia. Probabilidad de alcanzar el Objetivo específico
100%
No, por problemas de
diseño
80%
Sí, con prórroga un año y
mismo presupuesto.
Sí, con prórroga 6 meses y
mismo presupuesto.
60%
40%
Sí, en los tiempos previstos.
20%
0%
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
No, por problemas de gestión
0%
8%
10%
20%
No, por problemas de diseño
0%
0%
10%
0%
Sí, con prórroga un año y
mismo presupuesto.
11%
54%
10%
0%
Sí, con prórroga 6 meses y
mismo presupuesto.
0%
15%
10%
40%
Sí, en los tiempos previstos.
89%
23%
60%
25%
Valoración global. Calificación de la evolución del proyecto hasta la fecha
100%
80%
60%
Muy poco satisfactoria
Poco satisfactoria
Bastante satisfactoria
Muy satisfactoria
40%
20%
0%
Acceso educ.
Calidad educ.
Educ. técnica
Acción pública
Muy poco satisfactoria
0%
0%
0%
20%
Poco satisfactoria
22%
38%
50%
20%
Bastante satisfactoria
67%
62%
40%
60%
Muy satisfactoria
11%
0%
10%
0%
219
ANEXO 7. FICHA RESUMEN DEL CAD
FICHA EVALUACIÓN EXTERNA DEL CAD
Título: Informe de evaluación intermedia: Calidad del diseño, ejecución financiera y eficacia general del Convenio “Mejora de la calidad educativa para la inserción de poblaciones vulnerables
en América Latina”, Convenio 01-Co1-068
Lugar
España
Sector : Educación
Coste (€)
11.253 euros
Tipo de evaluación externa: Intermedia
Fecha de la intervención : Octubre 2010 / octubre
2014
Fecha de la evaluación externa:
Abril a Septiembre 2013
Agente ejecutor
Fundación Entreculturas
Agente evaluador
Iván Touza Montero
Población beneficiaria
Población en edad escolar y profesionales de la
educación
Antecedentes y objetivo general de la intervención
El Convenio 01-Co1-068 tiene como Objetivo general contribuir al ejercicio efectivo del derecho a una educación de calidad de poblaciones vulnerables y desfavorecidas de 17 países de
América Latina. Los Objetivos específicos del Convenio son:
OEC1. Acceso a la educación: Mejorar las condiciones de acceso, permanencia y finalización de educativa de unos 17.000 alumnos (55% mujeres) en situación de vulnerabilidad social.
OEC2. Calidad educativa: Mejorar la calidad educativa en al menos 500 centros que atienden a 260.000 alumnos y alumnas (50 % mujeres) de colectivos vulnerables.
OE3. Educación técnica: Crear las condiciones para la inclusión educativa y laboral de aproximadamente 25.000 jóvenes y adultos/as (53% mujeres) de 55 centros educativos que atienden a
los sectores vulnerables.
OEC4. Acción Pública: Contribuir a la participación de las comunidades educativas en la elaboración e implementación de políticas públicas que garanticen el ejercicio efectivo del derecho a la
educación.
Para atender tales Objetivos específicos, fueron diseñados 38 Proyectos: 9 para el OEC1, 14 para el OEC2, 10 para el OEC3 y 5 para el OEC4.
Principios y objetivos de la evaluación externa:
Los objetivos principales de evaluar en este eje global de la evaluación intermedia son:
El análisis de la coherencia interna (o pertinencia del diseño) para obtener valoraciones referentes al diseño del Convenio. Las preguntas principales son: ¿Ha sido correcta la formulación
de la intervención según el EML?; ¿ha sido útil el sistema de indicadores predefinido?; ¿han sido bien identificadas las fuentes de verificación?).
La valoración de la eficacia, centrada en la medición del nivel de cumplimiento de los cuatro objetivos específicos y sus Proyectos correspondientes.
La evaluación de la eficiencia financiera, en términos de ejecución del gastos y proporcionallidad de la misma respecto al nivel de desarrollo de los Proyectos.
Metodología y herramientas
Los TdR establecieron basar la evaluación en las técnicas de revisión documental y entrevistas a personal de la organización ejecutora, en particular el personal expatriado. Por defecto, la
evaluación no ha realizado trabajo de campo en los países de ejecución del Convenio.
220 de 230
Conclusiones
* Referidas al diseño
1. Los Proyectos que conforman el Convenio son diseñados a partir de una concepción regional de las prioridades a atender. Esto es evidente en los Proyecto 23 y 38, de marcada
actuación regional pero tal enfoque regional está presente en general en los Proyectos asociados a los OE2 de ‘Calidad educativa’ y OE4 de ‘Acción pública’, Proyectos que tienen en
programas federativos de alcance regional la base fundamental de sus componentes, si bien después su diseño es realizado en clave nacional, dando cabida a actividades o Resultados
esperados complementarios. Esta misma lógica también inspira la formulación de los Proyectos de la temática del OE3 ‘Educación técnica’, si bien resulta menos evidente en la temática del
OE1 ‘Acceso a la educación’, cuyos Proyectos sobre todo se ajustan a las necesidades nacionales detectadas en la materia.
2. El Convenio se conforma por lo tanto a partir de esta visión regional y de indicaciones sobre las esferas temáticas prioritarias, en este caso 4, que darán forma a sus Objetivos
específicos: acceso a la educación, calidad educativa, educación técnica y acción pública. De esta manera, los Resultados esperados del Convenio son los Objetivos específicos de los
Proyectos, mientras que los cuatro Objetivos específicos temáticos del Convenio resultan en la agregación de beneficiarios de los Proyectos particulares asociados a cada línea temática.
3. Cada Proyecto genera beneficios principalmente en la esfera temática u Objetivo Específico de Convenio al que está asignado, si bien, con base a las demandas y estrategias
locales de cada país, algunos Proyectos puedan necesitar operar sobre factores afines a otras temáticas. En todo caso, se ha respetado un criterio de asignación a cada Objetivo Específico
del Convenio atendiendo al fin último de cada Proyecto o su campo de actuación, criterio según el cual: a) los Proyectos que abordan cuestiones de calidad educativa pero que operan en el
ámbito de la formación técnico-laboral, se vinculan al OE3 ‘Educación técnica’; b) los Proyectos que en parte inciden en la calidad educativa dentro de un paquete de medidas conducentes al
acceso/permanencia educativa del alumnado, se vinculan al OE1 ‘Acceso a la educación’; y c) El OE2 ‘Calidad educativa’ recogería Proyectos netamente asociados a la calidad educativa de
centros escolares. Por su parte, los Proyectos relacionados con la línea de ‘Acción pública’ (OE4) son de carácter menos interrelacionado y más independientes. La coherencia del diseño
general del Convenio no se ha resentido en tanto se ha respetado este patrón de asignación, más allá de las posibles incoherencias al interno de cada Proyecto entre sus propio Objetivo
específico y Resultados esperados, objeto de otras conclusiones.
4. Existen diferencias lógicas en el alcance de los distintas Proyectos en función de las necesidades o problemas que los originaron, las circunstancias y estrategias nacionales de cada
socio local, o los esquemas de financiación acordados con los países, dando lugar a un alcance menor o mayor de los beneficios en cada temática. En la práctica:
a. Los Proyectos de ‘Acceso a la educación’ (OE1) actúan sobre la oferta educativa (plazas escolares), incluidos dos en la modalidad de educación a distancia (por radio). En este OE1 es
posible encontrar Proyectos cuyo alcance es la inserción socio-educativa y laboral (Proyecto 1 de Bolivia), junto a otros que actúan sobre las condiciones educativas de los centros
escolares, ampliando o remodelando espacios a beneficio del alumnado (Proyecto 4 de República Dominicana).
b. Por el contrario, casi todos los Proyectos de ‘Calidad educativa’ (OE2) presentan un alcance similar, teniendo al centro educativo y su personal como foco de su Objetivo específico.
Alguno circunscribe su alcance a la práctica docente (16 de Paraguay, 21 de Panamá), incluyendo en ocasiones a los equipos directivos (14 de Ecuador y 15 de Perú), mientras que otros
integran a la comunidad y las familias en sus resultados (ej. 17 de República Dominicana) o los/as jóvenes del centro y de la comunidad (20 de Nicaragua). Por su parte, el Proyecto 23
regional representa en su Objetivo específico un alcance en los centros de la región que solo es posible en combinación con algunos Proyectos nacionales que integran medidas
complementarias, bien en actividades, bien como un Resultado esperado particular. El resultado es que el Proyecto 23 ha de combinarse con la realización de otros 10 Proyectos nacionales
para explicar racionalmente sus resultados, incluido su Objetivo específico, mientras que para Brasil, Colombia y Panamá asume por él mismo la implementación del ‘sistema de mejora de
la calidad’ en un número determinado de centros. Esta dinámica distorsiona la coherencia del conjunto.
c. También la mayoría de Proyectos de ‘Educación técnica’ tiene un alcance similar: la adquisición de capacidades técnico-laborales en su alumnado para facilitar su futura inserción en el
mercado de trabajo (empleabilidad). Entre los diez proyectos diseñados, pueden encontrarse tres que apuestan por un efecto posterior: la inserción laboral efectiva (Proyecto 32 de El
Salvador, y los Proyectos 25 de Ecuador y 33 de Venezuela).
d. Los Proyectos de ‘Acción pública’ tienen como objetivo común posicionar a cada Fe y Alegría nacional y a la Federación Internacional como un actor relevante y activo —también sus
comunidades educativas— en la defensa del ejercicio efectivo del derecho a la educación. Solo uno de los cinco Proyectos enfatiza más la dotación de capacidades institucionales (35 de
221 de 230
Brasil), si bien en la práctica sus acciones y resultados abordan también la movilización.
5. La mayoría de Proyectos tiene en su Objetivo específico la idea central de su diseño, y en torno a él dan forma a sus intenciones de manera más o menos coherente. Una buena parte
articula sus Resultados esperados y actividades de una manera coherente o mayoritariamente coherente con su Objetivo específico, estableciendo entre esos tres niveles (actividades,
Resultados esperados y Objetivo específico) una relación causal lógica. Junto a estos, existen Proyectos que fueron concebidos en torno a sus Resultados esperados entendidos como
productos o ámbitos de trabajo, operando el Objetivo específico como un fórmula marco o general que sintetizaba las actuaciones de los niveles inferiores. Este patrón de funcionamiento ha
estado presente en algunos Proyectos de ‘Acceso a la educación’, de manera que dieran cabida en un único Proyecto a distintas demandas de acondicionamiento o nuevas infraestructuras
educativas. También, en varios de los Proyectos de ‘Calidad educativa’, esta expresión, la calidad educativa, ésta presente en casi todos sus Objetivos específicos más como paraguas de las
actuaciones previstas que tenían en sus Resultados esperados la verdadera concreción de los cambios propuestos.
6. Como representación de lógicas de diseño no coherentes, solo en unos muy pocos casos de los analizados, el Proyecto parecía concebido desde un plan de actividades inicial,
estructurado posteriormente como ámbitos o logros particulares (Resultados esperados) y coronado por un Objetivo específico que pudiera aglutinar el conjunto. También son los menos los
casos en los que el Proyecto actuaba en algunos Resultados esperados o actividades para distintas poblaciones de diferentes centros o localizaciones, haciendo así imposible un efecto
agregado común derivado de la sinergia de tales actuaciones y Resultados. Por descontado, en esos pocos casos el OE y los indicadores están midiendo contribuciones parciales del
Proyecto, y no son la expresión de lo que el Proyecto es capaz de lograr por sí mismo.
7. En los casos en los que el Proyecto emerge y se diseña a partir de un Objetivo específico concreto, por lo general representa el logro al que finalmente se puede comprometer en
términos de atribución. En los demás casos, el Objetivo específico está más alejado de las posibilidades de cambio del Proyecto, y su logro será —además de la posible influencia de las
acciones emprendidas— fruto de la inercia del servicio educativo en el que el Proyecto encaja o el resultado de una confluencia de diversos factores que el Proyecto no ha integrado en su
lógica de intervención (contribución). Por ejemplo, vincular el Objetivo específico de permanencia escolar a Resultados esperados en torno a la oferta de plazas escolares o mejores
condiciones en las infraestructuras físicas no parece ser una relación teórica fundamentada si no va acompañada de otras medidas sinérgicas, en tanto en cuanto la permanencia escolar (la
cara positiva de la no deserción y el no abandono) está afectada por factores de calidad educativa y por las condiciones socio-económicas familiares o del entorno más próximo al alumnado.
8. En los dos Proyectos de ámbito regional han primado cuestiones de gestión, más que de lógica de Proyecto. Los dos son Proyectos regionales por su alcance geográfico y en ambos
casos tienen en los Programas federativos la referencia para su diseño y gestión. En la práctica, el Proyecto 23 que promueve la aplicación de un sistema de evaluación y planificación de la
calidad educativa a nivel de centro, junto con la sistematización de tales experiencias, combina para el logro de su Objetivo específico una concepción y gestión federativa vinculada, sobre
todo, a la gestión del Programa 1 de la Federación Internacional Fe y Alegría, con concepciones y gestiones nacionales de cómo integrar tal sistema en pro de la calidad educativa en los
Proyectos de cada país. El Proyecto 38 relacionado con ‘Acción pública’ opera bajo una lógica distinta que el caso anterior. En este caso, coexiste un Proyecto de alcance regional en
representación del Programa 8 federativo, con iniciativas particulares en cuatro países, todos ellos Proyectos con objetivos independientes entre sí.
9. El Convenio ha previsto un grupo de 21 indicadores para ofrecer una visión del alcance global de sus cuatro Objetivos específicos (16 indicadores) y de su Objetivo global (5
indicadores). Tales indicadores resumen el esfuerzo dedicado a reportar de manera sistemática, agregada y detallada un Convenio con un número elevado de actuaciones independientes
pero comunes. Dentro de un mismo nivel, Objetivos general o específicos, coexisten indicadores que representan distintos alcances o efectos (ej. acceso a la educación básica o técnica, por
un lado, continuidad educativa o la inserción laboral, por otro). Si bien esto no respecta totalmente la ortodoxia, resulta necesario para obtener una foto completa de todos los Proyectos que
componen el Convenio. Tales indicadores son el resultado de totalizar algunos resultados e indicadores clave de los Proyectos, y están, por lo tanto, afectados por el distinto nivel de alcance
al que se compromete cada Proyecto (ver Conclusión 5). Así, algunos indicadores son alimentados por unos Proyectos, mientras que aquellos que remiten a un logro mayor, toman sus datos
de menos Proyectos, en todo caso, una mayoría de los 38 existentes. En el siguiente nivel, el de los Resultados esperados del Convenio, han sido previstos 129 indicadores, tantos como
indicadores han sido diseñados para los Objetivos específicos de los 38 Proyectos.
10. A nivel de Resultados esperados del Convenio (Objetivos específicos Proyectos), y más en el nivel de Actividades (Resultados esperados Proyectos), el número de indicadores es
excesivo, más de 470 en total, dificultando un seguimiento lo más sencillo, directo y factible posible teniendo en cuenta el número de Proyectos. Se recarga con ello también a los equipos
gestores del Convenio en la ONGD ejecutora y socios en los países, que han de prever numerosos procedimientos de seguimiento, registro, medición y fuentes de verificación. La línea de
‘Calidad educativa’, aún teniendo los Objetivos específicos más similares, es la que presenta indicadores menos homogéneos. Por su parte, el resto de líneas temáticas tienen al menos algún
222 de 230
indicador que recurre a variables o fenómenos de cambio similares, si bien la fórmula adoptada para concretar los indicadores suele variar y también la fuente de verificación.
11. Algo más de la mitad de los indicadores y fuentes de verificación analizados cumplen con los cinco criterios de calidad establecidos, o todos menos uno. Es decir, los indicadores
de los OE y RE de los Proyectos son pertinentes, específicos y medibles, y las fuentes de verificación tienen correspondencia con la información necesaria para interpretar el indicador (útiles)
y están disponibles o previstas. Hay un tanto por ciento no menor de indicadores calificados como dudosos en algún criterio, y cuya resolución ayudaría a incrementar la adecuada relación
entre el OE o el RE y sus indicadores, y entre el indicador y sus fuentes de verificación, la base que hace posible un seguimiento del Convenio orientado a resultados.
12. Por lo general, los Proyectos han previsto al menos un indicador pertinente al nivel del Objetivo específico, es decir, indicadores cuya medición tiene correspondencia con el cambio
expresado en él. En los pocos casos en que no ha sido así, es posible reconducir la situación. A nivel de Resultados esperados de los Proyectos, también encontramos un buen número de
indicadores pertinentes, si bien se dan más casos en los que éstos no aciertan a expresar tales resultados, , sino que más bien delimitan hitos (actividades, productos) para su consecución.
13. Tanto la coherencia de la lógica de intervención, alineada al OE, como el acierto a la hora de formular con claridad los niveles principales —distinguiendo claramente los RE como
expresión de logro de las actividades, y los OE como efecto concreto de los RE—, son factores de diseño que facilitan establecer indicadores pertinentes. Esto ayuda a evitar errores
relacionados con utilizar indicadores de un nivel inferior en el superior (de actividades en RE, o de RE en OE) en los que se cae para mitigar el efecto de que: a) el OE no expresa de
manera concreta su propósito principal o no puede distinguirse del propio logro de los RE; y b) que los RE no enuncian bien el efecto a lograr con las actividades. En ese sentido, aquellos
Proyectos que han afrontado mejor este ejercicio de coherencia y formulación adecuada de OE y RE, han logrado un mayor éxito en términos de pertinencia de sus indicadores.
14. El análisis realizado evidencia la dificultad de establecer indicadores pertinentes, es decir, relacionados con el logro expresado en el OE o el RE, para temáticas de efectos más
intangibles (calidad educativa y acción pública) que para aquellos cuyos logros suelen corresponderse con mediciones más estandarizadas (acceso a la educación y educación
técnica). Así, los Proyectos de ‘Acceso a la educación’ y ‘Educación técnica’, por este orden, suelen prever todos o casi todos sus indicadores del nivel de OE de forma pertinente. Por su
parte, los Proyectos de ‘Calidad educativa’ formulan indicadores más pertinentes al nivel de RE (7 de cada 10 casos) que para OE (1 de cada 3). Los Proyectos analizados de ‘Acción pública’
arrojan una clara dificultad para diseñar indicadores apropiados, tanto a nivel del OE, como de RE, esto es, indicadores que pongan de manifiesto la incidencia lograda por las acciones de
FyA, bien al interno de sus comunidades educativas, bien en las redes y foros de la sociedad civil en los que fortalece su participación.
15. La capacidad para diseñar indicadores específicos es alta (lo son más de 100 de los 166 indicadores analizados). Buena parte de los demás indicadores, los menos específicos, no han
sido capaces de hacer operativa la medición del cambio expresado en el OE o RE y quedan a expensas de ser concretados y/o de seguir avanzando en garantizar las bondades del sistema
de seguimiento y el potencial de las fuentes de verificación; o en su defecto, de una reformulación de tales indicadores. Para priorizar tal esfuerzo, conviene actuar primero por aquellos
indicadores que son pertinentes.
16. Buena parte del carácter no suficientemente específico del indicador está, en algunas ocasiones, atenuado por la capacidad de la fuente de verificación —sobre todo del procedimiento
y herramientas que conducirían a tales fuentes de verificación— para hacer operativas las variables no suficientemente concretas de su enunciado. Si bien esto no resuelve el hecho de que el
indicador no sea el adecuado, puede ayudar a un reporte útil.
17. Formular indicadores específicos está vinculado al conocimiento previo cómo se comportan y manifiestan los problemas concretos a atender, por lo que es difícil especificar tales
indicadores si no se cuenta con un adecuado estudio de base. También resulta difícil establecer indicadores específicos y concretos cuando están referidos a un OE o RE que resulta de la
síntesis o resumen de su nivel inferior, y no del cambio provocado por él.
18. ‘Educación técnica’ y ‘Acción pública’ tienen un porcentaje muy alto de indicadores específicos, lo que contribuirá a su medición efectiva siempre que el indicador sea previamente
pertinente, se cuente con la fuente de verificación apropiada y se haya previsto el mecanismo de recolección de datos necesario. Una mayoría de los indicadores de la línea de ‘Acceso a la
educación’ también están adecuadamente especificados, mientras que para la de ‘Calidad educativa’ lo están la mitad de los previstos. Esto último es fruto de: a) la existencia de una gran
cantidad de indicadores, en ocasiones más de los necesarios, afrontando así la dificultad de no especificarlos suficientemente, más que de no contar con ninguno específico; y b) la dificultad
para hacer operativas las mediciones de la adquisición de capacidades y cambios de práctica del personal de los centros educativos. Así como para el alumnado, la adquisición de las
capacidades se suele indicar de una manera estándar (egresado, certificado, titulación), no ocurre lo mismo con las capacitaciones ad hoc para el cuerpo docente y directivo.
19. Como ultimo aspecto de calidad, la gran mayoría de los indicadores están cuantificados y temporalizados (medibles), lo que facilitará la interpretación de los resultados que se van
223 de 230
alcanzando. Con todo, hay más indicadores medibles que específicos, por lo que esos casos el indicador cuantifica un fenómeno que, más tarde, no sería inmediato medir.
20. Conviene prestar atención a aquellos pocos casos en los que el nivel de logro (estándar) se ha fijado en un 100% de la cobertura de las acciones, ya que por lo general diversos factores
influyen en la transición entre población meta y colectivo finalmente beneficiario. Docentes que desisten de la formación o que no están seguros de poder llevarla a la práctica de aula,
alumnado egresado y capacitado que no logra insertarse en el trabajo esperado, directivos que no adoptan la práctica de dirección acordada, son ejemplos que muestran la dificultad para
garantizar un éxito pleno de las acciones emprendidas. Sin menoscabo de la pertinencia y necesidad de las mismas, esto invita a reflexionar sobre alguna práctica detectada de fijar —o hacer
fijar por el financiador— el indicador final de logro en el 100% de la población cubierta por el Proyecto.
21. En consonancia con el número de indicadores, el Convenio ha ido generando un volumen elevado de fuentes de verificación (más de 200). Las fuentes de verificación tienen una alta
correspondencia con el indicador al que están referidos, es decir, son útiles a los propósitos informativos del indicador —independientemente de la calidad y pertinencia de éste—, alcanzando
el 85% sin consideramos también aquellas sobre las que existen dudas razonables de su capacidad de reportar adecuadamente sobre el dato requerido en el indicador. Las temáticas de
‘Educación técnica’ y de ‘Acción pública’ son las que más proporción de fuentes adecuadas han previsto o aportan, seguidas por la temática de ‘Acceso a la educación’. A cierta distancia, la
línea de ‘Calidad educativa’ es la que aporta más fuentes de verificación no relevantes al fin informativo del indicador, sucediendo esto en casi uno de cada tres indicadores.
22. Un tercio de los indicadores, al no estar especificados, están ‘trasladando sus responsabilidades’ a las fuentes de verificación. Al no concretar cómo medir el resultado, la tarea de la
medición recae en realidad en la fuente de verificación. Esto convierte en más intensa la tarea de verificación, que en ocasiones está siendo diseñada sobre la marcha, con lo que al final
se trata de hacer operativo el indicador con las herramientas de medición ideadas y aplicadas.
23. Si bien numerosas fuentes tienen una adecuada correspondencia con el indicador, una mayoría (aproximadamente 2 de cada 3) están referidas a indicadores no pertinentes, con lo
que buena parte de las demás informarán sobre hechos que, si bien pueden ser relevantes para interpretar la marcha del Proyecto, no lo son stricto senso a efectos de medición de los
resultados (OE, RE) logrados.
24. La adecuada correspondencia entre la fuente de verificación y la demanda de información que requiere el indicador es más evidente para aquellos indicadores que remiten a productos o
hechos más tangibles (disponer de un plan o en haber participado en un determinado curso), que para aquellos que remiten a cualidades de tales productos o procesos (plan coherente,
formación contextualizada) o cambios en la población, por lo general, a su vez, indicadores no suficientemente específicos. En todo caso, como resultado del diseño del Convenio y la
intención de documentar también las actividades que se van ejecutando, las fuentes de verificación que informan sobre los resultados que se van alcanzando son una parte menor, siendo la
mayoría fuentes que se corresponden con indicadores referidos a productos, actividades o procesos puestos en marcha.
25. A mitad de ejecución del Convenio, están disponibles cerca del 80% de las fuentes de verificación relacionadas con los indicadores a los que se realiza seguimiento. Ahora bien,
aproximadamente 1 de cada 3 están referidas a indicadores no pertinentes o se corresponden con fuentes de verificación no útiles o de dudosa utilidad en relación a las demandas de
información del indicador. Es conveniente, por lo tanto, reflexionar sobre la capacidad y los costes de oportunidad que suponen para los equipos gestores, en sede y en terreno, la generación
de fuentes de verificación no relevantes en términos de resultados alcanzados.
26. Las PAC y los respectivos informes de seguimiento están permitiendo una foto anual de la ejecución del Convenio, sobre todo a nivel de los Objetivos generales y específicos, dada la
información sistematizada que ofrecen sus, relativamente, pocos indicadores. En la práctica, hacer a partir de las PAC un adecuado seguimiento de la evolución contrastada a partir de las
previsiones iniciales no resulta tan inmediato y sencillo a nivel de los Proyectos particulares, por la abundancia de indicadores, y por la introducción, en algunos casos, de indicadores de
procesos a nivel de sus OE o RE referidos a actividades o hitos de la ejecución, lo que en la práctica mayoritariamente no aporta evidencias sobre si el resultados se está logrando o no y
puede por otro lado, de hecho, ilustrarse en los comentarios sobre las actividades u otros apartados valorativos del informe de seguimiento del Proyecto.
* Referidas a la ejecución financiera
27. En general, el Convenio tiene un satisfactorio nivel de ejecución financiera. Pasado el ecuador del Convenio, éste ha ejecutado el 79% de lo presupuestado para ese periodo,
porcentaje que sería del 44% si se estimase sobre la subvención aprobada (16 millones de euros).
28. Por líneas temáticas, ‘Acceso a la educación’ es la que, en promedio, mejor se comporta en este apartado (87% de ejecución sobre lo previsto para este periodo),. Por su parte, hay que
224 de 230
prestar atención a retraso que acumulan algunos Proyectos de la temática de ‘Educación técnica’ y ‘Acción pública’ ya que acumulan menos porcentaje de ejecución del gasto (70-72%).
29. Por países, Panamá y Ecuador, además de puntualmente a la única Acción de Brasil subvencionada por AECID, marcan porcentajes de ejecución por debajo de la media. En menor
medida, también los Proyectos en Rep. Dominicana y los federativos. Esta foto significa que el resto de los países, y en general de Proyectos, están ejecutándose adecuadamente en relación
a los presupuestos previstos, liderados por un grupo de 8 países que superan el 80% de ejecución (Bolivia, Perú, Paraguay, Guatemala, Nicaragua, El Salvador, Colombia y Honduras).
30. Por Proyectos, 9 de los 35 subvencionados por AECID tiene un nivel de ejecución financiera significativamente por debajo del 75%. Son los Proyectos 13 de Colombia (63%), 14 de
Ecuador (58%), 21 de Panamá (64%), 25 de Ecuador (44%), 27 de Rep. Dominicana (68%), 28 de Guatemala (50%), 31 de Panamá (58%), 35 de Brasil (39%) y 38 federativo (60%).
Representan, por orden de importancia en cada temática: a) 5 de los 8 Proyectos de ‘Educación técnica subvencionados por AECID; b) 2 de los 5 Proyectos de ‘Acción pública’; y c) apenas 3
de los 13 Proyectos que financia la AECID de ‘Calidad educativa’. Ninguno de los Proyectos del OE1 ‘Acceso educación’ acumula retrasos significativos en la ejecución de su presupuesto.
* Referidas a la eficacia o desempeño
31. En términos generales, el Convenio ha logrado alcanzar un satisfactorio grado de desempeño o avances en términos de eficacia. A poco más de la mitad de su periodo de ejecución,
los indicadores generales del Convenio reportaban mayoritariamente un grado de notable de avance, y en cualquier caso razonable a falta de prácticamente dos años para su finalización.
32. El grado de desempeño a nivel del OE es razonablemente más alto que al nivel de los OG del Convenio. En cierta medida es normal que los Proyectos vayan concretando la
realización de sus RE antes que sus OE, por lo que los indicadores de los OE del Convenio también van arrojando un grado de realización mayor que los indicadores de los OG del Convenio.
33. A tenor de los datos del indicador referido al ‘sistema de mejora de la calidad’ (indicador 1 del OE, en torno al 70%) es probable que no se cubran las expectativas del Proyecto que
abandera la implementación regional de tal ‘sistema’ (Proyecto 23). Tal indicador está referido a un número de centros implicados que, de no alcanzarse en esta primera etapa del Convenio,
es difícil que aumente, ya los centros han de ir participando en sucesivas fases desde el primer año del Convenio.
34. En función de deficiencias detectadas en algunos indicadores y dificultades para reportar de manera sistemática y lo más objetivamente posible sobre ciertos logros de la línea de ‘Calidad
educativa’, en algunos casos relacionados con indicadores del OE2 del Convenio se albergan dudas sobre si el dato reportado remita efectivamente al logro referido en el indicador. Es
decir, sobre si se está ante centros que han mejorado su calidad educativa, y no a centros participantes en ‘sistema de mejora de la calidad, de educadores/as con las competencias
necesarias y no ante educadores que asisten o terminan una formación; o centros con una gestión colegiada y participativa y no ante equipos directivos capacitados en la materia.
35. En materia de educación técnica, los Proyectos relacionados con el OE3 que inciden en la capacitación están llegando a muchos más docentes de los previstos inicialmente, tal y
como se deduce del indicador 4 del OE3 referido a “educadores/as que adquieren las competencias necesarias”, cuya evolución hasta ahora ha registrado un 200% de incremento.
36. Dado lo complejo y novedoso de las intervenciones en las que se basa, las actuaciones en el OE4 de ‘Acción pública’, no establecieron en su momento una concreción completa de sus
indicadores de logro, lo que hace difícil estimar cuantitativamente su grado de desempeño a mitad de ejecución del Convenio.
37. Por línea temática y sus Proyectos asociados tendríamos la siguiente valoración:
a. Los Proyectos de ‘Acceso a la educación’ han incrementado su cobertura respecto a lo planificado, con algunos casos muy destacados. Si bien acumulan retrasos en cerca de la mitad
de los casos, alguno bastante importante, es una línea temática que destaca por la satisfacción de desempeño de las actividades de cara a los resultados. Esto revierte en una valoración
muy alta en cuanto a la probabilidad de lograr todos sus resultados, incluido su Objetivo específico.
b. Los Proyectos de ‘Calidad educativa’ tienen una cobertura más variable, mayoritariamente conforme a lo previsto. Si bien existe un retraso generalizado de ejecución de actividades en
la mayoría de casos, ninguno parece ser grave. Dentro de un buen desempeño de las actividades, es la línea peor valorada en este aspecto, lo que se corresponde ser la línea que, en
consecuencia, presenta más Proyectos con dificultad para garantizar en plazo todos sus resultados. De hecho, es la línea temática cuyos Proyectos mayoritariamente necesitarían, según el
personal expatriado, de prórrogas de un año para lograr sus respectivos Objetivos específicos.
c. La mayoría de Proyectos de ‘Educación técnica’ tienen una cobertura conforme a lo previsto, pero se dan casos extremos, tanto positivos, como negativos. La ejecución de actividades
tiene ciertos retrasos en cerca de la mitad de los casos, alguno bastante significativo, pero al igual que la línea de ‘Acceso a la educación’ destaca por la buena valoración del desempeño de
225 de 230
sus actividades de cara a los resultados, que es probable que se alcance en su gran mayoría, descontando algún Proyecto particular que encierra alguna dificultad. En consecuencia, esta
temática también se valora como con garantías de cumplir con los Objetivos específicos en plazo, con casos aislados de prórroga y alguno en que no llegará a alcanzarlo.
d. ‘Acción pública’ tiene un comportamiento positivo, con algún caso de mayor cobertura respecto a lo previsto inicialmente. También la realización de actividades es positiva, con un
grado de ejecución, en general, acorde a lo previsto, y bien valorado el desempeño de sus actividades. En todo caso, por diversos factores de gestión y externos, demandará ligeras
prórrogas para la consecución de sus resultados, con un caso de un Proyecto que no llegará a lograr su Objetivos específico.
38. Como valoración global podríamos concluir que la mayoría de los proyectos se ejecutan satisfactoriamente, en todo caso con ligeros problemas que no afectarán al resultado final. En
todo caso, en 1 de cada 3 Proyectos la evolución hasta la fecha está un poco por debajo de las expectativas o con problemas que afectarán de alguna manera al resultado final. Sólo existe un
caso cuya marcha del proyecto es muy poco satisfactoria, presentando graves problemas que impedirían, de no ser resueltos, su buen desempeño en términos de resultados.
Recomendaciones
* De carácter general y estratégicas
25. Buena parte de las recomendaciones serán más factibles de aplicar si son consideradas en un escenario de trabajo que utilice la fórmula de revisión de pares o cualquier otro
mecanismo que facilite el intercambio de prácticas de diseño y seguimiento. El personal expatriado, junto con sus iguales en los países, serían un primer ‘círculo de aprendizaje y mejora’, que
ha de hacerse extensivo a todo el personal encargado de la gestión de proyectos de cooperación. Diagnosticar y documentar entre pares, o en equipo, pautas sobre el diseño de proyectos y
cómo expresarlos en una lógica de intervención coherente, y compartir lecciones aprendidas en el establecimiento de indicadores y su mecanismo de seguimiento es, con los recursos
apropiados, algo cuando menos posible. Sobre todo, en un ámbito de trabajo técnico en el que el sector (educación), las temáticas de los proyectos, los socios y las áreas de intervención de
los Proyectos son semejantes, es posible, como sería deseable en el actual Convenio, que los Proyectos dispusieran de al menos un indicador común a nivel de su Objetivo específico,
en función de cada área temática de acción (ver Recomendación 11).
26. Los Proyectos suelen estar mejor diseñados si forman parte de un plan de trabajo, cuando no de un plan estratégico, que nortee la definición de los objetivos de los Proyectos. En
cualquier caso, es siempre enriquecedor para los equipos técnicos encargados del diseño de los proyectos colaborar con las áreas técnicas y el personal relacionado con la materia o
servicios educativos o de promoción social relativos a la problemática a atender por el Proyecto a formular, y que será el encargado de llevar a cabo las medidas previstas en el plan
general o estratégico en el que tal intervención específica debería estar insertada. En ese sentido, es recomendable evitar en lo posible que el diseño de los Proyectos cree procedimientos de
seguimiento (indicadores y fuentes de verificación) paralelos o impuestos que no sean de utilidad a la organización. Si, por el contrario, los de la entidad fuesen deficitarios, con probabilidad
aquellos que se acuerden entre los equipos de Proyectos y de los servicios técnicos (áreas pedagógicas y de promoción social) para el seguimiento de los resultados clave del Proyecto, sin
son de calidad, sin duda favorecerán también el adecuado seguimiento de los cambios que la organización quiere promover a través de su plan de actuación general y sus servicios y
programas institucionales. De esta manera, a la pericia profesional a la hora de establecer indicadores –labor a la que contribuye sin duda el personal expatriado— se le une el
conocimiento del área o temática de intervención particular del Proyecto y la problemática a atender. Esto sin duda ayudará establecer indicadores de mayor calidad, incluida una
proyección adecuada (estándar de logro alcanzable).
27. Como continuación de la recomendación anterior, hay que recordar que la capacidad de formular indicadores específicos está relacionada con el conocimiento de los problemas a
atender (fase de identificación); y que también resulta difícil establecer indicadores específicos y concretos cuando no existe una lógica vertical del todo coherente o si estamos ante un OE o
RE que resulta ser la síntesis o resumen de su nivel inferior, y no del cambio provocado por él (fase de diseño). La dificultad de especificar los indicadores es la consecuencia directa de no
contar en todos los casos con un adecuado estudio de base que documente las manifestaciones concretas de los problemas en los agentes que posteriormente serán sujetos del cambio
provocado por el proyecto. Es sobre esas evidencias concretas sobre los que se perfila después la identificación y diseño, en positivo, de los indicadores de logro de los OE y RE. Tal estudio
de base no de hacerse siempre para cada intervención particular, sobre todo si está justificada e identificada a partir de un programa más amplio que sí lo hubiera contemplado como parte de
la dinámica de trabajo conjunta de los equipos de Proyectos y otras áreas afectadas.
28. Una recomendación general, que se especificará en el siguiente apartado en otras operativas, tiene que ver con prever los mecanismos de seguimiento adecuados desde el diseño
226 de 230
de los Proyectos y el Convenio en general. En algunos casos se ha detectado la relación entre los resultados y sus indicadores, y en ocasiones, también entre estos y las fuentes de
verificación, no resulta evidente en la Matriz de planificación. Una fórmula que ayudaría a propiciar tal ejercicio y a clarificar qué se espera de su seguimiento y evaluación de resultados final
entre las personas implicadas en la gestión del Proyecto, es ‘acortar la distancia’ que a veces opera entre indicadores y fuentes de verificación de aquellos resultados orientados a un
cambio en los colectivo meta. Esto implica clarificar para aquellos indicadores más relevantes en la medición de los resultados: a) qué expresa el indicador y cómo se relaciona con el
resultado (definición y variables), y ii) qué proceso básico se seguirá para la obtención de las fuentes de verificación (unidad de análisis, fuentes y/o técnicas), mientras que al interno del Plan
de Seguimiento debería especificarse más en detalle estas cuestiones (responsables, tiempos, etc.). Un buen punto de partida, que habría de simplificarse, es la propuesta de FIDA para la
realización de los Estudios de base (adjuntada Figura al Informe). Como es natural, en la medida que es amplía la calidad de los mecanismos de seguimiento así previstos y detallados, se
hace más necesario enfatizar la necesidad de contar con los indicadores imprescindibles, ya que un volumen muy alto no sería operativo.
29. Buena parte de las recomendaciones están destinadas a cumplir con los principios de la planificación y seguimiento basados en resultados. Por lo tanto, inciden en garantizar la
existencia de indicadores de logro adecuados y prescindir de aquellos que remiten a avances en el Proyecto relacionados con sus actividades, que, por otro lado, complican y recargan el
seguimiento y, en consecuencia, distraen al personal técnico de las cuestiones relevantes. En todo caso, ha de advertirse que en sí mismo el contraste entre resultados previstos y
alcanzados no permite una valoración correcta de una buena o mala ejecución, y no aporta más valor que invitar a la reflexión y una mayor profundización acerca de los procesos clave,
factores externos y/o elementos del diseño que puedan estar influyendo en una realización de logros por encima o por debajo de las expectativas.
30. Para futuros diseños de otros proyectos, en los Documentos de Formulación ha que quedar clarificada la relación entre el Objetivo específico, los Resultados esperados que conducen a
él, y cómo las actividades llevan al logro de tales Resultados. Probablemente los apartados de “Análisis crítico del Objetivos específico” y “Análisis crítico de los Resultados esperados” de la
plantilla del Documento de Formulación sean, tras presentar la Matriz de planificación, el lugar indicado para explicar la “teoría del programa”, esto es, cómo se espera que la
implementación de tal Proyecto conduzca al logro del Objetivo específico planteado y qué condiciones se han de dar para hacer posible los ‘saltos’ en la cadena de actividades a Resultados
esperados, y de éstos al Objetivo específico. Esta reflexión, si se hace cuidadosamente —y es común hacerlo gráficamente—, ayudará a explicitar además las hipótesis más relevantes.
* De carácter específico y operativas
31. Como primera recomendación operativa, ha de procurarse en primera instancia, en la medida en que este informe y las ‘Fichas de Proyecto’ anexas contribuyan a ello, trabajar
conjuntamente con el personal técnico de los países la especificación de los indicadores y el desarrollo de los procedimientos, técnicas y fuentes de verificación para aquellos
indicadores que, resultando pertinentes, no tienen la calidad suficiente como para ser medidos y verificados. Deseablemente, una adecuada formulación que facilite a su vez el seguimiento y
rendición final de los resultados alcanzados ha de basarse necesariamente en indicadores pertinentes, específicos y medibles, y en fuentes de verificación útiles y disponibles. Esta secuencia
ha de recomponerse en aquellos casos en los que la debilidad del indicador está ‘trasladando la responsabilidad’ del seguimiento a la fuente de verificación.
32. A lo largo del apartado de Análisis de este informe, así como en las Fichas de Proyecto anexas, son comentados ejemplos de buenas y malas prácticas a la hora de establecer
indicadores y prever fuentes de verificación que puedan alimentarlos. Son ejemplos que han de servir como primer insumo, junto con el análisis ya realizado al respecto por el personal
expatriado, con el fin de contar y compartir con los equipos técnicos de las organizaciones contraparte: a) pautas comunes para establecer indicadores y sus procedimientos de seguimiento y
verificación, y los criterios de calidad que adoptará la organización para validarlos; y b) un repositorio de indicadores por temática o tipo de actuación dentro del sector de educación y
promoción social en el que la ONGD habitualmente coopera.
33. Para los casos en que una revisión ayude a clarificarla, es recomendable examinar las lógicas de intervención (matrices de planificación) de los Proyectos menos coherentes. Se trata
de: i) adecuar la formulación de los Objetivos específicos en algunos Proyectos puntuales, no tanto para alterar su alcance, como para especificarlos mejor; ii) reformular como resultados los
Resultados esperados en los casos en los que están expresando la síntesis de la implementación de las actividades y no su efecto inmediato. En algún caso extremo y minoritario en el que el
Resultado esperado no está representando la amplitud y variedad de las acciones, tal revisión podría dar un lugar a nuevos resultados. En los casos en los que esto afecte al establecimiento
de indicadores, por lo general significará una reducción de aquellos indicadores que remiten a actividades.
34. Es detectable un error en la formulación de los OE y de los RE cuando para alcanzar a entenderlos hay que recurrir a la lectura de los indicadores. El OE ha de ser comprensible por sí
mismo, ayudando los RE a entender la estrategia puesta en marcha, y el resto de elementos del Proyecto (las actividades, los indicadores) a comprender su alcance. Lo mismo cabe decir de
227 de 230
los RE: ha de ser lo suficientemente claro por sí mismo, ayudando las actividades y los indicadores a dimensionar su alcance.
35. Estamos ante otro posible error del diseño de la lógica de intervención (RE no suficientes, OE y RE no claros en sus términos, actividades que transcienden los RE identificados) cuando
surge la necesidad de documentar a través de indicadores no solo lo que el Proyecto logra, sino otros hitos, cambios, efectos o productos. Los indicadores no son el instrumento para
traducir todos los matices del Proyecto y sus efectos, sino que —como hemos venido insistiendo y se ha hecho en una buena parte del Convenio— han de servir para marcar la pauta principal
de comportamiento de sus resultados, y en su caso, facilitar la detección de momentos críticos o buenos resultados finales que inviten a profundizar en tal experiencia y ayuden a delimitar
posteriormente el campo de la evaluación orientada al aprendizaje y extracción de lecciones aprendidas.
36. El Convenio ha tenido el mérito de sintetizar el alcance y efectos de todos los Proyectos, aún con distintos niveles de ambición en algunos de ellos, en 21 indicadores de sus Objetivo
general (5 indicadores) y específicos (16 indicadores para 3 objetivos temáticos). Se sugiere descender un nivel y, en lo posible, tratar de uniformizar los indicadores también de los
Resultados esperados del Convenio, nivel que representa a los Objetivos específicos de los Proyectos. Compartiendo objetivos similares en temática, ha de ser factible fijar un pequeño
grupo de indicadores que faciliten la medición a ese nivel, lo que redundaría en menos indicadores, más homogéneos, un seguimiento más factible y menos costoso en recursos y una mayor
claridad en el mensaje final acerca de los resultados. Respetando las particularidades de cada Proyecto, sería deseable en un primer estadio la existencia de uno o dos indicadores comunes
de Objetivos específicos para aquellos pertenecientes a las mismas líneas temáticas. Sin duda, muchos de ellos pueden encontrarse entre el listado de 21 indicadores de los Proyectos
reutilizados como indicadores generales del Convenio.
37. A nivel de cada Proyecto, es recomendable ajustar los indicadores a aquellos que resulten suficientes para disponer de un sistema básico y suficientemente comprensivo de los
resultados previstos. En general, ha de tenerse en cuenta que la función de los indicadores, bajo una perspectiva de planificación por objetivos, no es dar cuenta de todo lo que un
proyecto hace, sino directamente de aquello que logra. Por un lado, por lo tanto, son prescindibles los indicadores señalados como ‘no pertinentes’ por estar referidos a actividades que el
Proyecto está ejecutando o va a ejecutar. Por otro lado, la Matriz de planificación no sustituye la existencia de un procedimiento de gestión y seguimiento más completo a cargo del personal
de terreno más directamente implicado en las actividades, incluso la introducción de otros indicadores de resultados sobre aspectos relevantes para la organización pero no centrales para el
Proyecto en cuestión.
38. En la línea de simplificar y rendir cuentas de lo esencial, los resultados, lo anterior aplicaría también a los indicadores complementarios, generalmente indicadores de procesos,
introducidos en las PAC. Siendo sobre todo las PAC un planteamiento de programación (qué será realizado y, en todo caso, qué logros previstos hay para ese año, si los hubiera), y no de
planificación, hay que estudiar cuidadosamente cuándo es necesario añadir un nuevo indicador, teniendo en cuenta que, acorde a un enfoque de planificación por objetivos como el Marco
Lógico, es normal que buena parte de los resultados se generen en el último periodo de ejecución. Comoquiera que los indicadores iniciales están casi todos convenientemente
temporalizados (indican el año de realización), han de ser la referencia principal de las PAC y los sucesivos informes de seguimiento. De lo contrario, en un caso extremo que no está
sucediendo pero que ayuda a ilustrar esta recomendación, cada PAC correría el riesgo de convertirse en una auto-referencia anualizada de los logros, sin tener la visión global y poder
contrastar la evolución de los indicadores clave desde el inicio del Convenio y año a año. En un Convenio con 38 RE / Proyectos y más de 400 indicadores previstos de inicio, ha de cuidarse
la pertinencia de introducir nuevos indicadores anuales que no se deriven de ‘anualizar’ los logros que pudieran estar produciéndose en los ya previstos.
39. A la hora de establecer indicadores, pero también para definir resultados, ha de tenerse en cuenta que el lenguaje es una herramienta muy precisa. Por lo general, los indicadores
vinculados a resultados tangibles cuyo logro viene representado por un producto (ej. contar con un plan o reforzar la sostenibilidad a través de un convenio), el indicar se limitará a documentar
la realización u obtención de tal producto. Ahora bien, si un resultado tangible está cualificado y el indicador no haya sido capaz de hacer operativa la medición de tal cualidad (una currícula
acorde al contexto, un plan de mejora coherente, por citar dos ejemplos), ha de tenerse en cuenta que no basta con tal documento como fuente de verificación, sino que es necesario
documentar su cualidad (ej: informe de valoración de la currícula por expertos/as, informe de valoración independiente de los planes de mejora). Obsérvese cómo, al trasladar la valoración
resultado desde el indicador, que no lo logra, hacia la fuente de verificación, que sí lo documenta, se levanta la pista para reelaborar el indicador (ej. la currícula es valorada como acorde al
contexto por un comité de expertos/as; un informe de valoración independiente establece que más del 60% de los planes de mejora son coherentes).
40. Lo anterior aplicaría para aquellos casos, sobre todo en representación de la línea de ‘Calidad educativa’, pero no solo, en los que el indicador (ej: “número de personal capacitado o
formado”) recurre a la misma fórmula o similar que el resultado que trata de medir (ej. “desarrolladas capacidades del personal educador…”). Es decir, si el indicador no consigue hacer
operativa la medición del resultado —no es específico—, habrá de trabajar sobre la fuente de verificación y el procedimiento asociado de seguimiento para dar cuenta de tal indicador. Al igual
228 de 230
que en el caso anterior, con toda probabilidad, la propia reflexión acerca de cómo dar seguimiento al indicador y qué herramientas y protocolos utilizar, revertirá posteriormente en una
mayor capacidad para especificarlo y expresarlo en los términos adecuados y afines a la medición que se ha diseñado.
41. Ha de evitarse utilizar las fuentes de verificación para mostrar y probar que se está avanzando en el Proyecto en una lógica de ejecución de actividades. La lógica de planificación y
seguimiento está orientada a resultados, por lo que las fuentes de verificación a aportar han de estar destinadas a documentar su nivel avance o logro final. En todo caso, ante el hecho de que
el formato de seguimiento también exige identificar las fuentes de verificación a nivel de actividades, disponer de un listado de fuentes que prueben en su caso su realización no habría de
generar mayores esfuerzos y cargas de gestión que los derivados de la propia ejecución de las acciones del Proyecto, al estar generalmente en posesión del personal técnico o pedagógico
encargado de su implementación, y por lo tanto, a disposición del Convenio si fuera necesario aportar alguna fuente en concreto. En cualquier caso, el punto relevante de la recomendación es
discernir con claridad cuáles son las fuentes apropiadas para el nivel de resultados y evitar en su identificación alimentarlas con aquellas del nivel de actividades.
42. Es conveniente asegurar que el dato reportado remita efectivamente al logro referido en el indicador. Es decir, sobre centros que “han mejorado” su calidad educativa, y no a centros
“participantes en el proceso” de evaluación de su calidad y establecimiento de planes de mejora al respecto; a educadores/as “con las competencias necesarias” y no educadores que “asisten
o terminan una formación”; o centros con “una gestión colegiada y participativa” y no a “equipos directivos capacitados” en la materia.
43. Las actuaciones en el OE4 de ‘Acción pública’, dada dificultad de estimar cuantitativamente sus efectos inmediatos (RE y OE) sin caer en la tentación de medir su grado de realización,
ha de prever mecanismos de valoración basados en técnicas cualitativas.
44. Varios Proyectos recurren a la participación de los centros en el denominado ‘sistema de mejora de la calidad’ ideado por FyA como base para establecer indicadores que miden
resultados expresados como “mejora de la calidad educativa”. También algún indicador general del Convenio utiliza esta fórmula. En este punto, ha de asegurarse que participar en un
‘sistema de mejora de la calidad’ y comprometerse como centro y comunidad escolar el proceso de evaluación de su calidad y el establecimiento de planes de mejora coherentes con tal
evaluación, además de buena práctica de sistematizar la experiencia es representa en sí mismo un hito de la calidad del centro Es decir, que se participar en un ‘sistema de la calidad
educativa’ —según el cual, el hecho de participar en él denota la calidad del centro al preocuparse por su mejora constante—, más que en un ‘sistema para la calidad educativa’ —con lo que
la calidad no se medirá por el hecho de participar, sino por los resultados posteriores—. Esto tiene consecuencias a la hora de establecer los indicadores, ya que la participación en este
‘sistema’ como sinónimo de una mayor ‘calidad educativa’ en el centro ha de denotar el adecuado cumplimiento de los hitos y apropiación por la comunidad educativa, no solo su ejecución. En
su caso, tal cumplimiento puede ser atestiguado con la entrega de un certificado.
45. En indicadores del OG y OE del Convenio, es recomendable remitir a un breve informe a modo de fuente de verificación que detalle por Proyecto y país los datos que forman parte del
indicador. Este primer documento de síntesis ayudará a interpretar el dato ofrecido por el indicador. En él, tal y como se hace actualmente, habrá de remitirse a las fuentes de verificación
pertinentes de los Proyectos correspondientes, en tanto que los indicadores generales del Convenio están alimentados por algunos indicadores particulares de los Proyectos. En todo caso, al
remitir a las fuentes particulares de cada Proyecto, asegurar en lo posible que son referenciadas aquellas que tienen que ver con el indicador del OG u OE del Convenio, y no otros indicadores
del Proyecto que aludan a otras mediciones.
46. Es recomendable anticiparse en el seguimiento y actuar sobre las fuentes de verificación que, si bien ahora mismo no están disponibles porque no se ha producido el hecho que han de
verificar, ya están estimadas como no útiles y referidas a indicadores pertinentes. Si además tales indicadores no han sido suficientemente especificados, este ejercicio ayudará, a su vez,
a especificarlos, tal y como demuestra ya el trabajo de supervisión y análisis de los indicadores iniciado por el personal expatriado.
47. El volumen de documentación generada por el Convenio reitera la necesidad de calibrar la pertinencia del esfuerzo de gestión asociado a recabar fuentes de verificación no relevantes
en términos de resultados y a asegurarse que éstas han de estar referencias a indicadores adecuados. Esto ayudaría a evitar en lo posible los costes de gestionar fuentes de verificación
sobre indicadores no válidos en términos de medición de los resultados de cada Proyecto.
48. En relación a la ejecución financiera, habrá que vigilar y, llegado el caso, proponer medidas correctoras para los Proyectos que están marcando un bajo porcentaje de gasto sobre lo
previsto. Por Proyectos, y por este orden, a los Proyectos 35 de Brasil, 14 y 25 de Ecuador, 28 de Guatemala, 31 de Panamá y 38 regional – federativo, todos por debajo del 60% de
ejecución. También a los Proyectos 21 de Panamá, 13 de Colombia, y 27 de República Dominicana. En el caso del Proyecto 31 de Panamá tiene que ver con una sobreestimación de los
costes que acarrearía la intervención —de ahí también la disparidad entre la ejecución de presupuesto (58%) y de realización de actividades (90% PAC 2, 98% PAC3)— por lo que habrían de
229 de 230
continuarse las medidas correctoras de gestión presupuestaria ya previstas.
49. En relación a la progresión de la eficacia, se recomienda en lo posible actuar sobre las causas que están afectando más severamente a algún Proyecto de manera puntual (ej. el
Proyecto 36 de Honduras) e impidiendo el satisfactorio desempeño de algunos otros: Proyecto 5 de Guatemala y 9 de El Salvador para el OE1 ‘Acceso a la educación’; Proyecto 12 de Brasil,
17 de República Dominicana, 18 de Guatemala, 19 de Honduras y 21 de Panamá para el OE2 ‘Calidad educativa’; Proyecto 26 de Perú, 27 de República Dominicana, 28 de Guatemala, 29 de
Honduras y 31 de Panamá para el OE3 ‘Educación técnica’; y Proyecto 35 de Brasil para ‘Acción pública’. No presentan problemas de ejecución o perspectivas de incumplimiento de los
resultados graves, pero que sí ha de estarse atento/a para poner los recursos suficientes que permitan colaborar con los equipos en los países y emprender las medidas correctoras
necesarias. Esta recomendación final se realiza sobre la base de que la ejecución del Convenio se mejorará más aún si cabe y serán alcanzables sus resultados si la mayoría de los Proyectos
es ejecutado de la mejor manera posible en un entorno no siempre favorable, que —en todo caso— justifica la existencia del Convenio y da sentido a la cooperación para el desarrollo.
Agentes que han intervenido: Fundación Entreculturas (personal coordinador, personal técnico expatriado y responsable unidad evaluación).
230 de 230