Manual para la Instalación de Sistemas de monitoreo Interno a los

MINISTERIO DE PLANIFICACIÓN Y COOPERACIÓN
DIVISIÓN SOCIAL
SISTEMA INTEGRADO DE EVALUACIÓN DE INTERVENCIONES PÚBLICAS
DOCUMENTO Nº 3
SISTEMA DE MONITOREO INTERNO
CONCEPTOS
Santiago de Chile, diciembre 2000
www.mideplan.cl
SISTEMA DE MONITOREO INTERNO
INDICE
PRESENTACIÓN ............................................................................................................ 4
I.
EL MONITOREO Y LA EVALUACIÓN ............................................................................... 5
1.
2.
3.
¿QUÉ TIPOS DE EVALUACIÓN PODEMOS DISTINGUIR? .................................................................... 5
LA EVALUACIÓN DE PROCESO .......................................................................................... 6
¿QUÉ ES EL MONITOREO? .............................................................................................. 7
II.
EL SISTEMA DE MONITOREO INTERNO ........................................................................ 9
ASPECTOS GENERALES ......................................................................................................... 9
a)
¿Qué es el Sistema de Monitoreo Interno? ................................................................. 9
b)
¿Para qué sirve? ................................................................................................. 9
c)
¿ Cuáles son sus principales características? ............................................................. 10
d)
¿Qué estrategia de trabajo propone? ...................................................................... 10
PASOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DEL SISTEMA ................................................................ 13
1.
ANÁLISIS DEL DISEÑO PROGRAMÁTICO ................................................................................ 13
a)
¿Cuál es su Objetivo? .......................................................................................... 13
b)
¿En qué consiste un análisis de diseño? .................................................................... 13
c)
¿Cómo se desarrolla el análisis del diseño? ............................................................... 14
d)
Productos esperados de esta fase. ......................................................................... 14
2.
ANÁLISIS DE LA SITUACIÓN DIAGNÓSTICA QUE SUSTENTA AL PROGRAMA .............................................. 15
a)
¿Qué objetivo tiene el análisis del diagnóstico para el diseño del SMI? ............................. 15
b)
Construcción del diagnóstico: Árbol de Problemas ...................................................... 15
c)
Árbol de Problemas - Árbol de Objetivos ................................................................. 17
d)
Productos esperados de esta fase. ......................................................................... 18
3.
SÍNTESIS E INTERPRETACIÓN DEL DISEÑO ............................................................................. 18
a)
¿Qué objetivo tiene realizar una síntesis e interpretación del diseño? ............................. 18
b)
¿En qué consiste la síntesis e interpretación del diseño? .............................................. 18
c)
¿Para qué sirve la MDE? ....................................................................................... 19
d)
¿Cómo se desarrolla la MDE? ................................................................................ 22
e)
Definición de componentes de la Matriz de Diseño Evaluable ........................................ 22
f) Verificación de los contenidos de la matriz ................................................................. 26
g)
¿Qué productos se esperan de esta etapa? ................................................................ 29
4.
INDICADORES Y CRITERIOS DE EVALUACIÓN ........................................................................... 30
a)
¿Qué objetivo tiene la identificación de indicadores y la priorización de criterios de
evaluación? .............................................................................................................. 30
b)
¿En qué consiste la identificación de indicadores en orientación con los criterios de
evaluación? .............................................................................................................. 30
c)
¿Qué es un indicador en el SMI? ............................................................................. 32
d)
Criterios de evaluación ....................................................................................... 34
e)
¿Qué productos se esperan de esta etapa de trabajo? .................................................. 40
5.
LOS INDICADORES Y SU VERIFICACIÓN ................................................................................. 41
a)
¿Qué objetivo tiene esta etapa de trabajo en el SMI? .................................................. 41
b)
¿En qué consiste la verificación de indicadores? ......................................................... 41
c)
¿Cómo se desarrolla la verificación de los indicadores? ................................................ 41
d)
¿Qué productos se pueden esperar de esta etapa de trabajo? ........................................ 44
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
2
SISTEMA DE MONITOREO INTERNO
III.
CONDICIONES DE LAS INSTITUCIONES PARA LA PUESTA EN PRÁCTICA DEL SMI ....................45
1.
2.
3.
4.
5.
6.
COMPROMISO INSTITUCIONAL ......................................................................................... 46
DEFINICIÓN DE LA UNIDAD DE ANÁLISIS ................................................................................ 46
EQUIPO INSTITUCIONAL ............................................................................................... 46
CRONOGRAMA OPERATIVO Y PROYECTO DE INSTALACIÓN DEL SMI ..................................................... 47
DISPONIBILIDAD DE INSTRUMENTOS DE REGISTRO DE INFORMACIÓN .................................................... 47
ESTABLECIMIENTO DE UNA PLATAFORMA O SOPORTE COMPUTACIONAL ................................................ 48
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
3
SISTEMA DE MONITOREO INTERNO
PRESENTACIÓN
Uno de los requerimientos más importantes de la actual gestión de políticas y programas
sociales, dice relación con la disponibilidad oportuna de información que de cuenta de los
resultados logrados en la intervención y de los avances y dificultades relativos a su
implementación y desarrollo.
No cabe ninguna duda que en este contexto la función de evaluación cumple un rol
estratégico, en la medida que la instalación de dispositivos y prácticas regulares de registro
y análisis de información, permite rescatar aquellos antecedentes que pueden orientar la
gestión directiva y operativa de los programas, de forma tal que los aprendizajes en torno a
la experiencia de intervención puedan ser utilizados en el transcurso de ésta y no solo una
vez que el ciclo programático ha concluido.
Por lo mismo, cabe destacar que las modalidades evaluativas ex post no constituyen, en
modo alguno, las únicas alternativas que permiten evaluar programas, siendo evidente la
enorme utilidad que revisten las evaluaciones de proceso que, o bien acompañan la
implementación de los programas o bien, hacen seguimiento a la ejecución misma de las
intervenciones. En cualquier caso, el potencial de este tipo de evaluación radica no sólo en
el momento en que ella tiene lugar sino también en la posibilidad de que sean los propios
programas los que operen sistemas evaluativos de estas características.
En atención a esto, el Departamento de Evaluación de la División Social del Ministerio de
Planificación y Cooperación, pone a disposición de los equipos programáticos del sector
público, el Sistema de Monitoreo Interno, herramienta especialmente diseñada para guiar
y apoyar a los profesionales y técnicos a cargo de la conducción y operación regular de
programas sociales, en la evaluación de sus intervenciones. El producto que se puede
esperar de la aplicación de esta metodología, corresponde a un sistema dinámico de
indicadores, formulados para hacer seguimiento y evaluación a los distintos niveles de la
intervención.
Para facilitar la comprensión y aplicación de este instrumento, el documento conceptual
que se presenta a continuación se acompaña de un Cuaderno de Trabajo que contiene
indicaciones prácticas para el desarrollo secuencial de las fases metodológicas que
componen la herramienta.
No obstante lo anterior, resulta indispensable comprometer la participación activa y
permanente de los miembros del equipo programático respectivo, en todo el proceso de
construcción del sistema, no sólo para incorporar su experiencia en el diseño de un modelo
pertinente a las características y particularidades de la intervención, sino también para
hacer viable su operación. Esto implica, además, contar con el compromiso institucional del
agente a cargo del programa, en orden a implementar y hacer operar el sistema una vez
que éste haya sido construido.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
4
SISTEMA DE MONITOREO INTERNO
I. EL MONITOREO Y LA EVALUACIÓN
1. ¿Qué tipos de evaluación podemos distinguir?
La evaluación es un conjunto de acciones destinadas a recoger información en torno a
uno o varios aspectos de la intervención, utilizando instrumentos y técnicas que
permiten hacer más sistemáticas las observaciones involucradas en ello de forma tal de
formular juicios válidos y certeros que permitan valorar o ponderar esos aspectos.
Dependiendo del momento en que se encuentre el ciclo de vida programático, es posible
identificar tres tipos de evaluación:
 Evaluación ex ante
 Evaluación de proceso
 Evaluación ex post
Esta clasificación se basa en una perspectiva que enfatiza las diferencias más que las
similitudes de toda práctica que se denomine evaluación. Entre estas diferencias se
encuentran:
a)
b)
c)
d)
el momento en que se realizan;
el foco específico de su observación;
su intencionalidad; y,
las características de sus resultados; es decir, el cómo, el qué y el para qué.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
5
SISTEMA DE MONITOREO INTERNO
Cuadro 1
Tipos de evaluación
TIPO DE
EVALUACIÓN
MOMENTO DE
OBJETO DE
EVALUACIÓN
REALIZACIÓN


ANTES DE LA
EJECUCIÓN
EX ANTE
Diseño de
programa y
comportamiento
futuro de la
intervención
ASPECTOS QUE




PROCESO

DURANTE LA

DESPUÉS DE
TERMINADO UN
CICLO
OPERATIVO DEL
PROGRAMA
Coherencia del
proyecto
Pertinencia con
el diagnóstico
Viabilidad de
implementación.
Costos de la
intervención

Decidir la
implementación
del programa

Operación y
gestión del
programa

Ejecución, logros y
productos de un
programa

Mejorar la
ejecución y
gestión

Resultados
concretos de la
intervención en
su población
objetivo

Logro,
cumplimiento de
objetivos.
Impacto del
programa en su
población objetivo

Emitir un juicio
sobre la
sustentabilidad
de esa
intervención
EJECUCIÓN
EX-POST
FINALIDAD
CONSIDERA

2. La Evaluación de Proceso
Como lo hemos sugerido en el cuadro precedente, la evaluación de proceso es una
observación que se realiza durante la ejecución, siendo su objeto la operación real de un
programa o proyecto como un proceso que no ha concluido.
Dentro de la metodología de evaluación de proceso, existen diversas modalidades
diferenciadas por los énfasis en ciertas características y aspectos particulares. Según
este criterio podemos distinguir:
El control, que enfatiza la constatación del cumplimiento de ciertas condiciones o
procedimientos. Se encuentra, generalmente, ligado a un requerimiento administrativo
que señala aspectos estratégicos a cautelar en una mirada puntual y específica, y
relacionado con un nivel de deseabilidad en el logro de las actividades.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
6
SISTEMA DE MONITOREO INTERNO
La supervisión enfatiza aquella observación que da cuenta del desarrollo del conjunto
de las actividades de un proyecto, línea o componente de un programa, desde la óptica
de acompañamiento en los distintos niveles de la ejecución. Es una observación
tangencial con una integración a procesos intermedios.
El seguimiento pone su atención en el análisis de un conjunto de información relevante
para determinar el estado de desarrollo de las actividades y productos programados,
tomando como unidad u objeto de observación el estado global del programa. Es una
observación permanente y estable, y alimenta principalmente los registros y sistemas de
información.
El monitoreo, por su parte, enfatiza el análisis de la totalidad del proceso de puesta en
práctica de un programa desde la formulación de la intervención hasta la participación
de los destinatarios en ella. También, aporta información relevante respecto a los
resultados esperados del programa. Es preciso tener en cuenta que trabaja
dinámicamente con la realidad de la implementación y por lo tanto, la interviene. Tiene
especial similitud con el seguimiento, aunque cuenta con una operacionalización más
dinámica, ágil y en contacto permanente con el programa. Además, el monitoreo nunca
pierde de vista el diseño del programa, por tanto la información que aporta es valorada
en función de los componentes programáticos definidos en ese diseño.
3. ¿Qué es el Monitoreo?
Como modalidad evaluativa, el monitoreo plantea la necesidad de avanzar desde una
observación estática de la realidad -tal como una fotografía-, a una mirada dinámica
que recoja la complejidad de sus relaciones y que respete el ritmo propio de los procesos
que ocurren en la intervención social.
Estamos asumiendo un concepto de evaluación vinculado con la existencia de un proceso
de observación sistemático, que genera información relevante para apoyar un juicio
acerca del valor de algunos o todos los componentes de un programa en los distintos
momentos de su ciclo de vida. De esta forma, la utilidad de la evaluación reside en su
capacidad de:
 Entregar información sobre el diseño, la ejecución y los resultados de un
programa, y
 Medir y comprobar el grado en que sus diferentes actividades han producido
efectos y resultados concretos.
Por esto, la evaluación:
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
7
SISTEMA DE MONITOREO INTERNO
 Apoya el proceso de toma de decisiones
 Mejora los diseños y modelos de intervención social
 Promueve el conocimiento y la comprensión de aquellos aspectos ligados al éxito o
fracaso de los resultados esperados
 Identifica las prácticas más óptimas
 Refuerza la sustentabilidad del programa
En toda evaluación deben darse al menos los siguientes elementos:
 Observación sistemática que recoge información pertinente
 Análisis e interpretación de dicha información
 Generación de un juicio para apoyar la toma decisiones.
Por cuanto el Monitoreo es una modalidad evaluativa, podemos asumir que contiene las
características expresadas hasta aquí como propias de la evaluación, enfatizando algunas
de ellas en desmedro de otras.
CARACTERÍSTICAS MÁS RELEVANTES DEL MONITOREO

Se integra a los ciclos de operación de un programa o
proyecto social concreto.

Recoge, analiza e interpreta información de manera
continua e inmediata a la ejecución del programa.

La información es utilizada para tomar decisiones
tendientes al mejoramiento de la gestión y ejecución
global del programa.

Dado que tiene un manejo de información ágil y
continua a la acción programática, permite prever
situaciones de riesgo e introducir modificaciones en la
ejecución.

No sólo se aboca a la gestión del programa, sino también
incorpora una mirada a largo plazo relacionada con los
logros que el programa se ha propuesto.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
8
SISTEMA DE MONITOREO INTERNO
II.
EL SISTEMA DE MONITOREO INTERNO
Aspectos generales
a)
¿Qué es el Sistema de Monitoreo Interno?
El SMI es una metodología de trabajo para que los programas sociales en ejecución
generen modalidades internas de evaluación permanente que les permitan medir los
niveles de avance y las dificultades que se reconocen durante la puesta en marcha, en
relación a los resultados esperados, establecidos por el diseño.
Puede identificarse como un modo de evaluación de proceso, dado que las observaciones
ocurren durante la implementación y/o ejecución de las acciones del programa y
retroalimentan directamente las decisiones y a los equipos que lo llevan a cabo. Trabaja
sobre la base del diseño del programa social como marco orientador de toda
evaluación, e identifica aquellos indicadores pertinentes a la lógica del programa y que
responden a sus necesidades y prioridades en evaluación. Ante todo, su finalidad es el
fortalecimiento y perfeccionamiento del diseño de intervención, siendo un insumo
fundamental para establecer la permanencia y eficacia de los programas. Unifica en un
mismo proceso la ejecución y evaluación sin generar recargas adicionales de trabajo a
quienes administran y operan el programa.
b)
¿Para qué sirve?
Para que la operación de los programas incorpore, en forma permanente, la
evaluación como una herramienta estratégica para mejorar y rediseñar la
intervención programática, logrando efectivamente los mejores resultados e
impacto social posibles.
Para potenciar a los equipos internos, de manera que sean quienes tengan el
mayor conocimiento y manejo de la aplicación del programa en la realidad y
puedan responder a las demandas y requerimientos de información evaluativa
como interlocutores calificados, tanto en lo que se refiere a la intervención como
a los conceptos evaluativos necesarios.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
9
SISTEMA DE MONITOREO INTERNO
c)
¿ Cuáles son sus principales características?
El SMI posee algunas características que, como metodología de análisis y evaluación, la
hacen particular dentro del monitoreo. Entre éstas se encuentran las siguientes
particularidades:
Integra las experiencias y miradas directas de los equipos en la realidad
del programa.
Considera aspectos de la ejecución, pero también avances de resultados,
siempre en una visión de largo plazo y del programa en su conjunto.
Es una mirada continua, no puntual de la acción; por ello está en
permanente renovación a través del tiempo.
La observación y retroalimentación la realizan los propios equipos
operativos.
Busca perfeccionar la operación más que la generación de juicios.
d)
¿Qué estrategia de trabajo propone?
Para el diseño e implementación del Sistema, esta metodología propone un trabajo
conjunto entre integrantes del programa y facilitadores externos, quienes se constituyen
en equipo de competencias y experiencias mixtas con el objetivo común de diseñar un
sistema de monitoreo especifico y consistente en materia de evaluación.
El diseño de un SMI es el resultado de un espacio de discusión y análisis que enfatiza el
traspaso de destrezas, a través de reuniones periódicas con un grupo estable del
programa social en cuestión, para asegurar la operación del monitoreo y su necesaria
actualización en el tiempo.
Por lo tanto, la primera etapa del SMI es la constitución del equipo del programa que
participará en el análisis del diseño programático, en el análisis de la situación
diagnóstica que sustenta la intervención, en la síntesis e interpretación del diseño (a
través de la construcción de una Matriz de Diseño Evaluable del Programa) y en la
identificación y validación de los indicadores.
La condición ideal para que la metodología opere de manera expedita, es que los
miembros de la institución convocados a integrar este equipo de trabajo, conozcan el
programa que será analizado y además, que permanezcan vinculados a esta instancia
desde el inicio y, al menos, hasta la generación de los indicadores. Una vez que el
equipo de trabajo esté constituido y se hayan concordado las estrategias más apropiadas
para operar, se deberá explicitar el compromiso, institucional y personal, que favorecerá
la participación y permanencia de todos los integrantes en el proceso.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
10
SISTEMA DE MONITOREO INTERNO
El equipo de programa realiza un aporte basado en la experiencia operativa y el
conocimiento en detalle de la realidad intervenida, así como de la lógica y diseño de la
intervención.
El equipo facilitador tiene la responsabilidad de conducir el proceso de análisis de
intervención y la asistencia técnica en temas ligados a la evaluación y la planificación en
política social. Igualmente, establece recomendaciones pertinentes para su
implementación.
El equipo facilitador de SMI trabaja sobre la base de la información entregada por el
Programa sobre el diseño, y en cada etapa va sistematizando productos intermedios que
permiten visualizar el avance del trabajo y fortalecer una retroalimentación
permanente.
Dado que uno de los objetivos instrumentales más importantes del SMI es transferir a los
equipos programáticos las herramientas y habilidades para operar por sí solos esta
metodología, con prescindencia de apoyos externos permanentes, la participación del
equipo facilitador es temporal, en el entendido que le corresponderá apoyar al equipo de
programa respectivo, en las etapas iniciales de construcción y puesta en operación del
SMI, pero la responsabilidad principal de operación de esta metodología, a partir de la
validación de indicadores, debiera corresponderle al equipo programático.
En términos muy generales, cabe señalar que la primera etapa en la construcción del
sistema consiste en el análisis de las características del programa, tanto en base a
información documental recabada sobre él, como en base a la experiencia programática
de sus operadores.
En base a lo anterior, se da paso a la segunda etapa que consiste en la construcción del
Árbol de Problemas y el Árbol de Objetivos que permiten contrastar las especificidades
de la situación diagnóstica que dio origen a la intervención, con las características reales
del programa en análisis. A partir de esta comparación, se elabora la síntesis evaluativa
del diseño, dando origen a una versión corregida de él, en el formato de la Matriz de
Diseño Evaluable del Marco Lógico.
Una vez que la Matriz ha sido construida se formulan los indicadores que harán posible el
seguimiento y se vacían en una malla de verificación donde se detallan los momentos,
mecanismos y agentes que intervendrán en la alimentación, análisis e interpretación de
cada uno de ellos.
Por último, se contempla la validación del trabajo realizado en espacios territoriales más
descentralizados, privilegiando en esta etapa a aquellos equipos que poseen la
experiencia de gestión de manera directa, con el fin de incorporar un juicio de realidad
a los elementos que finalmente van a integrar el SMI concreto y que alimenta la
programación de una estrategia de implementación en el programa.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
11
SISTEMA DE MONITOREO INTERNO
Cuadro 2
Fases metodológicas de la construcción del Sistema
ÁRBOL
MDE
MDE
CRITERIOS
MALLA
Plan de
trabajo
Análisis
información
documental
Reinterpretación del
diseño
Identificación
de
indicadores
Modos de
verificación
Validación
territorial
Organización
operativa
Esquema de
trabajo
Identificación
modo
operativo
Síntesis
evaluativa del
Diseño
Set de
Indicadores
Detalle uso
acordado
Set validado
SMI
específico
Equipo
entrenado
Lógica
evaluativa
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
12
SISTEMA DE MONITOREO INTERNO
Pasos metodológicos para la construcción del Sistema
La sección que se desarrolla a continuación, presenta de forma detallada cada uno de los
pasos o etapas metodológicas que se deben ir cumpliendo en el diseño de un Sistema de
Monitoreo Interno. En consecuencia, se entienden como fases sucesivas y secuenciales,
cuyos productos son insumos o condiciones para las fases posteriores.
1.
Análisis del Diseño Programático
a)
¿Cuál es su Objetivo?
Esta etapa del trabajo tiene por objetivo sensibilizar al equipo de trabajo respecto al diseño
real y operativo de la intervención. Se enfatiza una perspectiva analítica que permita
reflexionar en torno a los principales aciertos y obstáculos que el equipo tiene que enfrentar
en su trabajo diario.
b)
¿En qué consiste un análisis de diseño?
El análisis del diseño es una herramienta clave en el SMI1, pues entrega información que
permite establecer una mirada interpretativa y analítica sobre las intenciones, la práctica y
las posibilidades futuras del programa. Es la primera aproximación que realiza el equipo a
los principales contenidos del modelo de intervención y propuesta global del programa.
Se trabaja sobre la base del diseño existente, porque la intención evaluativa que adopta el
SMI es un compromiso con los resultados y el continuo perfeccionamiento de los programas
sociales. Esto hace que el diseño del programa sea uno de los insumos más relevantes de la
evaluación, para el desarrollo de un modelo específico de monitoreo en cada programa.
Este análisis debe considerar, a lo menos, los siguientes aspectos:




1
La descripción, objetivos y población objetivo del programa.
Modelo de intervención programática.
Estrategia de trabajo del programa a nivel nacional.
Aspectos claves que favorecen y/o dificultan la intervención.
Y en cualquier tipo de evaluación aplicada, sobre la cual se realiza observación y se emite un juicio.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
13
SISTEMA DE MONITOREO INTERNO
c)
¿Cómo se desarrolla el análisis del diseño?
Se realiza una reflexión conjunta en la que se identifica la lógica global del programa y su
modelo de intervención a nivel de diseño y operación concreta. La reflexión se encuentra
apoyada en una metodología que contempla los siguientes pasos:
a.
Se recoge y se analiza de manera interpretativa toda la información documentada
de la que dispone el programa. Esta información debe estar orientada a la
descripción, objetivos, modelo de intervención (si lo tiene), estudios evaluativos
del programa y sistemas de información y control con los que se cuenta.
b.
Se realiza una discusión del equipo de trabajo, que es guiada por el equipo
facilitador, en la que se exponen aquellos aspectos que no quedan claros a partir de
la sola lectura de los documentos. Sobre la base de esta retroalimentación, se
esboza una propuesta común.
c.
Se establecen los acuerdos básicos a nivel de diseño y estrategia de intervención2
que, filtrados por los criterios de realidad que aporta el equipo operador, permite
realizar un primer diagnóstico del programa.
d)
Productos esperados de esta fase.
Se pueden distinguir productos en dos niveles:
Desde el equipo
programático
 Equipos de programa sensibilizados con una mirada
analítica del programa, que les permite visualizar
aquellos aspectos que la práctica de operación
cotidiana hace invisibles a la mirada interna.
Desde el Monitoreo
 Radiografía del programa, que permita comprender su
lógica de conjunto.
 Reconocimiento de elementos estratégicos
potencian y/o vulneran al programa.
que
2
Se entenderá por Estrategia de Intervención “la manera particular en que un determinado agente una
institución o una instancia programática, define la situación que afecta a un grupo y la forma en que intenta
alcanzar los objetivos propuestos en el programa. Por lo mismo, su carácter estratégico está dado porque implica
una visión de futuro que indica cuál es la nueva situación a la que se quiere llegar y los cambios que se espera
generar en la población objetivo de la intervención”. Secretaría Ejecutiva. Comité de Ministros Social. 1999.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
14
SISTEMA DE MONITOREO INTERNO
2.
Análisis de la Situación Diagnóstica que sustenta al Programa
a)
¿Qué objetivo tiene el análisis del diagnóstico para el diseño del SMI?
Esta etapa de trabajo tiene por objetivo delimitar el diagnóstico que fundamenta la
existencia del programa. Dicho diagnóstico abstrae aquellos elementos fundamentales que
permitan actualizar y ordenar la realidad en la cual opera el programa; y en tanto permite
delimitar el ámbito de intervención al cual puede aspirar aquél, constituye un apresto para
la construcción de la Matriz de Diseño Evaluable.
b)
Construcción del diagnóstico: Árbol de Problemas
El diagnóstico de la realidad social en la cual opera el programa es una abstracción que
delimita y organiza las condiciones particulares que viven las personas que son afectadas
por un problema social concreto. Se trata de hacer una caracterización de las situaciones
que enfrentan las personas y que fundamentan una intervención en dicha población.
En el diagnóstico se identifican los principales problemas y las principales relaciones causaefecto que existen entre éstos, por medio de un Árbol de Problemas3.
El Árbol de Problemas es un instrumento analítico que permite precisar de manera acotada
la carencia o déficit principal que a cada programa le corresponde abordar, con un
reconocimiento de sus principales causas y efectos. Tiene esa denominación porque
presenta el desagregado de la situación problema a través de un abanico esquemático de
sus relaciones. No olvidemos que:
El problema central es entendido como una adecuada síntesis del problema
social que justifica la existencia del programa, con las delimitaciones y las
características correspondientes.
Las causas son aquellos factores que estarían incidiendo en la existencia de la
situación problema. Son los principales por qué de la situación identificada,
para reconocer los factores que la determinan de manera evidente.
Los efectos son las evidencias del problema. Puede ser una agudización del
problema central o una simple consecuencia lógica.
El Árbol de Problemas es una técnica más, entre otros métodos existentes, que permite la
construcción de un diagnóstico, que en este caso se efectúa desagregando el problema en el
sinnúmero de relaciones causa – efecto que lo determinan. Se ha optado por el uso de esta técnica,
básicamente porque la lógica con la que trabaja facilita la organización coherente de los
antecedentes del problema en análisis.
3
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
15
SISTEMA DE MONITOREO INTERNO
Debemos destacar que el árbol de problemas se refiere a una situación que se da en la
realidad, por lo que la denominación de las causas y efectos del problema central debe
referirse a un diagnóstico actualizado y concreto. Por ello, estas dimensiones del árbol de
problemas no deben referirse a aquellas situaciones que son producto de la intervención del
Programa.
Hay que tener en cuenta que la conceptualización de una situación como “causa” o
“efecto” es relativa al problema que se considere; en concreto, es posible y correcto que
una misma circunstancia sea considerada causa para un problema y efecto para otro.
Cuadro 3
Esquema del Árbol de Problemas
LOS EFECTOS QUE EL PROBLEMA GENERA
EL PROBLEMA
EL PROBLEMA
LAS CAUSAS QUE ORIGINAN EL PROBLEMA
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
16
SISTEMA DE MONITOREO INTERNO
c)
Árbol de Problemas - Árbol de Objetivos
La utilidad del árbol de problemas, no es sólo la identificación de la situación social que
justifica una determinada intervención y las posibles causas asociadas a la generación de
dicho problema. Esta técnica sirve, sobre todo, para transformar el árbol de problemas y
las relaciones causa - problema - efecto ahí identificadas, en alternativas para la
intervención, al convertir estas relaciones en imágenes positivas sobre la realidad en la que
se va a intervenir.
De esta forma, al momento de construirse la Matriz de Diseño Evaluable que servirá al
monitoreo del programa, la definición de propósito, objetivos y productos debiera verse
facilitada por la información que el equipo ha volcado en el Árbol de Problemas y, a partir
de éste, en el de objetivos. La definición de cada uno de los niveles de la Matriz, como se
verá más adelante, debe sustentarse en decisiones concordadas colectivamente por el
equipo de programa. Pero esto se puede ver enormemente facilitado por el ejercicio
realizado previamente a través del árbol de problemas.
Cuadro 4
Esquema del Árbol de Objetivos
LOS RESULTADOS DE LA INTERVENCIÓN
LOS OBJETIVOS
LAS PRINCIPALES ESTRATEGIAS DEL PROGRAMA
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
17
SISTEMA DE MONITOREO INTERNO
d)
Productos esperados de esta fase.
Esta etapa contempla productos en dos ámbitos:
3.
Desde el equipo
programático
 Equipo de trabajo que tiene una visión consensuada
sobre el diagnóstico que fundamenta la existencia y
orientaciones estratégicas del Programa.
Desde el Monitoreo
 Se elabora un diagnóstico base del Programa
actualizado de acuerdo a la experiencia de equipo de
programa.
Síntesis e Interpretación del Diseño
a)
¿Qué objetivo tiene realizar una síntesis e interpretación del diseño?
Esta etapa de trabajo tiene por objetivo realizar una reinterpretación del programa en su
conjunto, a nivel de diseño – cómo debería funcionar - y de la operación real – cómo
funciona en realidad -. Pretende consensuar una mirada común al equipo de trabajo, que
retrate sintéticamente la lógica procesual del programa.
A nivel del diseño del SMI, su definición constituye un producto fundamental para las
etapas posteriores, ya que se trata de la base que guiará la evaluación.
b)
¿En qué consiste la síntesis e interpretación del diseño?
En esta etapa, se trata de identificar con precisión los principales elementos del diseño
que son susceptibles de evaluar en el programa, de manera tal que permita relacionarlos
de manera sistemática y clarificar las priorizaciones que sean pertinentes.
El resumen reinterpretativo es producto de una reflexión basada en el diseño y la realidad
operativa del programa: establece una síntesis que permite comprenderlo de manera más
clarificadora e incorporar los logros esperados mediante una ejecución exitosa. Esto
significa que la definición del diseño marco de la evaluación no debe constituir una
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
18
SISTEMA DE MONITOREO INTERNO
autoconfirmación de lo que se realiza, sino que debe tender a identificar los vacíos e
inconsistencias del programa, para tener como resultado una ejecución perfeccionada del
mismo.
Lo anterior significa que esta síntesis debe ser un reflejo de todas aquellas expectativas y
exigencias que se incorporan en la ejecución del programa para el óptimo logro de los
resultados esperados. Su formulación debe incorporar las inquietudes evaluativas
tendientes al mejoramiento del diseño global y ejecución del programa.
La síntesis e interpretación del diseño, debe finalmente expresarse en una Matriz de
Diseño Evaluable (MDE). Ésta consiste en un instrumento que permite organizar
consistentemente, desde el momento mismo en que se reformula el diseño, en función de
la operación real del programa, las acciones que deberán desarrollarse para cumplir los
objetivos que el programa se ha propuesto, a través de la generación de determinados
productos, también definidos a priori.
Esta herramienta de diseño, opera con las definiciones básicas del Marco Lógico y sus
distintos componentes, por lo que sirve, a la vez, como una herramienta de diseño y de
evaluación, en la medida que se incorporan indicadores que sirven para tal efecto, siendo
precisamente éste su principal atributo.
La operatoria de este instrumento se apoya en los siguientes supuestos:
Aplica la lógica relacional de la técnica del árbol de problemas, en el
sentido que asume que los elementos de un programa y particularmente su
estrategia de intervención, guardan entre sí una relación ‘causa - efecto’
o ‘medio - fin’.
Hace referencia no sólo a los componentes internos del programa, sino al
entorno en el que su ejecución tendrá lugar. Por eso concede especial
importancia al tema de las condiciones o factores externos, los cuales a su
vez determinan la viabilidad real de las acciones, productos y objetivos
definidos en el programa.
c)
¿Para qué sirve la MDE?
La verificación de la consistencia interna de un diseño, vaciado en esta matriz, pretende,
ante todo, garantizar que el trabajo que los distintos actores vayan desarrollando, se
ajuste al propósito y objetivos del plan general de trabajo que todos comparten. Esto,
desde el punto de vista de la ejecución, en el entendido que la formulación de un diseño y
el resguardo de su coherencia interna, permitirá guiar la intervención de acuerdo a los
criterios y objetivos definidos en el diseño.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
19
SISTEMA DE MONITOREO INTERNO
Esto último, porque los diseños tienen una función directriz principal, en el sentido que
destacan los aspectos a los que se debe conceder prioridad, y definen las orientaciones
principales de la intervención, tanto desde el punto de vista de su estructuración interna
como de la correspondencia del programa y sus definiciones con el contexto institucional
en que se encuentra.
Sin embargo, la MDE sirve también para consolidar criterios en torno a la intervención,
pues no es extraño que distintos miembros de un equipo programático tengan definiciones
distintas y particulares sobre lo que hacen. Al reinterpretar el diseño de un programa, el
equipo que se encuentra a su cargo tiene la posibilidad de estandarizar las definiciones
que se encuentran en la base misma de la intervención.
Validar el diseño previamente (o ex-ante), utilizando esta técnica, implica organizar las
acciones que se van a ejecutar, señalando oportunamente las responsabilidades de cada
actor que intervendrá en el proceso, y las condiciones de las que dependerá la realización
satisfactoria de lo programado. Y validar el diseño de lo que se realiza (ex-dure) en esta
etapa de síntesis y reinterpretación, implica concordar criterios comunes que permitirán
formular indicadores y definir parámetros pertinentes de evaluación.
Aún cuando la metodología del Marco Lógico en su versión más ortodoxa, presenta diversos
problemas de aplicación, dada la complejidad y rigideces que su lógica trae aparejadas, su
utilización se justifica en la medida que es funcional a los requerimientos específicos de un
área de trabajo determinada. Así por ejemplo, esta metodología ha sido pensada
fundamentalmente para apoyar técnicamente el diseño de proyectos, pero otras
experiencias han extendido su ámbito de aplicación a la formulación de programas y
planes. Por lo mismo, la flexibilidad debe ser una característica esencial, permanente y
transversal a todas las etapas de operación del programa.
Desde el punto de vista técnico, la utilización del Marco Lógico, es decir, de la Matriz de
Diseño Evaluable, se justifica por lo siguiente:
Permite que en el diseño de un programa se planteen las preguntas fundamentales
que permitirán analizar sus debilidades y anticipar los nudos críticos que enfrentará
la implementación y la ejecución, aportando información clara y pertinente para la
coordinación de acciones y la toma oportuna de las decisiones relativas a cada una
de estas etapas.
Permite realizar un análisis sistemático y progresivo de los diferentes elementos que
determinarán la viabilidad de la intervención. Es decir, los planteamientos
contenidos en este instrumento, deben seguir una secuencia lógica de mayor a menor
generalidad, de manera que se llegue efectivamente a la concreción de dichas
acciones. Será precisamente el monitoreo y evaluación de éstas, lo que permitirá
determinar el estado de avance en el cumplimiento del propósito, objetivos y
productos establecidos en el diseño.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
20
SISTEMA DE MONITOREO INTERNO
Permite mejorar la fase de planificación, destacando las relaciones existentes entre
los elementos propios de cada estrategia. En tanto instrumento de diseño, gestión y
evaluación, la estructura de la MDE permite describir los factores externos de los
programas de manera operativa, con indicadores precisos que pueden facilitar su
seguimiento, para monitorear procesos de implementación o estados de avance en su
ejecución. Esto implica asignar una alta valoración a la significación de los factores
externos, a fin de apreciar las posibilidades de éxito o fracaso de las estrategias
sugeridas por el programa.
Facilita la buena comunicación y el entendimiento entre quienes están participando
en el diseño y en la gestión de las acciones definidas en el diseño, partiendo de la
base de un lenguaje común, provisto por el marco general de la planificación.
Es decir, no sólo es una herramienta que apoya la formulación de la intervención sino
también un instrumento en el que debiera apoyarse la ejecución, aspecto
fundamental a tener en cuenta si se considera que la operacionalización efectiva de
un diseño, depende del nivel de especificidad que éstos puedan tener para la
concreción de sus objetivos.
Permite recoger de manera precisa aquella información relevante para la evaluación
del proceso; esto, porque al hacerse el monitoreo del programa, lo que se está
haciendo, en rigor, es evaluar cada uno de sus componentes, esto es, todas aquellas
acciones que se realizan en la intervención. Además de las ventajas que esto tiene
desde el punto de vista de la evaluación, se pueden anticipar las necesidades de
información que se requerirán para que ésta se lleve a cabo, identificando las
fuentes de las que depende su disponibilidad oportuna y, de ser necesario, la
instalación de un sistema de registro adecuado que permita recoger esa información
y ponerla a disposición de los ejecutores en cualquier momento del proceso.
Permite sistematizar el sentido del proceso social presente en el programa, para
trabajar sobre la base de una marco común. Esto se logra porque esta herramienta
facilita la definición precisa del diseño, cuidando la coherencia entre cada
elemento que la compone y el conjunto de dimensiones del diseño. De esta forma,
cada celda de la Matriz de Diseño Evaluable debe ser elaborada e interpretada de
acuerdo a la lógica global del conjunto que da cuenta de la intervención.
Dado que la MDE es el reflejo del proceso social que involucra el programa, no
constituye un producto estático e inalterable. Como herramienta de análisis, debe
permitir sintetizar la realidad actualizada del programa, y por tanto debe ser
definida en función de sus ciclos operativos.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
21
SISTEMA DE MONITOREO INTERNO
d)
¿Cómo se desarrolla la MDE?
La Matriz de Diseño Evaluable es un cuadro de doble entrada que incorpora la síntesis del
diseño a nivel descriptivo y explicita las condiciones que se requieren para el desempeño
exitoso del programa.
Es decir, se trata de un formato tipo en el que se sistematizan y consolidan los elementos
más importantes del diseño de un programa.
Cuadro 5
Esquema de la Matriz de Diseño Evaluable
Misión Institucional
Descripción
Condiciones
Propósito
Objetivos Específicos
Productos
Actividades
Población Objetivo
Agentes Facilitadores
En la construcción de la MDE se realizan los siguientes pasos:
1)
2)
3)
4)
Llenado de la columna de descripción
Llenado de columna de condiciones
Verificación conceptual
Revisión de su lógica interna
e)
Definición de componentes de la Matriz de Diseño Evaluable
En la columna descripción se debe expresar de manera sintética el contenido de los
conceptos enunciados en la primera columna para cada fila, con énfasis en los aspectos
más relevantes de cada uno de ellos.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
22
SISTEMA DE MONITOREO INTERNO
Los conceptos involucrados en cada fila son:
Misión institucional:
Es el marco general que orienta la acción del programa. Expresa la relación que debe
existir entre el programa y el objetivo institucional en que éste se desarrolla; debe
explicitar una relación coherente con el ámbito de intervención de la institución de la cual
forma parte el programa.
Es claro que el programa por sí mismo no puede lograr esa misión institucional, por lo
tanto, tiene que referirse siempre a condiciones que sobrepasan ampliamente las
posibilidades de acción del programa. No se trata de una mirada optimista de su operación
(lo que el programa quiere lograr), sino de espacios que van más allá de la intervención
directa de éste.
La idea es, por tanto, vincular este gran objetivo a las misiones institucionales de cada
repartición de la cual dependa jerárquicamente el programa, como una manera de
posicionarlo en una operación coordinada y coherente.
A pesar de que este nivel de la matriz queda fuera de la evaluación o monitoreo, porque el
ámbito ahí definido excede las posibilidades reales del programa de alcanzar ese macro
objetivo, es necesario tenerlo siempre a la vista pues otorga un marco de coherencia
general para la formulación y comprensión de los demás niveles de la intervención.
Propósito:
Se le define como el objetivo general al cual contribuye el programa a largo plazo; es la
situación que se espera alcanzar como consecuencia final de la intervención. Se trata, en
definitiva, del efecto neto que el programa quiere lograr con la implementación de la
estrategia o las acciones diseñadas.
Está siempre referido a las condiciones de los sujetos de intervención (la población
objetivo) y nunca debe señalarse en torno a las acciones de los ejecutores del programa.
No puede referirse a ningún tipo de actividad del programa, sino directamente al logro
de ella. Por lo tanto el propósito debe incorporar:
 El para qué se realizan las actividades del programa
 El para quién, haciendo referencia al grupo objetivo que se quiere atender.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
23
SISTEMA DE MONITOREO INTERNO
Objetivos Específicos:
Se le define como la expresión más operacional del propósito u objetivo general.
Corresponde al efecto inmediato de las acciones o actividades realizadas. Es el nivel más
amplio en el que se pueden observar los resultados directamente atribuibles a la
intervención realizada. Su especificación debe guardar exacta relación con el momento en
que el sujeto de intervención egresa del programa.
Al igual que el propósito, los objetivos específicos deben considerar:
El para qué‚ que es más detallado, específico o desagregado, y en un tiempo más
inmediato que el propósito;
El qué, referido al efecto generado en los sujetos de intervención recién
egresados del programa.
Productos:
Es el logro inmediato de las actividades que se planifican para dar cumplimiento a los
objetivos del programa. Por lo tanto es lo inmediatamente observable una vez que las
actividades del programa han concluido.
Se encuentra en un momento intermedio entre las actividades y los objetivos específicos.
Sin embargo no debe entenderse como la acción realizada, sino como el logro de esa
acción (la actividad + un plus). Se le puede también llamar “resultado inmediato”, pero es
preferible mantener su distinción por la utilización de este concepto en términos
evaluativos. No considera en sí mismo un “valor positivo” nítido para el programa; si éste
se limitase al nivel de los productos, sus efectos no le aportarían nada sustantivo a la
situación diagnosticada inicialmente.
Actividades:
Es un plan operativo de intervención, que en lo más específico o concreto señala las
acciones y programaciones que se realizan para llevar a cabo la estrategia de intervención
elegida para obtener los productos.
Expresa el plan de trabajo (el cómo) para lograr los productos, los objetivos específicos, el
propósito y la contribución del programa a la misión institucional.
Población Objetivo:
Son aquellas personas hacia las cuales se dirige el accionar del programa. Es la población
afectada por la situación diagnóstica que justifica la intervención.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
24
SISTEMA DE MONITOREO INTERNO
A fin de facilitar su delimitación, es importante considerar la cobertura y la focalización,
de manera de definir lo más específicamente posible a los usuarios directos del programa.
Conviene precisarlos para asegurar un análisis de consistencia del programa.
La consideración de ambos criterios, permite verificar la pertinencia para cada actividad
y/o procedimiento utilizado. Cada actividad puede tener una población objetivo
específica, y las áreas de trabajo o componentes pueden abarcar poblaciones o grupos
distintos en su naturaleza, paralelos y complementarios para efectos del Programa.
Actores Facilitadores:
Debido a que muchas veces los programas sociales tienen modelos de intervención muy
complejos, necesitan un número considerable de actores que facilitan la ejecución del
programa. De esta forma, los equipos planifican actividades destinadas a estos actores, por
lo que es necesaria su consideración explícita, ya que el logro de los objetivos del
programa pasa también por su participación.
Las Condiciones o Factores Externos:
Se refieren a todos los factores o variables que puedan influir en el logro de las
actividades planificadas por el programa y que son requisito para obtener los resultados
que la intervención espera generar. Las condiciones son situaciones, eventos o decisiones
que son necesarios para el logro del programa (de acuerdo a cada nivel de la matriz). Éstos
pueden ser internos a los programas, es decir propios de la gestión, o bien elementos
externos a ellos y que tienen un alto grado de influencia sobre el desarrollo de sus
acciones.
La importancia de las condiciones, es que su revisión permite determinar la viabilidad de
la intervención, tal y como ha sido diseñada. Por lo mismo, la verificación de la coherencia
interna de la matriz opera con una lógica progresiva inversa, es decir, parte por la revisión
de las condiciones vinculadas a los agentes facilitadores y la población objetivo, para
terminar con la revisión de las condiciones vinculadas al propósito.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
25
SISTEMA DE MONITOREO INTERNO
Cuadro 6
El Diseño y sus Condiciones
Propósito
Objetivos específicos
Productos
CONDICIONES
Actividades
Población Objetivo
f)
Verificación de los contenidos de la matriz
Verificación Conceptual
La coherencia conceptual de MDE, es un procedimiento que tiene por objeto apreciar el
grado de asimilación de cada uno de los conceptos que considera la Matriz y verificar la
correspondencia que existe entre los contenidos del programa y cada uno de dichos
conceptos.
Se trata de constatar que al realizar el ejercicio de llenado de la MDE, se ha cuidado de
incorporar los conceptos a los niveles de las filas ya descritos. Más allá de las
especificidades conceptuales que esto involucra, conviene tener presente que el ejercicio
de verificación conceptual es un paso imprescindible en el proceso de construcción de un
sistema de monitoreo interno pues se trata de determinar la pertinencia de los contenidos
que dan cuenta de las acciones programáticas que son objeto de análisis.
En esta fase corresponde verificar si la hipótesis de la intervención y los supuestos que
están en la base del diseño, han sido correctamente reflejados en los componentes que
dan cuenta de la intervención y que son los elementos que, en definitiva, conformarán el
material de base para el planteamiento de indicadores que harán posible el seguimiento.
En este proceso, debe revisarse cada celdilla de la columna de descripción, cautelando
que el contenido expresado en ella sea suficiente como par dar cuenta de los
componentes del diseño destacados a ese nivel.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
26
SISTEMA DE MONITOREO INTERNO
Verificación Interna
Una vez que el contenido de la MDE esté revisado en su coherencia conceptual, se
comienza a revisar la lógica contenida en la columna descripción, como forma de
relacionar sistemáticamente los distintos casilleros de la MDE. La verificación interna de
la MDE es, por lo tanto, un procedimiento analítico que consiste en comprobar si existe
una relación de mutua implicancia entre cada nivel respecto del que le antecede. Para
esto es imprescindible tener a la vista las definiciones correspondientes a cada
componente de la matriz, esto es, misión, propósito, objetivos específicos, productos,
actividades, agentes facilitadores, población objetivo y condiciones.
Verificar la lógica de la columna descripción significa visualizar los niveles de coherencia
entre los contenidos de cada celdilla en:
 Su consistencia mutua (como un todo);
 La suficiencia de los aspectos considerados.
El procedimiento de verificación interna debe tener en cuenta los siguientes aspectos:
 Consistencia:
Es una propiedad interna del diseño y la forma en que se organizan sus elementos
constitutivos. La verificación de la consistencia busca comprobar que cada componente
de la matriz aparezca claramente conectado al resto de manera coherente y con una
lógica analítica común.
El chequeo se realiza con la revisión vertical y horizontal de los componentes de la matriz.
Es clave por lo tanto la consideración de las condiciones, sean internas o externas,
identificadas en la misma MDE. En la medida que existan condiciones claves, no
incorporadas, ello le restará viabilidad al diseño.
Se debe cuidar que no existan vacíos que puedan debilitar lo diseñado. No deben existir
elementos extraños, raros o de difícil conexión con el conjunto. El Programa sólo podrá
incorporar en su diseño aquellos vacíos claves (necesarios y viables); de otro modo debe
acotar su intervención.
Encontramos problemas de inconsistencia cuando, por ejemplo, los objetivos específicos
rebasan el límite que marca el propósito; algunas actividades que describimos son
condición de otras; el cumplimiento de las condiciones depende del programa; los
productos son más ambiciosos que los objetivos específicos o más específicos que las
actividades; etcétera.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
27
SISTEMA DE MONITOREO INTERNO
En todos estos casos es necesario revisar la MDE y reubicar o reformular las dos casillas que
dan origen a la discordancia; este es un procedimiento sencillo porque el solo diagnóstico
de la falta de consistencia orienta fuertemente la solución.
 Coherencia entre el programa y el problema:
Se trata de un análisis específico de consistencia que consiste en verificar la relación
proporcional entre el programa y el problema social que aborda. Es la vinculación del
programa como un todo con el medio social externo donde opera.
En este análisis no se debe observar desnivelación o asimetría entre el programa y el
problema, por lo tanto:
 Cuando el diseño de programa es sobrepasado por el problema, es conveniente acotar
más el problema a atender.
 Si es el programa el que excede al problema, éste debe replantearse cuando el
programa puede lograr más efecto.
 Pertinencia:
 Se refiere al grado de ajuste entre la intervención diseñada y las condiciones sociales a
intervenir. Guarda relación con la consideración de las características peculiares de la
Población Objetivo y su contexto.
Para comprobar el grado de pertinencia en el diseño se debe revisar:
 Que el programa no integre formas, características y/o procedimientos que se
contrapongan a los modos habituales de comportamientos, creencias y posturas de
ninguno de los sujetos participantes en la operación.
 Que no existan aspectos sobrantes o inadecuados entre un nivel y otro.
 Suficiencia:
Comprueba que se han considerado los elementos necesarios y suficientes en el diseño
operativo del programa para ir generando los efectos esperados en cada nivel de la matriz.
La verificación de las condiciones internas y externas de la matriz permite probar la
suficiencia. Se debe pretender trabajar sólo con las condiciones que tengan alguna
probabilidad de interferir o ayudar a que el programa alcance sus pretensiones.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
28
SISTEMA DE MONITOREO INTERNO
En síntesis, la verificación de la lógica interna apunta a revisar los niveles de coherencia
entre los contenidos de cada fila, la consistencia de ellos como un todo y la suficiencia de
los aspectos considerados.
g)
¿Qué productos se esperan de esta etapa?
Se espera que al terminar esta etapa de trabajo, se obtengan productos en dos ámbitos:
Desde el equipo
programático
 Equipos programáticos que puedan reconocer los elementos
de diseño que son pertinentes y necesarios a un sistema de
evaluación de proceso.
 Asimismo, que puedan analizar y ordenar el diseño de
acuerdo a un procedimiento lógico y funcional a la mirada
evaluativa, distinguiendo sus componentes según la relación
e importancia según los resultados esperados del Programa.
Desde el Monitoreo
 Visión consensuada del programa.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
29
SISTEMA DE MONITOREO INTERNO
4.
Indicadores y Criterios de Evaluación
a)
¿Qué objetivo tiene la identificación de indicadores y la priorización
de criterios de evaluación?
Esta etapa del trabajo tiene por objetivo que los equipos desarrollen capacidades para
identificar y actualizar indicadores sobre la base de las necesidades y criterios de
evaluación útiles a los programas y de acuerdo a los requerimientos de la política social.
Los insumos de esta etapa de trabajo son fundamentales, debido a que la información que
alimenta el SMI son los indicadores.
b)
¿En qué consiste la identificación de indicadores en orientación con los
criterios de evaluación?
En la metodología propuesta por el SMI, los equipos involucrados en el proceso de diseño
de un sistema de monitoreo deben ir decantando en aproximaciones sucesivas, la
comprensión, uso e identificación de los indicadores. En el SMI los indicadores son una
adecuada síntesis entre la experiencia, las necesidades, las utilidades y la viabilidad con
las que el Programa enfrenta los desafíos operativos del presente y del futuro. Este
proceso de carácter dinámico contempla:
Una primera fase de “acercamiento” en la que se identifican los indicadores ya
existentes utilizados por el programa (si los hay) para realizar seguimiento y/o control
a su gestión. La idea es poder facilitar el trabajo de identificación y rescatar de estos
indicadores cotidianos y “casuales”, aquellos que puedan constituirse en indicadores
evaluativos con mayores grados de objetividad y consistencia metodológica.
Una segunda fase que considera la identificación de criterios de evaluación4, de
acuerdo a las prioridades del programa y los énfasis que requiere la política social. Los
criterios no constituyen una determinación; más bien son las preocupaciones y énfasis
que los programas quieren poner de relieve para fines evaluativos y que serán
importantes para la definición de indicadores. En esta fase se recomienda utilizar
aquellos criterios que sean coherentes con las preocupaciones y necesidades del
Cabe aclarar que el momento en que se identifiquen y apliquen los criterios de evaluación, puede
ser previo a la elaboración de indicadores, de forma tal que éstos sean formulados en relación a ellos.
O bien, puede ser ex post al planteamiento de los indicadores, definidos en relación con el tipo de
información que aportan. En el primer caso, el programa debiera priorizar sus necesidades de
información y estimar, para cada nivelo de la MDE, qué criterio evaluativo se quiere privilegiar en el
seguimiento, para, a partir de eso, diseñar los indicadores. En el segundo caso, los indicadores ya
definidos, serán clasificados por los criterios de evaluación, dependiendo de la información que
aportarán en el proceso.
4
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
30
SISTEMA DE MONITOREO INTERNO
programa y de la institución de la cual forma parte.
La fase de elaboración de indicadores propiamente tal, vincula los elementos
definidos en la síntesis reinterpetativa del diseño (MDE) con los criterios de evaluación.
El proceso de identificación de indicadores en la metodología SMI puede graficarse como
sigue:
Cuadro 7
Proceso de identificación de indicadores
Aproximaciones sucesivas
Identificación de
alternativas
Priorización
Elaboración
Identificación de indicadores de
uso cotidiano (sistemas de
control y seguimiento)
Criterios
evaluativos
Identificación de indicadores
en relación
a cada nivel de la MDE
Experiencia
Desafíos
Utilidad y viabilidad
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
31
SISTEMA DE MONITOREO INTERNO
c)
¿Qué es un indicador en el SMI?
En la evaluación de la ejecución de los programas sociales, consideramos como indicador a
un aspecto puntual de un proceso que muestra asertivamente una situación más amplia y
compleja. Es por lo mismo:
 Sólo una fracción de “la variable” de la cual habla
 Un resultado de la operacionalización de tal variable
 Un detalle del proceso, algo concreto que tiene, en principio, siempre la posibilidad de
expresarse de otro modo alternativo.
Estrictamente, respecto al uso de indicadores en procesos evaluativos vinculados a la
gestión, la definición anterior adquiere una condición adicional: Es siempre un aspecto
detallado de una situación mayor y compleja, que relaciona al menos dos condiciones del
proceso programático y tiene la virtud de ser fiel representante de la situación que
interesa.
En consecuencia, los indicadores son definiciones operacionales que especifican cuantitativa
y cualitativamente tanto las características y magnitud de un determinado problema, como
el desempeño y resultados que se espera lograr a partir de una intervención. Señalan qué
observar y qué medir, haciendo referencia al grupo de interés o beneficiario (¿quiénes?), a
la cualidad que se observa o se mide (¿qué?), a la cuantificación de las cualidades
observadas (¿cuántos?), al tiempo o momento de observación (¿cuándo?) y al lugar (¿dónde?).
Definido así, el indicador debe ser el aspecto más significativo del proceso del que se
quiere describir y por lo tanto, debe ser identificado en función de la representatividad y
funcionalidad para el aspecto del programa que se va a evaluar.
Para determinar un indicador es fundamental que su formulación dé cuenta de las siguientes
dimensiones:
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
32
SISTEMA DE MONITOREO INTERNO
DIMENSIÓN
DESCRIPCIÓN
Predefine el aspecto o criterio que será medido con ese indicador
Qué
Cómo
Indica la modalidad o forma que el indicador debiera mostrar (las
distintas manifestaciones del indicador)
Cuándo
Se refiere a la necesidad de determinar el momento en que ese
indicador tiene validez o existencia.
Dónde
Considera dos aspectos: el sujeto u objeto que lo vivencia y el
lugar donde corresponde verificarlo.
Las propiedades que hacen de un indicador una herramienta técnicamente valiosa son:
Representatividad
Que sean un buen reflejo de la situación de fondo
que pretende medir
Pertinencia
Que sean específicos a cada situación que se
quiere medir.
Respetando una dependencia
lógica con lo que mide
Objetividad
Que puedan ser interpretados por distintas
personas de un modo similar y coherente
Verificabilidad
Que tengan una alta viabilidad de ser observados
y/o registrados.
Oportunidad
Que sea posible y expedito obtener el dato,
cuando se requiere la información
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
33
SISTEMA DE MONITOREO INTERNO
Sensibilidad
Confiabilidad
Que muestren cambios parciales y moderados en
el tiempo, sin requerir sólo cambios drásticos
para ser registrados
Que sus datos tengan la calidad necesaria para
permitir confianza en su validez y pertinencia en
su interpretación
El grado de cumplimiento del conjunto de las cualidades antes descritas, permite la
calificación de “indicador válido”. Por lo mismo, la formulación y revisión de los indicadores
que servirán de base al monitoreo de un programa, debe cautelar que éstos reúnan las
características recién descritas.
d)
Criterios de evaluación
La priorización de criterios de evaluación constituye un filtro que permite jerarquizar las
necesidades y preocupaciones del programa en torno a su ejecución. En la propuesta SMI,
los criterios de evaluación deben expresar la preocupación en términos operativos y de
diseño del programa, cuidando la coherencia con los énfasis de la política social.
Lo importante en esta priorización es explicitar sobre la base de las necesidades
evaluativas, qué aspectos son centrales para la evaluación que se está realizando. Estos
aspectos deben responder a necesidades internas de la ejecución y a los requerimientos que
se le han exigido al programa, a nivel de la institución de la cual forma parte y como parte
del diálogo establecido con los agentes externos encargados de la evaluación.
Los criterios de evaluación debieran ser discutidos de manera previa a la definición de los
indicadores5 específicos del SMI, de modo que sirvan como marco en la identificación e
interpretación de la información obtenida sobre la base de aquellos indicadores que den
mejor cuenta de lo que se intenta medir o comprobar.
Si los criterios inicialmente priorizados son excesivos, se puede determinar algunos para un
nivel de la matriz (o un momento del proceso) distinto a los otros niveles. De este modo es
posible incluir más criterios sin abultar tanto el SMI.
5
Sin embargo también es posible discutir criterios de evaluación de manera ex post, a fin de caracterizar sobre
esa base el tipo de información que proporcionará el sistema que se ha diseñado. Ver Nota a Pie Nº 4.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
34
SISTEMA DE MONITOREO INTERNO
En la propuesta SMI, la priorización de criterios cumple la siguiente función:
Cuadro 8
Priorización de Criterios de Evaluación
Criterio
Objetivos
La preocupación
Selección del
Indicador
Contenidos
del
programa
La variable
De esta forma, el indicador es la operacionalización de una variable que es mediatizada
por una priorización de criterios que recogen las preocupaciones evaluativas del programa.
Para los programas sociales, los criterios más útiles pueden ser los siguientes:
Eficacia
La eficacia constituye el criterio eje de una evaluación y apunta a verificar los efectos de la
acción tendientes a modificar la situación social inicialmente diagnosticada. Se refiere a
aquello que justifica la intervención, es decir para lo que se hace el programa y cuál es el
sentido social de fondo que se pretende abordar.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
35
SISTEMA DE MONITOREO INTERNO
EFICACIA
Son indicadores de eficacia aquellos que dan cuenta
del nivel de logro alcanzado por el Programa en
cuanto a generar los efectos de fondo que modifican
la situación diagnóstica original.
En rigor, este criterio se aplica una vez que la acción programática ha finalizado. Para
efectos de evaluaciones de procesos, su aplicación debe incorporarse siempre al final de
cada ciclo de intervención, pero puede también considerar indicadores indirectos que
durante la implementación den señas de las posibilidades de la intervención de alcanzar los
logros esperados.
Eficiencia
El criterio de eficiencia puede ser considerado de una manera mucho más amplia e integral
que lo que tradicionalmente se piensa6. La idea central es verificar en qué sentido la
intervención realizada por un Programa, muestra evidencias de rentabilidad social7, tanto en
sus procedimientos como en sus logros.
El Monitoreo puede observar distintas modalidades de eficiencia: una de ellas es la de los
costos, a través de una comparación temporal en el mismo Programa (en qué medida se logran
los mismos efectos a menor costo). En algunas ocasiones se pueden analizar los costos en
referencia a otros Programas pertinentes (se trata de aportar aprendizajes para mejorar el
rendimiento de los recursos). Los costos también pueden ser analizados desde una lógica
integral, interna al Programa, por ejemplo el peso relativo de distintos componentes y los
costos que cada uno considera respecto a la situación general.
EFICIENCIA
Son indicadores de eficiencia de un
programa aquellos que miden la relación
existente entre los recursos, insumos, o
inversiones y el producto final o cantidad
de beneficios, servicios o atenciones
prestadas.
Relaciona
el
esfuerzo
utilizado y el resultado logrado.
6
Se suele entender la eficiencia en su relación con una lógica estrictamente administrativa, que se restringe al
uso racional de los recursos financieros.
7 En este caso la rentabilidad social aparece relacionada con la medición del éxito de la acción programática.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
36
SISTEMA DE MONITOREO INTERNO
La eficiencia es un criterio privilegiado en la gestión. Pero no debe restringirse sólo a
recursos financieros o recursos en general, sino considerar la racionalidad en la organización
desde el punto de vista interno del programa, externo de la política social y de los
destinatarios finales de aquel. Así, las tareas, los procedimientos y los tiempos involucrados
son un factor clave en el criterio de eficiencia. Del mismo modo, los aspectos financieros
pueden facilitar, en el seguimiento, un aprendizaje y ajuste a la operación, cuando aún es
modificable.
Focalización
Se relaciona con la capacidad que tiene un Programa de llegar efectivamente a los sujetos
elegidos para la intervención. Esta medición es fundamentalmente cualitativa. La focalización
puede medir grados o niveles de efectividad del servicio para el grupo elegido o priorizado.
FOCALIZACIÓN
Son indicadores de focalización aquellos que
permiten determinar en qué medida las
acciones, servicios y beneficios prestados por el
programa, llegaron efectivamente a su población
objetivo
Estos indicadores permiten conocer los grados de correspondencia y efectividad del servicio
para con el grupo elegido o priorizado (del total de sujetos incorporados en el programa,
con cuáles se logró un éxito total). También se pueden referir a la distribución territorial
del programa, como a la distribución efectiva de la atención entre distintos subgrupos de la
población objetivo.
En resumen, la focalización se refiere en primer lugar a si la población objetivo coincide con
los usuarios reales, lo que corresponde a un aspecto más administrativo. También considera
características y distribuciones de la población atendida y el reconocimiento de la
participación de subgrupos objetivos según niveles de prioridad y urgencia, como la
consideración de los procedimientos que están detrás de estas situaciones. En general, este
criterio es uno de los énfasis en la política social, en la actualidad, incluso para Programas
que se definan a sí mismos como de cobertura amplia o autofocalizados.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
37
SISTEMA DE MONITOREO INTERNO
Cobertura
La cobertura es la expresión numérica de la focalización y por lo mismo están estrechamente
vinculadas. Siempre debe referirse a cuántos usuarios se llega efectivamente con el
Programa. También considera el factor tiempo-espacio, desagregando la cifra global de
acuerdo a intereses particulares.
COBERTURA
Son indicadores de cobertura aquellos
que permiten saber a cuántos usuarios
se llega, considerando también en ello
el factor tiempo y espacio.
Generalmente se entiende como un criterio independiente de la focalización, sin embargo
ambos refieren a la población objetivo o destinatarios y la información que entregan es del
todo complementaria.
Riesgo
El riesgo corresponde a la necesidad de la identificación oportuna de las dificultades que se
pueden producir en el proceso de ejecución de las acciones. Permite la identificación de
indicios de fracaso o debilitamiento en la acción o producto obtenido. Es una señal de alerta,
un indicio de peligro, que facilita el reforzamiento de la intervención, o cualquier tipo de
decisión extraordinaria, para asegurar el logro del resultado.
RIESGO
Son indicadores de riesgo aquellos que permiten
detectar tempranamente señales de alarma o
preocupación, respecto al desarrollo de las
acciones programadas.
Estos indicadores debieran facilitar el reforzamiento oportuno y rápido de la intervención
de manera de asegurar el logro o mantención del resultado final. Considera la
incorporación de correcciones o medidas de excepción. Es un criterio mayormente útil en
el monitoreo, pero puede aplicarse a otras modalidades de evaluación de proceso.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
38
SISTEMA DE MONITOREO INTERNO
Valoración del Usuario
Mide el reconocimiento que el usuario o población objetivo le da al servicio o acción del
Programa. Describe en qué medida lo que se hace corresponde a las necesidades sentidas o
expectativas de los “beneficiados”, o si sus aportes son valorados por quienes los reciben. Da
cuenta de la revalorización del usuario como cliente de los Programas Públicos. De este
modo, no sólo importa si el usuario valora el resultado, sino también el conocer su opinión
sobre sus procedimientos, a la vez que el sentido de esa valoración.
VALORACIÓN
DEL USUARIO
Son indicadores de valoración del usuario
aquellos que señalan la receptividad e
importancia que el destinatario le asigna al
servicio, beneficio o acción que el programa
desarrolla para él.
Calidad
Este criterio resulta muy útil para corregir o perfeccionar la intervención. Corresponde a un
detalle fino de todo lo que el programa hace y permite entender de manera amplia y
sistémica lo que muestran los demás indicadores. En el monitoreo se aplica principalmente
a las actividades, procedimientos y agentes participantes, de manera de reforzar la idea
evaluativa del “cómo se hace”, en desmedro de “lo que se hace”.
CALIDAD
Son indicadores de calidad aquellos que
describen el contenido cualitativo de los
componentes y actividades del Programa,
enfatizando los parámetros técnicos en la
medición.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
39
SISTEMA DE MONITOREO INTERNO
Pertinencia Social
Este criterio intenta perfeccionar los modos operativos de los programas de acuerdo a las
condiciones de quienes deben participar en su implementación. Es especialmente útil en las
intervenciones sociales más recientes y que pueden tener estrategias innovadoras. Destaca
como refuerzo al criterio de eficiencia.
PERTINENCIA
SOCIAL
e)
Son indicadores de pertinencia social aquellos que
señalan el nivel de coherencia y consideración de
la población objetivo y las condiciones existentes
en la estrategia programática elegida.
¿Qué productos se esperan de esta etapa de trabajo?
Desde el equipo
programático
 Equipos capaces de identificar y actualizar los indicadores
sobre la base de sus necesidades de información.
Desde el Monitoreo
 Set de indicadores priorizados para recoger información
evaluativa del programa.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
40
SISTEMA DE MONITOREO INTERNO
5.
Los Indicadores y su Verificación
a)
¿Qué objetivo tiene esta etapa de trabajo en el SMI?
Esta etapa tiene por objetivo proveer a los equipos de un SMI con los elementos
necesarios para establecer la viabilidad práctica de un indicador y organizarlos
operativamente en el momento de implementación del Sistema.
b)
¿En qué consiste la verificación de indicadores?
Para asegurar una efectiva incorporación de indicadores en cualquier modalidad de
evaluación, es imprescindible analizar sus posibilidades de verificación real. La
formulación de un indicador, etapa clave en el proceso evaluativo, es un paso necesario
pero no suficiente para su uso. Siempre existen más y mejores alternativas para medir
algunos aspectos de interés, del mismo modo que no todos los indicadores tienen la
posibilidad de ser llevados a la práctica.
Así como en el caso de la definición de indicadores se parte de la experiencia y
conocimiento de la práctica para detectar qué elementos son válidos o no para ser
incorporados en este proceso, del mismo modo, en su operación es imprescindible
utilizar un filtro de viabilidad y pertinencia que delimite cuándo, por quiénes y dónde se
pondrá en operación cada uno de los indicadores.
Una vez que se ha analizado la posibilidad de aplicación de un indicador, es necesario
determinar las condiciones que parecen más pertinentes para efectuar esa verificación.
Esto se hace más evidente en las prácticas evaluativas de proceso, especialmente
aquellas referidas al monitoreo o seguimiento interno vinculados a la gestión. En este
ámbito, se requiere precisar especialmente cada una de las condiciones de verificación
que hacen a un indicador válido, pertinente y útil. Al mismo tiempo, eso permite
ordenar las tareas y asegurar una adecuada organización entre la operación y el
seguimiento que permita un refuerzo mutuo.
c)
¿Cómo se desarrolla la verificación de los indicadores?
En el SMI se trabaja sobre la base de la Malla de Verificación, que es una propuesta de
ordenamiento para consignar todas las especificaciones necesarias para la verificación
y uso de los indicadores seleccionados en el monitoreo de cada programa.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
41
SISTEMA DE MONITOREO INTERNO
Los conceptos contenidos en la Malla de Verificación son aquellos que parecen centrales
tanto en la definición técnica de los indicadores, como en las características de los
programas sociales. En sentido estricto, están referidos a modalidades de monitoreo,
pero pueden también, en algunos casos, ser aplicados a otros tipos de evaluación. La
selección definitiva de los aspectos incorporados le corresponde a cada Programa de
acuerdo a las particularidades que presente en su operación o modo de seguimiento.
Los aspectos que deben ser considerados en la malla de verificación de indicadores son
los siguientes:
Nivel: Establece la línea en la matriz programática a la que le corresponde el indicador.
Permite situar el indicador en una lógica de contexto, señalando si hace referencia al
objetivo general, objetivos específicos, productos o actividades. Por lo mismo ubica al
indicador en un orden temporal y de importancia de acuerdo a cada programa.
Variable: Señala estrictamente lo que se desea medir. Se relaciona con la respectiva
descripción en el Marco Lógico, pero es a su vez más concreto y clarificador respecto al
indicador. Puede utilizarse opcionalmente cuando los indicadores no sean tan directos y
claros respecto al aspecto a evaluar. Si el indicador corresponde a una actividad
específica, aclara qué aspecto de esa actividad está representada por el indicador (el
grado de aceptación de los usuarios, por ejemplo)
Criterio de evaluación: Son las dimensiones de la intervención que pondera cada
indicador, de acuerdo a las alternativas entregadas. En general se debiera establecer un
criterio como dominante, pero puede también considerar complementariamente otros.
Eso corresponde a un análisis de quienes manejan detalladamente la lógica de un
programa.
Momento de verificación: Establece el momento en que se efectúa la verificación,
puede estar referida a momentos específicos del año o a cualquier unidad temporal que
se aplique adecuadamente y sea coherente con la operación del Programa (semestre,
mes, tiempo de antigüedad, etc.). Es importante que al definir el momento se
consideren no sólo las características del indicador, sino además un factor de realismo,
de manera que sea susceptible de ser registrado y observado empíricamente.
Periodicidad: Cada cuánto tiempo parece pertinente y realista repetir la verificación.
Determina el rango en el cual el indicador es representativo. Al igual que en el aspecto
anterior éste debe ser considerado de manera realista, atendiendo a las posibilidades
reales y a la frecuencia que verdaderamente entregue aportes como proceso y
actualización.
Lo que se evalúa: Se refiere a la unidad, proceso o participante (el elemento del
programa) que se está evaluando realmente.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
42
SISTEMA DE MONITOREO INTERNO
Parámetro base: Es la señal comparativa interna o técnica que permite construir el
indicador en la realidad. Se entiende como la línea base sobre la cual se construye su
cálculo. Corresponde a una información estable en el dimensionamiento del indicador.
Todo indicador referido a series de unidades debe considerar este aspecto.
Parámetro evaluativo: Se establece como el rango orientador que permita analizar el
proceso de cada Programa y asignarle importancia a la información recogida con el
indicador. La información específica de un indicador verificado debe ser comparada con
otro elemento para poder emitir un juicio, ya que en sí mismo el indicador no expresa
opinión. Es la magnitud que se usa para determinar la fuerza y el peso relativo de cada
indicador verificado.
Si no existen antecedentes muy confiables, parece recomendable trabajar con un
parámetro histórico dentro de cada programa. Es en definitiva el estándar para el
indicador, pero es importante ser cauteloso en la aplicación de estándares genéricos o
exógenos, puesto que pueden distorsionar la evaluación. En general, es difícil hacer
coincidir las características y condiciones programáticas particulares, lo que establece
unidades de comparación complejas.
Lo que se observa: Corresponde a la unidad, persona, situación o registro que debe
observarse para verificar el indicador. Es, en definitiva, la fuente primaria de donde se
obtiene la información. Puede ser la misma unidad programática de “la que se habla - lo
que se evalúa”, mas no necesariamente.
Observador: Es quien observa el aspecto anterior. Aquí se identifica al integrante del
Programa que debe efectuar la constatación concreta del indicador, a quien se le asigna
la tarea.
Responsable: Es el miembro del programa que tiene la responsabilidad de que la
verificación se realice en los momentos y con la periodicidad que corresponda. Debiera
administrar la información específica en el programa (registrarla, enviarla, ingresarla a
un sistema de información, etc.). Cabe señalar que observador y responsable pueden
coincidir, pero esto no ocurre cuando corresponde a funciones diferenciadas que recaen
en distintas personas.
Modo de registro: Es el instrumento o formulario en el que se debe consignar la
información, una vez que se efectuó la observación. Es la fuente que aporta el dato
necesario para alimentar el indicador.
Procedimiento: Es el detalle de la modalidad de observación, a través del cual se
obtiene y/o se procesa la información. Son las técnicas de obtención de información:
observación directa, revisión de material escrito, encuesta, entrevista, fichas de
registro u otras.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
43
SISTEMA DE MONITOREO INTERNO
Espacio territorial: Permite determinar cuál es la base territorial que se asumirá en el
respectivo indicador. También puede aplicarse para unidades programáticas, si
corresponde.
Nivel de reserva: Corresponde al subsistema, integrante, espacio o nivel programático
en que parezca recomendable no dar a conocer el indicador establecido para no anular
su utilidad o interferir en su aplicación (distorsionar la información recogida).
Unidad mínima de gestión: Se entiende como el nivel territorial o de operación (de
acuerdo al grado de descentralización) en que parezca útil la retroalimentación que el
indicador aporta, para sus funciones propias. Se determina como nivel primario de
decisión con la información del indicador. Permite lograr una gestión más ágil y
expedita.
Grado de generalidad: Se refiere al grado de representatividad por el que se optará
para verificar el indicador, respecto al universo general en el que potencialmente se
puede aplicar. Si bien lo óptimo sería tener toda la información del universo atendido,
no parece razonable en términos del tiempo y esfuerzo que ello involucra. Se
recomienda trabajar sobre la base de muestras más pequeñas; pueden ser intencionadas
o representativas, su elección puede o no ser aleatoria; dependerá de decisiones
metodológicas y de gestión. En términos generales parece más recomendable privilegiar
la periodicidad en la verificación, que el tamaño de muestra. Con todo, es importante en
las prácticas de seguimiento la estabilidad de la modalidad elegida.
d)
¿Qué productos se pueden esperar de esta etapa de trabajo?
Desde el equipo
programático
Desde el Monitoreo
 Equipo de programa, con capacidad para discriminar la
viabilidad y realismo de un indicador; así como de los
procedimientos de análisis y recolección de la
información necesarios para su utilización.
 Organización operativa de los indicadores para su
aplicación en el programa.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
44
SISTEMA DE MONITOREO INTERNO
III.
CONDICIONES DE LAS INSTITUCIONES PARA LA PUESTA EN
PRÁCTICA DEL SMI
El Sistema de Monitoreo Interno requiere de ciertas condiciones básicas para su
operacionalización y funcionamiento. Esto significa que la decisión de un Programa de
diseñar e instalar un sistema como éste, para efectuar el monitoreo y evaluación
permanente de sus acciones y resultados, debe ser concordada con los niveles jerárquicos
superiores de los que depende, a fin de garantizar ex ante la viabilidad del proceso de
construcción del sistema y su puesta en operación.
Hay que considerar, para estos efectos, que una herramienta como ésta puede ser aplicada
a través de tres modalidades, a saber:
En primer lugar, a partir de la transferencia de las nociones básicas y apoyos
metodológicos adicionales que permitan a las instituciones y programas su auto
administración o su auto aplicación. Para estos efectos se pone a disposición de
quienes lo requieran el documento conceptual que aquí se ha desarrollado y el
Cuaderno de Trabajo que lo complementa.
En segundo lugar, es posible – aunque no recomendable dadas las experticias
involucradas en esto - que la construcción del sistema sea asumido
completamente por el equipo técnico de MIDEPLAN.
En tercer lugar, puede que se requiera de una aplicación guiada, que considere la
participación conjunta de los equipos programáticos y los equipos facilitadores de
MIDEPLAN.
En consecuencia, las recomendaciones que aquí se mencionan como condiciones a
considerar de manera previa a la construcción de un sistema de monitoreo interno, aplican a
los tres eventos aquí considerados, en la medida que ellas tienen que ver con la
probabilidad que tienen estos sistemas de ser operados y que depende en mayor medida del
contexto institucional en el que se inserta y el nivel de importancia real atribuida a su
manejo.
Entre los aspectos que cabe considerar, se encuentran los siguientes:
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
45
SISTEMA DE MONITOREO INTERNO
1.
Compromiso institucional
En términos generales, el compromiso institucional tiene que ver la explicitación de la
voluntad político institucional de instalar y operar un sistema evaluativo de estas
características, cuestión que debe resolver el equipo programático con las instancias
decisionales superiores que tendrán algún grado de injerencia en el proceso de diseño y
operación del sistema. En lo específico, este compromiso tiene que ver con el programa de
trabajo establecido por la institución responsable del programa con Mideplan para la
construcción conjunta del sistema.
La decisión de iniciar el desarrollo del SMI debe contar con el máximo respaldo institucional
posible, por cuanto puede involucrar no sólo modificaciones en la gestión del programa sino
también en su diseño. En consecuencia, el proceso de construcción del sistema no puede estar
sujeto a la contingencia institucional relativa a cambios inesperados en las prioridades pues de
lo contrario la función evaluativa que se quiere instalar en el programa se verá fuertemente
vulnerada por un sinnúmero de factores de estas características.
2.
Definición de la unidad de análisis
Las herramientas de análisis, diseño y evaluación de intervenciones sociales podrían ser
aplicadas, en teoría, a cualquier nivel de la intervención, no siendo privativo de los
programas el contar con instrumentos y metodologías de estas características. Sin embargo,
el SMI está diseñado para ser aplicado en programas o proyectos que estén constituidos
como tales, esto es, que tengan existencia formal dentro de una instancia institucional
determinada, que cuenten con instrumentos de planificación como diagnóstico y diseño y,
que tengan un equipo responsable y una estructura decisional acorde.
Esto, porque resulta crucial contar con un dispositivo institucional que no sólo ofrezca
garantías suficientes de que el diseño del sistema será un proceso que concluirá
efectivamente con la instalación y puesta en marcha del SMI en el programa, sino que
además ofrezca las condiciones propicias para la sostenibilidad del sistema en lo que
respecta a registro, análisis, interpretación y divulgación de la información que el sistema
aporte.
3.
Equipo institucional
Los integrantes del equipo de trabajo son escogidos por las propias instituciones y es
necesario que en esta selección se considere:
a)
b)
El conocimiento acabado que estos profesionales y técnicos tengan de la
práctica del programa; y,
Las posibilidades de estabilidad de los miembros en el equipo para que
permanezcan adscritos a este trabajo en todo el proceso.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
46
SISTEMA DE MONITOREO INTERNO
4.
Cronograma operativo y proyecto de instalación del SMI
Resulta indispensable que una vez concretado el acuerdo de trabajo entre las instancias que
participarán en el diseño del Sistema, se confeccione un cronograma operativo
concordado, que establezca los plazos en los que se deberán generar los productos de cada
fase metodológica de la construcción del Sistema, incluyendo su validación y puesta en
marcha.
Del mismo modo, la institución a cargo del programa debe diseñar un proyecto de
instalación del Sistema, básicamente porque esto significa destinar recursos y definir
responsabilidades en lo que se refiere, por ejemplo, a la plataforma computacional que
servirá como soporte o mecanismo de registro de la información relativa a los indicadores.
Este proyecto debe ser aprobado por las instancias decisionales de las que dependa la
existencia y funcionamiento real del SMI, de forma tal que en él se especifiquen los
antecedentes que justificaron su diseño, las necesidades de información a las que
responderá, el presupuesto disponible para ejecutar el proyecto, la asignación de las
funciones involucradas en el diseño e instalación del sistema, los plazos establecidos para el
diseño, la validación, la prueba piloto y la operación regular del sistema y, por último, la
responsabilidad de quienes se hará depender el adecuado y oportuno funcionamiento del
sistema.
Para la implementación concreta del SMI en un programa, una vez finalizada la etapa de
construcción, es necesario verificar que haya al menos una persona encargada de su
administración, esto es, alguien responsable de coordinar la operatoria del sistema y
controlar su desarrollo y esto debiera quedar debidamente consignado en el proyecto de
instalación.
5.
Disponibilidad de instrumentos de registro de información
Es ideal, aunque no indispensable, que los programas cuenten de antemano con
instrumentos o mecanismos de registro de información, que proporcionen la plataforma
inicial o básica para el desarrollo del monitoreo.
Los instrumentos que se diseñan, como producto de la construcción del SMI, deben ser
absolutamente legibles y amigables para los equipos operadores del programa, de modo que
se constituyan en la fuente permanente de consulta, información y unificación de criterios
para el ingreso de los datos, de forma tal que todas las unidades que participen del
programa, proporcionen la información de acuerdo a esta fuente para operacionalizar los
indicadores.
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
47
SISTEMA DE MONITOREO INTERNO
6.
Establecimiento de una plataforma o soporte computacional
Relacionado con el punto precedente, es importante que la institución, de acuerdo a sus
recursos y sistema computacional que emplee, establezca una plataforma computacional
que permita una rápida, oportuna y pertinente sistematización de la información para la
operacionalización de los indicadores y procesamiento de los datos, de modo de poner en
práctica el SMI.
Lo anterior reviste especial importancia porque constituye la parte práctica, propiamente
tal, de la operatoria del SMI. Es decir, es el mecanismo, a través del cual se van a procesar
los datos. Para estos efectos es posible utilizar planillas de cálculo convencionales
ingresadas en programas como EXCEL o SPSS/PC, o bien diseñar softwares especialmente
construidos para llevar registro de la información correspondiente a los indicadores.
Fecha de actualización: 13/11/2015 23:27:00
C:\usuarios\Pati\smi_ddp\manual.doc
***
División Social - Departamento de Evaluación Social
Ministerio de Planificación y Cooperación
48