11. Lecciones aprendidas MyE - Instituto Nacional de Salud

LECCIONES APRENDIDAS DEL
PROCESO DE
MONITOREO & EVALUACION
PROYECTO MALARIA COLOMBIA
Abril 2014
Lecciones Aprendidas Proceso M&E
CONTENIDO
INTRODUCCION ............................................................................................................ 3
SECCION 1: ......................................................................................................................................... 4
OBJETIVOS Y RESULTADOS .................................................................................................. 4
1.1. OBJETIVOS DEL PROYECTO MALARIA COLOMBIA ........................................................ 5
1.2. AMBITO PROYECTO MALARIA.......................................................................................... 7
1.3. RESULTADOS DEL PROYECTO MALARIA........................................................................... 9
SECCION 2: .......................................................................................................................................11
LECCIONES APRENDIDAS DEL PROCESO DE MYE .....................................................11
2.1. ESTRUCTURA DE M&E ........................................................................................................12
2.2. RECURSOS HUMANOS PARA M&E .................................................................................13
2.3. PLAN DE M&E .....................................................................................................................14
2.4. CONTROL DE CALIDAD, RETROALIMENTACION Y VERIFICACION DE DATOS .........15
2.5. USO DE INFORMACION PARA TOMA DE DECISIONES Y RENDICION DE CUENTAS16
2.6. FORTALECIMIENTO A SISTEMA DE INFORMACION OFICIAL.......................................17
2.7. EVALUACION DE EFECTOS ...............................................................................................18
2.8. COMUNICACIÓN Y CULTURA DE M&E...........................................................................19
2.9. ASOCIACIONES PARA PLANIFICAR Y ADMINISTRAR EL PROCESO M&E ..................20
2.10.
METODOLOGIAS MONITOREO MTI Y ESTRATEGIA COMBI ....................................21
CONCLUSIONES ............................................................................................................................22
BIBLIOGRAFIA ................................................................................................................................24
Página 2 de 24
Lecciones Aprendidas Proceso M&E
INTRODUCCION
El Proyecto “Uso de la inteligencia epidemiológica con participación social, para fortalecer la gestión
del programa, mejorar el acceso al diagnostico y tratamiento y ejecutar intervenciones eficaces para la
prevención y control de la malaria - Proyecto Malaria Colombia- aprobado y financiado por el Fondo
Mundial de Lucha contra el VIH/SIDA, la Tuberculosis y la Malaria (FM), es una iniciativa que pretende
fortalecer al Programa Nacional de Prevención y Control de la Malaria en sus componentes de: 1)
acceso al diagnóstico oportuno y al tratamiento adecuado; 2) implementación de la protección personal
y comunitaria con Toldillos Insecticida de Larga Duración (TILD); 3) manejo de información para facilitar
la toma de decisiones basadas en evidencia; y, 4) comunicación y movilización social para favorecer la
participación comunitaria en la lucha contra la malaria.
El Proyecto Malaria Colombia tiene cinco años de duración. La primera fase del Proyecto Malaria
Colombia empezó el 1 de marzo del 2010 hasta el 28 febrero del 2012; posteriormente se negoció y
aprobó su fase II del 1 marzo 2012 al 28 febrero del 2015.
El Proyecto Malaria Colombia para medir y controlar los componentes mencionados ha implementado un
proceso de Monitoreo y Evaluación como herramienta de gestión y con responsables de esta actividad;
el cual ha generado una gran cantidad de información, complementaria a aquella que regularmente
produce el Programa de ETV.
El Proyecto Malaria Colombia fue concebido para 5 años de duración, por tanto su ejecución termina el
febrero 2015, para lo cual los Receptores Principales deben prepararse y programar diferentes
actividades para el cierre.
Con los antecedentes mencionados, el Fondo Financiero de Proyectos de Desarrollo FONADE, Receptor
Principal del Gobierno como parte de su programación en Fase 2 incluyó una consultoría para
“sistematizar las lecciones aprendidas del proceso de Monitoreo y Evaluación”, con el objetivo de
compartir los logros y dificultades que se presentaron durante la implementación del proceso de M&E;
los cuales se considera serían un insumo para el Plan de M&E de la Estrategia del Programa Nacional
de Control de ETV 2012-2012 que se está elaborando durante el año 2014.
El presente documento describe en sus primeras secciones al proyecto Malaria Colombia, presenta sus
resultados alcanzados al año 4 de ejecución y sistematiza las lecciones aprendidas por componente
implementado de M&E. La metodología para levantar las lecciones aprendidas se realizó en base a
información secundaria, taller con actores claves realizado el 8 abril del 2014 y recolección información
en entrevistas a nivel de departamentos.
Se aspira mediante el presente documento, socializar los aprendizajes generados en el proceso de M&E
del Proyecto Malaria Colombia y ser un insumo para aquellas entidades que están arrancando con la
implementación de dicho proceso.
Página 3 de 24
Lecciones Aprendidas Proceso M&E
SECCION 1:
OBJETIVOS Y RESULTADOS
Obj 1:
Incrementar el
acceso al
diagnóstico
oportuno y
tratamiento
adecuado
Obj 4: Diseñar e
implementar
planes de
comunicación y
moviliza. social
Disminuir en un
40% la morbilidad
y en 95% La
mortalidad por
malaria
OBJETIVOS
Obj 2:
Implementar la
protección con
mosquiteros
tratados de larga
duración
Obj 3:
Implementar y
sostener el
subsistema de
información y
gestión inteligente
Página 4 de 24
Lecciones Aprendidas Proceso M&E
En el año 2008, Colombia, a través del Mecanismo Coordinador de País presentó una propuesta al
Fondo Mundial en su Octava Ronda solicitando recursos para desarrollar el proyecto “Uso de la
inteligencia epidemiológica con participación social, para fortalecer la gestión del programa, mejorar el
acceso al diagnóstico y tratamiento y ejecutar intervenciones eficaces para la prevención y control de la
malaria”. Al finalizar ese año, el Fondo Mundial notificó al Mecanismo sobre la aceptación de la
propuesta. Durante el año 2009 se realizaron las negociaciones con el Fondo Mundial y finalmente el 1
de marzo del 2010 inició el Proyecto Malaria Colombia.
El Proyecto Malaria Colombia tiene una duración de cinco años. La primera fase del Proyecto Malaria
Colombia empezó el 1 de marzo del 2010 hasta el 28 febrero del 2012; posteriormente se negoció y
aprobó su fase II del 1 marzo 2012 al 28 febrero del 2015.
1.1.
OBJETIVOS DEL PROYECTO MALARIA COLOMBIA
EL Proyecto Malaria Colombia se formuló para fortalecer la capacidad técnico administrativa a nivel
local y nacional, generando una cultura de la planeación estratégica e incorporando la inteligencia
epidemiológica con participación ciudadana de las poblaciones afectadas para lograr, reducir la
morbilidad al menos en un cuarenta por ciento (40%) y la mortalidad al menos en un 95%.
La estrategia planteada se centró en implementar una gestión inteligente para la toma de decisiones en
prevención y control de la malaria, utilizando intervenciones específicas de alto impacto. Para
garantizar la efectividad de las intervenciones se conformó equipos de trabajo multidisciplinarios que se
articularon con los recursos humanos del programa nacional y con presencia permanente a nivel
departamental y municipal para mejorar la cobertura, calidad y análisis de información, toma oportuna
de decisiones y realizar adecuada supervisión y evaluación, con énfasis en el nivel local.
Los Objetivos del Proyecto y sus principales actividades son:
OBJETIVO 1: Incrementar el acceso el acceso al diagnóstico oportuno y al tratamiento adecuado,
seguro y eficaz para la malaria






Fortalecimiento de gestión de la calidad diagnóstico.
Ampliación de cobertura red de microscopía.
Capacitación - Certificación de microscopistas en competencias con el SENA
Gestión de antimalárico.
Capacitación de 120 Agentes Comunitarios
Farmacovigilancia
Página 5 de 24
Lecciones Aprendidas Proceso M&E
OBJETIVO 2: Implementar la Protección con Toldillos Tratados con Insecticidas de Larga Duración
(TILD)
 Intervención con mosquiteros tratados con insecticida de larga duración.
 Evaluación de resistencia a los insecticidas en poblaciones locales de vectores
 Evaluación de residualidad a insecticidas en mosquiteros.
 Formación y Certificación de Técnicos de ETV en Normas de Competencia Laboral con el SENA.
 Fortalecimiento de la Red de Entomología.
OBJETIVO 3: Implementar y Sostener el Sub-Sistema de Información y Gestión Inteligente para la
toma de decisiones a través del fortalecimiento del nivel local
 Adecuación de la red informática de municipios y departamentos.
 Implementación del subsistema de información del proyecto articulado con el Programa de
Malaria.
 Capacitación a municipios en el subsistema de información y análisis epidemiológico.
 Fortalecimiento de sala situacional a nivel departamental y municipal.
 Mejoramiento del reporte y notificación oportuna de malaria
OBJETIVO 4: Diseñar e Implementar planes de Comunicación y Movilización Social
 Socialización y gestión del proyecto.
 Investigación formativa y participativa, Línea de Base del Proyecto.
 Estrategia de Información, Educación, Comunicación.
 Planes de Comunicación y Movilización Social para el cambio conductual (COMBI).
Página 6 de 24
Lecciones Aprendidas Proceso M&E
1.2.
AMBITO PROYECTO MALARIA
Para Fase I el ámbito del Proyecto fue de cuarenta y cuatro (44) municipios de cinco (5) departamentos
que concentraban el ochenta por ciento (80%) de los casos del país. Y para Fase II, con la reducción del
25% del presupuesto aprobado inicialmente, se modificó el ámbito del proyecto priorizando 24 de los
44 municipios presentes en la propuesta inicial, y se incluyó un municipio nuevo, en conjunto, presentan la
mayor carga de morbi-mortalidad del país.
En los Municipios priorizados el proyecto ha enfocado sus estrategias y equipos de trabajo, buscando un
mayor impacto sobre la enfermedad y la optimización de recursos. Los 20 municipios no priorizados
que hacían parte de la fase I del proyecto, continuaron en vigilancia epidemiológica con el apoyo de los
equipos departamentales y del nivel central a través de asistencia técnica.
El Proyecto Malaria se ha concentrado en poblaciones vulnerables dispersas, con necesidades básicas
Insatisfechas, deficiencias de acceso a los servicios de salud, ubicadas en zonas de alta receptividad, y
distantes de los centros urbanos, donde en los últimos años se viene registrando la mayoría de los casos
de malaria del país. La población beneficiada es de aproximadamente seiscientas mil (600.000)
personas, en su mayoría campesinos, comunidades negras e indígenas de los departamentos de Valle,
Cauca y Chocó en la costa región pacifica colombiana y de los departamentos de Antioquia y Córdoba
de la región Caribe colombiana que confluyen con esta región colombiana denominada llegando hasta
la zona del Caribe.
Buena parte de los afectados viven en territorios con grandes extensiones de cultivos ilícitos, donde se
presentan problemas de violencia que está causando uno de los mayores desplazamientos forzados que
actualmente registra el mundo. Esta región en su mayoría corresponde a selva húmeda tropical con
altísima pluviosidad.
En el siguiente Gráfico se observan los departamentos donde interviene el Proyecto Malaria Colombia:
Antioquía, Cauca, Chocó, Córdova y Valle del Cauca
Página 7 de 24
Lecciones Aprendidas Proceso M&E
Gráfico No. 1
Ámbito del Proyecto Malaria Colombia
Página 8 de 24
Lecciones Aprendidas Proceso M&E
1.3.
RESULTADOS DEL PROYECTO MALARIA
En la Fase I y Fase II del Proyecto, ésta última con corte al año 4, el Proyecto Malaria ha cumplido con sus
metas; el 93% ha sido aceptables, excepto en 3 indicadores: porcentaje de paciente con malaria que
reciben tratamiento adecuado en 24 horas, número de personas con malaria confirmada que reciben
tratamiento según política nacional y número de gotas gruesas tomadas y leídas; estos tres indicadores
estuvieron bajo el 53% en la Fase 1. En la Fase 2 todos los indicadores han sido alcanzados.
Tabla 1
Indicadores Fase 1 y Fase 2 (corte año 4)
Fuente: Proyecto Malaria Colombia
Página 9 de 24
Lecciones Aprendidas Proceso M&E
Las calificaciones de desempeño del Fondo Mundial al Proyecto Malaria Colombia se observa en la tabla
No.2. El desempeño del proyecto ha sido de adecuado a exceder expectativas, en especial se puede
observar que en el último año o Fase II el desempeño del Proyecto se mantiene con la mejor calificación.
Tabla 2
Calificaciones Desempeño del Fondo Mundial
SEMESTRES
2010
Receptores
2011
2012
2013
I
II
I
II
III
IV
V
VI
RP GOBIERNO
B2
B1
B1
B1
B1
A1
A1
RP NO GOBIERNO
B1
B1
A1
A1
A1
A1
A1
Página 10 de 24
Lecciones Aprendidas Proceso M&E
SECCION 2:
LECCIONES APRENDIDAS DEL PROCESO
DE MYE
Fuente: http://www.proyectomalariacolombia.co/index.php/portada1?id=200
Página 11 de 24
Lecciones Aprendidas Proceso M&E
Desde el inicio del Proyecto se determinó el Plan de M&E con lineamientos para la implementación del
proceso monitoreo y aquellos contemplados en la Guía para el diseño de un sistema de M&E1.Los
principales logros y dificultades de la implementación del proceso de M&E se detallan a continuación de
acuerdo a los componentes que lo han conformado; mismo que permiten obtener las lecciones
aprendidas del proceso de M&E.
2.1.
ESTRUCTURA DE M&E
Desde el diseño del Proyecto Malaria Colombia se determinó la estructura organizacional de M&E, la
cual contempló tener unidades a nivel central y departamental. Cada Receptor Principal contempló en su
estructura una persona para M&E, y la UEP incluyó en la responsable de vigilancia dichas funciones de
M&E. Siendo la Facultad de Salud Pública quien realizaría la implementación del Objetivo 4 de COMBI,
en su estructura se designó una persona que realice funciones de M&E.
Se definieron mecanismos de organización entre los involucrados para el monitoreo de desempeño del
Proyecto, estas instancias son: RPs, UEP, INS, Facultad Salud Pública, Programa de Control de ETV a nivel
central y departamental, Laboratorios departamentales de salud.
LOGROS





DIFICULTADES
Estructura organizacional de Monitoreo con
 No contar con una contraparte o el proceso
responsables a nivel central y departamental
de M&E en la estructura del Programa de
que garantizó la información de Malaria
control de ETV a nivel nacional y
para toma de decisiones y medir el
departamental
desempeño del Proyecto
 Todas las actividades del Proyecto no
Las funciones de monitoreo se acoplan con
estaban incorporadas en el Programas
más facilidad a las personas de sistemas de
Nacional de control de ETV, por tanto, había
información y/o vigilancia
dificultades en la recolección de información
de dichas actividades
Se cuenta con infraestructura adecuada para
realizar actividades de M&E
LECCIONES APRENDIDAS
Un proyecto o programa de malaria que trabaja bajo un modelo de gestión por resultados
requiere implementar el proceso de monitoreo y evaluación en su estructura organizacional para
garantizar la medición de su desempeño y cumplimiento de indicadores. El proceso de M&E es
compatible en la unidad o área de sistemas de información o de epidemiología.
Para el funcionamiento del proceso de M&E se requiere instalar una infraestructura mínima, tales
como: recurso humano, equipamiento, software, medios de comunicación, entre otros
1
En la Guía “Organizing framework for a functional national HIV monitoring and evaluation system. Geneva, UNAIDS, 2008” se
proponen 12 elementos para conformar un sistema de M&E que son adaptable a las diferentes enfermedades: Estructura
organizativa de M & E, Recursos Humanos para M & E ,Las asociaciones para planificar, coordinar y administrar el sistema de
M&E,Plan Nacional Multisectorial de M&E de Malaria, Plan de Trabajo del Plan Nacional de M&E Malaria, Advocacy M&E
(comunicación y cultura para M&E),Monitoreo rutinario del programa, Encuestas y Vigilancia, Bases de datos nacionales, Auditoría
de datos, Evaluación e Investigación, Uso de datos para toma de decisiones
Página 12 de 24
Lecciones Aprendidas Proceso M&E
2.2.
RECURSOS HUMANOS PARA M&E
Para el funcionamiento de los procesos de M&E durante la implementación del Proyecto se ha contado
con 9 personas. A nivel central: dos personas a tiempo completo de los RPs FONADE y FUA, dos con
funciones compartidas de la UEP y Facultad Salud Pública. A nivel departamental cinco personas con
funciones compartidas con epidemiología y/o sistemas de información
Los responsables de M&E han participado en el plan de capacitación de M&E lo cual ha permitido
fortalecer sus capacidades en este proceso
Se ha realizado cuatro evaluaciones de desempeño a todos los responsables de M&E (anualmente
desde el año 2011) para conocer las fortalezas y debilidades para monitorear el Proyecto.
Para cada año se tiene un Plan de Trabajo para fortalecer capacidades de los responsables de M&E,
mismo que es evaluado para medir su avance y contribución a las/os monitores
LOGROS



DIFICULTADES
Recurso Humano del Proyecto capacitado
permanentemente y con competencias de
M&E a nivel nacional y departamental
Recurso Humano con disponibilidad de
tiempo para realiza actividades de
monitoreo y verificaciones de datos in situ
Recursos Humano de sistemas de
información (alimentadores de data) en los
niveles municipales disponibles y
capacitados




Responsable de monitoreo se desgasta en
recolección de datos a cambio de análisis de
data
Asumir muchos roles: epidemiólogo,
sistemas, técnico, monitoreo, otros
Reducción de personal de sistemas de
información de Fase 1 a Fase 2
Cambio de responsables de monitoreo
retardó la implementación del proceso de
monitoreo
LECCIONES APRENDIDAS


Es fundamental contar un recurso humano con competencias para realizar el proceso de
monitoreo del proyecto a nivel central, departamental y municipal; con funciones específicas de
monitoreo, capacitado permanentemente y con disponibilidad para realizar verificaciones in situ
desde el primer nivel de generación de data.
Es indispensable desde el inicio de Fase I y Fase II priorizar los datos a ser levantados, los
cuales serán insumos para generar conocimiento y evidencia durante la implementación y cierre
del Proyecto. “solo el dato que será analizado y socializado debería levantarse”.
Página 13 de 24
Lecciones Aprendidas Proceso M&E
2.3.
PLAN DE M&E
El Proyecto Malaria cuenta con un Plan de M&E validado en función de la Fase I y Fase II, es decir, en la
Fase II se hicieron mejoras operativas al Plan.
El Plan de M&E es una guía operativa que a partir de los indicadores priorizados para medir el
Proyecto, establece su descripción en las hojas de vida de los indicadores, procedimientos para su
recolección y medición, mecanismos de control de calidad, retroalimentación a las fuentes, los formatos y
herramientas para recolección de la data, los procedimientos de gestión de datos, los reportes de
monitoreo, los roles y responsabilidades de todos los participantes en el flujo de información, y define
los estudios e investigaciones del Proyecto
LOGROS



DIFICULTADES
Plan de M&E con indicadores priorizados
para monitorear un Proyecto de control de
Malaria con herramientas y formatos
estandarizados
Plan de M&E evaluado y validado
Plan de M&E con presupuesto para su
implementación



Indicadores que no estaban incluidos y no
eran levantados por el Programa Nacional
de control de ETV provocaron demora en su
recolección y en otros caso se necesitaba
financiamiento para su levantamiento
Gran cantidad de información generada e
imposibilidad de analizarla. Faltó se evalúe
la pertinencia de levantar tanta información,
frecuencia y su uso.
La información fluyo en algunos indicadores
porque es exigencia del Proyecto pero en los
departamentos faltó empoderamiento sobre
su utilidad
LECCIONES APRENDIDAS



Para medir el desempeño de un Proyecto o Programa de malaria se requiere formular un Plan de
monitoreo y evaluación cuyo objetivo es definir los lineamientos con los cuales se hará
seguimiento y evaluación al Proyecto o Programa. Dicho Plan de M&E deberá contar con
recursos financieros para su implementación.
El levantamiento de cada indicador del Plan de M&E conlleva montar una arquitectura
específica, por lo que, si se incluyen indicadores diferentes (necesarios) a los que registra el
Programa de Malaria hay que considerar las dificultades y recursos que se presentan en su
levantamiento.
El Plan de M&E debe ser construido y validado con los Coordinadores departamentales del área
del proyecto, lo cual permitirá precisiones en el diseño del Plan de M&E e involucramiento sobre
la forma de medición del avance y resultados del Proyecto.
Página 14 de 24
Lecciones Aprendidas Proceso M&E
2.4.
CONTROL DE CALIDAD, RETROALIMENTACION Y VERIFICACION DE DATOS
Para cada uno de los indicadores del Proyecto se cuenta con un listado de controles para verificar la
calidad de la data levantada y de sus medios de verificación.
El proceso de retroalimentación con formatos verificables ha sido de gran utilidad para asegurar la
calidad y oportunidad de la información. Se realizan mensualmente reuniones de retroalimentación
entre nivel central y departamental para detectar desviaciones en los indicadores y proponer las
medidas de mitigación oportuna. Igual ejercicio se realiza desde nivel departamental a nivel de los
municipios, con el fin de tener evidencias sobre mejora de control de calidad en cuanto a confiabilidad y
validez de la data
Como parte del control de calidad el Proyecto incorporó en Fase II la verificación in situ de los datos
reportados para conocer si la información recolectada representa adecuadamente la realidad y
permite eliminar obstáculos que impiden producir datos de alta calidad. El Proyecto cuenta con la
metodología para efectuar la verificación in situ y de informes de dichos ejercicio realizados en los
departamentos
LOGROS




DIFICULTADES
Control y Verificación de calidad datos y
medios de verificación
Retroalimentación oportuna a puntos de
alimentación sobre calidad de data
Capacitación a nivel departamental y
municipal sobre calidad de data
Implementación de verificaciones de calidad
in situ con metodología específica




Los Programas no tienen rubros para hacer
visitas de verificación de datos
Alta rotación de personal responsable del
control de calidad, se les capacita y luego no
siguen en sus cargos
Resistencia cuando se recibe la
retroalimentación, es la forma o manera
como se da la retroalimentación
Se hizo muchos instrumentos para control de
calidad y verificación de datos
LECCIONES APRENDIDAS



Es fundamental contar con procedimientos específicos y escritos de control de calidad de los
datos y de los medios de verificación o evidencias. En caso de rotación de personal estos
contarán por escrito con los procedimientos que deben ejecutar.
El procedimiento de retroalimentación sobre errores, discrepancias halladas en la data debe ser
oportuno y tener un carácter formativo y de fortalecimiento a los responsables de control de
calidad en sus diferentes niveles
El control de calidad de los datos “en escritorio” es insuficiente, se requiere efectuar y contar con
el financiamiento para verificaciones in situ e involucrar a los referentes de sistemas y de
epidemiología departamentales y municipales; incluir auditorías de datos reportados permite
conocer si la información recogida como parte del monitoreo representa adecuadamente la
realidad y permite eliminar los obstáculos que impiden producir datos de alta calidad
Página 15 de 24
Lecciones Aprendidas Proceso M&E
2.5.
USO DE INFORMACION PARA TOMA DE DECISIONES Y RENDICION DE CUENTAS
El Proyecto ha generado importante información de todos sus objetivos, la cual ha sido presentada en
informes oportunos de semaforización trimestral y semestral por departamento y consolidado2, informes
semestrales epidemiológicos por departamento y consolidados, informes anuales de actividades,
informes por Receptor Principal, informes para el mecanismo de coordinación.
Para analizar y socializar los datos y situación del Proyecto al menos una vez al año se han efectuado
reuniones con todos los Coordinadores del Programa de Control ETV departamentales.
LOGROS



DIFICULTADES
Disponibilidad de data para hacer análisis
del Proyecto y rendir cuentas sobre su
desempeño (ante Fondo Mundial y MCP)
Construcción de semaforizaciones de los
indicadores por departamento lo cual
permitió la visibilización del desempeño a
este nivel y a nivel consolidado del Proyecto
Información en plataforma web disponible
para los involucrados





Insuficiente utilización y socialización de la
información recolectada
Análisis de data del Proyecto no es integral
Insuficiente análisis conjunto entre Proyecto
y Programa y regreso de información a los
niveles departamentales, municipales y
locales
Insuficiente seguimiento de informes o
planes de mejora que se han recomendado
No se ha documentado ni publicado sobre
los avances alcanzados del proyecto, no se
escribieron artículos específicos
LECCIONES APRENDIDAS


Es fundamental priorizar la data e información que será generada y utilizada para el análisis
integral del desempeño del Proyecto y sus estrategias de control de malaria. Así como
garantizar la disponibilidad de la misma en todos los niveles para aportar a solucionar
problemas relacionados con la malaria.
El análisis del Proyecto debe ser realizado de forma conjunta Proyecto y Programa en sus
diferentes niveles y con todos los involucrados y beneficiarios para orientar la formulación de
políticas y la planificación y mejora del Programa
2
Todos los informes de progreso semestral físicos y financieros han sido entregados en las fechas establecidas por el
Fondo Mundial, lo cual muestra el funcionamiento del sistema de monitoreo del Proyecto
Página 16 de 24
Lecciones Aprendidas Proceso M&E
2.6.
FORTALECIMIENTO A SISTEMA DE INFORMACION OFICIAL
El Proyecto en su diseño considero y se articuló con los procedimientos de recolección y medición de
aquellos indicadores producidos por el sistema de información oficial SIVIGILA y el Programa de Control
de ETV, esto con la finalidad de garantizar uniformidad y evitar duplicación de esfuerzos. Para aquellos
indicadores que el sistema no los producía, como el caso de toldillos, se implementó la infraestructura
para recolectarlos y medirlos.
El Proyecto contribuyó con personas especialistas en sistemas de información a nivel departamental y
municipal para apoyar a movilizar la data de malaria. Dichas personas han mantenido una permanente
capacitación en procedimientos, guías del sistema de información oficial y de la UEP. Se fortaleció con
infraestructura a municipios y departamentos.
LOGROS






DIFICULTADES
Fortalecimiento a los sistemas de
información y seguimiento a la notificación
SIVIGILA en cuanto a calidad y control
Empoderamiento a nivel de datos a nivel
local y mejora de notificación
Acompañamiento técnico al personal de
municipios en el proceso de gestión de datos
Mecanismos de información, colaboración y
coordinación entre los diferentes actores para
el levantamiento de información de rutina
Infraestructura y equipos para la gestión de
datos
Vínculos entre las diferentes bases de datos
a fin de garantizar la uniformidad y evitar la
duplicación de esfuerzos





Resistencia a la retroalimentación a nivel
municipal
Bases de datos generadas por el Proyecto
que no se registran en el departamento (ej:
toldillos) y podría no ser utilizada a futuro.
En algunos casos se levantó información
muy costosa
Inadecuada seguridad en el registro de
indicadores que utilizan bases en excel (data
generada del Proyecto)
Insuficiente personal que recolecte, registre y
analice la data de Laboratorio
LECCIONES APRENDIDAS


Es prioritario la articulación del Proyecto con las instancias formales de generación de
información, para evitar generar doble canal de información, incurrir en mayores esfuerzos y
mayores costos.
El proceso de monitoreo y evaluación debe ser compatible con el sistema de información
nacional y aportar a su fortalecimiento a través de capacitación al personal en los diferentes
niveles, mejorar el control de calidad de data, facilitar infraestructura, otros
Página 17 de 24
Lecciones Aprendidas Proceso M&E
2.7.
EVALUACION DE EFECTOS
Uno de los principales logros del Proyecto, que permitirá contribuir a decisiones de política pública en
salud es la evaluación de los efectos del Proyecto Malaria Colombia, el cual se desarrollará durante el
año 2014, y permitirá evaluar los diferentes efectos de las estrategias implementadas del Proyecto, es
decir los efectos de fortalecer el acceso al diagnóstico oportuno y al tratamiento adecuado,
implementación de Toldillos con Insecticida de Larga Duración, gestión de información para facilitar la
toma de decisiones basadas en evidencia; y, comunicación y movilización social para favorecer la
participación comunitaria en la lucha contra la malaria-COMBI.
Los logros, debilidades y lecciones aprendidas de este componente del proceso de M&E se resumen a
continuación.
LOGROS


DIFICULTADES
Durante el año 2014 se realizará la
Evaluación de efectos del Proyecto lo cual
permitirá conocer los cambios logrados a
través de la implementación del Proyecto y
sus diferentes estrategias.
Contar con protocolos y metodologías de
medición de las estrategias del Proyecto



No se incluyó en el Plan de M&E los
mecanismos para realizar evaluaciones de
las estrategias ni del proyecto
El tipo y metodología de evaluación no fue
definido en el diseño del Proyecto
Falta documentar las evaluaciones y/o
estudios realizados durante la ejecución del
Proyecto, que permita efectuar
modificaciones en caso ser necesarias para
mejorar el desempeño y resultados del
Proyecto
LECCIONES APRENDIDAS



Los protocolos y metodologías de los estudios y evaluaciones del Proyecto y sus estrategias
deben ser validadas por instituciones referentes en tema para garantizar su aceptación y evitar
errores metodológicos. Así como deben ser socializadas oportunamente con los miembros del
Proyecto y Programa.
La evaluación y estudios de investigación deben complementarse para evitar la duplicación de
esfuerzos, y que los resultados del estudio son compartidos y están disponibles para su uso en
la toma de decisiones
La/s metodología/s para evaluación del Proyecto y sus estrategias deben ser incluidas en el Plan
de M&E inmediatamente el proyecto inicia su fase I.
Página 18 de 24
Lecciones Aprendidas Proceso M&E
2.8.
COMUNICACIÓN Y CULTURA DE M&E
El Proyecto Malaria Colombia utiliza un modelo de gestión por resultados que se traduce en el marco de
desempeño con una serie de indicadores que ha permitido medir su desempeño. El modelo por
resultados ha sido empoderado en el equipo del Proyecto a nivel central y departamental; cada
departamento tiene su tablero de indicadores semaforizado. Los resultados del avance del Proyecto son
socializados a los Coordinadores departamentales del Proyecto.
Los logros, debilidades y lecciones aprendidas del componente del comunicación y cultura de M&E se
resumen a continuación.
LOGROS


DIFICULTADES
Implementación de una cultura de medición
por resultados e indicadores del Proyecto, lo
cual permite conocer su desempeño
oportunamente
Mecanismos de comunicación para
recolectar, analizar y socializar data del
Proyecto



Limitada divulgación del plan de monitoreo y
metodologías de evaluación de las
estrategias del Proyecto
Inadecuada estrategia del Proyecto al
ingresar al departamento, sin tomar en
cuenta la cultura organizacional sobre M&E
Insuficientes espacios para presentar
Informes departamentales sobre sus
resultados
LECCIONES APRENDIDAS


Es fundamental que el Proyecto contribuya a una cultura de M&E a través de una estrategia de
comunicación permanente sobre los resultados del Proyecto dirigida a todos los involucrados en
el control de malaria y en todos los niveles; para apropiarlos de dichos resultados
El Proyecto debe contar con una plan de divulgación de resultados para diferentes audiencias (y
niveles) y con diferentes mecanismos de propagación
Página 19 de 24
Lecciones Aprendidas Proceso M&E
2.9.
ASOCIACIONES PARA PLANIFICAR Y ADMINISTRAR EL PROCESO M&E
El Proyecto Malaria Colombia desde la elaboración de su diseño contó con la participación de las
entidades rectoras en cuanto a malaria (Ministerio de la Protección Social, INS, FONADE, Facultad
Universidad de Antioquía, OPS-OMS Colombia), las cuales determinaron los indicadores y metas del
Proyecto Malaria.
Los logros, debilidades y lecciones aprendidas de este componente del proceso de M&E se resumen a
continuación.
LOGROS


DIFICULTADES
Articulación con involucrados para
planificar, levantar y analizar información
del Proyecto
Apoyo del Programa Nacional de Control de
ETV a las actividades del proyecto


Demora en la respuesta técnica sobre
definición de indicadores de las instancias
pertinentes
Cambios de autoridades a nivel
departamental y por tanto, de las
contrapartes
LECCIONES APRENDIDAS



Establecer y mantener alianzas entre actores clave nacionales e internacionales, y que estén
involucrados en la planificación y gestión del proceso de MyE del Proyecto contribuye al
empoderamiento y respuesta de dichos actores, y optimizar el proceso.
Todos los involucrados en el levantamiento de los indicadores (especialmente de impacto) del
Proyecto deben trabajar y coordinarse, lo cual permite optimizar recursos del levantamiento de
dichos indicadores
Acordar mecanismos escritos en los departamentos o zonas priorizadas del Proyecto con las
autoridades pertinentes que garantice la colaboración en cuanto al proceso de M&E
Página 20 de 24
Lecciones Aprendidas Proceso M&E
2.10. METODOLOGIAS MONITOREO MTI Y ESTRATEGIA COMBI
En las estrategias de MTI y COMBI, el Proyecto dispone de la metodología de monitoreo (con
indicadores) para medición de sus actividades y resultados; así como del costo para su implementación
para fines de replicabilidad.
En la sistematización de los objetivos de MTI y COMBI se observarán sus logros, pero es importante
mencionar la generación de capacidades para administrar dichas estrategias y realizar el control; en los
diferentes departamentos
LOGROS

DIFICULTADES
Metodologías de monitoreo de las
estrategias de MTI y de COMBI con
indicadores de gestión y efectos



Validación y estandarización de la estrategia
de MTI en los departamentos


Limitado financiamiento para
desplazamiento para realizar el monitoreo
de la estrategia de MTI
La socialización de resultados en ambos
estudios no fue oportuna ni compartida con
los responsables de monitoreo del Proyecto
Demora en el análisis de la data y lenta
socialización de resultados con los
responsables de monitoreo y coordinadores
departamentales
No hay suficiente referencia bibliográfica
para el modelo de evaluación de COMBI
LECCIONES APRENDIDAS



La estrategia de MTI debe ir acompañada de la metodología de monitoreo que proporcione
información sobre la cobertura de uso, aceptabilidad, frecuencia lavado y reacciones adversas
de la población objetivo; lo cual permitirá modificar en caso sea necesario, la estrategia de
implementación de MTI
La estrategia de COMBI para malaria debe incorporar indicadores de proceso y de efecto, que
permitan conocer y medir su contribución en la enfermedad
La aplicación de las estrategias de MTI y COMBI requieren recursos humanos y financieros para
su medición, los cuales deben ser incluidos en los presupuestos del Programa de control de ETV
Página 21 de 24
Lecciones Aprendidas Proceso M&E
CONCLUSIONES
 El proceso de monitoreo y evaluación diseñado e implementado desde el inicio del Proyecto
Malaria Colombia ha aportado en la generación de información oportuna de los indicadores del
marco de desempeño del Proyecto y por tanto los informes programáticos al financiador han
sido a tiempo. Se ha evidenciado la necesidad de contar con instrumentos de M&E para medir el
logro de las actividades de control de malaria realizadas por el Proyecto.
 Para el funcionamiento del proceso de Monitoreo y Evaluación se requiere considerar los
siguientes elementos: contar con una estructura organizacional de M&E, recursos humanos para
M&E, un plan de M&E acorde a las estrategias del Proyecto, implementar mecanismos para
comunicación y cultura de M&E, identificar y coordinar con entidades que producen y analizan
data de malaria, generar y/o fortalecer el levantamiento de datos de malaria y armar bases
de datos, procedimientos de calidad de data, garantizar el análisis y uso de datos para toma
de decisiones, definir la metodología de evaluación del proyecto y de cada una de sus
estrategias de control.
 Un proyecto o programa de malaria que trabaja bajo un modelo de gestión por resultados
requiere implementar el proceso de monitoreo y evaluación en su estructura organizacional para
garantizar la medición de su desempeño y cumplimiento de indicadores. El proceso de M&E es
compatible en la unidad o área de sistemas de información o de epidemiología.
 Es fundamental contar un recurso humano con competencias para realizar el proceso de
monitoreo del proyecto a nivel central, departamental y municipal; con funciones específicas de
monitoreo, capacitado permanentemente y con disponibilidad para realizar verificaciones in situ
desde el primer nivel de generación de data.
 Es indispensable desde el inicio de Fase I y Fase II priorizar los datos a ser levantados, los cuales
serán insumos para generar conocimiento y evidencia durante la implementación y cierre del
Proyecto. “solo el dato que será analizado y socializado debería levantarse”.
 Para medir el desempeño de un Proyecto o Programa de malaria se requiere formular un Plan
de monitoreo y evaluación cuyo objetivo es definir los lineamientos con los cuales se hará
seguimiento y evaluación al Proyecto o Programa. Dicho Plan de M&E deberá contar con
recursos financieros para su implementación M&E
 El Plan de M&E debe ser construido y validado con los Coordinadores departamentales del área
del proyecto, lo cual permitirá precisiones en el diseño del Plan de M&E e involucramiento sobre
la forma de medición del avance y resultados del Proyecto
 Es fundamental contar con procedimientos específicos y escritos de control de calidad de los
datos y de los medios de verificación o evidencias. En caso de rotación de personal estos
contarán por escrito con los procedimientos que deben ejecutar.
Página 22 de 24
Lecciones Aprendidas Proceso M&E
 El procedimiento de retroalimentación sobre errores, discrepancias halladas en la data debe ser
oportuno y tener un carácter formativo y de fortalecimiento a los responsables de control de
calidad en sus diferentes niveles
 El control de calidad de los datos “en escritorio” es insuficiente, se requiere efectuar y contar con
el financiamiento para verificaciones in situ e involucrar a los referentes de sistemas y de
epidemiología departamentales y municipales; incluir auditorías de datos reportados permite
conocer si la información recogida como parte del monitoreo representa adecuadamente la
realidad y permite eliminar los obstáculos que impiden producir datos de alta calidad
 Es fundamental priorizar la data e información que será generada y utilizada para el análisis
integral del desempeño del Proyecto y sus estrategias de control de malaria. Así como
garantizar la disponibilidad de la misma en todos los niveles para aportar a solucionar
problemas relacionados con la malaria
 Es prioritario la articulación del Proyecto con las instancias formales de generación de
información, para evitar generar doble canal de información, incurrir en mayores esfuerzos y
mayores costos
 Los protocolos y metodologías de los estudios y evaluaciones del Proyecto y sus estrategias
deben ser validadas por instituciones referentes en tema para garantizar su aceptación y evitar
errores metodológicos. Así como deben ser socializadas oportunamente con los miembros del
Proyecto y Programa
 La/s metodología/s para evaluación del Proyecto y sus estrategias deben ser incluidas en el
Plan de M&E inmediatamente el proyecto inicia su fase I
 Es esencial que el Proyecto contribuya a una cultura de M&E a través de una estrategia de
comunicación permanente sobre los resultados del Proyecto dirigida a todos los involucrados en
el control de malaria y en todos los niveles; para apropiarlos de dichos resultados
 El Proyecto debe contar con una plan de divulgación de resultados para diferentes audiencias (y
niveles) y con diferentes mecanismos de propagación
 Establecer y mantener alianzas entre actores clave nacionales e internacionales, y que estén
involucrados en la planificación y gestión del proceso de MyE del Proyecto contribuye al
empoderamiento y respuesta de dichos actores, y optimizar el proceso
 Finalmente, los logros, debilidades y lecciones aprendidas de la implementación del proceso de
M&E en el Proyecto Malaria Colombia representan un insumo para el diseño y ejecución del Plan
de M&E de la “Estrategia de Gestión Integrada para la promoción, prevención y control de las
Enfermedades Transmitidas por Vectores en Colombia, 2012 – 2021”
Página 23 de 24
Lecciones Aprendidas Proceso M&E
BIBLIOGRAFIA
1.
Propuesta del Proyecto Malaria Colombia, mayo 2010.
2.
MCP, Solicitud de continuación de financiamiento al Fondo Mundial
3.
Marcos de desempeño de Receptores Principales Fase I y Fase II
4.
Reportes programáticos de Receptores Principales semestrales
5.
Planes de M&E Proyecto Malaria Colombia Fase I y Fase II
6.
Documentos de Evaluación de desempeño de los responsables de M&E 2011-2014
7.
Documentos de Análisis de Indicadores del Proyecto Malaria Colombia 2011-2014
8.
Global Fund, “Monitoring and Evaluation Toolkit”, Third Edition, February 2009
9.
The World Bank Global HIV/AIDS Program, “The 12 components of a Functional HIV M&E system,
2008
10.
Actas de retroalimentación de RPs de calidad de data
11.
Comunicaciones del Fondo Mundial sobre OSDV
Página 24 de 24