Seguimiento y control de programas

Seguimiento y control de programas
Bajar para imprimir
1. Propósitos principales del seguimiento
El seguimiento de programas tiene dos propósitos principales:


mejorar los programas identificando aquellos aspectos que están trabajando de
acuerdo a un plan y aquellos que deben ser corregidos a mitad de curso y
rastrear los resultados a nivel de programa o de población
Por ejemplo, ciertas técnicas de evaluación están diseñadas específicamente para
mejorar el desempeño. En un esfuerzo para mejorar la calidad de la atención en los
programas de planificación familiar, ciertos países han experimentado con la técnica
Client-Oriented Provider-Efficient (COPE) o técnica de provisión eficiente orientada hacia
el cliente, que es un instrumento de autovaloración diseñada para uso local, es decir en
cada PPS (AVSC International, 1995). Los datos no se agregan a un nivel superior, sino
que más bien se analizan por los proveedores de servicios para identificar cambios que
puedan ocurrir a nivel local y dirigirse a problemas identificados por el ejercicio. Esta
técnica cualitativa representa un enfoque promisor para mejorar los programas de abajo
hacia arriba, pero no satisface las necesidades de un oficial regional de programa en el
rastreo de resultados de los PPS en una red de establecimientos.
Por otra parte, hay técnicas que dan seguimiento a los logros de un programa pero
proveen una percepción relativamente pobre de las bondades y las debilidades. Un
ejemplo sería la rutina que reporta las estadísticas de servicios (por ejemplo, el número
de visitas prenatales, número de partos) recolectadas a nivel de los PPS y agregadas a
nivel central. Este tipo de información es valiosa para el rastreo de las tendencias a
través del tiempo, pero por sí solas no indican por qué el programa está o no está
logrando los resultados deseados.
Los administradores de programas y agencias donantes están generalmente interesados
en ambos tipos de seguimiento. Las agencias donantes casi siempre quieren los datos
cuantitativos sobre "resultados", pero están cada vez más interesados en que el
programa tenga algunos medios para obtener datos, a menudo cualitativos en naturaleza
(por ejemplo, grupos focales, entrevistas en profundidad, listas de chequeo de
observación, etc.), los cuales serán usados directamente para mejorar el programa. En
estas circunstancias, el seguimiento y control de programas a menudo consiste en una
combinación de actividades de evaluación cuantitativas y cualitativas sobre resultados y
procesos del programa.
Las evaluaciones concentran cada vez más su atención en el efecto final de los
programas de planificación familiar y salud, o sea, en el impacto de los programas o las
intervenciones. La medición del impacto comprende más que el mero seguimiento de los
cambios en los indicadores de resultados, requiere una evidencia empírica de que un
cambio observado en los indicadores de resultados es atribuible a un determinado
programa o intervención. En otras palabras, requiere evidencia de que el programa o la
intervención evaluada ha causado el cambio.
Para medir el impacto del programa están disponibles cierta cantidad de métodos y
enfoques. Estos difieren en distintos aspectos, como por ejemplo, el número y tipo de
supuestos, la solidez de las conclusiones alcanzadas sobre el impacto del programa y los
requisitos operacionales y de datos. Este capítulo ofrece una visión de conjunto de los
métodos más robustos disponibles para medir el impacto de programas de salud
reproductiva, con el objetivo de ofrecer una guía para seleccionar la mejor opción.
Las decisiones sobre cómo debería medirse el impacto del programa se deben hacer en la
etapa del diseño o del planeamiento de los programas o nuevos ciclos de programas,
porque es solo en esta etapa que se tienen disponibles todas las opciones. Una vez que
un programa o ciclo de programas está funcionando, se pierde la oportunidad de usar
algunos de los diseños de investigación más poderosos y se vuelve necesario recurrir a
opciones más débiles.
2. Identificación de los elementos que deben tener seguimiento
La decisión sobre cuáles componentes de un programa deben tener seguimiento
depende, en parte, del propósito primario de la evaluación: mejorar el programa,
rastrear los resultados o ambos. Para el administrador del programa, no se trata de "uno
u otro", requiere ambos. Por el contrario, las agencias donantes están a menudo más
interesadas en rastrear los resultados a nivel de programa (aunque también fomentan la
adopción de mecanismos para identificar áreas que requieren mejoramiento).
La evaluación de las diferentes operaciones de los servicios ("áreas funcionales") es
particularmente útil cuando se realiza con suficiente antelación en el proceso de
implementación para permitir correcciones a mitad de curso. La utilización del servicio
está generalmente rastreada continuamente durante la vida del proyecto. Los productos,
por el contrario, están medidos generalmente en intervalos (dos o más) para medir el
cambio a través del tiempo.
Ciertos puntos deben ser mencionados:
• El seguimiento de programas emplea tanto las técnicas cuantitativas como cualitativas.
• No es práctico intentar una evaluación detallada de TODOS los aspectos del programa.
Más bien, es importante priorizar aquellos puntos para los cuales la información será más
útil para la organización y crucial para el éxito del programa.
• El uso de un marco conceptual que identifica los caminos para lograr los resultados
deseados es conveniente tanto en proyectos como en programas nacionales.
• Las actividades de evaluación son generalmente escalonadas. Algunas pueden ser
realizadas de rutina (por ejemplo, recolección e informes de estadísticas de servicios),
otras sobre una base periódica (por ejemplo, simulaciones y encuestas de observadores
incógnitos para valorar la calidad de la atención) y otras consisten en un solo ejercicio.
• El personal administrativo clave debería tomar el papel de líder en la decisión de a
cuáles aspectos del programa dar seguimiento. Esto no lo debe hacer el especialista en
evaluación. Es importante, sin embargo, que el especialista en evaluación se involucre
bastante en estas discusiones, para proveer información útil para influenciar la decisión
(por ejemplo, los costos y el tiempo requeridos para diferentes actividades de recolección
de datos, las fuentes alternativas de información, los sesgos inherentes a distintos
métodos de recolección de datos, etc.).
La tarea es, entonces, identificar las preguntas de evaluación prioritarias para el
programa en estudio. Por ejemplo, casi todos los administradores querrán
retroalimentación regular sobre "resultados" que reflejen el desempeño a nivel de
establecimiento (número de partos por cesárea, número de inmunizaciones de tétanos).
A menudo hay, también, puntos específicos de interés a los cuales dirigirse (por ejemplo,
la necesidad de dar seguimiento a la calidad). Los administradores también querrán
saber cuán productivo es su personal administrativo en la generación de productos tales
como atención de clientes: ¿cuántos clientes reciben servicios diariamente? ¿Cuál fue el
costo de proveer parteras entrenadas para los partos del año anterior?
3. Indicadores
Propósito de los indicadores
Los indicadores miden diferentes aspectos de un programa: los insumos, los procesos,
los productos y los resultados. A un indicador se le puede asignar un valor numérico
(porcentaje, promedio, una jerarquía, valor absoluto) o un valor de si/no (por ejemplo,
"presencia" versus "ausencia"). En algunos casos, el valor tiene una interpretación muy
amplia (por ejemplo, la tasa de mortalidad materna de 948 por 100,000 en la República
Central Africana para un período de 10 a 13 años puede ser percibida como "alta" (DHS
Fact Sheets. 1994/95)). En otros casos, el valor (número) es más útil en un sentido
relativo, en comparación con programas similares o con el mismo programa en una fecha
anterior (por ejemplo, tendencias en inmunizaciones de tétanos).
Una lista completa de indicadores está publicada en el documento (disponible solo en
inglés) "Indicadores para la Evaluación de Programas de Salud Reproductiva: Informe
Final del Subcomité sobre Embarazo Seguro" (Bertrand y Tsui, 1995).
Para una evaluación dada, se debe priorizar los indicadores con base en objetivos
específicos del programa específicos y seleccionar un conjunto manejable de indicadores
para satisfacer las necesidades específicas de la situación. En resumen, es esencial
identificar la(s) pregunta(s) clave(s) a la(s) cual(es) se dirige la evaluación y de acuerdo
con esto, seleccionar los indicadores.
Características de buenos indicadores
Los buenos indicadores tienen ciertas características importantes. Tal vez la principal es
la validez. ¿Mide el indicador lo que se supone que debe medir? Por ejemplo, en una
encuesta, las preguntas sobre el tamaño ideal de familia generalmente no están
diseñadas para ser medidas válidas de la demanda de fecundida, debido a los sesgos de
las respuestas. En cambio, la intención indicada de tener más hijos está diseñada para
ser un indicador válido de demanda de fecundidad, puesto que tiende a ser menos
influenciada por el sesgo de respuesta. Otro ejemplo son las venta de equipos de
embarazo seguro mercadeados socialmente. Este puede ser un indicador válido de su
nivel de uso, si los usuarios no están sustituyendo el producto mercadeado por otros
métodos o prácticas.
Otra dimensión de la validez es que el indicador debe tener una conexión cercana, o al
menos defendible a la intervención. Por ejemplo, la tasa de mortalidad materna, en
general no es una medida válida del impacto de un programa de planificación familiar
sobre la salud femenina. Aunque los programas de planificación familiar ciertamente
contribuyen a reducir la mortalidad materna, existen otros factores (atención prenatal,
sistema de referencia, acceso a la atención hospitalaria, transporte) que también influyen
en la tasa. Un indicador con mayor validez del impacto de la planificación familiar en la
salud de las mujeres puede ser el número de nacimientos de mujeres que pertenecen a
categorías de alto riesgo.
La confiabilidad es otra característica deseable en un buen indicador. La confiabilidad se
refiere al grado de error de medición aleatorio en un indicador. El error de medición
puede surgir de un error de muestreo, un error de no muestreo o una medición subjetiva
del indicador. Por ejemplo, debido al error de muestreo, una encuesta nacional como la
DHS no provee estimaciones confiables de la práctica anticonceptiva de áreas pequeñas
debido a grandes errores de muestreo. Las estadísticas de servicios pueden dar medidas
más confiables de práctica anticonceptiva en estas áreas (aunque pueden no ser válidas
si la población en el área obtiene anticonceptivos fuera de los servicios oficiales).
En resumen, la confiabilidad se refiere a si un indicador mide con precisión lo que debe
medir. La validez se refiere a si el indicador seleccionado es apropiado para medir los
cambios en una intervención particular.
Un indicador debe definirse con términos claros y precisos.
De igual forma, es preferible escoger indicadores que sean comparables en diferentes
grupos poblacionales y enfoques programáticos.
Los indicadores deben ser insesgados.
Los indicadores deben ser recolectados a tiempo.
Factores que afectan la selección de indicadores
En un mundo ideal, el evaluador identificaría los indicadores considerados como más
útiles para una evaluación determinada y procedería a recolectar o conseguir los datos
necesarios. Sin embargo, en la realidad, cuando enfrenta escasez de tiempo y de
recursos humanos y financieros, otros factores intervienen en la selección de los
indicadores, como los siguientes:
• La disponibilidad de datos requeridos para medir el indicador
Por ejemplo, para valorar los efectos de los programas de planificación familiar en la
fecundidad y la salud a nivel mundial sería muy útil tener datos de todos los países sobre
la fuente de financiamiento (agencias donantes, impuestos locales, tarifas a los clientes)
para la salud reproductiva y sobre los costos de los servicios de salud reproductiva. Sin
embargo, tales datos no existen por ahora de manera fácilmente accesible.
• Cantidad de tiempo dedicado a la evaluación
Por ejemplo, a los administradores de programa podría gustarles saber si su nuevo
enfoque de consejería para la lactancia exclusiva trae como resultado tasas de
continuación más altas. Sin embargo, si la evaluación del programa de consejería está
limitado por la vida del proyecto (parte del cual se supone que está agotado), es
imposible determinar los efectos a largo plazo de esta consejería.
• Apoyo financiero disponible para la evaluación
Por ejemplo, a muchos directores de ICE (Información-Comunicación- Educación) les
gustaría saber el porcentaje de la población meta alcanzado por una determinada
campaña y la reacción del público a los mensajes. Sin embargo, ellos podrían carecer de
los recursos necesarios para realizar una encuesta de población. Puede darse un conflicto
entre el costo, por un lado, y la validez, confiabilidad y oportunidad, por el otro.
• Requisitos de las agencias donantes
Por ejemplo, el indicador "años-pareja de protección" se ha convertido en una medida
ampliamente usada en los programas de planificación familiar financiados por la USAID,
porque USAID (así como el IPPF) pide a las agencias receptoras que informen sobre ese
resultado.
Para cada indicador es necesario identificar una o más fuentes del dato. En la medida que
los evaluadores tengan acceso a los informes de otros, es útil revisar cómo los colegas
investigadores y evaluadores han manejado situaciones semejantes. Si esta información
falta, la regla cardinal indica: documente cualquier decisión relacionada a la
operacionalización de los indicadores de una evaluación específica.
4. Fuentes de datos
La evaluación de los programas de salud normalmente comprende datos a nivel de
población y de programa. Al diseñar la evaluación, es esencial hacer un inventario de los
datos existentes y de la recolección de datos adicionales que son necesarios para dar
respuesta a las preguntas de evaluación que se van a estudiar.
¿Qué se hace primero? ¿identificar los indicadores a usar o identificar las fuentes de
datos disponibles? Los dos procesos están estrechamente relacionados. La selección de
los indicadores a menudo está determinado por la disponibilidad de los datos existentes o
la factibilidad de recolectar información adicional a un costo mínimo para el programa
(por ejemplo, las estadísticas rutinarias de servicios). Sin embargo, algunas evaluaciones
no pueden realizarse usando los datos existentes, tales como la valoración de la calidad
de la atención que requieren los estudios especiales. En tales casos, uno trata de hacer
un esquema de los indicadores de interés y luego identifica la recolección de datos
requerida para obtener la información.
La evaluación de programas generalmente consiste en dos componentes: resultados en
la población (utilizando encuestas de hogares de tipo DHS) y productos de programas.
Datos a nivel de programas
Los datos de programas provienen de distintas fuentes de datos, las cuales pueden ser
agrupadas en cuatro categorías.
(1) Registros de programas y estadísticas de servicios: los registros de programa se
refieren a todos los tipos de información generados por una o más divisiones del
programa y guardados en una oficina central o regional. Algunos ejemplos útiles para los
programas de seguimiento (especialmente productos funcionales) son: el número de
visitas de supervisión realizadas a trabajadores CBD (distribución comunitaria), el
número de personas capacitadas por año por tipo de personal, el número de productos
de comunicación distintos en un determinado año, la cantidad de productos de
comunicación distribuidos.
Las estadísticas de servicios son una sub-categoría de los datos de programa. Incluyen
cualquier tipo de información recolectada de rutina y reportada en relación a la utilización
de un servicio. Los indicadores comunes incluyen las características del usuario y el
número de visitas a los puntos de provisión de servicios (PPS). Generalmente, estos
datos son recolectados en cada PPS, luego agregados en una oficina central para dar
seguimiento y control a tendencias a través del tiempo y por sub-unidad dentro del
sistema.
(2) Encuestas de establecimientos: El objetivo primario de las encuestas de
establecimientos es describir la disponibilidad, funcionalidad y calidad de las actividades
de salud materna y perinatal. Esta información puede obtenerse entrevistando personas
informadas o visitando el establecimiento y observando sus operaciones. Los datos de
establecimientos también son necesarios para los estudios que vinculan información del
nivel del programa (por ejemplo, calidad de la atención) con resultados a nivel de
población.
Hay dos tipos básicos de encuestas de establecimientos en proyectos de la USAID. El
primero, conocido como el "Análisis de situación", fue desarrollado en el contexto del
proyecto de la Investigación de Operaciones en Africa/Asistencia Técnica (OR/TA) (Fisher
et al., 1992) y ha sido replicado en varios países en el mundo. El segundo es el Módulo
de Disponibilidad de Servicios (SAM), desarrollado e implementado bajo el programa
DHS.
Los dos tipos de encuestas se diferencian entre sí por (1) los instrumentos de recolección
de datos y (2) en la población de PPS que describen. Para el Análisis de Situación, los
instrumentos para recolección de datos incluyen una serie de módulos (por ejemplo,
inventario de suministros en el PPS, observación de la interacción proveedor-cliente,
entrevistas de salida con clientes, entrevistas con proveedores de servicios). SAM es una
encuesta a comunidades, conducida en conexión con la encuesta de hogares en la DHS
(en algunos países). Para cada conglomerado muestral de la encuesta, informantes clave
proveen una lista de los establecimientos cercanos. Los equipos de campo obtienen luego
la información en cada (1) hospital, (2) clínica, (3) centro de salud, (4) farmacia y (5)
doctor privado que estén más cercanos dentro de un radio de 30 kilómetros del centro
del conglomerado. La información recolectada en cada sitio cubre la estructura
gubernamental (público vs. privado), el número y tipo de personal, la infraestructura
(equipo, tipo de materiales de construcción), tipos de servicios ofrecidos, etc. Esta
información es potencialmente útil para valorar la disponibilidad y suficiencia de los
servicios maternos y perinatales para una población determinada y puede ser
especialmente importante para vincular los cambios (mejoras) en la provisión de
servicios maternos y perinatales a los cambios en la prevalencia a través del tiempo.
La diferencia en el muestreo utilizado en los dos tipos de encuestas es la siguiente. El
análisis de situación se basa en una muestra al azar de los PPS en un país (que puede
ser desproporcionadamente localizado en áreas urbanas), mientras los datos SAM son
recolectados en una muestra al azar de mujeres en el país. Entonces, el Análisis de
Situación mide el PPS promedio, mientras la SAM mide los servicios disponibles a la
mujer promedio en un país dado.
(3) Sector comercial: Las fuentes de datos en el sector comercial generalmente no son
parte de las estadísticas de programa, las cuales provienen del sector público y de los
grandes proveedores no gubernamentales (NGOs). En cambio, no hay una central de
estadísticas de servicios maternos y perinatales en el sector comercial. Esto se debe, en
parte, a la ausencia de un cuerpo central encargado de estos datos y en parte porque los
proveedores comerciales pueden estar reacios a compartir información sobre el volumen
y calidad de sus servicios. Algunas de las actividades del sector comercial han sido
medidas en algunos SAM y Estudios de Análisis de Situación, así como en encuestas
focalizadas exclusivamente en los proveedores privados.
(4) Estudios especiales: Los estudios especiales se realizan para responder a una
necesidad específica. Pueden emplear métodos de investigación cuantitativos o
cualitativos. La lista de posibles estudios especiales es larga; algunos ejemplos
ilustrativos incluyen los siguientes:
• un seguimiento de clientes para determinar su nivel de satisfacción con los servicios
recibidos
• grupos focales entre adolescentes que asisten a un programa para valorar si éste
responde a sus intereses y necesidades
• una revisión administrativa de los documentos del programa y
• mapeo de una comunidad para mostrar dónde viven las parejas elegibles y qué método
anticonceptivo usan.
Datos a nivel de población
El instrumento primario para recolectar datos de población es la encuesta tipo DHS. La
Encuesta Demográfica y de Salud (DHS) generalmente se realiza entre una muestra
representativa de mujeres en edad reproductiva en un país determinado. Recientemente
ciertas DHS también han incluido algunos hombres (ya sea una muestra independiente
de hombres o una muestra de cónyuges de las mujeres entrevistadas en las DHS). (Más
información sobre esta encuesta, disponible en inglés, dando click en DHS)
El cuestionario básico de las DHS consiste en unas 250 preguntas y provee información
detallada sobre fecundidad, salud materno-infantil, planificación familiar, utilización de
servicios de salud y temas afines (Robey et al., 1992).
Usamos el término "encuestas tipo DHS" para subrayar que hay otras encuestas
similares a la DHS en contenido y tipo de población estudiada. Los Centros para el
Control y Prevención de Enfermedades (CDC) han realizado un número de Encuestas de
Salud Reproductiva en algunos países de América Latina y otras regiones del mundo. De
igual manera, ciertos países han realizado sus propias encuestas a nivel nacional sobre
salud materno-infantil, planificación familiar y temas afines.
5. Planes de evaluación
Una vez que todos los elementos del plan de seguimiento han sido acordados, deberían
ser mostrados en un formato fácil de leer. La Figura 3 es un ejemplo de un plan de
seguimiento de programas de planificación familiar y la Fórmula 2 es una versión en
blanco de esta misma fórmula.