Evaluación conjunta 2016: Cómo planificar y realizar una

Evaluación conjunta 2016
Evaluación conjunta 2016:
Cómo planificar y realizar una evaluación conjunta
Este documento orientativo está destinado a los actores principales en los países, los
socios de la alianza y el personal de la Secretaría de Gavi implicados en la planificación
y la realización de la evaluación conjunta. El documento explica la finalidad y los
objetivos de la evaluación conjunta, y resume los pasos que se sugiere dar para
organizar un proceso de evaluación exitoso.
Para más información sobre cómo desarrollar un informe de evaluación conjunta,
sírvase consultar el documento titulado "Evaluación conjunta 2016: Cómo elaborar el
informe de evaluación conjunta”.
1. Introducción
Los nuevos planteamientos para fortalecer los procesos de gestión de las subvenciones de Gavi
fueron introducidos por primera vez en 2014. El objetivo de estos cambios es simplificar el proceso
de solicitud y revisión de las subvenciones, reducir los costos de transacción para los países,
reforzar la participación de los países y de los socios, ajustar mejor el apoyo a las vacunas al sistema
de salud, garantizar un mejor control de los fondos y mejorar el seguimiento del rendimiento de las
subvenciones.
La financiación de Gavi para el apoyo a vacunas nuevas (AVN) y para el fortalecimiento de los
sistemas de salud (FSS) abarca un periodo de entre tres y cinco años, y se concede habitualmente
para el tiempo que dura el plan nacional de salud o el plan plurianual integral de inmunización (PPII).
El apoyo a las subvenciones de Gavi se renueva anualmente en función del rendimiento
programático y financiero de un país.
En el pasado, para la renovación de la financiación, los países presentaban un Informe Anual de
Progreso (IAP) a la Secretaría de Gavi, junto con una petición para el apoyo a las vacunas y el
apoyo en efectivo del año siguiente. Las decisiones de renovación se basaban en un examen
documental a cargo de un grupo de expertos técnicos independientes.
En el marco de los esfuerzos de rediseño, se introdujeron el proceso de evaluación conjunta y el
Panel de Examen de Alto Nivel (HLRP, por sus siglas en inglés), con el objetivo de trasladar la
discusión sobre los avances en implementación de las subvenciones y las necesidades futuras al
nivel nacional, e involucrar con mayor eficacia a quienes están más familiarizados con el apoyo de
Gavi. Los resultados de la evaluación conjunta constituyen la principal fuente de información que se
proporciona al HLRP para posibilitar la recomendación al Presidente Ejecutivo de Gavi de que
apruebe la renovación del apoyo de Gavi a la AVN y/o al FSS durante un año adicional.1 Los
resultados también fundamentan los aspectos centrales de la ayuda técnica que proporcionan los
socios de la alianza de Gavi.
Las aportaciones y opiniones de una serie de partes interesadas en el proceso sobre el enfoque de
la evaluación conjunta de 2015 ha sido recibida y tenida en cuenta a la hora de perfeccionar los
documentos orientativos para 2016. En concreto, en 2016 se ha introducido un enfoque diferenciado
que se explica con más detalle en la sección 4 de esta nota orientativa.
1
El HLRP lo integran altos cargos de la OMS, UNICEF y la Secretaría de Gavi, así como algunos expertos técnicos
independientes. El panel se reúne tres veces al año.
Versión: Febrero 2016
Evaluación conjunta 2016
2. Definición y objetivos de la evaluación conjunta
¿Qué es la evaluación conjunta y por qué es necesaria?
La evaluación conjunta en un paso clave en el proceso de renovación del apoyo Gavi. Se trata de
un examen que se realiza en el país a cargo de diversas partes interesadas sobre los avances en
la implementación y el rendimiento del apoyo que presta Gavi a los países en forma de vacunas y
de apoyo en efectivo, y de su contribución a la mejora de los resultados en inmunización. Si bien
algunos de los análisis necesarios para esta evaluación pueden estar disponibles en exámenes
recientes del programa de inmunización, este ejercicio no debe ser visto como un examen del
programa nacional de inmunización.
La naturaleza conjunta de la evaluación tiene como objetivo fomentar una colaboración más sólida
entre los gobiernos y los actores principales de Gavi, y lograr una visión común de las
oportunidades, retos y necesidades fundamentales para el apoyo y la ayuda técnica, a través de
un diálogo transparente.
A nivel de país, este ejercicio ayuda a poner de acuerdo a los actores principales de distintos
departamentos, funciones y organismos sobre los problemas programáticos y financieros que
requieren atención. A nivel global, el vínculo entre el rendimiento histórico y previsto de las
subvenciones sienta las bases para las decisiones de renovación en Gavi. La detección de
obstáculos y riesgos en la implementación, junto con las discusiones en torno a las prioridades
futuras del programa de inmunización, también fundamentan la manera en la que el apoyo de Gavi
(mediante ayuda en efectivo y ayuda técnica por parte de los socios de la alianza2) debería
orientarse de manera más óptima para maximizar el impacto del apoyo el año siguiente.
¿Cuáles son los objetivos de la evaluación conjunta?
•
•
•
Identificar los retos persistentes que frenan los avances, en particular hacia una mejora de
la cobertura y la equidad, así como los obstáculos que se deben superar para promover la
sostenibilidad técnica/financiera.
Destacar las esferas en las que son necesarias mayores inversiones y esfuerzos a nivel
nacional, así como apoyo técnico.
Fundamentar la decisión de Gavi sobre la renovación de sus subvenciones, y posibilitar la
toma en consideración acerca de cómo optimizar su apoyo catalizador en aras de mejorar
los resultados en inmunización.
¿Quién realiza la evaluación conjunta? ¿Dónde la realiza?
La realiza un "equipo de evaluación conjunta", que habitualmente lo componen las siguientes partes
interesadas:3
• Personal competente del Ministerio de Salud y Finanzas del país al que Gavi está prestando
apoyo;
• Miembros del Comité de Coordinación Interagencial (CCI) y del Comité de Coordinación de
los Sistemas de Salud (HSCC por sus siglas en ingles), lo que incluye a organizaciones de
la sociedad civil, si procede;
• Personal de las organizaciones asociadas a Gavi; y
• Personal competente de la Secretaría de Gavi.
La evaluación conjunta se lleva a cabo en el país con la presencia física de todos los miembros del
equipo de evaluación conjunta. En el caso de que los socios regionales y globales no puedan viajar
al país en cuestión, la evaluación puede llevarse a cabo incorporando a esos socios a las
discusiones más importantes por vía telefónica e intercambiando informes preliminares a través del
correo electrónico. En algunos casos, puede ser necesario llevar a cabo una evaluación conjunta
completa con participación a distancia de todas las partes interesadas por motivos de seguridad.
2
Socios de la Alianza como OMS, UNICEF, el Banco Mundial, U.S. Centers for Disease Control, PATH, Johns Hopkins
University, John Snow Inc., Agence de Médecine Préventive.
3 Se proporciona información más detallada en la sección 5.1, bajo el epígrafe "Formación del equipo de evaluación
conjunta”.
Versión: Febrero de 2016
2
Evaluación conjunta 2016
Al margen del planteamiento adoptado, se dispone de una serie de principios conceptuales
fundamentales que pueden reforzar la calidad de los resultados de la evaluación conjunta (véanse
los principios conceptuales en la sección 3).
¿Cuándo se realiza la evaluación conjunta?
Cuando resulte posible, las evaluaciones conjuntas deben planificarse para que se ajusten a los
ciclos fiscales existentes en el país, a los procesos anuales de planificación o a los correspondientes
exámenes y actividades que llevan a cabo los socios en el país. Hay otras cuestiones a tener en
cuenta como el calendario de las necesidades de desembolso de las subvenciones para el
Fortalecimiento de los Sistemas de Salud (FSS). Véase la Sección 4.1 para más información sobre
consideraciones en materia de calendario, así como para el calendario de de planificación (Anexo
1) con el plazo de tiempo aproximado destinado a realizar una evaluación conjunta aprovechando
las tres reuniones del HLRP previstas para 2016.
¿Cuál es el resultado de la evaluación conjunta?
El resultado de la evaluación es el informe completo que recoge la información, el análisis, las
conclusiones y las recomendaciones del equipo de evaluación conjunta4. El informe de evaluación
conjunta abarca una serie de áreas estándar de investigación relacionadas con el apoyo de Gavi al
programa nacional. El informe (al igual que los objetivos, el desempeño comunicado de las
subvenciones y la petición de la continuación de la financiación FSS) debe ser avalado por el CCI
y el HSCC, o equivalente. El HLRP lo utiliza para fundamentar sus deliberaciones y su
recomendación sobre la renovación de las subvenciones, así como sobre la provisión de apoyo
técnico al país.
El modelo de informe y la guía orientativa asociada pueden encontrarse en el documento
"Evaluación conjunta 2016: Cómo elaborar el informe de la evaluación conjunta”.
3. Principios conceptuales de la evaluación conjunta
La evaluación conjunta tiene que ser lo suficientemente fiable para permitir que el HLRP utilice los
resultados como fundamento de sus recomendaciones para la renovación de fondos. Al margen del
planteamiento de evaluación conjunta que se adopte, es importante tener en mente algunos
principios conceptuales clave para asegurar la calidad de la evaluación conjunta y de sus
resultados. La evaluación conjunta debería:
•
•
•
•
•
•
•
•
Ser convocada conjuntamente por el Ministerio de Salud y la Secretaría de Gavi
Incluir a los pertinentes actores clave a nivel nacional e internacional
Posibilitar discusiones imparciales y con base empírica
Aprovechar los procesos existentes en el país y los resultados de otros exámenes
Realizarse en el país en el momento oportuno, con arreglo a lo que determine el país
Plantear recomendaciones que se puedan llevar a cabo
Documentar el proceso, las conclusiones y las recomendaciones en un informe avalado por
el CCI o el HSCC. Es en este momento cuando se deben avalar también los objetivos y el
desempeño comunicado de las subvenciones, así como la petición para prorrogar los fondos
para FSS.
Recibir apoyo mediante una participación intensiva de la propia Secretaría
El cuadro que se presenta a continuación incluye algunas acciones que son fundamentales para un
proceso de evaluación conjunta fiable.
4 De manera consistente con la Política de Acceso a la Información de Gavi, el resumen ejecutivo del informe completo
de la evaluación conjunta estará disponible con carácter público. Otras partes pueden ponerse también a disposición del
público.
Versión: Febrero de 2016
3
Evaluación conjunta 2016
Principios conceptuales
Implicación para la evaluación conjunta
Convocatoria conjunta
del Ministerio de Salud y
de la Secretaría de Gavi
El Responsable Sénior de País de Gavi y un delegado del Ministerio de Salud
deben convocar conjuntamente el proceso (con el apoyo de los socios), para
garantizar que las expectativas de gestión de las subvenciones de Gavi están
claras y que el proceso se adapta a las necesidades del país.
Para formalizar el proceso y aclarar las funciones y responsabilidades por
adelantado, se sugiere que el Ministerio de Salud envíe lo antes posible una
carta a los actores principales involucrados en las discusiones de la
evaluación conjunta.
Inclusión de los
pertinentes actores clave
a nivel nacional e
internacional
Garantizar que existe el conocimiento pertinente en el equipo de evaluación
conjunta que abarque el conocimiento relativo a la inmunización y los
sistemas de salud (subvenciones para AVN y FSS), así como en materia de
gestión programática y financiera.
Incluir en las discusiones de la evaluación a los actores principales relevantes
de los Ministerios (p.ej., Ministerio de Finanzas), los socios en materia de
desarrollo, las organizaciones de la sociedad civil (OSC), las instituciones
nacionales académicas y de formación en el país, y los socios a nivel regional
o mundial, que pueden ofrecer puntos de vista diferentes sobre los avances
en implementación y sobre cómo hacer frente a los problemas que se han
identificado.
La selección de los participantes externos debe discutirse con el Ministerio
de Salud, los socios de la alianza y la Secretaría de Gavi.
Fomento de discusiones
imparciales y con base
empírica
Garantizar un diálogo abierto entre las partes interesadas y utilizar la
información para apoyar las discusiones. Se debe facilitar la información al
equipo de evaluación conjunta un mes antes del inicio de las discusiones
sobre la evaluación, de manera que se puedan hacer los correspondientes
análisis y que el examen preliminar de los documentos pueda fundamentar
el perfeccionamiento de la agenda de la evaluación.
Aprovechamiento de los
procesos existentes en el
país y de los resultados
de otros exámenes
Examen de los resultados de otros análisis de situación del año anterior,
además de los avances en la implementación de los planes de acción de
otros exámenes, para contextualizar la evaluación conjunta.
Realización de la
evaluación en el país en
el momento oportuno,
con arreglo a lo que
determine el país
La planificación del cuándo, cómo y dónde debería hacerse al principio del
año y ajustarse a los ciclos fiscales y de planificación del país.
Planteamiento de las
recomendaciones que se
puedan llevar a cabo
Las recomendaciones que se planteen en la evaluación conjunta deben ser
aplicables en la práctica, e incluir responsabilidades y calendarios claros de
seguimiento. Si se requiere financiación, las recomendaciones deben indicar
las fuentes de financiación, y, si no están disponibles, indicar cómo se
garantizarán los recursos.
Documentación del
proceso, de las
conclusiones y de las
recomendaciones en un
informe avalado por el
CCI o el HSCC
El CCI/HSCC o un mecanismo nacional de coordinación equivalente debe
participar durante todo el proceso.
Apoyo mediante una
participación intensiva
de la propia Secretaría
La Secretaría de Gavi estará presente durante el desarrollo de todas las
evaluaciones conjuntas, y participará para apoyar el proceso.
Puede vincularse, y contribuir, al fortalecimiento de los mecanismos de
revisión existentes, cuando así sea posible.
Tras consultar con los países, los grupos de trabajo regionales de
OMS/UNICEF pueden desarrollar un calendario de actividades para cada
región, con el objetivo de facilitar la planificación y participación de las partes
interesadas a nivel nacional.
El proceso y el informe de la evaluación conjunta tienen que ser avalados por
el CCI/HSCC para asegurar un acuerdo colectivo sobre las acciones
necesarias para avanzar. La información y los objetivos incluidos en el marco
de desempeño también han de ser avalados en este momento.
Versión: Febrero de 2016
4
Evaluación conjunta 2016
4. Diferenciación del proceso de evaluación conjunta
En 2015, la mayoría de los países (aproximadamente un 64%) llevaron a cabo la evaluación
conjunta con la plena participación de las partes interesadas a nivel regional y mundial, que se
incorporaron a estas discusiones de los países. Esta participación fue considerada un logro muy
positivo en términos de participación sólida de la Alianza. En otros países, estas discusiones sobre
la evaluación conjunta recibieron el apoyo de los socios a través de más coordinación y más apoyo
a distancia.
La inversión de tiempo y recursos para mantener este nivel de participación por parte de los socios
en todos los proyectos sugiere la necesidad de diferenciar el proceso de evaluación conjunta que
está en marcha. En 2016, si bien las discusiones en los países sobre el desempeño siguen siendo
parte integral del ciclo anual de subvenciones, Gavi no exigirá a todos los países que lleven a cabo
una evaluación conjunta completa cada año con participación de las partes interesadas a nivel
mundial y regional.
Los países de Gavi se dividen en dos categorías principales:
País
Prioridad PEF
Resto de países
Tipo
Evaluación
conjunta
"completa"
Evaluación
conjunta
"completa"
"Actualización"
de la evaluación
conjunta
Participación en el
país
Partes interesadas a
nivel nacional, regional y
mundial
Partes interesadas a
nivel nacional, regional y
mundial
Partes interesadas en el
país
Frecuencia
Mecanismo de
revisión
Anual
HLRP
Cada dos (o
tres) años
HLRP
Años
intermedios
La Secretaría Gavi
En consonancia con el Marco de Participación de los Socios de Gavi, un subconjunto de países son
prioritarios por la escala y la gravedad de los retos relacionados con la cobertura y la equidad en
materia de inmunización.5 Estos veinte países seguirán realizando evaluaciones conjuntas
anualmente con participación plena de los socios de la Alianza, y los informes de evaluación
conjunta serán revisados cada año por el HLRP. Además, las circunstancias especiales que
afrontan determinados países (por ejemplo aquellos que están en una fase acelerada de transición)
también pueden sugerir un ciclo anual de evaluación conjunta.
Para los países restantes, se puede planificar una evaluación conjunta completa con menos
frecuencia, cada dos o tres años, dependiendo del nivel de inversión y de la complejidad del apoyo
que presta Gavi. Esto es así debido a que se prevé que los países y Gavi revisen los avances
logrados en implementación de manera periódica (anual) como parte del seguimiento y la
presentación rutinaria de informes, pero no todos los países necesitarán que las partes interesadas
a nivel regional y mundial se impliquen todos los años. La Secretaría de Gavi consultará con los
gobiernos y los socios para decidir sobre el calendario y la frecuencia adecuados para cada país.
En el caso de aquellos países que no lleven a cabo una evaluación conjunta completa, se habrá de
presentar a Gavi una "actualización de evaluación conjunta" provisional para su revisión y
renovación. El establecimiento de estándares/requisitos mínimos ayudará a distinguir entre una
evaluación conjunta completa y una actualización de evaluación conjunta menos exhaustiva, que
se ha de realizar en años intermedios como una actualización de los avances logrados (véase el
cuadro más abajo para comparar las características de ambas). Las decisiones sobre renovación
se tomarán en el momento oportuno poco después de la presentación de la actualización de la
evaluación conjunta, con el objetivo de facilitar la planificación por adelantado.
5
Entre estos países figuran: India, Nigeria, Pakistán, Etiopía, RD Congo, Indonesia, Kenia, Uganda, Afganistán, Chad,
Níger, Somalia, Myanmar, Sudán del Sur, Mozambique, Madagascar, CAR, PNG, Haití y Yemen.
Versión: Febrero de 2016
5
Evaluación conjunta 2016
Características compartidas
Características
Evaluación conjunta completa
Base para la
discusión
Aprovechan los resultados de la evaluación conjunta previa y se centran en los avances
logrados hasta la fecha o en los cambios en la situación del país
Hacen referencia a procesos existentes en el país y a los resultados de otros exámenes
Se llevan a cabo en el país en el momento oportuno, tal y como determine el país
(aproximadamente 3 meses después del final del ciclo fiscal del país)
Calendario
Áctualización de la evaluación conjunta
Lugar
En el país
Conducción del
proceso y
redacción del
informe
Procesos convocados conjuntamente por el Ministerio de Salud y la Secretaría de Gavi
La redacción del informe se realiza en los términos acordados con el equipo de
evaluación conjunta antes de la reunión.
Características diferenciadoras
Características
Evaluación conjunta completa
Actualización de la evaluación conjunta
Finalidad
Examen a cargo de las distintas partes
interesadas sobre los avances en la
implementación y el desempeño del
apoyo de Gavi, y su contribución a la
mejora de los resultados en
inmunización y al fortalecimiento de las
capacidades de los países para que
puedan sostener sus programas de
inmunización.
Informe provisional sobre los avances
logrados y el seguimiento de rutina, que
documenta las discusiones entre el Ministerio
de Salud y Gavi.
Contenido del
informe
Informe integral sobre el análisis del
desempeño; identificación de las
acciones que se pueden poner en
práctica.
Breve informe de actualización para la
Secretaría de Gavi de las recomendaciones
susceptibles de ser puestas en práctica (lo
que se ha logrado y lo que está pendiente, o
lo que requiere una mejora de los resultados)
Convocada conjuntamente por el Ministerio
de Salud y Gavi
Incluye a las correspondientes partes
interesadas a nivel nacional (OMS y UNICEF)
Menor énfasis en la participación de socios
internacionales
Respaldada por una participación intensiva
de la propia Secretaría
Participación
Convocada conjuntamente por el
Ministerio de Salud y Gavi.
Incluye a las correspondientes partes
interesadas a nivel nacional e
internacional (OMS y UNICEF)
Respaldada por una participación
intensiva de la propia Secretaría
Aval
Avalada por el CCI/HSCC o
equivalente
Avalada por el gestor del PAI o equivalente
Mecanismo de
revisión
Revisada por el Panel de Examen de
Alto Nivel (HLRP)
Revisada por la Secretaría de Gavi
5. Proceso de evaluación conjunta
En esta sección se describen los distintos pasos que se sugiere dar para ayudar a los países a
comprender qué implica organizar y realizar una evaluación conjunta.
Dependiendo del tamaño del país y de la complejidad de la cartera de subvenciones de Gavi, un
país puede decidir la convocatoria de un pequeño equipo "organizador" formado por miembros del
gobierno, socios de la alianza (OMS, UNICEF u otros) y la Secretaría de Gavi, para coordinar y
supervisar la planificación, la implementación y el seguimiento de la evaluación conjunta.
Versión: Febrero de 2016
6
Evaluación conjunta 2016
Planificación
• Acordar el calendario de la
•
evaluación conjunta
• Acordar el enfoque
• Formar el equipo de evaluación
conjunta y acordar las
funciones/responsabilidades
•
• Revisar el calendario y los
recursos necesarios
• Debatir cómo involucrar a los
•
miembros del CCI/HSCC
• Determinar el programa/agenda
de la evaluación conjunta
•
• Examen de escritorio de los
documentos pertinentes y análisis
de la información
• Elaboración de un informe
preliminar
Realización de la
evaluación conjunta
Discusión con participación
de las diversas partes
interesadas sobre el
desempeño de las
subvenciones
Afianzamiento de las
conclusiones de la
evaluación conjunta
Sesión informativa con el
mecanismo nacional de
coordinación
Finalización de la
evaluación conjunta con
las correspondientes
partes interesadas
Pasos posteriores a la
evaluación
• Revisión del HLRP
• Aprobación de las
renovación de
subvenciones
• Seguimiento de las
acciones recomendadas
5.1. Planificación de la evaluación conjunta
Planificación por adelantado
Es importante coordinar cuanto antes la planificación de la evaluación conjunta entre países, socios
y socios de la Alianza. Para este primer paso es crucial confirmar que existe un punto de vista
compartido acerca de la finalidad de la evaluación conjunta. Programar una serie de llamadas
telefónicas puede ayudar a adelantar los pasos adecuados para la planificación, así como a detectar
cualquier problema en la planificación del trabajo a resolver.
Acuerdo sobre el calendario de la evaluación conjunta
Es necesario que las partes interesadas en el país discutan determinados factores para garantizar
que la evaluación conjunta se realiza en el momento oportuno:
•
Programación de otros ciclos de planificación o revisión, y actividades relacionadas en el
país (p.ej. ciclo fiscal y planificación/revisiones/evaluación del trabajo anual). Lo ideal es que
la evaluación conjunta se programe para que coincida con el final del ciclo fiscal del país y
apoyándose en un examen realizado por las partes interesadas ya presentes en el país.
Esto permitirá que los resultados del examen sirvan de base a la discusión de la evaluación.
•
Programación de otras actividades concurrentes en el país en las que es posible que las
partes interesadas no estén en disposición de participar (p.ej. elecciones, introducciones de
vacunas, Semana Mundial de la Vacunación, etc.)
•
Necesidad de desembolsar el siguiente tramo de FSS u otra subvención en efectivo; esto
orientará la decisión con respecto ante cuál de las tres reuniones del HLRP debe presentar
el país su informe de evaluación.
•
La disponibilidad de fuentes de información clave que fundamenten la evaluación, como
informes de encuestas sobre hogares e instalaciones sanitarias, otras evaluaciones
relevantes (p.ej. evaluaciones sobre la calidad de la información), y el informe conjunto de
notificación de datos de la OMS y UNICEF (JRF, por sus siglas en inglés).
Versión: Febrero de 2016
7
Evaluación conjunta 2016
•
El tiempo necesario para finalizar el informe de la evaluación conjunta, que debe presentarse
por adelantado a la Secretaría de Gavi, de acuerdo con el calendario que se presenta en el
Anexo 1.
Acuerdo sobre el enfoque de la evaluación conjunta
La escala y la intensidad del proceso de evaluación variarán dependiendo del contexto del país, y
debe ser discutido entre el gobierno, los socios de la alianza y la Secretaría de Gavi.
La evaluación conjunta debería llevarse a cabo en el país y en presencia de todos los miembros del
equipo de evaluación conjunta (véase la sección 4 más arriba para determinar si hay que elaborar
una evaluación conjunta completa o una actualización de la evaluación conjunta). Entre los factores
que determinarán el enfoque figuran, por ejemplo, el tamaño y la complejidad de la inversión de
Gavi, el rendimiento de la cobertura, la fragilidad, los problemas de seguridad, la fase de transición
y los problemas relacionados con la capacidad de gestión financiera, así como su potencial
vinculación con una revisión conjunta planificada o una actividad similar.
Las preguntas que se presentan a continuación tienen como objetivo ayudar a determinar el enfoque
y la duración de la evaluación conjunta. También se incluyen a título ilustrativo algunos ejemplos
sobre diferentes maneras de llevar a cabo una evaluación conjunta.
Preguntas que sientan las bases para una
discusión sobre el enfoque y la duración de la
evaluación
•
Ejemplos ilustrativos de enfoques
diferentes
¿Qué actores principales clave son necesarios
a nivel nacional, regional y mundial para
participar en la evaluación conjunta?
•
¿Hay asuntos múltiples (se enumeran varios
ejemplos en un párrafo anterior) que requieren
de un diálogo cara a cara entre los actores
principales en el país y los socios
regionales/mundiales
para
garantizar
la
resolución eficaz de los desafíos?
•
¿Están previstas otras actividades conjuntas de
revisión (p.ej. revisión del plan de trabajo anual
del Plan Ampliado de Inmunización (PAI),
revisión del sector de la salud) en las que se
discuta el desempeño del programa de
inmunización y que fundamenten la discusión de
la evaluación? ¿Estarán presentes ya los
actores principales clave?
•
Si están previstas otras actividades de revisión,
¿permitirá el calendario que se lleve a cabo una
evaluación conjunta en paralelo o con
posterioridad?
•
¿Cuáles son los costos/beneficios de realizar
una visita sobre el terreno, en lo que se refiere a
la clarificación o perfeccionamiento de las
conclusiones y recomendaciones de la
evaluación, en particular con respecto a la
cobertura y la equidad?
a. Un taller sobre la evaluación conjunta
(con o sin visita adicional sobre el
terreno) después de otra actividad de
revisión conjunta, en la que ya estarán
presentes
numerosos
actores
principales clave (2-3 días);
b. Un taller independiente sobre la
evaluación conjunta programado para
que no coincida con otra actividad
conjunta en el país, con o sin visita
sobre el terreno (1 semana);
c.
Un taller independiente sobre la
evaluación conjunta (con o sin una visita
sobre el terreno) de menor duración
programado para que no coincida con
otra
actividad
en
el
país,
complementada con teleconferencias
y/o intercambio de correos electrónicos
entre los actores principales.
Revisión del calendario y recursos necesarios
El proceso de evaluación conjunta requiere que todos los participantes comprometan su tiempo. Es
necesario tener en cuenta diversas disposiciones para realizar la evaluación conjunta, como
notificárselo a los entrevistados, programar los horarios de reunión, especificar los lugares,
Versión: Febrero de 2016
8
Evaluación conjunta 2016
comunicar el programa de trabajo a todas las partes interesadas en el país, contratar intérpretes,
etc. También debería planificarse por adelantado cualquier edición y finalización del informe de
evaluación conjunta, independientemente del enfoque de la evaluación. El calendario de actividades
y los recursos necesarios deben discutirse al principio y deben estar claros para todas las partes
implicadas.
Formación del equipo de evaluación conjunta
El “equipo de evaluación conjunta” es el responsable de llevar a cabo la evaluación y de informar
sobre sus conclusiones. El equipo debería incluir a funcionarios gubernamentales (de los Ministerios
de Salud y Finanzas); a la OMS y UNICEF, a socios de la alianza a nivel nacional, regional y de
sede central; y a la Secretaría de Gavi. También podrían ser parte del equipo otros socios a nivel
regional y/o de sede central (p.ej. el Banco Mundial, CDC y organizaciones de la sociedad civil),
organismos técnicos y otros donantes bilaterales.
Acuerdo sobre las funciones y las responsabilidades
Hay numerosas funciones que desempeñar en la planificación, implementación y seguimiento de la
evaluación conjunta. Estas funciones deberían ser compartidas entre los miembros del equipo de
evaluación conjunta. Las sugerencias se indican entre paréntesis:
•
•
•
•
•
•
•
•
•
Gestión del conjunto del proceso según lo acordado con respecto al enfoque y los
calendarios; y seguimiento en cada paso del proceso hasta la finalización, aprobación y
presentación del informe a la Secretaría de Gavi (el Ministerio de Salud y la Secretaría de
Gavi como convocantes principales);
Desarrollo y perfeccionamiento del programa o la agenda de la evaluación conjunta
(Ministerio de Salud y Secretaría de Gavi);
Apoyo de las necesidades logísticas de la evaluación conjunta, incluyendo la programación
de reuniones con personal y socios relevantes del programa, la organización de
teleconferencias y la planificación de visitas sobre el terreno (Ministerio de Salud y socios en
el país);
Obtención de fuentes de información y de documentos relevantes para el examen
documental (miembros del equipo de evaluación conjunta);
Elaboración del informe preliminar de la evaluación conjunta con anterioridad a las
discusiones sobre la misma (miembros del equipo de evaluación conjunta);
Celebración de reuniones y discusiones exploratorias en materia de implementación con
personal del gobierno y del programa, así como con otros socios y partes interesadas, para
evaluar los avances logrados hacia la consecución de los objetivos de las subvenciones de
Gavi (miembros del equipo de evaluación conjunta);
Garantía de que los requisitos de gestión de las subvenciones (p.ej. objetivos aprobados,
actividades y presupuestos, requisitos de cumplimiento de la gestión financiera) están
presentes en las discusiones (Secretaría de Gavi);
Evaluación y documentación de las conclusiones (miembros del equipo de evaluación
conjunta); y
Redacción, edición y finalización del informe (miembros del equipo de evaluación conjunta).
Los miembros del equipo deben considerar quién de ellos es el mejor situado para ocuparse de los
diversos elementos programáticos y cómo pueden formular sus preguntas para garantizar los
resultados más útiles. Algunos de los temas (generales) sugeridos se incluyen en el documento
titulado: "Evaluación conjunta 2016: Cómo elaborar el informe de evaluación conjunta”.
Debate sobre cómo implicar a los miembros del CCI/HSCC
La participación de los miembros del CCI/HSCC (u organismo equivalente en el país) es importante
para asegurar el control de los resultados del proceso de evaluación conjunta y para garantizar una
identificación equilibrada y precisa de las necesidades del país. Las distintas vías para implicar a
los miembros a lo largo del proceso se deberían considerar durante la fase de planificación, ya que
ayudará a asegurar la aprobación final al término del proceso. La celebración de una reunión
Versión: Febrero de 2016
9
Evaluación conjunta 2016
introductoria al principio del proceso y de una sesión informativa al final de las discusiones de la
evaluación conjunta es una manera que garantizar la aprobación de las acciones clave
recomendadas por el CCI/HSCC.
Definición de la agenda de la evaluación conjunta
El personal del Ministerio de Salud, con aportaciones y opiniones del equipo de evaluación, define
la agenda de la evaluación conjunta. El programa de la agenda puede incluir una serie de reuniones,
entrevistas y/o discusiones con socios principales del PAI y el FSS en el seno de los Ministerios,
como por ejemplo los Ministerios de Finanzas/Presupuesto/Planificación, así como con socios que
respaldan la implementación del programa, entre ellos OSC y otros socios en materia de desarrollo.
Las reuniones pueden celebrarse a nivel nacional, pero las visitas sobre el terreno a las regiones o
distritos para examinar los éxitos y desafíos en la implementación del programa también se
recomiendan, si son factibles.
Con el objetivo de garantizar que las partes interesadas están de acuerdo al principio de la reunión,
es necesario conceder algo de tiempo al país para que haga una breve presentación sobre la
situación en la que se encuentra la inmunización, y pedir a la Secretaría de Gavi que haga también
una breve presentación sobre las necesidades actuales de la organización y sobre su rumbo
estratégico.
El programa debe perfeccionarse para centrarse en cuestiones que requieren de atención, en
función de las conclusiones derivadas del examen documental, y en cualquier tema específico que
la Secretaría de Gavi pueda plantear de antemano.
Examen documental de los documentos relevantes y análisis de la información
Es importante que el equipo de evaluación tenga un conocimiento exhaustivo de la situación actual
del programa de inmunización, así como del contenido y del estatus de implementación de las
subvenciones de Gavi.
Los miembros del equipo examinarán una serie de documentos "principales", como por ejemplo
la(s) propuesta(s) aprobada(s) de país, el plan plurianual integral, la presentación de informes
programáticos y financieros de todas las subvenciones, tal y como se han presentado a través del
portal de países de Gavi, las peticiones/planes de país para la continuación de la ayuda, las
actualizaciones relevantes del Banco Mundial/FMI sobre la situación macroeconómica del país, etc.
Si procede, se examinarán también documentos "secundarios" relevantes, como por ejemplo los
exámenes del PAI o las evaluaciones posteriores a la introducción de vacunas (véase el Anexo 2
para consultar una lista indicativa de los documentos principales y secundarios). El marco de
desempeño de las subvenciones debe ser revisado por el país, como parte de la evaluación
conjunta, y el desempeño que se ha medido con respecto a los parámetros acordados ha de ser
analizado y explicado en el informe, cuando se considere relevante.
El equipo de evaluación conjunta debe disponer de toda la información y documentos relevantes, a
ser posible al menos un mes antes de que comiencen las discusiones de la evaluación conjunta, de
manera que pueda revisar estos materiales y analizar la información, con el objeto de fundamentar
el enfoque de las conversaciones. El calendario y la responsabilidad de recabar los documentos
relevantes debe discutirse en la fase de planificación, durante la que todos los miembros del equipo
tienen que aportar también sus opiniones.
5.2. Realización de la evaluación conjunta
Discusiones entre los diversos actores principales sobre la situación de la cobertura, la
equidad, la sostenibilidad y el desempeño de las subvenciones
El equipo de evaluación conjunta seguirá la agenda establecida y entablará conversaciones con los
actores principales clave, planteando diversas cuestiones relativas a la cobertura y la equidad con
respecto a implementación de las subvenciones, entre ellas las que tienen que ver con los logros y
retos programáticos, y con la gestión financiera. También discutirán las necesidades futuras en
términos de peticiones de renovación y de ayuda técnica.
Versión: Febrero de 2016
10
Evaluación conjunta 2016
Véase el documento titulado "Evaluación conjunta 2016: Cómo elaborar el informe de
evaluación conjunta" para más información sobre las expectativas en torno a las discusiones de
la evaluación, los asuntos a tratar y el contenido del informe.
Afianzamiento de las conclusiones de la evaluación conjunta
Se debe reservar un tiempo para que el equipo afiance, comparta, analice y discuta las
conclusiones.
Basándose en las responsabilidades definidas durante la fase de planificación, la(s) persona(s)
responsable(s) de redactar el informe afianzarán las opiniones que han aportado las diversas partes
interesadas. Es fundamental que esto sea un esfuerzo conjunto, al margen de cómo se haya
realizado la evaluación. Resulta de mayor importancia aún que haya consenso entre las partes
interesadas sobre el contenido y las recomendaciones del informe de evaluación conjunta antes de
que sea redactado6.
La Secretaría de Gavi facilitará un modelo de evaluación conjunta para garantizar la
exhaustividad del informe y posibilitar resultados y conclusiones que se puedan presentar ante el
HLRP en un formato consistente.
Sesión informativa con el mecanismo nacional de coordinación
El proceso y las conclusiones de la evaluación conjunta, al igual que los objetivos, el rendimiento
comunicado de las subvenciones y la petición de mantenimiento de los fondos para FSS, deben ser
aprobados por el CCI/HSCC o equivalente. Se puede hacer al final del proceso en una reunión para
informar a los miembros del CCI/HSCC sobre las conclusiones de la evaluación. Las actas de la
sesión informativa se pueden presentar junto al informe de evaluación, o se puede incluir una breve
descripción sobre cómo se procedió a la aprobación de la evaluación conjunta en el propio informe,
en el espacio que se facilita para ello.
Es recomendable que los miembros también debatan y acuerden el mecanismo más apropiado para
garantizar un seguimiento oportuno de las acciones recomendadas. En el informe de evaluación
conjunta se deben documentar los problemas planteados durante la reunión informativa, incluidas
las opiniones discrepantes o cualquier otro comentario adicional de los miembros del CCI/HSCC,
los socios o el Responsable Sénior de País de Gavi.
Una vez finalizado el informe de evaluación conjunta, se presentará a la Secretaría de Gavi a través
del Responsable Sénior de País (véase el Anexo 1 para el calendario de presentaciones). A
continuación, será compartido con los miembros del HLRP para su examen.
5.3. Pasos post-evaluación: Aprobación de las renovaciones de las subvenciones,
discusiones gerenciales sobre ayuda técnica y seguimiento de las acciones
recomendadas
Durante la reunión del HLRP, el Responsable Sénior de País puede presentar las conclusiones
clave de la evaluación conjunta, incluida la comunicación sobre el estatus de las recomendaciones
procedente del examen anterior del panel. El HLRP discutirá sobre las conclusiones y hará una
recomendación sobre la aprobación o no de la renovación de fondos. Además, el HLRP puede
recomendar que el país, la Secretaría o los socios de la alianza hagan un seguimiento de las
acciones concretas. Las necesidades de ayuda técnica de un país para el año siguiente también
serán examinadas por el HLRP, de manera que se podrá hacer un análisis comparativo de países
para fundamentar la asignación de recursos a través de los socios de la alianza.
A continuación se remitirá una carta al país, en la que se informará de los resultados del HLRP,
incluyendo las condiciones de desembolso. Sujeto a la aprobación final por parte del Presidente
6
Si no se llega a un consenso, se debería describir la opinión mayoritaria y se anotarán las posturas minoritarias al final
del informe.
Versión: Febrero de 2016
11
Evaluación conjunta 2016
Ejecutivo de Gavi, el país recibirá una Carta de Decisión en la que se detallará el importe financiero
aprobado para las correspondientes vacunas y para las subvenciones en efectivo. En los meses de
agosto/septiembre de cada año, todos los países serán informados de sus obligaciones en materia
de cofinanciación de vacunas para el año siguiente.
El mecanismo de seguimiento de las acciones recomendadas en la evaluación conjunta puede
variar en función del país. Los socios regionales y mundiales, y la Secretaría de Gavi, podrán
aprovechar los grupos de trabajo existentes, los foros de reuniones o herramientas para ayudar a
hacer un seguimiento de los avances (p.ej. a través del marco de desempeño), y se deberá
proporcionar todos los años a Gavi una actualización del estatus de las acciones, bien mediante
una evaluación conjunta completa o mediante una actualización provisional.
Para permitir que las necesidades del país que se identifiquen en la evaluación conjunta se
traduzcan en necesidades de asistencia técnica, la Secretaría de Gavi discutirá más en profundidad
las necesidades identificadas, si lo considera necesario. Con el objetivo de garantizar un enfoque
coordinado, también se discutirá acerca de qué entidad puede proporcionar la ayuda.
Anexo 1: Calendario de planificación para las evaluaciones conjuntas en 2016
Ha de ajustarse al ciclo fiscal del país o a otro ciclo de presentación de informes, en caso de que
no se siga el ciclo fiscal
Escenario ideal para los países con un año fiscal enero – diciembre
Versión: Febrero de 2016
12
Evaluación conjunta 2016
CLAVE
= Objetivo de presentación
= Presentación de la evaluación conjunta lo antes
posible tras la presentación del informe
Una vez completada la evaluación conjunta, los países presentarán el informe de evaluación a la
Secretaría de Gavi a través del Responsable Sénior de País. Posteriormente, será compartido con
los miembros para su revisión.
•
•
Fechas para los países que llevan a cabo una evaluación conjunta "completa" utilizando
la totalidad del modelo de presentación de informes, en presencia de los actores principales
a nivel nacional, regional y mundial.
Fin del plazo para las
evaluaciones conjuntas
Fechas de reunión del Panel de Examen de Alto
Nivel
20 de abril
12-13 de mayo
27 de junio
27-29 de julio
5 de septiembre
5-7 de octubre
Fechas para los países que llevan a cabo una "actualización" de la evaluación conjunta
utilizando una versión simplificada del modelo de presentación de informes, únicamente con
la presencia de los actores principales a nivel nacional.
Fin del plazo para las evaluaciones
conjuntas
Fechas de la Secretaría
3-4 meses después del final del ciclo fiscal
Inmediatamente después de la presentación
de la evaluación conjunta
Anexo 2: Lista indicativa de los documentos a consultar durante la evaluación conjunta
Hay numerosos documentos obligatorios que se presentan a través del portal de países y que son
clave en las discusiones de la evaluación conjunta. La lista que se presenta a continuación incluye
algunos documentos adicionales que podrían ayudar a fundamentar la evaluación conjunta.
Versión: Febrero de 2016
13
Evaluación conjunta 2016
Documentos principales
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Plan Plurianual Integral (PPII)
Informe de evaluación conjunta 2015
Marco de desempeño
Estrategia nacional vigente en el sector de la salud
Información más reciente del informe conjunto de notificación de datos de la OMS y UNICEF (JRF)
Plan, información y encuestas sobre mejora en la cobertura
Presupuestos e informes financieros (año corriente y año anterior) del apoyo al fortalecimiento de
los sistemas de salud (FSS), del apoyo a los servicios de inmunización (ISS), de las subvenciones
a las organizaciones de la sociedad civil (OSC), de la subvención para la introducción de vacunas
(VIG) o de los gastos operativos para las campañas
Informes de auditoría
Evaluaciones de la calidad de datos y planes de mejora, en caso de estar disponibles
Cualquier encuesta de hogares o de instalaciones sanitarias, u otros estudios
Presupuesto y plan de trabajo del FSS de este año y, si están disponibles, de los años anterior y
posterior, planes relevantes de introducción de vacunas (AVN) y plan anual de trabajo
Evaluación y plan de transición de Gavi, en caso de estar disponibles
Análisis disponibles de flujos y obstáculos financieros
Evaluación financiera de la inmunización y plan de acción para los países de bajo rendimiento, en
caso de estar disponibles
Información sobre el presupuesto y el desembolso del programa de inmunización del año pasado y
presupuesto del año corriente
Plan de desarrollo del sector de la salud
Cualquier examen del sector de la salud o examen conjunto anual (JAR)
Lista de todos los socios del paquete de apoyo técnico aprobado el año anterior
• Documentos secundarios
• Cualquier encuesta reciente del PAI, de la Evaluación Post Introducción (EPI) o informe de
Actividades de Inmunización Suplementarias (SIA)
• Cualquier evaluación existente relevante, como Evaluaciones Completas de País (FCE)7 o
evaluación de medio término y/o final de la subvención para FSS (si procede)
• Informe de gestión eficaz de vacunas (GEV) y actualización del plan de mejora
• Informes sobre el abastecimiento de vacunas
• Memorando de Gavi/Requisitos de gestión financiera (Anexo 6 del AMA) y cualquier auditoría de
los programas de apoyo en efectivo (CPA), informe de revisión del seguimiento o informe de
auditoría externa
• Mandato del CCI/HSCC y actas del año pasado
7
El proyecto abarca Bangladesh, Mozambique, Uganda y Zambia
Versión: Febrero de 2016
14
Evaluación conjunta 2016
Anexo 3: Lista de abreviaturas de uso corriente
AVN
Apoyo a vacunas nuevas e infrautilizadas
CCI
Comité de coordinación interagencial
CEI
Comité de examen independiente
CES
Encuesta de evaluación de la cobertura
CDC
Centros para el control y la prevención de enfermedades
CPA
Auditoría de los programas de apoyo en efectivo
DHS
Encuestas demográficas y de salud
EAPI
Evento adverso post inmunización
EPI
Evaluación post introducción
FSS
Fortalecimiento del sistema de salud
GEV
Gestión eficaz de las vacunas
HLRP
Panel de examen de alto nivel
HSCC
Comité de coordinación del sector de la salud
IAP
Informe anual de progreso
ISS
Apoyo a los servicios de vacunación
JANS
Evaluación conjunta de las estrategias nacionales
JAR
Examen conjunto anual
JRF
Informe conjunto de notificación de datos de la OMS y UNICEF
MICS
Encuestas de indicadores múltiples por conglomerados
MOH
Ministerio de Salud
MOF
Ministerio de Finanzas
OMS
Organización Mundial de la Salud
OSC
Organización de la sociedad civil
PAI
Programa ampliado de inmunización
PBF
Financiación basada en el desempeño
PPII
Plan plurianual integral de inmunización
SCM
Responsable sénior de país
SIA
Actividades de inmunización suplementarias
UNICEF
Fondo de las Naciones Unidas para la Infancia
VIG
Subvención para la introducción de vacunas
VPH
Virus del papiloma humano
Versión: Febrero de 2016
15