Versión oficial , 20 páginas - Documentos e informes

Public Disclosure Authorized
Public Disclosure Authorized
Public Disclosure Authorized
Public Disclosure Authorized
DE DESARROLLO: MÉTODOS PARA
VALORAR SUS RESULTADOS Y SU
IMPACTO
La evaluación es parte integrante del ciclo de operaciones del
Banco Mundial. Consiste en calibrar los resultados de las políticas,
programas, proyectos y procesos del Banco, ofreciendo así una
base para introducir mejoras mediante la aplicación de las lecciones
aprendidas de la experiencia.
En este número de Lecciones y
prácticas se describen los métodos
utilizados por el Banco Mundial para
evaluar las operaciones de desarrollo
terminadas. El financiamiento para
proyectos y programas ha sido y,
probablemente, continuará siendo el
componente central de las actividades
del Banco, ya que éste diversifica sus
productos y servicios en respuesta a
las necesidades de los clientes. Por
ello, la evaluación de las operaciones
crediticias es un elemento
fundamental del sistema de
evaluación del Banco. Es también un
componente importante en la
evaluación de los programas de
asistencia a los países.
El método utilizado por el Banco
para evaluar las operaciones
crediticias terminadas se ha puesto a
prueba y perfeccionado a lo largo de
muchos años. Asegura el rigor, la
comparabilidad y la transparencia
en los juicios emitidos por los
encargados de la evaluación. Todas
Lecciones y prácticas
las operaciones terminadas se
califican con arreglo a unos criterios
comunes y los resultados se agrupan y
se analizan periódicamente.
Las calificaciones de una
evaluación tienen tres objetivos:
Responsabilidad de los resultados:
Los resultados, que se publican cada
año, demuestran que el Banco es
responsable ante sus accionistas y
proporcionan una documentación
accesible sobre su desempeño.
Información para los
administradores: Las calificaciones
facilitan el análisis de la amplia y
variada cartera del Banco (un total de
US$143.000 millones en compromisos
al comienzo del ejercicio de 1997) y
ayudan a identificar los puntos fuertes
y débiles, así como los riesgos
existentes.
Lecciones de la experiencia: Las
calificaciones ayudan a centrar la
atención en las lecciones de la
experiencia, de manera que puedan
incorporarse en el diseño de las nuevas
1
operaciones. Pueden servir también de
base para prever el desempeño de las
carteras de los distintos países y
sectores.
Procesos e instrumentos de
evaluación
Inevitablemente, las calificaciones
dependen de opiniones profesionales y
simplifican una realidad que es
siempre compleja. Las calificaciones
de las operaciones terminadas están
basadas en un conjunto de
procedimientos definidos para valorar
el desempeño y los resultados. Por
otro lado, son mucho más que una
lista de control. Primero, se insertan
en el mecanismo de autoevaluación
mediante detallados informes de
terminación de los proyectos,
realizados por el personal del Banco y
del prestatario, profundos
conocedores del proyecto, el sector y
el país en cuestión. Segundo, son
examinados por evaluadores
independientes del DEO, que conocen
a fondo las operaciones del Banco.
Tercero, se terminan siguiendo un
proceso formal de examen por el
D E 0 y las regiones. Cuarto, son
objeto de controles al azar realizados
por un subcomité del Comité sobre la
eficacia en términos de desarrollo
(CODE).Por último, una selección de
las operaciones es objeto de
auditorías por parte del DEO, lo que
implica normalmente actividades
sobre el terreno (véase el Recuadro 1).
Al basar las calificaciones en la
autoevaluación, se alienta el
aprendizaje práctico y se consigue
una mayor identificación con todo el
proceso de evaluación. No obstante,
es necesaria una evaluación
independiente, para comprobar la
corrección de las calificaciones
realizadas por el personal regional y
garantizar la aplicación de normas
objetivas de responsabilización. El
proceso global de evaluación da lugar
a un fecundo intercambio de
opiniones entre los profesionales y los
evaluadores.
Autoevaluación de los proyectos
Informes finales de ejecución (IFE): El
personal de operaciones del Banco y
los prestatarios evalúan cada una de
las operaciones crediticias terminadas
antes de transcurridos seis meses del
desembolso final del préstamo del
Banco. En relación con cada
operación, presentan sus conclusiones
al Directorio del Banco en un IFE. En
éste se examinan los problemas
encontrados durante la ejecución, los
logros y las lecciones aprendidas; se
evalúan los beneficios y, en su caso,
se calcula de nuevo la tasa de
rentabilidad económica de ciertos
proyectos. Se presenta también una
perspectiva basada en el plan del
prestatario para la fase operacional
del proyecto, con inclusión de
indicadores de desempeño para
supervisar el proyecto y cuantificar su
contribución definitiva al desarrollo.
En el informe se califica el resultado
de la operación, su sostenibilidad y su
influencia en el desarrollo
institucional, así como la calidad del
desempeño del Banco y el prestatario
(véase más adelante la sección sobre
la calificación de los proyectos
terminados). Cada año se terminan y
evalúan unas 250 operaciones.
Lecciones y prácticas
Evaluación independiente de los
proyectos
Exámenes del DEO: Una vez enviado
al Directorio Ejecutivo, cada IFE es
evaluado por el DEO, que ratifica o
modifica las calificaciones de la
Lecciones y prácticas
evaluación tomando como base la
información facilitada en ese informe y
en otros documentos sobre las
operaciones. El D E 0 resume sus
conclusiones en un memorando de
evaluación. Este memorando contiene
3
las calificaciones del DEO,
observaciones sobre las enseñanzas que
deben extraerse y sobre la calidad del
IFE y una indicación de si el proyecto
debe someterse a una evaluación de
resultados (véase más adelante). El
personal regional del Banco tiene la
oportunidad de examinar este
memorando antes de su presentación
al Directorio. Finalmente, el D E 0
introduce sus conclusiones y
calificaciones en una base de datos.
Informes de evaluación ex post:
Aproximadamente el 25 % de
los proyectos son objeto de una
evaluación ex post por el DEO. Los
correspondientes informes contienen
una verificación independiente
realizada sobre el terreno después de
terminado el proyecto y en la que se
tienen en cuenta la ejecución y los
resultados del mismo. En ellos se
registran las opiniones del prestatario y
de las principales partes interesadas y
se analiza la operación en su contexto
sectorial y nacional. Incluyen también
una evaluación inicial del efecto del
proyecto a más largo plazo.
Los proyectos pueden ser objeto de
una evaluación ex post si son:
de gran magnitud y complejidad;
innovadores o con características
singulares;
polémicos, con problemas que se
han resuelto durante la evaluación
del IFE;
los primeros de una serie, o si
se prevé que pueden ofrecer
enseñanzas especialmente valiosas.
En algunos casos, los proyectos se
seleccionan porque se pueden analizar
junto con otros que son semejantes, lo
que permite extraer enseñanzas más
significativas. Por ejemplo, las
evaluaciones ex post de las operaciones
de ajuste (en que el Banco otorga un
préstamo en apoyo de los programas de
reforma de las políticas en los países
prestatarios) se pueden agrupar de
manera que sea posible disponer de una
evaluación integral de los programas
completos, que comprenderá una serie
de operaciones sucesivas. En
determinadas circunstancias, las
operaciones son objeto de evaluaciones
ex post para disponer de elementos
básicos que permitan realizar un
estudio de evaluación de un sector o un
país. Hay también ocasiones en que las
evaluaciones ex post se hacen a
petición de los Directores Ejecutivos.
Las evaluaciones ex post permiten
examinar en profundidad los
elementos fundamentales de la misión
del Banco: reducción de la pobreza,
protección del medio ambiente,
perfeccionamiento de los recursos
humanos y fomento del crecimiento
del sector privado. Por lo general, los
evaluadores recaban las opiniones de
las partes interesadas en el proyecto:
organismos de ejecución y
representantes de los ministerios
relevantes, beneficiarios del proyecto
y grupos directa o indirectamente
afectados, así como los representantes
de la sociedad civil en general. La
inspección material "sobre el terreno"
suele constituir un elemento
importante de la evaluación del DEO.
Las evaluaciones ex post utilizan
los mismos criterios de evaluación
que los IFE, y las mismas
calificaciones que los memorandos de
Lecciones y prácticas
evaluación. En la base de datos del
D E 0 sobre el desempeño de los
proyectos, las evaluaciones e x post
prevalecen sobre las calificaciones
anteriores basadas en el IFE. Todos
los años se publica un informe que
contiene el análisis agregado de los
resultados de los proyectos, basado en
los IFE y las evaluaciones e x post.
Evaluación del impacto: Las
evaluaciones del impacto permiten al
D E 0 realizar un segundo examen
independiente de los proyectos y
programas, varios años después de su
terminación, con el fin de valorar qué
contribuciones duraderas ha hecho el
Banco al desarrollo de los países
prestatarios.
La contribución de un proyecto al
desarrollo es la suma de las
repercusiones deseadas e incidentales
(asociadas y accesorias) (véase el
Gráfico 1).El impacto previsto refleja
las metas y objetivos explícitos de la
operación. En algunos casos, las
metas se exponen en forma vaga, o se
limitan a aspectos físicos. En tales
casos, los evaluadores deben ir más
allá de las metas declaradas y
registrar las ramificaciones más
amplias de la operación. Las
repercusiones incidentales son los
efectos secundarios que
razonablemente se pueden atribuir a
la operación, y que pueden ser
involuntarios. Los sistemas de
seguimiento y evaluación basados en
indicadores, si los hubiere, facilitan
enormemente la definición y
cuantificación de las repercusiones
(véase Lessons & Practices No. 8,
Monitoring and Evaluation, junio de
1996).
Lecciones y prácticas
Un buen estudio de evaluación del
impacto ofrece un panorama
razonablemente completo de los efectos
sobre los beneficiarios, los perjudicados
y las otras partes interesadas en el
proyecto o programa, si es posible con
indicación de su participación activa.
Según el tipo de información requerido,
pueden utilizarse encuestas por
muestre0 para generar los datos; en
otros casos, puede bastar la generación
de datos a través de grupos de control o
entrevistas estructuradas con personas
clave. Se hace una compensación entre
los beneficios y costos del proyecto,
teniendo en cuenta las posibles
concesiones recíprocas entre diferentes
grupos sociales.
Para determinar los efectos de un
proyecto o programa dado, los
evaluadores utilizan un modelo de
intervención explícita, basado en un
marco lógico que vincula los insurnos
con el producto, los resultados y, en
último término, las repercusiones
(Gráfico 1).El criterio básico para
resolver el problema de la atribución de
los efectos es el que se conoce como
"con y sin el proyecto" (el mismo que
se utiliza para cuantificar los costos y
beneficios en la evaluación previa de
los proyectos). No basta con comparar
simplemente la situación antes y
después del proyecto, sin un
comparador de control que no se vea
afectado por el proyecto, pues algunos
de los efectos pueden haberse producido
con independencia del proyecto.
En la práctica, muchas veces es
difícil definir situaciones "con y sin",
sobre todo sin datos adecuados de
referencia al comienzo y un sistema
de seguimiento y evaluación que
6
Lecciones y prácticas
genere observaciones sucesivas en las
zonas de los proyectos y en otras
zonas de control semejantes. Algunas
veces, la única posibilidad de
elaborar la hipótesis contraria (es
decir, de saber cuál sería la situación
en ausencia del proyecto) puede ser
la de aplicar un criterio "antes y
después" retocado, extrapolando
tendencias para hacerse una idea
aproximada de lo que habría ocurrido
sin el proyecto. Las observaciones
cualitativas, los grupos de control y
las encuestas entre los beneficiarios
son también sistemas utilizados para
formular situaciones hipotéticas.
El D E 0 está experimentando una
serie de evaluaciones de las
repercusiones sectoriales en sentido
amplio, que determinan el impacto de
toda la asistencia del Banco en un
determinado sector y país, incluida la
actividad no crediticia, durante un
determinado período de tiempo. Estas
evaluaciones tienen también como fin
examinar los proyectos recientes o los
que están todavía en fase de ejecución y
evaluar la pertinencia de la actual
estrategia a la luz de la experiencia
anterior.
Los exámenes de la asistencia a los
países son evaluaciones sobre la
repercusión y contribución al desarrollo
de las actividades del Banco en todo un
país, incluidos los servicios no
crediticios. Evalúan la eficacia de la
estrategia de asistencia al país
adoptada por el Banco, teniendo en
cuenta las condiciones del país, la
influencia de los factores externos y la
intervención de otros organismos de
desarrollo y de financiamiento.
Determinan también la eficacia de los
Lecciones y prácticas
diversos instrumentos de asistencia del
Banco, incluidos el financiamiento para
proyectos de inversión, los préstamos
para fines de ajuste, la asistencia
técnica, los estudios económicos y
sociales, el diálogo sobre políticas y la
coordinación de la ayuda. Permiten
extraer enseñanzas y recomendaciones
para el personal regional del Banco, y
en muchos casos se programan de tal
manera que puedan incorporarse en el
diseño de las estrategias de asistencia a
los países y en los análisis de la cartera
de un país.
Las notas sobre la asistencia a los
países son análisis de las estrategias de
asistencia en los que se hace especial
hincapié en la pertinencia de los
objetivos del Banco en un país
concreto. En ellos se evalúa también si
se han conseguido o es probable que se
consigan esos objetivos, y en qué
medida. Estas notas permiten
incrementar la pertinencia y valor
añadido de las evaluaciones del
impacto desde la perspectiva de la
gestión de la asistencia a los países.
Los estudios de evaluación valoran la
eficacia de las políticas, procesos y
prácticas del Banco en diferentes
sectores o con diferentes instrumentos.
Las conclusiones de los informes
finales, de evaluación ex post y
sobre el impacto son componentes
fundamentales de esos estudios.
Tomando como base las distintas
evaluaciones tratan de abordar un
conjunto más amplio de problemas del
desarrollo, incluidas las políticas y las
experiencias de los distintos países,
regiones, sectores y áreas de especial
interés. Se tienen también en cuenta la
evolución de la teoría y la práctica
dentro y fuera del Banco. Los estudios
se programan de tal manera que se
puedan incorporar en los exámenes de
las políticas operacionales realizados
por el Banco.
Los estudios temáticos ofrecen al
Directorio evaluaciones periódicas
sobre temas clave de la actividad del
Banco, como la participación y la
gestión del sector público. En todos
los casos se utilizan métodos basados
en la participación.
Los estudios sectoriales comparan la
experiencia en los distintos países,
evalúan la asociación del Banco con
un sector durante un período de varios
años en relación con actividades
crediticias y de otra índole y con
operaciones terminadas, así como con
operaciones que están todavía en fase
de ejecución o de preparación. Su
objetivo es evaluar la pertinencia,
eficacia y eficiencia de la totalidad de
la labor del Banco en un sector.
Los estudios sobre procesos
analizan los procesos internos del
Banco para determinar su eficiencia y
eficacia. Como ejemplos se podrían
señalar los informes sobre el
desempeño de la cartera, la
supervisión de los préstamos, el
seguimiento y evaluación de los
proyectos y la preparación de
evaluaciones de la pobreza y el medio
ambiente.
Calificación de proyectos
terminados
El Banco califica los proyectos de
acuerdo con tres criterios
relacionados con sus frutos resultado, sostenibilidad y desarrollo
institucional- y con dos criterios
8
relativos a los procesos: el desempeño
del Banco y el del prestatario. Las
cinco calificaciones están claramente
definidas y basadas en criterios
múltiples. En el Recuadro 2 pueden
verse las calificaciones principales del
DEO.
Resi~ltado
Los evaluadores examinan el
resultado para determinar si el
proyecto ha alcanzado la mayor parte
de sus objetivos principales de
manera eficiente y con pocas
deficiencias. En último término, la
opinión sobre el resultado se resume
en la respuesta a la siguiente
pregunta: ,j Consiguió este proyecto
resultados satisfactorios desde el
punto de vista del desarrollo, habida
cuenta de la importancia y
pertinencia de sus principales
objetivos declarados y de los
consiguientes costos y beneficios?
La calificación del resultado tiene
en cuenta los siguientes elementos:
Pertinencia: Las metas (originales o
revisadas) de la operación, ¿eran
compatibles con la estrategia
general de desarrollo del país y la
estrategia de asistencia del Banco
para ese país? {Eran compatibles
con al menos una de las grandes
metas generales del Banco: reducir
la pobreza, proteger el medio
ambiente, desarrollar los recursos
humanos y fomentar el crecimiento
del sector privado?
Eficacia: ¿Consiguió la operación
las metas físicas, financieras,
institucionales o normativas
expresamente declaradas?
Lecciones y prácticas
Eficiencia: ¿Qué insumos se
utilizaron para producir esos
resultados? Los evaluadores
calibran los resultados en relación
con los insumos, teniendo en cuenta
los costos, el calendario de
ejecución y los resultados
económicos y financieros (como la
tasas de rentabilidad económica y10
financiera o una indicación de la
relación costo-eficacia). Comparan
los costos y beneficios, incluidos los
que son ajenos a la operación.
Al valorar la pertinencia, eficacia y
eficiencia, el D E 0 tiene en cuenta los
siguientes aspectos:
Pertinencia de la operación con
respecto a las prioridades de
desarrollo de un país y de un sector,
en la forma percibida tanto en el
momento de la aprobación del
proyecto como en el de la
evaluación;
Efectos de las políticas
macroeconómicas y sectoriales
sobre la operación (por ejemplo,
tipos de cambio, contingentes
comerciales y controles de precios);
Hasta qué punto se han alcanzado
las metas físicas y de otra índole;
Costos de inversión y costos
recurrentes -efectivos y previstos,
directos e indirectos- de las
operaciones, incluidos los de
carácter social y ambiental;
Beneficios económicos, financieros,
sociales, ambientales e
institucionales relacionados con el
resultado efectivo y previsto, tanto
directo como indirecto;
Relación entre la tasa de
Lecciones y prácticas
rentabilidad económica revisada
(tomando como base la revisión de
los costos y beneficios) y el costo de
oportunidad de los recursos
utilizados.
Al calificar el resultado, los
evaluadores tienen en cuenta todas las
grandes metas del proyecto ( o los
objetivos revisados, cuando se trata
de proyectos que se han
reestructurado). Por ejemplo, con
ocasión de un proyecto de refinería y
de distribución en Ghana, el personal
de operaciones del Banco juzgó el
resultado como satisfactorio en su
IFE, considerando los logros físicos
del proyecto. El D E 0 revisó la
calificación a la baja, pues el ahorro
de energía deseado no se había hecho
realidad y la situación financiera de
la refinería continuó siendo precaria.
Sosteni bil idad
Por sostenibilidad se entiende la
probabilidad, e n el momento de la
evaluación, de que el proyecto
mantenga sus resultados en el futuro.
Teóricamente, la sostenibilidad es
distinta del resultado, ya que se fija
en aquellas características que
determinan si la operación se
prolongará durante todo el tiempo
previsto. En definitiva, el evaluador
tiene que determinar si, habida cuenta
de los riesgos, es probable que los
beneficios futuros sean superiores a
los costos futuros de amortización,
operación y mantenimiento.
Para juzgar la sostenibilidad de una
operación, los evaluadores tienen en
cuenta la situación del país (por
ejemplo, el compromiso del gobierno
con el futuro del proyecto, tal como
se documenta en el plan de
operaciones); las políticas económicas
y financieras del gobierno, en
particular las políticas relativas a la
recuperación de costos; la
disponibilidad de fondos para la
explotación y el mantenimiento; la
situación política; las condiciones
sectoriales y las condiciones
específicas de la operación (en
particular la calidad de la gestión y
la capacidad de las instituciones del
proyecto). Tienen también en cuenta
los factores básicos en que se basa la
evaluación inicial, para determinar si
alguno de ellos puede poner en
peligro el futuro de la operación y de
sus beneficios netos previstos, a saber:
1O
Beneficios económicos: ¿Los logros
de la operación dependen de la
existencia o incluso del
perfeccionamiento de las políticas
macroeconómicas adecuadas? ¿Las
revisiones de los valores netos
actualizados o de los indicadores de
la eficacia en función de los costos
están basadas en supuestos sólidos?
Beneficios externos: {Dependen los
logros de factores exógenos, como
las relaciones de intercambio o la
situación política en los países
vecinos?
Beneficios financieros: ¿Es de
prever que la operación genere
ingresos suficientes o reciba
financiamiento presupuestario
suficiente en el futuro (considerando
Lecciones y prácticas
la evolución probable de la
situación fiscal del país)?
Beneficios técnicos: ¿Dependen los
logros de la introducción de
mejoras tecnológicas, de una
utilización más eficaz de los
insumos, de un aumento de la
producción, de los flujos de recursos
o del aumento de la productividad?
Beneficios sociales: ¿La
participación comunitaria y los
incentivos a los beneficiarios son
suficientes para mantener el flujo de
beneficios del proyecto?
Beneficios ambientales: ¿Repercute
la operación en el medio ambiente
y10 en los recursos renovables y no
renovables?
Beneficios institucionales: ¿Son los
cambios institucionales, en el plano
de la entidad del proyecto y en
niveles superiores, suficientes para
garantizar unos beneficios duraderos?
Beneficios en el sistema de
gobierno: ¿Se puede decir que el
gobierno y los beneficiarios del
proyecto están "identificados" con
sus metas? ¿Es probable que la
inestabilidad política perturbe el
aprovechamiento de los beneficios
del proyecto? {Existe un marco
jurídico y reglamentario favorable,
con un sistema transparente de
aplicación de las leyes y
reglamentos?
Al calificar la sostenibilidad, los
evaluadores deben calibrar en la mejor
forma posible la probable evolución
futura. Por ejemplo, el personal de
operaciones del Banco calificó como
"probable" la sostenibilidad de un
proyecto de asistencia técnica, pero
Lecciones y prácticas
como el gobierno del país debía tomar
aún medidas en relación con algunos
componentes clave del programa, el
D E 0 rebajó la calificación a
"incierta ".
Evaluación de los resultados y de la
sostenibilidad: Es posible que una
operación se considere que ha tenido un
resultado válido pero que no obstante
sea insostenible, o que haya tenido un
resultado poco satisfactorio pero sea
sostenible (por ejemplo, no se consiguió
uno o varios objetivos importantes,
pero otros sí se alcanzaron y son
sostenibles).Los juicios sobre el
resultado tienen en cuenta los costos y
beneficios previstos de la inversión
inicial y se preguntan si, habida cuenta
de la experiencia, valió la pena realizar
la operación. Los juicios sobre la
sostenibilidad consideran la solidez del
proyecto frente a los riesgos y si - d a d o
que los costos de la inversión inicial y
los costos asociados de financiamiento
son ahora irrecuperables- es probable
que un proyecto genere un flujo de
beneficios lo bastante considerable
como para superar los costos
marginales previstos de la operación.
Por ejemplo, en un proyecto terminado
de riego de arrozales, las proyecciones
actuales sobre los precios futuros del
arroz quizá sean demasiado bajas para
generar ingresos suficientes para cubrir
el costo total del proyecto, incluida la
amortización y el servicio de la deuda,
pero no obstante quizá sean lo bastante
elevadas como para cubrir los costos de
la operación corriente del proyecto. En
este caso, los evaluadores juzgarían que
un resultado no satisfactorio es
compatible con la sostenibilidad. Por
el contrario, un proyecto con un
resultado satisfactorio podría ser
insostenible. Por ejemplo, un proyecto
de construcción de escuelas quizá haya
alcanzado sus objetivos materiales de
construir la escuela y capacitar al
personal docente necesario, pero el
gobierno quizá no tenga en su
presupuesto fondos suficientes para
financiar los libros de texto y el
material docente o para mantener en
debidas condiciones los locales
escolares.
Impacto en el desarrollo
institucional
Por impacto en el desarrollo
institucional (DI) se entiende el grado
de contribución de un proyecto al
aumento de la capacidad de un
organismo o un país para utilizar en
forma eficaz sus recursos humanos y
financieros. La evaluación del
impacto en el DI se lleva a cabo
incluso en ausencia de objetivos
explícitos de DI. Para juzgar los
efectos de un proyecto en el desarrollo
institucional, los evaluadores
determinan hasta qué punto:
fueron relevantes los objetivos de
DI del proyecto;
el logro de los objetivos explícitos
de DI ha influido en el entorno
jurídico, reglamentario o de
políticas y en las condiciones
macroeconómicas o financieras;
el logro de los objetivos referentes a
la reglamentación o a otras
políticas ha repercutido en el
comportamiento económico, social
o referente a los recursos naturales;
han contribuido al DI la
reestructuración de organismos, la
eliminación de una organización
existente o el establecimiento de
una nueva;
el logro de los objetivos de DI ha
aumentado en forma sostenible la
capacidad de los organismos de
planificación, análisis de políticas o
prestación de servicios.
Es difícil juzgar la amplitud y
profundidad del desarrollo
institucional. El evaluador debe tratar
de determinar qué es lo que realmente
determina la eficacia de las iniciativas
en pro del desarrollo. Por ejemplo, un
proyecto de energía eléctrica en la
India no consiguió alcanzar la mayor
parte de sus objetivos originales porque
sólo se llevó a cabo en forma parcial.
No obstante, la dirección de la
compañía local de electricidad
continuó aplicando el proyecto
reestructurado después de su
conclusión, y el D E 0 consideró que los
modestos logros del proyecto serían
probablemente sostenibles.
Desempeño
Los criterios de calificación del
desempeño tratan de determinar en
qué medida cada uno de los
interlocutores -el Banco en cuanto
asesor principal y el prestatario en
calidad de titular del proyecto- se ha
comportado en forma satisfactoria
durante las diferentes etapas del ciclo
del proyecto: desde la identificación
del proyecto en el contexto de una
estrategia más amplia, su preparación
y evaluación previa hasta la
ejecución, con el objetivo último de
garantizar resultados satisfactorios
sobre el terreno (véase el Recuadro 3 ) .
Lecciones y prácticas
Lecciones y prácticas
Por desempeño del Banco se entiende
la calidad del servicio prestado por el
Banco, sobre todo en aquellas tareas en
las que asume la responsabilidad
primaria, como la evaluación previa y
la supervisión. En este sentido, al
juzgar el desempeño del Banco deben
tenerse en cuenta tres consideraciones
importantes: la prestación del
asesoramiento adecuado como parte
integrante del proceso de evaluación
previa y supervisión, la capacidad de
adaptación a unas circunstancias
cambiantes (en caso necesario,
reestructurando un proyecto) y el
control de la condicionalidad del
préstamolcrédito.
Por desempeño del prestatario se
entiende la forma en que el interesado
asume sus derechos y
responsabilidades en cuanto titular
del proyecto y aporta los elementos
necesarios para preparar y ejecutar el
proyecto. Especial importancia
revisten la asignación de personal
calificado, el suministro de los
recursos financieros necesarios y el
cumplimiento de las condiciones
acordadas del convenio de préstamo,
en particular las obligaciones de
notificación y auditoría, así como las
normas concretas de adquisición.
El desempeño de los organismos de
ejecución se califica en función de
elementos como la calidad de la
gestión y el personal relacionado con la
operación; el uso y eficacia de la
asistencia técnica, incluida la
capacitación, los asesores y los
servicios contractuales; la idoneidad de
los sistemas de seguimiento y
evaluación, y el alcance y calidad de la
participación de los beneficiarios
previstos, en particular su contribución
al resultado del proyecto.
Para evaluar el desempeño, los
evaluadores examinan los siguientes
aspectos:
Estrategia de asistencia del Banco
al país: Los evaluadores consideran
la compatibilidad del proyecto con
la estrategia convenida del Banco
para ayudar al país en cuestión, en
el momento en que se identificó la
operación. Tienen también en
cuenta la flexibilidad con que los
proyectos han sabido adaptarse
cuando, como ocurre con
frecuencia, las circunstancias del
país y los cambios de opinión
obligan a introducir modificaciones
en la estrategia de asistencia.
Identificación (responsabilidad
conjunta del Banco y el
prestatario): El D E 0 considera un
proyecto bien identificado cuando
promete aportar una contribución
útil a los objetivos de desarrollo
prioritarios, cuenta con el apoyo de
las autoridades, las comunidades
afectadas y los posibles
beneficiarios dentro del país y se
produce en el momento oportuno.
Preparación (responsabilidad del
prestatario): Se considera que los
proyectos están bien preparados
cuando el mandato es adecuado y
el prestatario emplea personal
de bidamente capacitado, dedica
suficiente tiempo y recursos, cuenta
con los posibles beneficiarios y
aprovecha la experiencia de
proyectos semejantes. Los
evaluadores examinan también la
función de apoyo del Banco y, en
Lecciones y prácticas
particular, tratan de determinar si
los riesgos del proyecto y las otras
opciones han sido examinados en la
medida necesaria y si la asistencia
que haya podido ofrecer el Banco
ha sido suficiente y oportuna. Estas
son las circunstancias ideales, que
casi nunca se dan por completo en
la realidad.
Evaluación previa (responsabilidad
del Banco): Los evaluadores
determinan si el Banco realizó una
valoración objetiva y rigurosa del
proyecto propuesto. Consideran la
calidad de los análisis económicos,
financieros, técnicos, institucionales,
sociales y ambientales en que se basa
la decisión de financiar la operación
y si se han cumplido los requisitos
para la tramitación del préstamo del
Banco.
Ejecución (responsabilidad del
prestatario) y supervisión
(responsabilidad del Banco): Los
evaluadores determinan si se
utilizaron recursos suficientes para
cada tarea. Tratan también de
comprobar la calidad de los
mecanismos de seguimiento y
evaluación utilizados durante la
ejecución y de qué manera
contribuyeron éstos al logro de los
objetivos del proyecto. Al examinar
el desempeño del prestatario, los
evaluadores intentan comprobar
hasta qué punto el gobierno y los
organismos de ejecución
respaldaron la realización del
proyecto teniendo en cuenta
factores como las políticas
macroeconómicas y sectoriales, el
cumplimento con las cláusulas y
condiciones del préstamo, el
Lecciones y prácticas
nombramiento de personal
debidamente capacitado, el
financiamiento oportuno de
contrapartida, los procedimientos
administrativos de adquisición, el
personal del proyecto, la utilización
eficaz de la asistencia técnica
disponible, la participación de los
beneficiarios en la ejecución, y si
han impedido aumentos de costos
evitables o han conseguido algunos
ahorros.
Los evaluadores distinguen entre las
acciones del Banco y de los
prestatarios y sus efectos. Por
ejemplo, afirmaciones como "los
resultados del proyecto no han sido
satisfactorios debido a la escasa
capacidad de ejecución del
prestatario" no eximen al Banco de su
responsabilidad de evaluar dicha
capacidad en el momento de la
evaluación inicial y de concebir
medidas que puedan compensar o
superar esa deficiencia. Además, los
evaluadores no determinan en forma
automática que el desempeño del
Banco en la evaluación previa fue
deficiente simplemente por el hecho
de que el proyecto haya fracasado,
pues este fracaso podría ser debido a
la escasa capacidad de respuesta del
prestatario o a la falta de flexibilidad
del Banco para adaptar las metas y
actividades del proyecto durante la
ejecución.
Consideración de factores
exógenos
Los evaluadores tienen también en
cuenta los factores exógenos, como
los cambios en las condiciones del
mercado mundial, las catástrofes
climáticas y naturales, la devaluación
y la inestabilidad del tipo de cambio,
los disturbios civiles y los conflictos
armados y las intervenciones de
interlocutores que pueden tomar
decisiones en forma independiente,
por ejemplo, los cofinanciadores, las
organizaciones no gubernamentales,
los contratistas y los proveedores.
Estos factores pueden ser
fundamentales para el éxito del
proyecto y pueden explicar algunas
deficiencias en la gestión del proceso
y en los resultados.
Examen y perfeccionamiento
El D E 0 trata en todo momento de
perfeccionar el sistema de calificación
y sus aplicaciones. Por ejemplo,
comprueba si los diferentes
evaluadores califican los mismos
proyectos de diferente manera,
simplifica los impresos utilizados
para el registro de datos y organiza
cursos de iniciación o de
actualización. En una prueba
reciente, se comprobó que la
fiabilidad de los evaluadores era
satisfactoria en su conjunto, aunque
las discrepancias eran mayores en lo
que respecta a la sostenibilidad y
desarrollo institucional que a los
resultados. Los criterios de evaluación
y el sistema de calificación se aplican
también cada vez más a tareas de
evaluación más complejas, en
particular en el contexto de los
exámenes de la asistencia a los
países, que van adquiriendo mayor
importancia a medida que el Banco
utiliza cada vez más a los países
como unidad de cuenta.
16
Importancia de las calificaciones
para la gestión de la cartera
Utilizando los datos de la evaluación,
se pueden establecer relaciones entre
los resultados operacionales y las
variables que quedan bajo control de
la administración del Banco: el
desempeño y la identificación, la
evaluación inicial y la supervisión del
proyecto. Tomando como base esas
relaciones, es posible comprobar de
qué manera respondería el desempeño
de la cartera ante los cambios
ocurridos en las variables de gestión.
Por ejemplo, utilizando datos para
proyectos evaluados por el D E 0 entre
1991 y 1994195 se realizaron
comprobaciones que demuestran que
si el Banco consiguiera que la calidad
en la evaluación inicial de los
proyectos, que ahora es satisfactoria
en el 70% de los casos, lo fuera en el
90%-95% de los proyectos, la
proporción de proyectos terminados
con resultados satisfactorios
aumentaría aproximadamente un 4%.
Las mejoras en la supervisión del
proyecto tendrían una rentabilidad
aún mayor: si los proyectos cuya
supervisión se califica como
satisfactoria pasara de la cifra actual
de1 78% al 90%-95% de los
proyectos, el desempeño de la cartera
mejoraría en torno al 6%. (Los
resultados revelan también que el
resultado de los proyectos está más
condicionado por el desempeño de los
prestatarios que por el del Banco.)
En un modelo de probabilidad
condicional elaborado para el
Examen anual de los resultados de la
evaluación e x post de 1995, el D E 0
utilizó las relaciones anteriores entre
Lecciones y prácticas
las calificaciones de los resultados del
D E 0 y la situación de un cierto
número de proyectos y países, o los
factores de riesgo evaluados a través
del informe anual sobre el desempeño
Lecciones y prácticas
de la cartera (preparado por los
servicios centrales del Banco) para
prever las calificaciones probables de
los resultados de los proyectos en
curso.
17