Principales instancias en la evaluación de un proyecto. Principales instancias en la evaluación de un proyecto. Tipos de evaluación. Evaluación ex-ante y de medio tiempo. La factibilidad y sus componentes. Verificación de Secuencia Lógica en la formulación de un proyecto LA PRIMERA PREGUNTA DE ESTA SEMANA ¿Qué entendemos por evaluar? El diccionario nos dice que es: Atribuir o determinar el valor de algo o de alguien, teniendo en cuenta diversos elementos o juicios. La evaluación es una fuente de generación de información imprescindible para la TOMA DE DECISIONES con respecto al proyecto. La evaluación es una actividad cotidiana; todos evaluamos de manera permanente aspectos de nuestras actividades profesionales (Y TOMAMOS DECISIONES AL RESPECTO). No obstante, existen instancias más estructuradas de evaluación, que veremos en esta clase. Volviendo a la definición del diccionario: valor de algo o de alguien : por ejemplo, la relevancia que el proyecto tiene para una organización o para un grupo social. diversos elementos o juicios: los elementos a valorar dependerán del tipo de evaluación que se esté realizando. Es decir, los criterios sobre los que se basará la evaluación son propios de cada instancia evaluativa. Con respecto a los juicios (juicios de valor) podremos encontrar una variedad que involucra aspectos más objetivos y otros más subjetivos: Juicio de carácter más objetivo: el presupuesto solicitado para la compra del equipo XX excede en un 20% el costo de la marca más cara. Juicio de carácter más subjetivo: en este proyecto es importante contar con un ingeniero civil. Obviamente, tengamos en cuenta que siempre hay una mezcla de objetividad y subjetividad porque estamos VALORANDO y no MIDIENDO. Por ello, un tema no menor es quién o quiénes realizan la evaluación. TIPOS DE EVALUACIÓN Y SUS CARACTERÍSTICAS Como sucede en todos los temas que vamos desarrollando, existen particularidades que dependen del tipo de proyecto analizado, trataremos , entonces, de dar pautas generales que sean aplicables de manera universal. PRIMERO RECORDEMOS EL “CICLO DE PROYECTO” Y TRATEMOS DE GENERALIZARLO LO MÁS POSIBLE: Este es el esquema más imaginarse; en la que una “rueda”, este simple que uno podría realidad, sabemos que más ciclo es una “red”: Empiezan a aparecer los “retornos” o “retroalimentación” o “feedback” entre etapas y esto es producto de instancias de evaluación que pueden estar más o menos estructuradas formalmente, pero que tienen sus consecuencias en el ciclo del proyecto. Estas consecuencias pueden ser desde revisar algún aspecto menor, hasta obligar un replanteo total. En primera instancia, grandes momentos de podemos reconocer 3 evaluación: 1. Evaluación previa o EX-ANTE En caso de solicitar créditos o subsidios, uno de los primeros aspectos a evaluar es chequear que se cumpla con los términos de referencia de la convocatoria. Ver lectura complementaria 1 ¿QUIÉNES LA REALIZAN? Ejemplos: -Equipo de proyecto -Gerencia de la empresa -Autoridad (por ejemplo Intendente) -Auditores del Banco 1. Evaluación previa o EX-ANTE ¿QUÉ SE EVALÚA? Aquí vamos a identificar 4 tipos de evaluación, que bien pueden ser reconocidas como aspectos que hacen a la FACTIBILIDAD o también reconocidas como aspectos que hacen a la FACTIBILIDAD o también llamada VIABILIDAD del proyecto (recordar que, además, ya hemos visto que el término factibilidad también alude a una de las etapas del ciclo de vida de un proyecto de inversión): Evaluación económica y financiera: muy propia de los proyectos de inversión (recordar etapas de prefactibilidad-factibilidad). Según el tipo de proyecto, puede incluirse también el estudio de mercado. Es una evaluación que, muy básicamente, consiste en determinar la eficiencia de la inversión involucrada en un proyecto. Este tema se verá con más detalle en el BLOQUE 2 Evaluación social: su objetivo primordial es analizar la contribución del proyecto al crecimiento económico–social de una comunidad, mejorar la calidad de vida, etc. Evaluación ambiental: su objetivo primordial es identificar y valorar los impactos ambientales derivados del proyecto (tanto positivos como negativos). En algunos proyectos aplicará el procedimiento técnico-administrativo de Evaluación de Impacto Ambiental, reglamentado en todas las provincias y CABA. Evaluación técnica: su objetivo primordial es analizar la propuesta desde su factibilidad técnica, la que se relaciona especialmente con la coherencia entre los eslabones de la cadena: objetivos-actividades-equipamiento-personaltiempos. Factibilidad técnica 1. Evaluación previa o EX-ANTE 2. Evaluación durante o intra-proyecto o de avance EN LA FASE DE EJECUCIÓN DEL cumplimiento del cronograma, sobre los PROYECTO. Busca evaluar el resultados parciales, avance avance sobre los objetivos propuestos etc. Es una instancia que puede llevar a efectuar modificaciones en la propuesta del proyecto . ¿QUIÉNES LA REALIZAN? Ejemplos: -Equipo de proyecto -Gerencia de la empresa -Autoridad (por ejemplo, Secretaría de Obras del Municipio) -Auditores del Banco En función de la complejidad que tenga el proyecto habrá una o más de una evaluación de ejecución (habitualmente condiciona la autorización de pagos). Es frecuente que los momentos de realización estén pautados en el cronograma. 2. Evaluación durante o intra-proyecto o de avance El criterio más importante en esta evaluación es la CORRESPONDENCIA entre el cronograma pautado y la realidad de avance de proyecto. También suele mencionarse a esta etapa como SEGUIMIENTO O MONITOREO. El También suele mencionarse a esta etapa como SEGUIMIENTO O MONITOREO. El seguimiento es el proceso sistemático en virtud del cual se recopila y se analiza información con el objeto de comparar los avances logrados en función de los planes formulados y corroborar el cumplimento de las metas establecidas. Invitación a googlear: ¿cuál es la diferencia entre objetivo y meta? 3. Evaluación final o EX-POST ¿QUIÉNES LA REALIZAN? Ejemplos: -Equipo de proyecto -Gerencia de la empresa -Autoridad (por ejemplo, Secretaría de Obras del Municipio) -Auditores del Banco Veremos más en detalle esta evaluación en el BLOQUE 3 ALGUNOS ASPECTOS ADICIONALES RELACIONADOS A LA EVALUACIÓN Es frecuente que en una misma etapa de evaluación participe más de un grupo técnico, por ejemplo: en una evaluación de avance el equipo de proyecto hará un primer análisis (evaluación interna), luego intervendrá un experto o grupo de expertos del prestatario o del comitente o del agente promotor del proyecto y hará su evaluación de manera independiente al resultado de ese primer análisis (evaluación externa). Otras veces (la mayoría), los equipos trabajan juntos y en simultáneo. De la misma manera, en muchos proyectos la actividad de evaluación no es un trabajo de escritorio únicamente, sino que requiere una visita de los evaluadores al lugar de la intervención (evaluación in-situ) . Si bien, como ya se mencionó, cada proyecto puede tener sus particularidades en la evaluación, mencionaremos 2 aspectos generales que son directrices: 1. Sobre la evaluación 2. Sobre el evaluador 1. Sobre la evaluación Podemos mencionar 3 aspectos centrales: -PLANIFICACIÓN. --CRITERIOSIDADCRITERIOSIDAD. -UTILIDAD. Las instancias de evaluación suelen estar pautadas de antemano, especialmente se planifica: cuándo se hará, qué se evaluará y quién o quiénes la tendrán a cargo. PLANIFICACIÓN DE LA EVALUACIÓN Los criterios que se ponen en juego a la hora de evaluar dependerán del tipo de evaluación y del proyecto, pero habitualmente se busca: Pertinencia: está relacionada con la formulación del proyecto, es decir, qué tanto el diseño de la intervención responde a las necesidades identificadas. Eficacia: se refiere a la medida en la cual el proyecto produce los resultados esperados y por tanto logra su propósito. Eficiencia: se refiere al análisis referido a las actividades previstas optimizando los medios, recursos y tiempo disponibles para producir los resultados esperados. Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos e indirectos) sobre la realidad existente y que se pretende modificar. Sostenibilidad: se refiere a la medida en la cual los impactos de la intervención tienen la posibilidad de continuar después de concluir el proyecto, considerando si los beneficiarios quieren y pueden dar continuidad a los objetivos del proyecto (particularmente importante en proyectos de desarrollo social). A su vez, una evaluación debe cumplir algunos requisitos metodológicos para garantizar que la información que genere pueda ser usada, como ya mencionamos, en la toma de decisiones: Programada: salvo en algunos casos muy particulares (algún tipo de auditoría, por ejemplo) la evaluación responde en tiempo y forma a un programa o planificación. Imparcial: el proceso debe ser neutral, transparente e imparcial. Quienes realizan la evaluación no deben tener intereses personales o conflictos con la unidad ejecutora del proyecto. Válida: Debe medirse lo que se ha planificado medir, respetando las definiciones establecidas. En caso de que el objeto de análisis sea demasiado complejo para una medición objetiva, debe realizarse una aproximación cualitativa inicial. Confiable: Las Las mediciones yy observaciones deben ser mediciones observaciones deben ser registradas adecuadamente, Confiable: registradas adecuadamente, preferentemente recurriendo a verificaciones in-situ. Creíble: Todas las partes involucradas en el proyecto deben tener confianza en la idoneidad e imparcialidad de los responsables de la evaluación. Oportuna: Debe realizarse en el momento adecuado, evitando los efectos negativos que produce el paso del tiempo sobre resultados o procesos. Participativa: Debe incluirse a todos los involucrados en el proyecto, buscando reflejar sus experiencias, necesidades, etc. Eficaz: La evaluación debe establecer una relación positiva entre su costo (económico, de tiempo y recursos) y su contribución en optimizar el proyecto. 2. Sobre el evaluador Sabemos que una evaluación puede estar a cargo de una persona o de un equipo; en este último caso nos referiremos al evaluador coordinador o responsable de la evaluación. También aplica para un coordinador o director de proyecto. Podemos mencionar 2 aspectos centrales: COMPETENCIAS TÉCNICAS COMPETENCIAS CONDUCTUALES COMPETENCIAS CONDUCTUALES (HABILIDADES PERSONALES E INTERPERSONALES): Capacidad de planificación y de organización. Comunicación. Liderazgo. Capacidad de negociación. Ver lectura complementaria 2 Habilidades para el trabajo en equipo PARA FINALIZAR, UNA MENCIÓN A LOS MODELOS DE EVALUACIÓN: Es común encontrar, para diversos tipos de proyectos, orientaciones de evaluación específicas. Por ejemplo, el modelo de evaluación sistémica o modelo Stufflebeam o modelo CIPP es muy usado en la evaluación de proyectos educativos (luego se ha hecho extensivo a otros tipos de proyecto) • • contexto: geográfico, social, político, cultural, en el que se desarrolla el proyecto contexto: geográfico, social, político, cultural, en el que se desarrolla el proyecto I: inputs o entradas: identifica y valora los recursos disponibles previos a comenzar el proyecto. P: proceso: interrelación entre los diversos componentes del proyecto. P: producto: resultado final de la intervención. A PARTIR DE ESTAS 4 VARIABLES PUEDE ORGANIZARSE, DE MANERA EFICAZ, UNA EVALUACIÓN PREVIA. En la lectura complementaria 3 encontrarán la aplicación, a un proyecto social, de algunos aspectos vistos en esta clase
