Indicadores de un proyecto

Elaboración De Indicadores Para Evaluación De Un Proyecto
ELABORACIÓN DE INDICADORES PARA EVALUACIÓN DE UN
PROYECTO
INDICE :
ELABORACIÓN DE INDICADORES PARA EVALUACIÓN DE UN PROYECTO ________ 1
Introducción _______________________________________________________ 2
Los medios de verificación y los indicadores ______________________________ 2
VALIDEZ Y CONFIABILIDAD DE LA PRUEBAS _____________________________ 3
Factores que afectan la confiabilidad y validez __________________________ 3
Relación entre confiabilidad y validez _________________________________ 4
Validez y confiabilidad en los indicadores de un proyecto __________________ 5
Bibliografía ________________________________________________________ 6
Elaboración De Indicadores Para Evaluación De Un Proyecto
Introducción
En los objetivos específicos de un proyecto, en la tarea de diseño de sus productos y
actividades que serán comprometidas, se ha de tener en cuenta los medios de
verificación y los indicadores de logro. Ellos no son innocuos, inciden en los
procedimientos, tiempos de ejecución, costos de operación y los medios de
validación de los productos ofrecidos a la contraparte. Los organismos establecen
en sus bases, algunos medios de verificación e indicadores a ser comprometidos en
la propuesta y por otra parte los oferentes hacen lo mismo con productos o
actividades adicionales a las puntuadas en bases.
Las formas de medir la realidad social esta intervenida por la disponibilidad, tanto en
cantidad como en calidad, de: una visión ideológica, tiempo, tecnología y los
recursos humanos.
Los mismos indicadores de evaluación son utilizados en diferentes etapas del ciclo de
vida de un proyecto
En la etapa de diseño, para evaluar la conveniencia financiera y operativa de realizar
determinado proyecto. Si la evaluación solicitada de los productos comprometidos supera
las capacidades, este no debiera participar.
En la etapa de evaluación ex-ante, antes de la aplicación práctica, la institución
demandante procura comprar los proyectos mas rigurosos y precisos en el registro y
evaluación de sus productos, que faciliten el control y evaluación de resultados y posibilite
mediciones ex post.
Durante la ejecución del proyecto los medios de verificación serán controlados por los
supervisores.
En el informe final de la ejecución del proyecto los principales referentes al nivel de
logros del proyecto se basa en los indicadores del diseño del proyecto.
La evaluación ex-post abarca la totalidad del período de intervención, normalmente
prestando especial atención a los resultados finales de la intervención, con el fin de obtener
información para emprender futuras intervenciones.
Los medios de verificación y los indicadores
MEDIOS DE VERIFICACION: Corresponden a las fuentes de información que se
utilizarán para obtener los valores de los indicadores.
Deben ser fuentes de información de los indicadores posibles de auditar, por ejemplo
libros con registros; muestras de productos; tablas con resultados de encuestas;
álbumes fotográficos y registros audiovisuales diversos, documentos diversos que
acrediten el producto.
Los archivos computacionales son válidos en la medida que estén protegidos de
modificaciones arbitrarias.
Elaboración De Indicadores Para Evaluación De Un Proyecto
VALIDEZ Y CONFIABILIDAD DE LA PRUEBAS
Los indicadores de medición en un proyecto deben, al menos en teoría y por razones
prácticas, respetar condiciones técnicas de “Validez y Confiabilidad”, semejantes a las
de los procesos de investigación académicos.
En los proyectos aplicados dirigidos a brindar productos y, o servicios, existen
factores políticos, económicos y contractuales que restan importancia al rigor de las
mediciones. Sin embargo, en la actualidad, presionan por mayor exactitud el
aumento de escrúpulos; la profesionalización de la acción social, la necesidad de
aprender de las experiencias; y el aumento de los estándares de calidad.
La confiabilidad de un instrumento de medición se refiere al grado en que su
aplicación repetida al mismo sujeto u objeto produce resultados iguales. Por
ejemplo, instrumentos de medición de ingreso familiares que dan resultados
diferentes en una misma semana, no es un instrumento confiable.
Los instrumentos de medición está sometidos a factores de error difíciles de
medir, pero a considerar por todo buen proyectista, por ejemplo:
mala aplicación del instrumento: inexactitud en los registros; falta de rapport
en el caso de las encuestas, a condiciones particulares del entrevistado:
habilidad para entender instrucciones, condiciones de salud, motivación, etc.
La Validez se refiere al grado en que un instrumento o verificador para el caso de
los proyectos, realmente mide la variable que pretende medir. Por ejemplo, un
instrumento
para medir comprensión de lectura valido debe medir comprensión y
no memoria. Una prueba del efecto de un subsidio productivo sobre los ingresos de
la familia debe medir rentabilidad del subsidio y no ingresos líquidos. Medición de
canastas básicas de consumo válidas contienen nómina de productos y servicios
consumidos en una comunidad (problema permanente de la canasta del IPC)
Factores que afectan la confiabilidad y validez
Improvisación: por el poco o nulo conocimiento del proceso de elaboración de
un instrumento.
Instrumentos utilizados en el extranjero, que no han sido validados en nuestro
contexto.
Instrumento no adecuado para las personas a las que se les aplica.
Condiciones en las que se aplica el instrumento.
Elaboración De Indicadores Para Evaluación De Un Proyecto
Relación entre confiabilidad y validez
La relación entre confiabilidad y validez es directa y fácil de entender : una prueba
puede ser confiable, pero no válida, pero una prueba no puede ser válida si no es
confiable. En otras palabras, la confiabilidad es una condición necesaria, pero no
suficiente, para la validez
Ejemplo 1, Absurdo: Podemos mantener una alta correlación entre la capacidad
para resolver problemas entre niños de 1 a 5 años y tener una prueba muy confiable
pero en absoluto válida midiendo el tamaño de sus pies. Y concluir que hay una alta
correlación entre el tamaño de los pies y la capacidad de resolver problemas, en vez
de atribuirlo correctamente a la variable edad.
Ejemplo 2: si bien el ejemplo anterior es claramente absurdo, en la realidad se han
dado situaciones parecidas, desde el siglo 19 con el desarrollo de la frenología,
aparece la estimación del tamaño del cráneo correlacionado a la inteligencia y la
medición de tipo ordinal, a mayor capacidad craneal, mayor inteligencia. Conclusión
inmediata fue discriminar a las mujeres que al poseer un tamaño corporal menor al
hombre tiene también una menor tamaño craneal promedio y se asumía menor
inteligencia.1
Ejemplo 3: En el sector público es común observar “indicadores de producto”
utilizados para explicar “impacto” por, aumento de $/alumno para referirse a
mejoramiento en la educación, el concepto de educación es multivariado pero
ninguna de sus variables es el $ (dinero).
1
El mayor cerebro que existe lo posee el cachalote y pesa de siete a nueve kilogramos.
Elaboración De Indicadores Para Evaluación De Un Proyecto
Validez y confiabilidad en los indicadores de un proyecto
En el caso de las aplicaciones a la realidad de un proyecto de intervención social, sin
condiciones de laboratorio. La confiabilidad, en muchos casos se mide sobre medios
de verificación toscos, macizos, referidos a los objetivos del proyecto y a los
productos comprometidos
Ejemplo 1: SENCE programa FONCAP año 2005
Objetivo operativo:
Insertar laboralmente
Producto
Capacitación en un oficio con práctica laboral
comprometido:
Jerarquía
de Categoría Verificador
objetivos
del de
Marco Lógico
resultados
a medir
Propósitos
Impacto
Contrato de trabajo
luego de 3 meses de
seguimiento
Resultados (o
Productos
Certificado
de
componentes)
calificación técnica
Actividad
Proceso
Libro de asistencia a
clases
indicador
Validez
indicador
del
Trabaja
formalmente o no
Aprobó curso o no
No
aísla
variables
externas a la mera
capacitación
No evalúa capacidad
% de asistencia
No evalúa aprendizaje
Ejemplo 2: FOSIS programa Microempresa, año 2005.
Objetivo operativo:
Aumentar ingresos de una microempresa
Productos
Subsidio para inversión productiva y asistencia técnica
comprometido:
Jerarquía
de Categoría Verificador
objetivos
del de
Marco Lógico
resultados
a medir
Propósitos
Impacto
Aumento de ingresos
líquidos de la empresa
luego de descontar
gastos
Resultados (o
componentes)
Productos
Factura
de
bienes
adquiridos y libro de
firma de asistencias
recibidas
Actividad
Proceso
Diseño de un proyecto
de
inversión
productiva para la
micro empresa
indicador
Validez
indicador
del
%
de
aumento
respecto de línea
base, luego de tres
meses
de
implementación
Se
usaron
los
recursos asignados
y y Cumplimiento
de hrs de asistencia
comprometida.
Existe
o
no
proyecto
de
inversión
No
aísla
variables
externas de mercado.
No aísla el subsidio de
la inversión real.
No evalúa capacidad
No evalúa aprendizaje
Elaboración De Indicadores Para Evaluación De Un Proyecto
Conclusiones
1. Los indicadores de medición usados en los proyectos usualmente radican en los
productos esperados por el financista y las mediciones de impacto son pobres.
Esto genera un ámbito interesante en el cual un proyecto bien diseñado puede
agregar valor, ofreciendo adecuadas formas de medición válidas y confiables
asegurando (siempre con un margen de error) el logro de los objetivos
específicos planteados por el financista.
2. Las variables de capacitación pueden ser medidas en cuanto a:
Aprendizaje verificables por pruebas escritas y medido por escalas
porcentuales comparables con línea base
Incrementos de hábitos positivos, como higiene, puntualidad, seguridad en el
trabajo, normas de convivencia, elaboración de vitae de empleo. Verificables por
libros de registro, entrevistas personales, medios audiovisuales.
3. Los productos referidos a subsidios monetarios han de ser medidos idealmente,
en:
Rendimiento del capital de inversión.
Rentabilidad futura de la inversión
Bibliografía
“Metodología de la Investigación” Roberto Hernández S. Et. Al., Ed. Mc Graw
Hill, México 2003. Capítulo 9, páginas 346 a la 356.