Características del programa a evaluarse

José M. Huerta, Ph.D. Especialista en evaluación
Revisado en Agosto de 2005
Características del programa a evaluarse
Calidad: ¿ Cuán bueno fue el programa? La calidad del
contenido, las actividades de enseñanza-aprendizaje, ayudas
visuales, desempeño del maestro, la manera en que las
personas reaccionaron a las actividades?
Relevancia:
Si el programa responde a las necesidades
expectativas de los participantes, o si el nivel
dificultad es apropiado, si responde a las expectativas de
comunidad, si el tipo de programa responde a la misión de
unidad programática.
y
de
la
la
Efectividad:
Logros del programa, la
programa logró los objetivos trazados.
el
manera
en
que
Eficiencia: Nos indica si los logros fueron suficientes para
la cantidad de recursos requeridos por la agencia y los
participantes. Si Se logró el uso mas apropiado de los
recursos disponibles.
Importancia:
Si
el
programa
tuvo
valor
para
los
participantes y la sociedad en general, si fue la importancia
del programa suficiente para la cantidad de recursos
disponibles.
Cuando los recursos disponibles no representan un problema,
la efectividad del programa es un criterio de mucha
importancia. Sin embargo, muchas evaluaciones son también
juzgadas al responder los participantes a los instrumentos de
evaluación,
las
cuales
exploran
el
juicio
de
los
participantes sobre el programa, si entendieron el programa,
y si la duración del mismo fue apropiada, etc. Cuando los
recursos
disponibles
son
limitados,
posiblemente
las
características fundamentales a evaluarse son la eficiencia y
la importancia. Ambos criterios representan la efectividad
del programa, pero van aún mas allá. Es importante dar la
debida atención a si estamos utilizando debidamente los
recursos disponibles, y a la importancia relativa de las
oportunidades del programa.
Los programas pueden ser evaluados en base a mas de una
característica, por lo que es posible incorporar las
características
de
calidad,
relevancia,
efectividad,
eficiencia e importancia en una misma evaluación.
Los juicios sobre el diseño de un programa determinado deben
realizarse con anterioridad a la implementación del programa.
Se requieren mas evaluaciones de programas en la fase de
diseño, ya que dentro del concepto tradicional de evaluación
lo mas importante es contestar si los objetivos han sido
materializados, pero sin poner en tela de juicio los
1
José M. Huerta, Ph.D. Especialista en evaluación
objetivos. En algunas ocasiones, los objetivos se evalúan y
alteran antes de que el programa se lleve a cabo. El logro de
unos objetivos pobres nunca resultan en buenos programas.
Cuando evaluamos un programa, juzgamos el valor del mismo.
Este juicio es formado al comparar evidencias sobre la
condición actual del programa, en relación al criterio, o lo
que el programa debe ser. por lo tanto, evaluación es el
proceso que requiere las siguientes etapas: (1) Establecer
criterios o estándares, (2) Recoger evidencia sobre el
criterio, y (3) Realizar el juicio que dicha comparación nos
revela.
Criterio: Se refiere a lo que debe ser el programa en la
mente del evaluador, quien debe poseer algunos estándares,
normas o condiciones de comportamiento que se consideran
buenos o ideales.
Evidencia: La evidencia representa un signo o indicación
sobre el valor del programa. Esta puede consistir de actos,
palabras, números o cosas. Nos permite juzgar la manera en
que el criterio se ha logrado.
Juicio: Es la parte del proceso de evaluación en el cual se
consideran
conclusiones
alternativas,
se
hacen
las
decisiones, y se le asigna valor al programa evaluado. Los
juicios son afectados por los valores de las personas que los
realizan. los juicios tienden a ser acertados cuando se
utilizan criterios y evidencias validos y confiables.
En todo tipo de evaluación, la estructura básica de criterio,
evidencia y juicio aplica, por lo que es necesario:
(1)
Desarrollar un criterio en relación a las diferentes
características,
y
comprender
qué
características
del
programa estamos utilizando para realizar un juicio cuando
usamos un tipo especifico de criterio.
(2) Identificar el criterio mas importante en una situación
dada.
(3) Incrementar nuestra experiencia al hacer juicios sobre
diferentes características y sobre la calidad de dichos
juicios.
2
Significado de Evaluación de programas
La evaluación de programas tiene como finalidad el mejorar
la efectividad de los programas, para de esa manera ayudar a los
administradores a realizar decisiones programáticas, y hacer
posible que el público reciba información de los programas. Si
los evaluadores no proveen información que sea relevante a la
toma de decisiones, no estarían cumpliendo su objetivo.
En otras palabras, la evaluación conlleva el recopilar una
serie de datos con el propósito de establecer un juicio. El
proceso de investigación es uno muy parecido al de evaluación,
por
lo
cual
me
propongo
a
establecer
las
diferencias
inmediatamente.
La investigación tiene su origen en las ciencias puras, y se
orienta al desarrollo de teorías, por lo cual es muy familiar con
el método experimental de investigación, en el cual las hipótesis
se
originan
en
teorías
y
se
prueban
en
condiciones
experimentales. La investigación básica contesta preguntas de
índole teórico, sin mostrar un interés particular por las
necesidades de las personas o de la organización en cuestión.
La evaluación de programas se origina en la tecnología, por
lo que el propósito no es el desarrollo de teorías, sino que su
énfasis ha sido el de obtener información para mejorar el
presente programa o el de escoger el programa más adecuado entre
varios posibles. En otras palabras, el objetivo de la evaluación
de programas no es el de probar sino el de mejorar. Cuando
hablamos sobre mejorar, nos referimos a que un juicio debe
hacerse con respecto a lo que constituye una norma deseable. La
evaluación de programas se asocia típicamente con la efectividad
o la inefectividad, adecuado o inadecuado, bueno o malo, y cuán
apropiada o inapropiada es una acción, proceso o producto en
términos de la percepción de los individuos que hacen uso de la
información provista por el evaluador.
3
Razones para evaluar los programas
1.
Justificación de fondos
2.
Proveer información
3.
Escoger entre posibles programas
4.
Orienta al personal en lo relacionado al desarrollo
pragmático y su mejoramiento.
5.
Provee información sobre efectos no deseables de los
programas.
6.
Provee ayuda para escoger entre posibles programas.
Justificación de fondos
A
muchas
técnicas
entidades
usadas para la
se
les
exige
evaluación
de
una
la
discusión
de
las
efectividad
de
las
actividades costeadas por el gobierno o institución privada. Por
ejemplo, si un programa para enseñar conceptos de nutrición a
envejecientes
es
financiado,
se
hará
necesario
evidencia empírica para justificar que los
utilizar
una
envejecientes se
están beneficiando con el programa, y que sus conocicimientos y
prácticas nutricionales van en aumento. En otras palabras, los
programas deben mostrar resultados para justificar el uso de los
fondos.
Mejoramiento de los Programas
Los
programas
deben
responder
a
los
objetivos
para
los
cuales fueron creados. Las evaluaciones frecuentes nos ofrecerán
indicadores para saber dónde estamos en relación a cumplir los
objetivos que nos hemos trazado. Si no efectuamos evaluaciones
periódicas
a
nuestras
actividades,
4
nunca
sabremos
si
estamos
llevando a cabo nuestras actividades con eficiencia. Ejemplo ,una
persona que nunca evalúa sus adiestramientos, tiene la tendencia
de ofrecer los mismos adiestramientos año tras año. Esta persona,
aún ofreciendo adiestramientos de calidad, se está negando al
mejoramiento
efecto
de
sus
adiestramientos,
positivo
que
éstos
deben
y
por
ejercer
consiguiente,
sobre
su
al
clientela.
Aunque creamos que nuestros programas son de calidad, siempre hay
posibilidades de superación.
sin
pensar
mejorar
los
programas.programas
por
requerimientos de acreditación. Aunque no se requiere un alto
nivel de efectividad para lograr o mantener una acreditación, la
amenaza de la pérdida de la misma, ayuda a mantener un cierto
nivel
de
Agrícola,
servicios.
es
En
importante
el
caso
del
mantener un
Servicio
nivel
de
de
logros
Extensión
que
nos
permita justificar los fondos estatales y federales que recibimos
para llevar a cabo nuestros programas.
Proveer Información
La evaluación de programas es una necesidad para proveer
información
sobre
los
mismos.
En
el
servicio
de
Extensión
Agrícola, las entidades federales y estatales que lo auspician,
las fundaciones privadas que financian programas determinados,
los administradores a cargo de los programas, los especialistas,
y personal docente de campo que laboran en los programas, tienen
derecho a recibir la información sobre los mismos. En adición,
los beneficiarios de los programas, y el público en general que
5
contribuye con sus impuestos, desea conocer el impacto de los
programas que ellos están financiando
Aún los programas de alta calidad deben ser evaluados, ya
que es necesario proveer una información a la cual se llega de
manera empírica. Esto, además de satisfacer el requerimiento de
la
agencia
o entidad patrocinadora,
provee
a
personal
de
la
agencia la satisfacción de probar y de difundir el éxito de sus
programas usando una metodología científica.
Escoger entre Posibles Programas
Las evaluaciones de programas pueden ayudar grandamente a
mejorar las decisiones administrativas. En algunos casos, debido
al factor limitante de los fondos, nos podemos ver obligados a
seleccionar un programa entre dos posibles. Si las actividades de
evaluación han sido parte integrante del modo de operación, es
muy posible que haya algunos datos que puedan ayudar a tomar la
decisión de manera eficiente y rápida. Si no hay evaluaciones
sistemáticas, es muy posible que en el mejor de los casos haya
que realizar una de manera apresurada, lo cual no siempre resulta
en unos resultados confiables. Adicionalmente, si los principios
de las evaluaciones de tipo empírico y objetivo son aceptados, es
muy posible que las evaluaciones sirvan de guía para la toma de
decisiones. De no ser así, hay muchas posibilidades de que la
decisión
sobre
el
programa
dependa
mayormente
completamente subjetivas o de presiones políticas.
6
de
evidencias
Información al Personal para el mejoramiento de sus programas
Las agencias que proveen servicios, necesitan información
para saber cómo están realizando sus programas. Por lo tanto, es
importante ofrecer retroalimentación al personal de la agencia
sobre la visión que tienen aquellos que se benefician de los
servicios
provistos.
Buenas
relaciones
interpersonales
son
necesarias para los proveedores de servicios humanos, como el
caso del Servicio de Extensión Agrícola.
Satisfacción de los requisitos de Acreditación
Muchas
entidades,
universidades,
etc
acreditación.
Aunque
efectividad
no
es
tales
requieren
la
como
escuelas,
evaluaciones
obstención
generalmente
un
de
para
un
requisito
hospitales,
propósitos
alto
de
grado
de
de
acreditación,
requerido, el riesgo de perder la acreditación puede ayudar a las
agencias o entidades a mantener ofreciendo servicios de calidad a
sus clientes.
Conocimiento de los efectos no planificados de los
programas.
Algunos de los efectos de los programas son planificados,
otros
no
lo
son.
Por
ejemplo,
la
introducción
de
sistemas
mecanizados agrícolas in algunos países del tercer mundo, ha
creado un mayor desampleo, en países con una gran demanda por
mano de obra. El aumento en producción debido al uso del tractor,
puede
también
conllevar
que
los
agricultores
de
una
región
incrementen su producción, al mismo tiempo que baja el precio del
producto. Una evaluación que solamente se fije en el objetivo del
7
uso del tractor, que es en el de aumentar la producción del
agricultor,
olvida
el
tener
en
planificados del programa.
8
cuenta
efectos
negativos
no