TEMA 2. PLAN DE EVALUACIÓN 1

TEMA 2.
PLAN DE EVALUACIÓN
1
Asignatura: Evaluación de programas de intervención
Curso y Titulación: 2º de Psicopedagogía
Objetivo básico del tema:
Con el desarrollo del presente tema se pretende conseguir que el alumno identifique los hitos fundamentales
en el diseño o plan a seguir en la evaluación de diferentes programas de intervención psicopedagógica.
Otros objetivos del tema son:
• Conozca los elementos esenciales de un diseño para la evaluación de programas
• Comprenda el significado y la utilidad del diseño en su conjunto y de cada uno de sus elementos.
• Elaborar un plan o diseño que contenga los elementos fundamentales para llevar a cabo la evaluación de un
programa de intervención psicopedagógica.
Contenidos:
• Principios que regulan la evaluación de programas (pág. 3).
• Puntos de decisión en el diseño y desarrollo de la evaluación de programas (pág. 9).
• El contrato de evaluación (pág. 15).
Bibliografía (pág. 18).
Desarrollo del tema:
Se apoya en la explicación de los conceptos ya indicados y en la presentación de un caso práctico que requiera
la elaboración de un plan para la evaluación de un programa.
Materiales:
1. Documento de desarrollo de los contenidos del tema.
2. Ejemplos de planes y diseños de evaluación.
3. Programas de intervención psicopedagógica.
Autoevaluación:
1
Una vez finalizado el tema, se tratará de determinar si el alumno domina el objetivo básico del módulo. Para
ello, se utilizará una prueba escrita, con varias preguntas de respuesta breve. Además el alumno completará
una práctica sobre la elaboración de un diseño para evaluar un programa de intervención psicopedagógica.
1. PRINCIPIOS QUE REGULAN LA EVALUACIóN DE PROGRAMAS[]
Los evaluadores han de plantearse algunas cuestiones fundamentales. En principio parece que la evaluación
requiere una reflexión reposada sobre los criterios en que ha de basarse, de hecho, los diferentes modelos de
evaluación se diferencian por estos criterios que le sirven de referencia. Podemos ir más allá diciendo que al
evaluar hoy resulta necesario plantear las referencias que determinarán estos criterios, porque cuando
hablamos de una evaluación centrada en la audiencia estamos ya planteando una referencia diferente a la
evaluación centrada en el programa (documento oficial). Del mismo modo, cuando hablamos de una
evaluación centrada en los objetivos del programa, estamos hablando de una evaluación que tiene una
referencia diferente a la que se propone "evaluar sin metas".
Cuando evaluamos es necesario, pues, poner de manifiesto por qué evaluamos y a quién ha de servir la
evaluación, sólo así sabremos cuál es nuestro papel como evaluadores y cómo hemos de proceder.
Uno de los análisis que en torno a estas cuestiones nos parece más clarificador es el que realiza Kemmis
(1989) cuando propone una serie de principios y revisa las alternativas posibles a estos principios.
1.1. El principio de racionalidad como razonabilidad
"Los participantes en el programa actuan razonablemente a la luz de sus circunstancias y oportunidades. Es
tarea de una evaluación iluminar el razonamiento que guía el desarrollo y la evolución del programa,
identificar los factores históricos y contextuales que influyen en él y que facilitan el examen crítico de estos
aspectos y sobre el programa de la comunidad" (p. 119).
Conociendo la naturaleza de un proyecto explícito o no explícito de integración, sería lógico conocer las
circunstancias y oportunidades en las que se desarrolla. Es fácil que nos encontremos al investigar sobre
integración circunstancias muy diversas en los distintos centros, algunas veces podemos, desde luego, caer en
la tentación de "expertos" que juzgan la actuación de los profesores como poco razonable. Esta tentación
desaparece en el momento en que los profesores y profesionales empiezan a darnos datos de algunas
circunstancias o que podemos observar éstas por nosotros mismos. No es infrecuente, por ejemplo, que
determinados niños se integren en un centro y sin embargo no lleguen las dotaciones previstas por la
Administración, o que no se reduzca la ratio en la medida en que se señaló en su momento. Circunstancias que
inevitable-mente alteran el plan previsto y el modo en que los profesionales pueden trabajar, además de crear
cierto clima de desconfianza sobre el desarrollo del propio proyecto.
La historia de los centros de integración nos resulta también un elemento clave, cómo se plantea el proyecto
en sus inicios, si parte del propio centro o de la presión ejercida por la Administración por las necesidades
existentes en la zona. Incluso, en los mismos centros podemos encontrar "argumentos" personales muy
diferentes que hace que los profesores se declaren a favor o en contra de la integración.
Para Kemmis un reto de la evaluación sería sacar a la luz estos argumentos que guían los comportamientos de
los implicados en el programa. Frente a esta posición estaría la planteada por Stake en la que la racionalidad
está representada por el seguimiento de unos roles determinados, e incluso la de los criterios planteados por
Scriven. Por supuesto se enfrentaría a esta posición la que asume el programa como un "plan racional".
1.2. El principio de autonomía y de responsabilidad
"La responsabilidad moral de un resultado sólo puede adscribirse a una persona en el grado que la elección
2
libre de la acción como un agente moral autonómo sea causa del resultado". (p. 122)
En este sentido debería tenerse en cuenta, según Kemmis, que un programa es una empresa cooperativa en la
que la responsabilidad tiene una carácter interactivo. El problema de la responsabilidad en la educación no ha
alcanzado en nuestro país la dimensión alcanzada en otros países []. No estaría de más, sin embargo,
reflexionar en este sentido ya que, sin que se manifieste de un modo claro, podríamos pretender que la
responsabilidad del éxito de un programa depende sólo de los que lo han de llevar a cabo. La responsabilidad,
según Kemmis, es siempre bilateral y se refiere tanto a la dotación como a la realización. No se trata de
repartir las culpas, sino más bien de señalar de una forma interactiva qué favorece o constriñe las
oportunidades para el desarrollo del programa.
Este principio de responsabilidad podría establecerse con respecto a "lo que debe hacerse" basándonos en
determinados ideales de verdad y justicia. Por ejemplo, en un proyecto de integración puede invocarse a los
derechos del niño y a los ideales de responder a sus necesidades especiales. Sin embargo, hoy sabemos por los
estudios críticos que se han realizado que, bajo estos ideales, se han ocultado a veces otros intereses que no
han contribuído a preservar estos derechos. Incluso, podemos observar en la literatura sobre integración que se
presentan formas muy diferentes de salvaguar-dar estos derechos (diferentes ideas de cómo prácticar la
integración). Con respecto a esta cuestión los patrocinadores de la evaluación pueden adoptar determina-das
perspectivas de lo que es un trabajo correcto, lo bueno o lo mejor con respecto a unos determinados ideales;
sin embargo, estos ideales no tienen por qué coincidir necesaria-mente con aquéllos que tienen los
participantes en el proyecto. También sería posible mantener que los participantes del programa deben actuar
responsablemente de acuerdo con "sus obligaciones", sin embargo esta posición llevaría a reconocer a los
participantes como operarios del programa, más que como agentes responsables. Lo que entraría en
contradicción con el profesionalismo que se les exige a los profesores y otros profesionales de la educación.
1.3. El principio de comunidad de intereses
"El evaluador tiene la responsabilidad de iluminar hasta dónde llegan los aspectos comunes y conflictivos
entre los valores e intereses de los participantes en esta comunidad" (p. 125).
En este sentido el evaluador deberá distinguir diferentes intereses que interactúan y conocer a los intereses que
sirve, que deberían ser los comunes, no los intereses de los que patrocinan la evaluación o los llamados
"intereses públicos", como intereses por encima de los de los propios participantes. En este sentido el
evaluador ha de plantearse cómo va a informar a los distintos implicados.
Este es un tema fundamental para el evaluador que se han planteado siempre los evaluadores. El evaluador
podría correr el riesgo de que en un momento determina-do la información que ofrece lleve a tomar unas
decisiones que no lleven a una mejora del programa, en el sentido de que responda sólo a los intereses de un
grupo determinado.
Cuando nosotros hemos estado en las escuelas recabando información, los profesionales han tenido también
presente este problema y nos han preguntado de qué forma se beneficiarían ellos de la información recogida.
Nosotros les hemos planteado que tendrían una versión diferente de la integración en la que se daría un papel
fundamental a sus propias perspectivas, aunque los datos serían de carácter general y no harían alusión a su
caso concreto. Con esto queremos decir que la perspectiva de la propia investigación está guiada por la idea
de a quién o quiénes ha de servir.
Hemos de decir también que en un proyecto de la naturaleza de la integración, considerado hasta ahora en fase
experimental, el evidenciar problemas no resulta problemático para ninguno de los grupos interesados.
1.4. Principio de pluralidad de perspectivas sobre los valores
3
"Un abanico de perspectivas sobre valores llega a ser relevante en el juicio sobre el programa. La evaluación
podría identificar estas perspectivas y ser responsable de los diferentes temas que implica" (p. 127).
Este principio alude al hecho de que un proyecto puede responder a valores diferentes, dependiendo de los
grupos implicados. Por ejemplo, en el ámbito de la integración podemos tomar la perspectiva de los padres y,
aún dentro de esta perspectiva, tendríamos que diferenciar dos grupos diferentes: la de los padres de los niños
integrados y la de los padres de los otros niños de la escuela integrada. Los padres de los niños integrados
defenderán el derecho a educar a sus hijos en el marco de la integración, con la perspectiva que les
proporciona haber vivido experiencias que no han vivido los otros padres. Experiencias que les ha llevado a
cambiar su forma de pensar, que les ha llevado a interesarse por los temas educativos de una manera diferente
y a tener también un tipo de información más amplia. Los otros padres no pueden entender la integración en
los mismos términos, están menos formados y puede, incluso, que muestren alguna reticencia si esta falta de
información persiste antes de encontrarse implicados.
Este principio nos alerta de la importancia de tomar como valores de referencia bien los de los especialistas en
el tema, bien los valores que tienen los patrocinadores del programa. Si tomáramos como referencia lo que
dicen los "especialis-tas" podríamos juzgar muy negativamente toda reticencia por parte de los padres de
niños que no son de integración, y sobre la base de esta perspectiva interpretar determinadas situaciones
conflictivas. Por ejemplo, ¿cómo juzgar que los padres protesten porque disminuya el cupo de nuevas
matrículas en un centro para mantener una ratio más baja en las aulas integradas?. La valoración sería
negativa, pero no conduciría a nada, el problema real es otro: conocer por qué se ha asociado la bajada de la
ratio a una disminución del cupo de matrícula, en vez de a la creación de nuevas clases para mantener el
mismo cupo. Enseguida aparecen otros valores en juego que se plasman en el modo en cómo se responde a
determinadas condiciones para que la integración sea posible. Sólo teniendo en cuenta estas diferentes
perspectivas podremos informar de los términos en que se plantean problemas como éste.
1.5. El principio de autocrítica de la comunidad
"El debate crítico sobre la naturaleza y valor de un programa existe dentro y alrededor de su comunidad. Es
una tarea de la evaluación refinar este debate y mejorar su relación con el programa de acción" (p. 129).
Para Kemmis distintas formas de evaluación podrían contribuir a ello: una evaluación interna, una evaluación
externa e independiente, una evaluación de carácter consultivo, una metaevaluación. Yendo más allá de lo
dicho en el apartado anterior la evaluación del programa podría incorporar otras perspectivas externas al
programa. Por ejemplo, con respecto a la integración es muy fructífero conocer las perspectivas de personas
que están implicadas en proyectos de integración en diferentes lugares, por ejemplo, en diferentes
comunidades autónomas, incluso en otros países.
1.6. El principio de propiedad y de producción y distribución de la información
"Los procesos de evaluación inevitablemente afectan a la economía política de la información en un
programa (la producción y la distribución de información sobre el programa). La evaluación afecta la
distribución de poder y recursos en situaciones del programa, porque la informa-ción y los argumentos
justifican o legitiman la toma de decisiones. Los participantes del programa y los observadores interesa-dos
se ven afectados con las consecuencias del uso y abuso de la información procedente de la evaluación. Una
evaluación debería explicitar los principios relativos a los procedimientos que gobiernan su desarrollo y sus
procesos de información, producción y distribución" (p. 136).
El proceso de evaluación enlaza la generación de información con el poder de decidir. En este sentido la
evaluación, según Kemmis, es un proceso inevitablemente político. De ahí que la producción y distribución de
información sobre las personas, proyectos y programas deban regularse a través del principio de propiedad,
principio que toma en cuenta las consecuencias políticas, sociales y morales del uso y abuso de la
4
información.
El principio de propiedad en la producción y distribución de información significa que los evaluadores deben
intentar procedimientos que controlen este proceso. Así, puede considerarse la elaboración de un contrato o
una declaración de intenciones procedimentales que recoja por ejemplo el modo en que cada uno de los
implicados en el proceso de evaluación va a conocer el tipo de riesgos que lleva consigo la colabora-ción con
el evaluador, y las garantías que tiene para asegurarse contra un mal uso de la información. Estos
procedimientos deberían indicar asimismo cómo va a recogerse, analizarse, interpretarse y difundirse la
información, cuál es el status de las interpreta-cio-nes que va a hacer el evaluador y del proceso que se ha
seguido para obtenerlas. Los implicados en un proceso de evaluación deberían conocer las respuestas a
preguntas como (adaptadas de MacDonald y Walker, 1975).:
− ¿A qué necesidades responde la evaluación?
− ¿A quién pertenecen los datos (al evaluador, a los
sujetos evaluados, al patrocinador...)?
− ¿Quién tiene acceso a los datos?
− ¿Cuál es el status de las interpretaciones del evaluador
sobre las interpreta-ciones hechas por otros? (¿Quién decide
quién dice la verdad?)
− ¿Cuáles son las obligaciones de un evaluador con
respecto a los demás sujetos que participan en la
evaluación...?
En definitiva, el principio de propiedad alude a los derechos de los participantes en un programa a conocer
cómo se usa y controla la información. Esto significa que ha de llegarse a un modelo de distribución
equitativa de la información basado en los derechos y obligaciones de todos los implicados en la evaluación.
El problema para el evaluador es sopesar hasta dónde llega el "derecho público a conocer" y el "derecho
individual a la discreción". El evaluador tiene la responsabilidad, según Kemmis, de tomar conciencia sobre
las consecuencias de la información y de desarrollar los procedimientos adecuados para controlarla.
1.7. Principio de adecuación
"El diseño de la evaluación es un asunto práctico. Una evaluación debe ser adecuada al programa,
responder a los problemas del programa y relevante para la comunidad del programa y los intereses de los
observadores. Un diseño de evaluación debe renegociarse como un estudio progresivo a la luz de
circunstancias cambiantes, problemas e intereses, y a la luz de sus propias consecuencias" (p. 138).
Para Kemmis la adecuación de un diseño de evaluación no es un asunto teórico o técnico, sino práctico. Esto
quiere decir, sobre todo, que las decisiones relativas a la forma de la evaluación no deberían tomarse tan sólo
teniendo como referencia la "lógica interna de los modelos y enfoques de evaluación", sino que las decisiones
deberían tomarse teniendo en cuenta las necesidades, preferencias, obligaciones, circunstancias y
oportunidades de los que estarán más implicados en el proceso de evaluación (evaluadores, participantes en el
5
programa, patrocinadores y audiencias).
Como en el caso del sexto principio, Kemmis señala que es posible identificar un principio alternativo de
inadecuación. En primer lugar, un diseño de evaluación resulta inadecuado cuando utiliza los modelos de
evaluación de una forma dogmática o inflexible, cuando sufre de lo que este autor denomina la "visión
metodológica del túnel". Es decir, cuando se ha construído con unas anteojeras metodológicas que impiden la
aceptación de un enfoque diferente, más sensible al debate crítico generado en torno a un programa o a las
circunstancias de su implementación. En segundo lugar, un diseño de evaluación no es apropiado cuando
"fracasa para servir a aquéllos que están más estrechamente implicados en el desarrollo del programa", cuando
sólo informa a una de las partes interesadas.
En esta autorreflexión sobre el diseño de evaluación, entendemos que todos aquellos afectados por el proceso
valorativo podrían tratar de responder a cuestiones como éstas (adaptadas a partir de Erickson, 1984):
− ¿Cómo hemos alcanzado ese punto de vista de conjunto?
− ¿Qué hemos omitido y qué hemos excluido?
− ¿Qué argumentos hemos utilizado para la selección (de los
sujetos)?
− Del universo de comportamientos que podíamos utilizar
¿Cuántos utiliza-mos y/o manipulamos (en sentido
experimental)?
− ¿Por qué elegimos y/o manipulamos comportamientos en
algunas institucio-nes, grupos, clases ... y no en otras?
− ¿Qué fundamentos nos han condicionado para fijar el
significado desde el punto de vista de los actores?
En este sentido, consideramos que el diseño de evaluación −se construya éste desde uno u otro enfoque−
debería someterse por parte de las diferentes audiciencias afectadas a una revisión periódica de su
conveniencia, a la luz de los resultados que se van obteniendo de la evaluación. Pero, para que ésto sea
posible, el diseño de evaluación debería ser el producto de la actividad intelectual y relacional de los
individuos y colectivos que participan en la evaluación.
2. PUNTOS DE DECISIÓN EN EL DISEÑO Y DESARROLLO DE LA EVALUACION DE
PROGRAMAS
En el diseño de cualquier evaluación educativa, los que evalúan y los que son evaluados se enfrentan directa o
indirectamente ante diferentes posibilidades y alternativas. Elegir entre ellas supone asumir, consciente o
implícitamente, el tipo de evaluación que a la postre va a realizarse. Algunas de estas preguntas, recogidas del
trabajo de Nevo (1989), con sus posibles respuestas van a ser revisadas a continuación.
2.1. ¿Cómo se define la evaluación de programas?
6
Definir la evaluación supone en última instancia decir qué finalidad pretende darse a ese acto valorativo;
comprometerse con las consecuencias personales, profesionales y sociales que implica cualquier acción
evaluativa en educación. En el módulo 1 recogíamos ya una primera definición de evaluación: evaluar supone
adoptar un conjunto de estándares, definirlos, especificar la clase de comparación, y deducir el grado con que
el objeto satisface los estándares llegando a un juicio acerca del mérito del objeto evaluado. Evaluar, en esta
acepción, implica decidir en qué medida algo se acerca o se aleja de unos criterios dados. Si atendemos a esta
definición, evaluar un programa no es otra cosa que emitir un juicio en el que se aprecia o señala el valor del
programa.
Justipreciar algo es una responsabilidad excesiva para asumirse sin ser compartida con otros. Así, hay quienes
han propuesto que la evaluación de programas sea una actividad que al tiempo que estima un valor aporte
información que describa el programa objeto de evaluación. La idea es facilitar la participación de otros (las
diferentes audiencias interesadas) en el proceso de evaluación. El peso de la información sobre el programa
equilibra el peso del juicio (Guba y Lincoln, 1981; Stake, 1973).
Pero hay definiciones que van aún más lejos. Cronbach y asociados (1980) consideran que el que evalúa no
puede convertirse en un arbitro obligado a decidir si son correctos o erróneos los fundamentos, la
planificación, el desarrollo o los resultados de un programa; más bien es un educador que ayuda a que el
programa funcione mejor y que debe ser juzgado por lo que audiencias y clientes aprenden de la evaluación.
El acento se pone aquí en el carácter meliorativo de la evaluación, se evalúa para mejorar.
Otra definición bastante extendida de evaluación es la que la identifica con un proceso que facilita
información para que se tomen decisiones relativas al programa evaluado. La apreciación en sí pierde
protagonismo frente a la adopción de decisiones, verdadero leiv motiv de la evaluación (Stufflebeam y otros,
1971).
2.2. ¿Cuáles son las funciones de la evaluación de programas?
Resulta ya clásica la distinción de Scriven (1973) entre una evaluación formativa dirigida al desarrollo y la
mejora del programa en curso, y una evaluación sumativa cuya función es la selección, la certificación o el
control de cuentas sobre el programa. Desde un punto de vista institucional, la primera tendría
preferentemente un uso interno y podría servir, por ejemplo, para modificar o mejorar el diseño del programa
o para mejorar su ejecución en aspectos como los materiales didácticos, las estrategias instruccionales, la
gestión de recursos, etc.; la segunda serviría más bien a fines externos a la propia institución que diseña y/o
ejecuta el programa, que a veces son impuestos por las administraciones regionales o nacionales. En un
sentido similar, Stufflebeam (1972) diferencia entre evaluación proactiva, que sirve para tomar decisiones, y
evaluación retroactiva, utilizada para la certificación y el control de cuentas.
A la evaluación de programas también se le atribuye una función psicológica o sociopolítica (Cronbach et al.,
1980; Patton, 1978). En estos casos, la evaluación se utiliza para dar a conocer programas innovadores o
especiales, para motivar a los que participan en un programa o como medio de favorecer las relaciones con
patrocinadores, autoridades administrativas o audiencias. Las "evaluaciones" de algunas de las reformas
emprendidas en las últimas décadas en nuestro han tenido una función psicológica y sociopolítica.
Una función poco popular de la evaluación es aquella que la asociada al ejercicio de la autoridad (Dornbusch
y Scott, 1975). Como parte de la evaluación interna de un programa puede existir el privilegio del superior
(académico o administrativo) para evaluar a sus subordinados sin que exista la posibilidad contraria. En
muchos casos, una persona desde una posiciónadministrativa o académica evalúa a otra para demostrar su
autoridad sobre esa persona.
2.3. ¿Cuáles son los objetos de evaluación de programas?
7
Por definición, el programa es el objeto de evaluación. No obstante, esta tautología requiere algunas
aclaraciones. Sobre todo porque no está claro a qué programa nos estamos refiriendo: a) el programa
documento oficial; b) el programa en desarrollo; c) el programa realmente puesto en práctica. Todavía se hace
más compleja la cuestión si la definición del programa como objeto de evaluación se realiza desde diversas
instancias: a) el cliente; b) los diseñadores; c) los participantes; d) las audiencias. Finalmente, concretar los
objetos de evaluación supone considerar al conjunto de las variables relativas al programa. Así, según el
conocido modelo CIPP (Context, Input, Process, Product) de Stufflebeam (1971) deberíamos considerar
cuatro grandes categorías de variables relativas a un programa que pueden ser objeto de evaluación: el
contexto − ambiente en que se inserta el programa , incluye las condiciones actuales y deseadas relativas a
dicho ambiente−, la entrada −recursos, tiempo, limitaciones, diseño, estrategias,etc.−, el proceso −cambios,
adaptaciones, modificaciones− y el producto −resultados según los objetivos planteados en el diseño−.
En un intento de sistematizar los diferentes aspectos que pueden evaluarse en un programa, Alvira
(1991:35−43) establece incluso una tipología de evaluaciones referidas a dichos aspectos que concreta en lo
que podríamos entender como nueve dimensiones sobre las que puede centrarse un proceso de evaluación
• Evaluación de necesidades
• Evaluación del diseño/conceptualización del programa de intervención.
• Evaluación de la evaluabilidad
• Evaluación de la implementación
• Evaluación de la cobertura
• Monitorización y seguimiento del programa
• Evaluación de los resultados
• Evaluación del impacto
• Evaluación económica
2.4. ¿Cuáles son los términos de comparación?
Un término de comparación constituyen un referente con el que puede equipararse un programa para
determinar su similitud o diferencia con determinado referente. Los términos de comparación permanecen a
menudo implícitos en el modo de evaluar o el diseño de evaluación.
El término de comparación más utilizado en la evaluación de programas es, desde luego, el propio programa
objeto de evaluación. Se comparan objetivos y resultados, entradas y salidas, lo esperado y lo observado.
También en el seno del programa, se realizan comparaciones en el propio diseño del programa para averiguar
si sus antecedentes resultan lógicamente contingentes con las realizaciones previstas y si éstas son
lógicamente contingentes con los resultados previsibles del programa. Con el programa ya desarrollado, se
comparan las finalidades a las que realmente han respondido un programa con el tipo de estrategias utilizadas
y éstas con los resultados obtenidos (Stake, 1973). De igual modo, las perspectivas que tienen sobre el
programa las diferentes personas con él relacionadas (clientes, audiencias, usuarios, patrocinadores) son
también términos de comparación.
No obstante, el programa también se compara con referentes externos al mismo. En estos casos, otros
programas sirven de referentes comparativos al programa objeto de evaluación, tratando así de relativizar sus
logros o deficiencias. Un programa también se suele comparar con estándares de excelencia de lo que debería
ser un programa recogidos en la literatura.
2.5. ¿Cuáles son los criterios en la evaluación de programas?
Los criterios de evaluación constituyen una serie de estándares que nos permiten decidir bien sobre el valor o
mérito del programa. Al igual que los términos de comparación, muchos criterios suelen estar implícitos en el
proceso de evaluación o en la mente de los evaluadores y sólo se revelan cuando conocemos los resultados de
8
la evaluación.
En términos generales, puede decirse que los criterios más utilizados en la evaluación de programas son los
que aluden al grado de ajuste entre los términos de comparación: objetivos y resultados, entradas y salidas,
antecedentes y logros, etc. Señalan simplemente si se han cubierto los objetivos previstos, si el coste es
adecuado al beneficio, si las entradas se corresponden con las salidas. También se utilizan como criterios el
nivel de mejora o desarrollo operado en el programa respecto a anteriores evaluaciones del mismo programa.
Se trata de hacer un análisis longitudinal del programa y no una mera comparación circunscrita a un momento
determinado en la vida del programa. La satisfacción de determinados indicadores o estándares, con los que se
ha comparado el programa o el impacto social, educativo, profesional, etc. del programa son criterios
utilizados por algunas evaluaciones.
En lo que se refiere al establecimiento de medidas o indicadores concretos en la evaluación de programas,
puede indentificarse muchos y muy diferentes dependiendo de las propias intenciones del programa. Estos
criterios pueden referirse a actitudes, valores, conocimientos, conductas, asignaciones presupuestarias, normas
de servicio de organismos públicos o privados, productividad y muchas otras cosas. Pueden tener que ver con
las personas a quienes afecta el programa, con los organismos que lo promueven o las instituciones que los
acogen, con quienes se ven afectados por el programa o con el lugar o la comunidad en la que se implanta o
con los ciudadanos en general. Weiss, por ejemplo, en 1972 establece cuatro tipos de medidas o indicadores
de resultados: medición de los efectos sobre las personas a quienes se les da servicio; medición de los efectos
sobre las organizaciones; medición de los efectos sobre sistemas más amplios: y, medición de los efectos
sobre el público.
2.6. ¿Qué tipos de información se recogen en relación con el objeto evaluado?
El tipo de información que se recoge en un proceso de evaluación depende, en primer lugar, del objeto
evaluado y, en segundo lugar, de los términos de comparación y de los criterios establecidos. La información
pertinente para evaluar el programa de una asignatura puede no ser demasiado útil para evaluar un programa
de intervención socioeducativa para grupos marginados o un programa de formació permanente para
profesores de secundaria. No obstante estas diferencias, es posible pensar que −salvo en aquellas definiciones
que no incluyen el juicio como parte del proceso evaluativo− toda evaluación requiere para su desarrollo dos
tipos básicos de informaciones: descriptiva y valorativa.
Las informaciones de tipo descriptivo tienen que ver con alguna explicación sustantivo −apoyada en algún
modelo teórico desde el que se realiza el análisis del programa− o con alguna explicación no sustativa
−amparada en visiones que no hacen referencia a modelos teóricos y están apoyadas en intuiciones,
sentimientos, intereses, etc.− sobre el diseño, funcionamiento o resultados del programa. Ambos tipos
explicaciones son necesarias para captar con perspicacia cómo se gesta, cómo evoluciona y cuál es el impacto
de un programa. El evaluador debe ser consciente que todas las informaciones que recoge y que explican algo
sobre el programa responden a distintas preguntas. Las explicaciones se formulan en respuesta a las cuestiones
de todo tipo que se formulan audiencias, clientes, evaluadores, patrocinadores, etc.
Las informaciones de tipo valorativo que recoge el evaluador reflejan los esquemas de referencia , los criterios
y los esquemas de valor desde los que se juzga al programa. Es decir, un programa puede evaluarse sólo
considerando los esquemas de valor y, por ende, los criterios de los clientes o los patrocinadores (p.e..
eficacia, eficiencia, cobertura, impacto social, etc.), pero a dichos esquemas de valor pueden sumarse los que
identifican los participantes en el programa o las audiencias (p.e. desarrollo personal y social, respeto a la
libertad de acción y decisión, mejoras económicas, etc.).
Una visión mas exhaustiva, como la mantenida por Guba y Lincoln (1981) o Stake (1975) vendría a señalar
que en una evaluación se generan hasta cinco tipos de informaciones: (a) información descriptiva relacionada
con el objeto de evaluación, su contexto y las condiciones por las que se ve afectado; (b) información en
9
respuesta a los asuntos que preocupan a las audiencias; (c) información sobre cuestiones relevantes; (d)
información sobre valores; (e) información sobre los estándares relevantes para apreciar el mérito y el valor
Desde su perspectiva, los criterios se identifican con las variables dependientes de una investigación
evaluativa.
2.7. ¿Para quién es útil la evaluación?
Algunas de las definiciones dada sobre la evaluación sugieren que ésta ha sido concebida para servir a
determinadas audiencias. Por ejemplo, cuando decimos que la evaluación se realiza para favorecer la toma de
decisiones estamos subrayando a quién sirve la evaluación. Otras definiciones no son tan precisas en este
sentido y sus autores hablan de la utilidad de la evaluación para los clientes, audiencias o sujetos evaluados.
En términos generales puede afirmarse, sin embargo, que la evaluación puede ser útil para todos al tiempo que
lo es para una audiencia en particular. La literatura de evaluación no sugiere la existencia de una "audiencia
más apropiada" para la evaluación, más bien en ella llegan a establecerse tres tipos de proposiciones en torno
a esta cuestión: (a) una evaluación puede tener más de un cliente o audiencia; (b) diferentes audiencias pueden
tener diferentes necesidades de evaluación; (c) al planificar las primeras etapas de un proceso de evaluación
deben ser claramente identificadas las audiencias específicas para una evaluación as¡ como sus necesidades de
evaluación (Nevo, 1989:21).
2.8. ¿Cuál es el proceso a seguir?
La forma en que se organiza un proceso de evaluación difiere de acuerdo con las respuestas que se hayan ido
dando a las preguntas precedentes. En este sentido, las diferencias en cada concepción teórica toman forma en
el modo de diseñar un proceso de evaluación. Presentaremos aquí dos posiciones polares en torno a esta
cuestión.
Tyler, en su ya clásico modelo de evaluación de 1950, establece el siguiente proceso de evaluación: (a)
establecer las metas de la evaluación en términos de conductas; (b) desarrollar instrumentos de medición; (c)
recoger datos; (d) interpretar los hallazgos; y (e) hacer recomendaciones.
De acuerdo con la propuesta de Stake (1973), un proceso de evaluación debería incluir: (a) la descripción del
objeto a evaluar; (b) informar de esa descripción a las audiencias relevantes; (c) obtener y analizar sus juicios;
y (d) informar de nuevo a las audiencias sobre el análisis realizado con sus propios juicios.
Existen muchas más formas diferentes de organizar un proceso de evaluación de las que las aquí presentadas
no son sino un mero exponente, pero en todas ellas se destaca la necesidad de que la evaluación no se
convierta en una simple actividad técnica de recogida y análisis de datos, valoración de la información y, en
su caso, toma de decisiones sino que debe incluir una cierta cantidad de interacción entre el que evalúa y sus
audiencias de cara a identificar las necesidades de evaluación o para comunicar los resultados de la misma.
2.9. ¿Qué procedimientos se van a utilizar?
La evaluación de programas educativos, en términos generales, puede ser abordada desde una enorme
variedad de métodos y estrategias. Así, una evaluación puede realizarse modificando las condiciones
ambientales para conocer como se ven afectados los comportamientos de individuos, colectivos o
instituciones educativas cuando se introduce un programa dado. Es decir, podemos utilizar procedimientos
típicamente experimentales o cuasiexperimentales.
Una evaluación también puede diseñarse recogiendo informaciones y/o juicios producidos con anterioridad en
un contexto y en una situación dadas, es decir, utilizando diseños ex−post−facto. Para algunos, la evaluación
10
es algo más simple y sólo consiste en recoger información y presentarla de un modo descriptivo a un tercero
que toma decisiones. En este caso, la evaluación sólo requiere un estudio descriptivo.
Para otros, la evaluación es un proceso complejo que va definiéndose interactivamente entre las audiencias y
el evaluador. Se trata de diseños de trabajo abiertos y de carácter cíclico en los que resulta fundamental la
comunicación de descripciones y juicios. Sus propuestas de trabajo se aproximan a los supuestos de la
investigación interpretativa (etnográfica, naturalista, cualitativa) y siguen estrategias apoyadas en el estudio de
casos únicos o múltiples.
Existen además métodos y estrategias de evaluación que siguen un modus operandi particular, que está
condicionado y va definiéndose según las propias circunstancias de la evaluación así lo exigen.
En cualquier caso, una evaluación no es una investigación que deba reproducir en su diseño esquemas
experimentales o interpretativos para satisfacer ciertos requisitos de validez o credibilidad científicas. La
planificación, desarrollo y valoración de una evaluación no responde necesariamente a esos esquemas sino a
otros que se desprenden de los rasgos propios de toda evaluación. Los esquemas de prueba de hipótesis
sostenidos en muchos diseños cualitativos o cuantitativos deben entenderse aquí como esquemas de trabajo o
referentes que guien determinados momentos del proceso de evaluación, pero nada más. En el Módulo 3, se
desarrolla con más profundidad la idea de diseño de evaluación y las metodologías que pueden utilizarse en su
desarrollo.
Cosa distinta son los procedimientos de recogida de la información que en toda su variedad y bajo todas sus
formas conocidas pueden ser incorporados al desarrollo de una evaluación. Además, los diferentes modelos de
evaluación incorporan una cierta variedad de procedimientos encuesta (entrevistas, cuestionarios... ), de
observación (escalas, sistemas de categorías, grabaciones en audio y/o vídeo, diarios... ) y procedimientos de
medida (tests, escalas ... ). Y lo mismo podría decirse de los procedimientos de análisis de datos
convencionales, cualitativos y cuantitativos, que son incorporados casi sin restricciones en la práctica de la
evaluación de programas.
2.10. ¿QUién realiza la evaluación?
La evaluación de programas, tal como la venimos definiendo en este curso, puede realizarse desde distintas
instancias y respondiendo a metas diferentes. La literatura sobre evaluación sugiere dos importantes
distinciones que deben tenerse en cuenta al decidir sobre esta cuestión. La primera de ellas es la que diferencia
entre evaluador externo y evaluador interno (Scriven, 1973,1975; Stake y Gjerde, 1974, Stufflebeam et. al.,
1971). Un evaluador interno es una persona o grupo profesional que, a diferencia del evaluador externo,
participa en el programa bien como disecador, bien como usuario del mismo o en alguna otra función
reconocida. La segunda distinción que cabría hacer es entre el evaluador profesional y el evaluador
aficionado. Según Scriven (1973) esta distinción afecta sobre todo al tipo de formación que uno y otro han
recibido. El evaluador aficionado tiene una formación más sólida en otros campos que en el de la evaluación,
actividad a la que dedica sólo parte de su trabajo. El evaluador profesional ha recibido una formación
específica sobre esta actividad, asume la responsabilidad de proyectos de evaluación y se dedica
prioritariamente a evaluar. Es evidente que ambas distinciones resultan independientes y, por tanto, pueden
combinarse en formas diferentes.
3. EL CONTRATO DE EVALUACIÓN
Un contrato de evaluación es un compromiso que suscriben cliente y evaluador por el que se regulan las
expectativas y responsabilidades de ambas partes y que, en caso de conflicto, les compromente ante la
jurisdicción que corresponda.
Existen, como cabe suponer, muy diferentes formas de plantear contratos de evaluación. Dichos contratos
11
están, claro es, condicionados por las cuestiones planteadas en el primer apartado de este módulo y por el
enfoque que pretenda darse a la evaluación . Por simplificar, el tipo de contrato que propugnan Parlett y
Dearden (1981) desde un enfoque de evaluación iluminativa puede ser diferente al que recoge House (1994).
No obstante, en cualquier contrato van a plantearse cuestiones relativas al acceso y uso de la información, a la
divulgación de los resultados, al costo económico de la evaluación o al calendario de entrega.
Como ejemplo de un contrato de evaluación, reproducimos aquí un ejemplo de contrato que se recoge en la
obra de House (1994).
Un contrato de evaluación
(Protocolo de contrato entre el equipo de evaluación y MEA/NEE)
1. Cometido
El jurado de evaluación externa compuesto por el Dr. Wendell RIVERS, el Dr. Ernest HOUSE y el Dr. Daniel
STUFFELBEAM ha sido encargado por la Michigan Education Association y por la National Education
Association de la evaluación de la validez y utilidad educativas en Michigan del Michigan Accountability
Model], ocupándose de modo especial del componente de evaluación.
• Destinatarios (en orden de prioridad)
NEA/MEA.
Responsables de decisiones del sistema educativo de Michigan (State Board of
Education y State Department of Education).
Los medios de comunicación (el público).
Los usuarios (padres, PTA, público en general, etc.).
Personal técnico (sobre todo del área de la medición educativa).
• Informe y publicación del mismo
El equipo sólo es responsable de la realización de la evaluación y de su informe final. La NEA y la MEA
pueden redactar y divulgar documentos independientes (como puntualizaciones, impugnaciones, comentarios
o documentos de carácter descriptivo). Se conviene que el informe del equipo sea lo más reducido y directo
posible y que ha de estar elaborado para comunicarlo a los destinatarios previstos del informe.
• Divulgación
El equipo externo tiene derecho a facilitar su informe a cualesquiera miembros de los grupos destinatarios o a
otras personas tras su elaboración. La entrega del informe no supone el respaldo de la MEA o de la NEA.
Ambas instituciones pueden optar por refrendar o no el informe, dependiendo de su juicio sobre la calidad y
adecuación del informe. La MEA y la NEA decidirán, en su caso, la publicación de sus propios documentos
que describan el informe, bien entendido que tales documentos se identificarán como propios suyos y no
como del equipo de evaluación. Unicamente el informe final, tal como lo prepare el equipo de evaluación,
será divulgado de manera que figuren en él los nombres de los componentes de dicho equipo.
• Formato del informe
12
Se considera deseable que en el informe final del equipo de evaluación figuren los siguientes ítemes:
• mención de los acuerdos entre el equipo de revisión y NEA/MEA;
• presentación de los principales descubrimientos;
• presentación de las opiniones minoritarias, si las hubiera.
• Cuestiones que tratar en el informe
Se tratarán las siguientes cuestiones específicas:
• validez y fiabilidad de los tests referidos a criterio;
• utilización de los tests para evaluar al profesorado;
• importancia de los objetivos en los que se basa la evaluación de Michigan;
• participación de los profesores en la elaboración de dichos objetivos y de los tests;
• recomendaciones del equipo de evaluación relativas a posibles cambios y posteriores estudios;
• comentarios sobre el equilibrio entre el esfuerzo del estado y la conveniencia de ampliar el ámbito de la
evaluación, habida cuenta, sobre todo, de los factores de costo asociados con los proyectos para mejorar o
ampliar la evaluación de Michigan;
• calidad de la planificación en el Michigan Accountability Program;
• proyecciones de costo/producto respecto al programa;
• valor de los resultados e informes de evaluación para los distintos niveles de destinatarios de Michigan;
• problemas de sesgo en el Michigan Aecountability Program
• Recursos (presupuesto) del programa
La MEA y la NEA aportarán al equipo externo de evaluación recursos suficientes para cubrir ocho días de
trabajo de cada miembro de dicho equipo en el programa, el apoyo administrativo que fuera necesario y
cualesquiera requisitos de materiales y equipos, por ejemplo, magnetófonos, cintas magnetofónicas, etc., para
las audiencias que se desarrollen en Lansing. Si cualquiera de los miembros del equipo tuviera que efectuar
llamadas telefónicas interurbanas para recabar de personas que trabajan en Michigan sus opiniones sobre el
programa, tales gastos les serán reembolsados a los citados miembros del equipo de evaluación, siempre que
presenten un informe exacto y completo sobre el objetivo de la llamada, indicando la persona a la que se
llamó.
8. Calendario de entrega
El equipo de evaluación ha de entregar su informe final el 1 de marzo o tan pronto como fuera posible a partir
de esa fecha.
9. Acceso a datos
El Michigan Department of Education pondrá a disposición del equipo de evaluación cuantos datos e
informes solicitara dicho equipo para realizar su trabajo. Esta disponibilidad se limita, como es obvio, a los
datos e informes de los que dispone en la actualidad el Michigan Department of Education en relación con la
rendición de cuentas en Michigan.
10. Procedimientos
De acuerdo con las condiciones anteriores, el equipo externo de tres personas tendrá pleno control del proceso
de evaluación que debe implementar para cumplimentar responsablemente el trabajo a él encomendado y que
acepta desarrollar. En consonancia, el equipo acuerda implementar el siguiente procedimiento general:
De manera exclusiva, el equipo celebrará entrevistas con representantes del Michiagn Department of
Education, representantes de la NEA y la MEA, representantes de grupos seleccionados (profesores,
13
administradores, consejeros de dirección y grupos de acción educativa). Asimismo, el equipo revisará los
documentos que pongan a su disposición la NEA, la MEA y el Michigan Department of Education. Por
último, el equipo concederá audiencias para recabar información adicional relativa a las cuestiones que el
equipo considere de relieve en el transcurso de las entrevistas con diversos grupos interesados y al estudiar los
distintos documentos.
BIBLIOGRAFÍA
1. Alvira Martín, F. (1991). Metodología de la evaluación de programas. Madrid: Centro de Investigaciones
Sociológicas.
2. Cronbach, L. J. et. al. (1983). Designing evaluations of educational and social programs. San Francisco:
Jossey−Bass.
3. Guba, E. G., & Lincoln, Y. S. (1989). Fourth generation evaluation. Newbury Park, California: Sage.
4. House, E. R. (1994). Evaluación, ética y poder. Madrid: Morata.
5. Nevo, D. (1989). Conceptualization of Educational Evaluation: An Analytical Review of Literature. En E.
R. House (Ed.), New Directions in Educational Evaluation (pp. 15−29). Londres: The Falmer Press.
6. Parlett, M., & Hamilton, D. (1983). La evaluación como iluminación. En J. Gimeno Sacristán, & A. Pérez
GómezLa enseñanza: su teoría y su práctica (pp. 450−466). Madrid: Akal.
7. Patton, M. Q. (1980). Qualitative evaluation methods. Beverly Hills: Sage.
8. Scriven, M. (1973). The methodology of evaluation. En B. R. Worthen, & J. R. Sanders (Eds.), Educational
evaluation: Theory and practice (pp. 60−106). Belmont, California: Wadsworth.
Este apartado está tomado de García Pastor, C. y García Jiménez, E. (1992). La evaluación de los programas
de integración, en García Pastor, C. (Coord.). Investigación sobre la integración. Tópicos, aproximaciones y
procedimientos. Salamanca: Amarú. Los ejemplos y referencias aludidos en él tienen que ver con las
propuestas de evaluación de la integración escolar en España.
2 Un ejemplo de lo conflictivo que puede llegar a ser este tema también en nuestro país podría constituirlo el
de la evaluación de la calidad de la enseñanza en la universidad, centrada en la evaluación del profesorado.
2 Tema 2.
14