Carrión, Carmen. Valores y principios para evaluar la educación

Carrión, Carmen. Valores y principios para evaluar la educación. Piados
educador, 2001.
CAPITULO I.
VALOR, POLÍTICA Y ÉTICA PARA EVALUAR.
Las definiciones más comunes de evaluación educativa la han propuesto –en el
entendido de que los términos de estos procesos, sus conceptos y sus principios pueden
tener un carácter universal y homogéneo- como una abstracción independiente del
sujeto de la tecnología evaluativa y de quien la aplica. Estas definiciones pueden
clasificarse así:
•
Las que toman como principio la constatación del logro de metas.
•
Las que conciben la evaluación como una forma de proveer información para
tomar decisiones, o como un examen sistemático de programas educativos o
sociales.
•
Las que toman como principio la naturaleza enjuiciadora de la evaluación y la
definen como la ponderación del mérito o valía de los programas educativos
[véase T. Husen y T. Neville (comps.), The International Encyclopedia of
Education, p. 1772.
Michael Scriven ha apuntado que estas definiciones se centran en uno de los
innumerables objetos susceptibles de análisis, los programas educativos, y soslayan lo
que en la práctica se realiza en muchas áreas de la vida social y material; por esto,
difícilmente las definiciones mencionadas pueden ser base del desarrollo de una teoría
de la evaluación. Este autor declara que la evaluación es un proceso mediante el cual se
determinan el mérito, la valía y el valor (merit, worth y va1ue) de las cosas; es una
transdisciplina (en la que concurren la lógica, la psicología, la ética y el derecho) que
apela a la razón instrumental de las ciencias, como la lógica, el diseño y la estadística, y
aplica un amplio espectro de tareas de investigación y creación, mientras mantiene la
autonomía de una disciplina de propio derecho. De acuerdo con Scriven, la visión
transdisciplinaria intenta ofrecer soluciones a la estigmatización de la evaluación y a la
inutilidad de sus resultados. Supone extender los fundamentos de la evaluación hasta
sus límites racionales para que abarque todas las áreas de aplicación y se incremente la
comunicación entre éstas; para que mejoren las técnicas de evaluación y los informes de
áreas tradicionales que no son sólo del campo de la evaluación de programas y de
currículo, y para que en un nivel más general se deseche la idea de una práctica en la
que los valores pueden ser puestos entre paréntesis [véase Evaluation Thesaurus, pp. 13}
La experiencia en estos procesos nos muestra, sin embargo, que al aplicar cualquier
procedimiento, e incluso con la sola intención de evaluar, se desencadenan reacciones o
formas de asumir o confrontar estas circunstancias por parte de las comunidades
institucionales. Estas reacciones hacen patente que la evaluación no se hace de una cosa
que incluye los términos de las proposiciones abstractas de la definición, sino de las
formas específicas de relaciones educativas de la comunidad escolar, las cuales
determinan el carácter (la calidad, la eficiencia y el mérito) de la institución respectiva.
La información que se obtiene al aplicar un procedimiento es una expresión de esas
relaciones educativas; es una de las formas en que se puede objetivar el conjunto de
valores implícitos o explícitos que está en el sustrato de tales relaciones y le dan sentido
a la institución.
Pero esa objetivación no significa homogeneidad o universalidad de los valores o de las
expectativas respecto de la educación; indica la necesidad de racionalidad, de método en
los procesos de evaluación. Esto explica, por ejemplo, la razón de que formas
elementales de evaluación, como los inventarios estadísticos, generen juicios o
conclusiones con base en estándares o indicadores de calidad, sin que se aclare que
éstos son en sí mismos expresiones de valor; o que un estudiante obtenga diferentes
rendimientos en una misma materia si es calificado por profesores diferentes, de
acuerdo con lo que uno u otro de ellos crea que es un aprendizaje más pertinente o
valioso.
Las diferencias de juicio por sí mismas muestran la dinámica de la educación,
completamente irreprochable por la riqueza de posibilidades de relaciones educativas,
pero que constituye un trastorno para la asignación presupuestaria o la promoción de
estudiantes a niveles superiores de educación. De aquí que la tecnología evaluativa se
haya utilizado para homogeneizar el tipo de juicios respecto a la calidad de las
instituciones y de los alumnos y profesores, sin percatarse de que la estandarización es
también un criterio y una expresión de valor, y sin considerar que la falta de utilidad de
los informes de evaluación está relacionada con el problema fundamental de estos
procesos: la validez de las conclusiones (un problema más complejo que el logro de la
confiabilidad de la información y la efectividad técnica de los procedimientos de
análisis).
Este problema se ahonda porque ninguna institución es igual que otra, aunque
compartan estructura, nivel y normatividad. Además de lo que define a una institución
educativa en términos formales, su carácter está constituido por las formas específicas
de relaciones de la comunidad escolar, que no se pueden reproducir en otras
circunstancias. Esto no quiere decir que no se puedan encontrar regularidades (o
situaciones generalizables) entre instituciones o procedimientos tecnológicos. Más bien
se afirma que en principio la evaluación no puede basarse en modelos generales, sino en
la identificación de los valores que imprimen un sentido a las relaciones educativas y en
la verificación de sus formas de expresión mediante actividades concretas, consecuencia
de esos valores. La evaluación que tiene un sentido de crítica y mejoramiento de esas
relaciones únicamente puede plegarse a las circunstancias de cada caso y crear modelos
ad hoc. Al circunscribirse a esas formas específicas de relación educativa estará en
posibilidad de validar propósitos, procedimientos, resultados y utilidad congruentes con
la institución.
En este proceso se hace educación y hay construcción de conocimiento sobre la
educación. Así, evaluar significa interrogar sobre el sentido de la institución, su
significado y su propósito. La evaluación verdadera y legítima da ocasión a que se
pregunte por el sentido educativo de la institución, a que los participantes en las
relaciones escolares reconozcan su opinión y sus valores en la narración de los hechos y
en las conclusiones.
Para comprender qué se hace cuando se evalúa, más allá de la correcta aplicación
tecnológica, consideremos el contenido, el método y las circunstancias que fundamentan
que una actividad sea una evaluación y no otra cosa.
EVALUAR LA EDUCACIÓN.
En los diccionarios lexicológicos más actuales de la lengua castellana se encuentra que
el verbo evaluar significa señalar el valor de una cosa; estimar, apreciar y calcular el
valor de algo. Actualmente tiene una connotación educativa que no se encontraba en
diccionarios de hace veinte años: «Estimar los conocimientos, aptitudes y rendimiento
de los alumnos». Esto nos indica que ya es de uso común, no docto, el término
«evaluar» en la lexicología de comunicación social [véase Real Academia de la Lengua,
Diccionario de la lengua española, p. 927].
El término especializado, disciplinario, que denota una actividad y procedimientos
metodológicos específicos lo acuñó Ralph Tyler al referirse a la <<evaluación
educativa>> para denominar el proceso de determinación del grado de cumplimiento de
los objetivos educativos que previamente se especifican y se aplican. Para Tyler la
evaluación es el proceso de medición del grado de aprendizaje de los estudiantes en
relación con un programa educativo planeado. Lo cual es exactamente igual a la
acepción educativa del significado lexicológico [véase Basic Principles of Curriculum
and Instruction, p. 107].
La definición de Tyler, propuesta en los años cuarenta, fue revolucionaria en su
momento pues responsabilizaba del éxito o fracaso de los estudiantes no a su propia
inteligencia (lo cual tenía reminiscencias genetistas y raciales), sino al contexto
institucional y a la capacidad de los educadores de planificar los contenidos de acuerdo
con las necesidades de conocimiento socialmente adecuado y con los niveles de
asimilación de que eran capaces los estudiantes. Recuérdese que los primeros
procedimientos de ponderación del aprendizaje se desarrollan durante la primera década
del siglo xx sobre la base de los métodos de medición de la psicología individual, y se
originaron en la idea de que los rendimientos de los estudiantes están correlacionados
con su inteligencia [véase una historia de la medición psicológica y educativa en R. L.
Thorndike y Elizabeth Hagen, Tests y técnicas de medición en psicología y educación,
pp. 9 27].
De aquí que la tecnología educativa resultante de la propuesta tyleriana transformara los
procesos de evaluación propiamente educativa y propiciara lo que más tarde se llamó la
evaluación diagnóstica, la formativa y la de resultados. En este caso, la evaluación se ha
considerado una fuente de retroalimentación para calificar la pertinencia y la adecuación
de la planeación curricular a los niveles de aprendizaje del alumno.
Otros autores profundizan en esta primera aproximación y la extienden al proceso que
nos ocupa. Un ejemplo es Benjamin Bloom, que en la segunda mitad de los años
cincuenta propone una complejización de la idea de los objetivos educativos con una
concepción más integral de la psicología del desarrollo humano, tomando en cuenta el
tipo de contenidos que los profesores enseñan comúnmente. Dividió estos contenidos en
tres tipos de objetivos educativos que se corresponden con tres dominios de la
personalidad. El primer dominio es la cognición o dimensión del conocimiento y cómo
se manifiesta éste en la expresión memorística, la comprensión, la aplicación, el
análisis, la síntesis y la evaluación de conocimientos por parte del alumno. El segundo
es la dimensión afectiva o cómo logran los estudiantes desarrollar una cosmovisión
propia y autónoma. El último es la dimensión psicomotora o desarrollo de habilidades
instrumentales. De esta manera, la formulación del currículo, su aplicación y la
evaluación de los alumnos debían tener como propósito la verificación del desarrollo y
la aplicación curricular en toda sus dimensiones [véase Taxonomía de los objetivos de
la educación].
En la década de los sesenta se observó una sobreabundancia de propuestas no sólo de
definiciones sino también de modelos de evaluación, y surgió lo que se ha llamado la
«investigación evaluativa». Al respecto, algunos autores son de particular importancia.
Robert E. Stake, por ejemplo, propuso en 1967 que la evaluación se entendiera como un
proceso sistemático de emisión dejuicios basado en una descripción de las discrepancias
entre las ejecuciones de estudiantes y profesores y los estándares del aprendizaje y de la
enseñanza previamente definidos. Estos estándares se determinaban a partir de los
resultados del aprendizaje y de los procedimientos de enseñanza que se obtienen con
otros currículos similares [véase «The Countenance of Educational Evaluation», pp. 523
540.
M. Scriven, también en 1967, propuso un modelo de «evaluación sin metas» cuyo
propósito era evaluar los efectos de un programa en relación con un perfil (demostrado
y medido) de necesidades educativas. En su concepción, la evaluación debía ser una
determinación sistemática y objetiva del mérito de un programa educativo respecto de la
satisfacción de esas necesidades. El procedimiento consistía en que un evaluador
independiente emitiera un juicio, basándose en las evidencias acumuladas de los efectos
del programa y en la comparación de éste con programas similares que potencialmente
satisfacían el mismo tipo de necesidades. Se denominó evaluación sin metas porque sus
referencias no eran los objetivos educativos sino otros programas similares [véase «The
Methodology of Evaluation», y una crítica a su propio planteamiento en «Pros and Cons
About Goal-free Evaluation», pp. 1 4].
A principios de los años setenta, Daniel L. Stufflebeam definió la evaluación educativa,
a partir de su relación con procesos de planificación, como una actividad que provee
información para la toma de decisiones. Sostiene que en la planeación se toman
básicamente cuatro tipos de decisiones: elección de metas u objetivos, estructuración de
procesos, ejecución y reciclaje. Esta argumentación dio origen a su modelo Contexto,
Insumo, Proceso, Producto (cipp). Con base en estos tipos de decisiones se estructuran
cuatro formas de evaluación. De contexto, que mide necesidades de información o
problemas para dilucidar rutas de acción de quien debe tomar decisiones en la
aplicación de un programa educativo determinado. Evaluación de insumos, con
propósito de establecer los requerimientos estructurales, humanos, de infraestructura,
etc., para poner en marcha un programa. Evaluación de procesos, que define la precisión
o corrección de los procedimientos de ejecución de un programa educativo. Evaluación
de productos, que determina los resultados y la efectividad del programa. El primer tipo
de evaluación debe ser continuo; los otros dependen de los requerimientos de los
procesos de decisión. La evaluación es un proceso para delinear, obtener y aplicar
información descriptiva y expresar juicios acerca del mérito de un objeto educativo
(programa, proyectos, currículo, etc.) tal como lo prescriben sus metas, estructura,
proceso y productos (véase Educational Evalualion and Decision Making).
Durante la misma década, R. E. Stake creó otro modelo de evaluación llamado
«evaluación receptiva» (responsive evaluation). Con este modelo, el autor propuso un
cambio, considerado radical en su momento, en la forma de concebir los procesos
evaluativos: argumentó que la insistencia en la precisión de las mediciones no
proporciona una base para el mejoramiento de los programas educativos.
Consideró por tanto que las evaluaciones debían tener como propósito primordial su
utilidad en razón de las preocupaciones e intereses de las personas que participan directa
o indirectamente en las actividades educativas, tanto de quienes aplican los programas
educativos como de quienes se benefician de ellos. El modelo receptivo se dirigía al
análisis del contenido y de las actividades de los programas y no a la consecución de las
metas u objetivos; responde a requerimientos de información de las personas
involucradas en las actividades educativas. El juicio acerca del éxito o el fracaso del
programa se expresaba con las perspectivas de los diferentes grupos de interés, lo cual
suponía una interacción con ellos para que comunicaran sus necesidades, así como un
acuerdo previo acerca de la configuración de los resultados de la evaluación [véase
«Program Evaluation, Particularly Responsive Evaluation», pp. 287 309.
Elliot Eisner en 1976 propone un procedimiento de «evaluación por expertos», basado
en la crítica o el juicio de un individuo profesional, con experiencia y conocedor del
objeto que se evalúa. Para este autor la crítica tiene tres niveles: el descriptivo, el
interpretativo y el evaluativo propiamente. La validez de la crítica se basa en dos
procesos que debe tener el juicio. El primer proceso consiste en la corroboración
estructural, la cual se dirige a demostrar que la conclusión se fundamenta en la
existencia de un conjunto de características y condiciones que conforman el objeto de
evaluación. El segundo es la adecuación referencial que constituye la prueba empírica
de la existencia de esas características y condiciones descritas, interpretadas y evaluadas
[véase «Educational Connoisseurship and Criticism: Their Form and Functions in
Educational Evaluation», pp. 135-150].
Algunas otras definiciones propuestas en países iberoamericanos tienen una marcada
influencia de los planteamientos estadounidenses en esta materia. Por ejemplo, dos de
las definiciones de la evaluación que se han hecho en México indican que «la
evaluación en la educación superior es un proceso continuo, integral y participativo que
permite identificar una problemática, analizarla y explicarla mediante información
relevante, y que como resultado proporciona juicios de valor que sustentan la
consecuente toma de decisiones» [Asociación Nacional de Universidades e Instituciones
de Educación Superior, La evaluación de la educación superior en México, pp. 22-23.
Otra definición posterior en este mismo país elimina la mención a factores de
participación de las comunidades escolares, de manera que se entiende la evaluación
como un proceso permanente que permite mejorar de manera gradual la calidad
académica. En consecuencia, debe incorporar un análisis a lo largo del tiempo de los
avances y logros, identificar obstáculos y promover acciones de mejoramiento
académico [véase Secretaría de Educación Pública, Evaluación de la educación
superior, pp. 41 42].
La bibliografía no muestra mayor análisis de la definición del tema. La importancia que
empezó a tener la evaluación a partir de 1970 se puede medir por el hecho de que en las
enciclopedias de principios de esa década y en anteriores no aparecía el término [véase
por ejemplo L. C. Deighton, The Encyc1opedia of Education], y ya para los años
ochenta aparecía en todos los diccionarios y enciclopedias de uso de los educadores,
psicólogos, pedagogos y profesionales de las ciencias sociales y otras disciplinas, como
las biomédicas y las ingenierías. Una de las definiciones más recientes dice que «la
evaluación viene hoy referida sobre todo como control de la calidad, tanto en lo que se
refiere a las tareas de aprendizaje como a los resultados más generales de las
instituciones e incluso del sistema educativo» [véase J. L. García Garrido, Diccionario
europeo de la educación, p. 256].
Las definiciones descritas tienen elementos característicos de los procesos evaluativos,
de los que se pueden hacer algunas reflexiones.
a) Todas las definiciones se refieren a uno solo de los objetos de la evaluación, los
programas, y omiten mencionar la evaluación de los estudiantes, del personal docente y
administrativo, del currículo, de los materiales de instrucción (aunque a veces éstos se
tomen como sinónimo de programa, para mayor confusión) y de las organizaciones e
instituciones educativas. Se aplican términos y principios como los de diagnóstico
formativo y sumativo a todos los objetos por imitación extralógica, sin considerar sus
propias determinaciones y la situación concreta de la evaluación, por ejemplo, es
absurdo pensar en una evaluación formativa al personal docente si no es en el contexto
del análisis de un programa de innovación administrativa en marcha.
b) Las definiciones y los modelos se pueden diferenciar entre los que subrayan como
base de juicio los estándares y las comparaciones con programas o situaciones
educativas ajenas al proceso mismo que se evalúa, y aquellos que se basan en los
propios objetivos del programa o necesidades de las personas que participan en las
situaciones educativas objeto de análisis. En términos de la disciplina, es la diferencia
entre la evaluación con base en normas y la evaluación con base en criterios; la norma o
el criterio se consideran expresión de calidad y, en última instancia, de valor
Pero aún cuando son su expresión, no son el valor en sí y con toda legitimidad se puede
preguntar sobre la validez del estándar o del criterio respecto de los valores que se
desean expresar. Sólo cuando se responde a la pregunta directa de: ¿Qué valor tiene la
educación y cómo se manifiesta este valor? se empieza a dilucidar el sentido de la
institución respectiva; sólo cuando se pregunta: ¿Qué valor tiene la educación para ti?,
¿es el mismo valor para todos, o cuando menos para los de la comunidad escolar en la
que participas? y, una vez reconocido esto y acordados los valores comunes entre los
participantes de las relaciones escolares, se puede pasar a la pregunta metodológica de:
¿Cuál es la expresión válida para nosotros del valor que le damos a la educación?; con
ésta finalmente se puede iniciar un análisis de utilidad para el mejoramiento de las
relaciones educativas, de enseñanza y aprendizaje.
c) A pesar de que algunos modelos reconocen la importancia de la participación, todas
las definiciones corresponden a una sola idea paradigmática de la evaluación, esto es: el
juicio crítico es válido en tanto que lo emiten individuos profesionales y expertos.
Scriven afirma que la evaluación sólo puede ser considerada una disciplina científica
cuando el evaluador no eluda asumir la responsabilidad de emitir juicios no sólo con
base en los valores expresados por otros, sino sobre la idea de verificar si esos valores
son correctos y verdaderos [véase Evaluation Thesaurus, pp. 29 32); y en el mismo
tenor se encuentran todos los evaluadores profesionales de tradición estadounidense
[véase L. J. Cronbach, «Course Improvement Through Evaluation», pp. 101-115.
Esto nos lleva a un problema ético y a otro técnico respecto de la pretensión
transdisciplinaria de la evaluación. Por un lado, la pregunta sobre el principio ético se
refiere a la autoridad moral del evaluador y el derecho y la legalidad de erigirse en juez
de la verdad de los valores de una actividad social como lo es la educación. Scriven
ilustra con una analogía la necesidad de salvar el obstáculo: no basta que un químico
nos diga que un medicamento está compuesto de los elementos químicos adecuados y
que están balanceados de manera correcta, sino que es necesario que nos diga si de
verdad cura la enfermedad para la cual se prescribe. La otra pregunta es sobre la
capacidad disciplinaria de un evaluador, si puede aplicarse lo mismo a diferentes
campos de la actividad humana sin conocer a profundidad tal o cual campo. La
experiencia nos lleva a una respuesta negativa: un ingeniero, un matemático o un
economista juzgarán la educación imponiendo sus principios por una necesidad de
lógica y vocación profesional, y hasta el momento no se conoce la forma de hacer
análogos esos principios ni experiencias con las que se hubieran complementado. No
hay por el momento una formación de evaluador transdisciplinario como tal.
Podemos intuir la existencia de un razonamiento complementario a la responsabilidad
profesional del evaluador. Si se atiende al sujeto que expresa los juicios y se aplican los
procedimientos, existe cuando menos otro paradigma de evaluación constituido por el
conjunto de juicios autocríticos que las comunidades escolares, sujetos de la educación,
hacen respecto de las instituciones, sistemas y procedimientos escolares propios; así el
evaluador no se exime de participar en la expresión de juicios, pero no impone su idea,
sino que en un proceso de comunicación convence y se deja convencer de la verdad y
primacía de ciertos valores. Es evidente que se podría construir un paradigma integrador
de los dos extremos; de hecho, los procedimientos de certificación de la calidad de
instituciones en Estados Unidos, Francia e Inglaterra utilizan el autoestudio, cuyos
resultados son verificados por grupos de expertos externos a las instituciones. Un
procedimiento similar se utiliza en México durante la evaluación de programas
académicos realizada por el Comité Interinstitucional de Evaluación de la Educación
Superior (CIEES).
d)
Todas las definiciones descritas proponen que el fundamento de la evaluación
sea un referente empírico: los objetivos, el modelo o programa tal como ha sido
concebido, un estándar, etc. En ninguna definición se incluye la especificación de
valores absolutos, más bien el juicio se refiere a cualidades relativas o instrumentales
del objeto, como su mérito, su eficiencia, su eficacia y su pertinencia, de forma que se
emite un juicio que implica como valor la utilidad del objeto para propósitos
previamente definidos. Se asume con esto que tales referentes son correctos o
adecuados en sí mismos, que tienen un valor instrumental porque son base de juicio
para determinar el estado en el que se encuentran los procesos educativos.
La insistencia en factores empíricos manifiesta una preocupación por los prejuicios o las
arbitrariedades de corte subjetivo en los que pudieran basarse juicios negativos. Sin
embargo, por su naturaleza, todos los criterios de evaluación son subjetivos y, por lo
tanto, ningún juicio evaluativo es completamente objetivo. Inclusive cuando el
evaluador no haya participado en la definición de las referencias ni en la compilación de
información, está condenado a hacer elecciones entre diferentes estándares o criterios de
juicio, y la justificación de sus elecciones son sus preferencias, lo que considera mejor
desde cualquier punto de vista: experiencia, teoría educativa, informes de investigación,
etc. En cuanto a las preferencias de valor individuales o de grupo dentro de una
comunidad escolar, las referencias empíricas no eliminan la subjetividad del juicio y
esto lo sabe cualquier evaluador con experiencia. Lo que puede eliminar el prejuicio y la
percepción de arbitrariedad es acordar lo que es arbitrario (que depende del arbitrio, del
juicio). El acuerdo es importante aquí pues no hay valores que se puedan expresar por sí
mismos, sino que se manifiestan por la facultad de los individuos y de las comunidades
escolares de adoptar una resolución con preferencia respecto a otra. Para algunos
autores los valores se generan por voluntad, y esta generación impulsa los deseos y las
acciones hacia las metas que la valoración establece como idóneas. El valor es lo que
para determinado sujeto vale desde el punto de vista moral (la acción con principios),
político y estético; el valor es algo que ocupa el primer lugar entre las preferencias de la
gente, pues le da sentido a su existencia.
De aquí que el acuerdo previo a la evaluación debe ser el de la definición de lo que se
considerarían las expresiones positivas de valor y sus contradicciones, porque la valía
no es del objeto mismo, sino de quienes han acordado percibirlo valioso cuando se
manifiesta de cierta manera o con ciertas características y en situaciones específicas.
e)
En algunas definiciones, el contexto de la evaluación y del objeto evaluado es
sólo una referencia más, y en otras es determinante. Esto significa que algunos modelos
de evaluación definen el valor de un programa en relación con la posibilidad de
generalizar su aplicación, en tanto que el contexto de lo valorado sea similar al de la
aplicación generalizada del programa; mientras que otros consideran asuntos como la
dinámica de las circunstancias de una situación educativa que, en consecuencia, tiende a
modificar la efectividad de los procesos escolares. El deseo de generalización se
fundamenta en una concepción científica de la evaluación y en el paradigma
metodológico de la investigación evaluativa.
La consideración de las circunstancias (Scriven las llama las necesidades) fue un intento
de trascender las investigaciones evaluativas que frecuentemente arrojaban resultados
no concluyentes respecto de la efectividad de un programa frente a otro, o frente a la
educación tradicional. Esta consideración es una ruta incipiente a lo que más adelante
consideraremos una concepción heurística y situacional de la evaluación, en la medida
en que los procedimientos empleados se dirigen a establecer las condiciones para que se
efectúe una evaluación, según la dinámica de las relaciones educativas que se presentan
en la institución específica.
f)
Todas las definiciones y sus modelos evaluativos correspondientes consideran
que la evaluación es una tarea de excepción en relación con las actividades cotidianas de
la institución escolar.
Esto es así porque los autores mencionados han sido investigadores en su mayoría y han
aplicado sus procedimientos para demostrar la efectividad de programas educativos
innovadores, generalmente alternativos a los procesos educativos tradicionales. La
evaluación como una actividad de excepción se aplica igualmente a la evaluación de
instituciones o a la curricular. De aquí que las comunidades escolares la perciban como
una actividad adicional a las cargas de trabajo regular y como una imposición sobre su
propia idea de lo que debería constituir un proceso de revisión. Considero que, así como
sucede en otras disciplinas y actividades, el proceso de análisis constante de la
efectividad y de la calidad de los procesos de enseñanza tendría que formar parte de las
actividades regulares de una institución y una de las tareas de un evaluador debería ser
mostrar cómo se logra esta regularidad.
g)
Algunos de los modelos en los que las conclusiones valorativas se sustentan en
un estándar o ejemplo externo a la institución suponen que el propósito de la evaluación
es definir la efectividad del programa tal como se planificó, de manera que la realidad
no se considera como una contingencia a la cual debe ajustarse el programa sino al
contrario: se presupone que las circunstancias reales pueden ser modificadas o
controladas mediante la programación educativa. Todo educador sabe que esto no es así.
Cualquier planificación se modifica por fuerza de variables y condiciones de todo tipo:
económicas, normativas o legales, de dinámica de relaciones escolares, de política
educativa, de tradición y creencia, etc., de modo que cualquier proceso de evaluación
debe estar planificado igualmente, pero los procedimientos y las expectativas de
información y de resultados deben modificarse de acuerdo con la situación específica de
cada institución.
h)
Todas las definiciones establecen con claridad la relación entre la evaluación y
la planificación, de manera que la primera tiene como función retroalimentar los
procesos de planificación; esto es lo que se considera racionalmente lógico. De hecho
ambos procesos tienden a imbricar sus funciones con propósitos muy precisos, sobre
todo en lo que se refiere a planificación y evaluación institucional y curricular, como en
el caso de la especificación de la viabilidad de un programa o proyecto, el control de la
ejecución del proceso planificado y el registro de los resultados.
Sin embargo, todos los modelos mencionados obvian la pregunta acerca del sentido de
la educación y acerca de sus instituciones, que es una pregunta de planificación anterior
a las concreciones instrumentales de los programas de innovación.
¿OTRA DEFINICIÓN?
Los puntos anteriores incluyen algunos de los múltiples aspectos que las definiciones
propuestas por los evaluadores de tradición estadounidense y europea no abarcan, pues
estos últimos toman de aquéllos las configuraciones teóricas y conceptuales. El dilema
de proponer o no una definición más del tema tiene puntos negativos pero también
positivos para la elaboración metodológica e instrumental de estos procesos. La crítica a
las definiciones aclara la restricción conceptual de la disciplina y la necesidad de
encontrar una de carácter universal o que esté en camino de aplicación general con una
perspectiva transdisciplinaria, mediante respuestas a preguntas como: ¿qué tienen en
común una evaluación económica y una educativa? Sabemos que la evaluación es la
expresión de un juicio con fundamento en un valor; pero entre la observación y el juicio
sucede todo tipo de cosas que, cuando menos en este libro, sólo nos puede conducir a
una respuesta en una de las aplicaciones de la evaluación: el ámbito de la educación.
Sabemos, por otro lado, que una definición más, a partir de una de sus aplicaciones,
favorece la confusión sobre la universalidad teórica de la evaluación y alienta el debate
sobre lo que no es la disciplina, en vez de ubicar la búsqueda de sus términos
universales. Sin embargo, algunas de las características de las aplicaciones de la
evaluación pueden apuntar hacia la universalidad de los términos de la disciplina, entre
ellos, la expresión de un juicio con fundamento en valores; la ubicuidad de la
evaluación; el razonamiento metodológico, como la comparación de hechos con
valores; y la aplicación de procedimientos transdisciplinarios, como la lógica, la
estadística, la psicología, el derecho, la sociología, la antropología, la etnología y, de
manera fundamental, la ética y la política.
Evaluar la educación significa determinar la presencia de atributos en sus elementos
constituyentes que de antemano se han apreciado como valiosos. Pero no basta la sola
presencia de esos atributos, la evaluación está relacionada también con una forma
prototípica de cumplimiento de la misión educativa. La tarea esencial de la evaluación
es esta doble verificación: la presencia de atributos y el cumplimiento de la misión.
Atributos y misión son configuraciones creadas o seleccionadas de un conjunto de
configuraciones posibles que el acervo cultural de una sociedad proporciona y considera
valiosas en sí mismas o en razón de determinaciones históricas y circunstanciales.
Sin embargo, la pregunta sobre quién crea o selecciona ese conjunto de valores y
configuraciones nos lleva a reconocer la necesidad de ubicar la participación de los
individuos y los grupos de una institución y la del evaluador, cuyos instrumentos se
emplean para dilucidar procesos y resultados de una manera veraz y confiable. La
veracidad de los resultados permite a los interesados expresar juicios con fundamento
en información rigurosamente analizada y reconoce la historia y la dinámica mutable de
las instituciones escolares. Este tipo de evaluación procede, en primera instancia, a
definir el método y las circunstancias políticas y éticas de quienes desarrollan el proceso
de análisis.
Una definición de la evaluación de las actividades educativas debe dar respuesta a las
determinaciones siguientes:
- La verdad de los valores tiene un sentido social y no sólo personal.
- En consecuencia, es necesario validar los valores en los que se apoyan los juicios.
- La evaluación se desarrolla en un espacio institucional que forma parte de un sistema
mayor legalmente constituido, y las alteraciones en éste tienen consecuencias para el
funcionamiento de la institución individualmente considerada.
- Todos los objetos susceptibles de evaluación constituyen elementos de un sistema
mayor, como una institución, y su alteración tiene consecuencias para todo el sistema.
- La responsabilidad de las comunidades escolares en las actividades evaluativas.
- La eficiencia técnica, la confiabilidad de los resultados y la validez de las conclusiones
y juicios.
- La utilidad de la evaluación para mejorar las actividades educativas.
Llamaremos convencionalmente evaluación al proceso de comunicación de una
comunidad escolar cuyo objeto es la identificación de los atributos del sistema de
educación institucional, que constituyen la esencia, la naturaleza y la estructura de la
institución respectiva, para calificarlos y determinar sus virtudes y defectos; su fin
último es el mejoramiento de la formación de los individuos.
MÉTODO Y VALOR PARA EVALUAR LA EDUCACIÓN.
El método para la evaluación de la educación sigue el curso de razonamiento
equivalente a cuando se enuncia un juicio acerca de las virtudes o defectos de un
acontecimiento, en cualquiera de los órdenes de la vida social o privada. Si se dice «esta
escuela es buena», la persona que expresa esta idea se basa en un concepto de bueno,
que puede definirse por medio de la pregunta: ¿Qué es para ti una buena escuela?, y en
la observación de ciertas características de la cosa referida, que se manifiestan en la
pregunta: ¿Por qué dices que es buena?
La diferencia entre este tipo de afirmaciones y las evaluaciones metodológicamente
correctas es que en estas últimas los juicios se sustentan en la conciencia de lo que ha de
considerarse bueno y en la comprobación de la presencia de los atributos de una buena
escuela. Es decir, la verificación de las virtudes o defectos de una escuela, de un
programa o de un profesor se basan: 1) en la definición de lo que es bueno o malo,
correcto o incorrecto, virtuoso o defectuoso, etc., y 2) en la información confiable
acerca de las características que realmente tiene el objeto que se somete a evaluación.
Para explicar qué hacemos cuando evaluamos tenemos que recurrir a la noción de
método, y más precisamente a la de método de evaluación. El significado de «método»
denota una forma de razonar, una forma de proceder, una regla de procedimiento; indica
orden, secuencia y disciplina en la aplicación de procedimientos. En las ciencias, el
método es todo procedimiento disciplinario que se aplica para encontrar la verdad. La
evaluación forma parte de las ciencias sociales y como tal está obligada a encontrar la
verdad de las cosas; la singularidad de este proceso es que existe un problema con la
verdad. Para decirlo con mayor precisión, la verdad es doble: la de los valores (porque
no hay valores falsos; puede haber antivalores, pero esto es otra discusión) que se
personifican, es decir, la veracidad es para alguien en tanto que se basa en una
preferencia valoral, y la verdad de hecho, que surge de las actividades educativas tal
como se llevan a cabo. Como forma de razonar, la evaluación se compone de dos
premisas o términos y una conclusión basada en esas dos verdades, que son las que
definen un método de tipo evaluativo, diferenciándolo del de otras disciplinas o formas
de proceder.
La primera premisa expresa los valores que, de acuerdo con la ideología colectiva e
individual, deben dirigir la educación de los individuos, las instituciones educativas, los
programas de docencia y, en general, el proceso de enseñanza y el de aprendizaje.
Denominaremos marco de referencia a la primera premisa del razonamiento valorativo.
Los marcos de referencia son criterios, parámetros, patrones de funcionamiento, normas
mínimas o estándares organizados para conformar un modelo de buen funcionamiento o
un prototipo de calidad de los programas, instituciones, profesores, etc. Su función es
constituirse en parámetro para la comparación de los resultados y procesos educativos,
guiar la recopilación de información y darle un significado a esta información. En tanto
que estas definiciones se alimentan no sólo de teorías educativas sino de idearios y
expectativas sociales acerca de las funciones que debe cumplir la educación, su
constitución es únicamente producto de una actividad política, es decir, de la
determinación del mejor estado educativo respecto a determinadas circunstancias
históricas, sociales, económicas y culturales.
La segunda premisa describe los hechos y actividades de una institución escolar, tal cual
se realizan en la realidad. El procedimiento es empírico, de comunicación, compilación
y tratamiento de datos; de observaciones y testimonios. Se compone de toda la
información útil relacionada con los resultados y los procesos educativos. La
información puede ser cualquiera que sirva a los fines de la evaluación, como la que se
obtiene por medio de la medición de indicadores simples o de desempeño; del análisis
de procesos administrativos o académicos; de los análisis de expertos; de la verificación
de tareas o actividades de los participantes en los procesos de enseñanza administrativos
o de gobierno; así como de la opinión de los beneficiados de las actividades escolares
por medio de encuestas, entre otros. Es decir, mediante cualquiera de los
procedimientos y técnicas afines al carácter de ciencia social de la educación.
Las dos premisas se comparan entre sí y se obtienen enunciados que describen las
semejanzas y diferencias entre el marco de referencia y la información obtenida. A su
vez, estos resultados fundamentan las conclusiones y los juicios sobre la educación, sus
programas, sus instituciones, los administradores, los profesores y los alumnos; tales
juicios se expresan con términos como «eficiente», «vigente», «pertinente»,
«congruente», «aprobado», «actualizado».
Valores para la educación.
(caracterización de los valores).
Todo juicio, toda opinión y toda predisposición respecto de las tareas educativas y las
instituciones que las efectúan tienen como premisa un corpus axiológico, el cual se
relaciona con las ideas fundamentales que caracterizan el pensamiento de una persona y
colectividad en una época determinada (cultural, religiosa o políticamente), y con las
expectativas acerca de lo que puede ofrecer una escuela (4). De esta manera, la primera
tarea de un proceso de evaluación es la que trata de definir o explicar estos valores.
La evaluación se hace dentro de los marcos culturales y patrones educativos para los
que comúnmente se argumenta como innecesario especificar el fundamento valoral; esto
se debe a una disposición colectiva para entender la educación de una forma más o
menos homogénea. Sin embargo, por evidentes que sean los valores, esta primera
definición resulta fundamental puesto que los valores tienen historia, es decir, son
dinámicos y mutables; lo que es correcto en un tiempo puede no serlo en momentos
ulteriores o lo que está bien en una situación puede no estarlo en otra. De aquí la
complejidad de la definición de los valores. En algunos países con tradición liberal
arraigada, por ejemplo, las características de la educación pública, gratuita y laica se
convirtieron en valores constitutivos de la educación nacional impartida por el Estado;
sin embargo dichos atributos parecen disonantes con los movimientos económicos en
boga, que promueven el individualismo radical, contradictorio con el espíritu de
igualdad de oportunidades implícito en los valores señalados.
La actividad determinante de la valoración es una apreciación individual que debe ser
compartida con otros; no tiene ninguna utilidad una evaluación unipersonal para el
conjunto de la comunidad escolar. Sin embargo, debe tomarse en cuenta que las
instituciones educativas tienen como misión social construir las condiciones para una
formación prefigurada de los individuos, y esta construcción sólo puede ser definida,
seleccionada o asumida por los mismos individuos establecidos en sociedad sobre la
base de la comprensión de su propia realidad. Estimar, querer, proporcionar bienestar y
ser útil son las premisas en las que se basa un juicio para determinar si la educación es
valiosa.
La definición de los valores educativos constituye lo que se considera que debe ser la
misión formativa de los individuos, así como la forma específica de la relación de las
personas en un contexto educativo (profesores y alumnos, políticos y administradores)
constituye la condición de las actividades evaluativas.
Con lo anterior se entiende que en principio existe una correlación intrínseca entre los
valores que un individuo atribuye a la educación y aquellos que ha elegido la sociedad
para la fundación de las instituciones. Se entiende también que por su carácter ambiguo
e histórico y por su tendencia a la universalidad, puede haber conflicto en cuanto a la
preeminencia de los valores entre el individuo, su grupo social y otros sujetos, como los
representantes del Estado educador: los administradores públicos y los políticos del
servicio educativo. Los valores ganan y pierden jerarquía por factores de dinámica
social y circunstancias económicas, políticas y científicas que de suyo son mutables, así
como por la ubicación de los individuos en el espectro social que compone el sistema
educativo de cada país. De manera que puede haber contradicción o diferencia entre los
valores de los individuos, de los grupos establecidos de una institución y de los grupos
externos. Como consecuencia de esta situación, la primera tarea de un evaluador debe
ser identificar y consensuar dichos valores entre los grupos de referencia. En este
proceso el evaluador debe eliminar, hasta donde es posible, los rasgos de ambigüedad
de los valores, aclararlos, definir sus términos y traducirlos a elementos empíricos. En
otras palabras, debe caracterizarlos.
Para el evaluador es fundamental comprender el carácter de los valores atribuidos a la
educación, pues su definición determina la consecución de una evaluación. Sin esta
definición no es posible evaluar ya que se desconoce el atributo que debe ser
identificado y calificado en el proceso de evaluación. Para este propósito se parte del
análisis de situaciones educativas concretas, que remiten a preguntas como: ¿Qué
funciones debe cumplir la educación? ¿Cómo deben ser las instituciones? ¿Qué tipo de
formación debe dar? ¿Qué es una enseñanza de buena calidad? ¿Cuál es la apreciación
social respecto de una institución? Las respuestas a estas cuestiones se construyen de
acuerdo con nociones acerca de lo que es la cultura, lo que debe ser la civilización y las
cualidades que debe tener el hombre educado, es decir, con fundamento en los valores
que tienen primacía en lugares y épocas históricas determinadas. Al mismo tiempo, las
respuestas se relacionan con las necesidades y expectativas que el conjunto social tiene
respecto de la educación.
De esta forma, la caracterización de los valores es una descripción de las cualidades que
debe tener la buena educación. Esta caracterización sintetiza el espíritu de los tiempos a
la vez que necesariamente implica una toma de postura frente a los debates acerca de la
educación como institución social; en consecuencia, tiene un componente político. Este
componente se manifiesta en acuerdos sociales para la primacía de ciertos valores y
debe dar como resultado la especificación de derechos y obligaciones de las
administraciones gubernamentales, de los individuos y de la sociedad civil respecto a
las instituciones educativas. La acción política se concreta en las instituciones (con la
libertad pertinente), en los idearios y modelos educativos y, en un grado de
instrumentación de las actividades escolares, en los proyectos de mejoramiento y de
innovación tecnológica, así como en las directrices que cada centro escolar establece
para el cumplimiento de sus fines.
Estas formas de concreción de los valores educativos tienen diferentes grados de
abstracción y su definición únicamente puede ser resultado de un acuerdo entre quienes
administran el Estado con responsabilidades educativas en beneficio de los habitantes
de un país, los creadores de las instituciones escolares y quienes realizan las tareas de
formación de individuos.
Para evaluar con los instrumentos que en la actualidad forman parte de los
procedimientos técnicos del evaluador, el acuerdo de principio en cuanto a los valores
debe traducirse a elementos aprehensibles empíricamente, que se manifiesten de alguna
forma significativa como referencia a dichos valores. Una de las soluciones al problema
de la caracterización de los valores educativos ha sido la construcción de algunos
conceptos que concretan y describen atributos de la educación, en los que subyacen las
cualidades de la misma. En el léxico técnico de la evaluación, a estos conceptos se los
denomina «objetivos», «metas», «criterios», «parámetros», «normas de referencia»,
«patrones», «estándares de calidad», «normas mínimas de funcionamiento », etc. Su
definición conformaría el marco de referencia para la expresión de juicios acerca de las
virtudes de un programa de estudios, de un proyecto de innovación educativa, de una
institución escolar, etcétera.
Una dificultad respecto de la traducción de los valores a elementos empíricamente
aprehensibles tiene un componente técnico, pues no hay acuerdo universal sobre los
términos de cada uno de los conceptos señalados, por lo que debe seleccionarse la
definición más adecuada al caso concreto. También tiene un componente político que se
manifiesta en la necesidad de una selección pública de un compromiso manifiesto que
debe ser compartido e incita a convencer a otros de la alta jerarquía de esos valores y
sus traducciones empíricas y a dejarse convencer por la jerarquización de otros. En otras
palabras, la caracterización de los valores necesita un ejercicio de democracia, de
argumentación y racionalidad de las comunidades educativas.
Información para evaluar.
La segunda premisa de los análisis evaluativos se compone de la información compilada
y analizada. Como su significado lo indica, la información consiste en dar noticia de
algo, dar forma sustancial a una cosa. Este algo o cosa es el objeto materia de
evaluación. Con mayor precisión, información significa averiguar la realidad de las
cosas educativas, de las actividades escolares que en conjunto tienen como propósito la
formación de los individuos.
La información para realizar una evaluación nos remite a las preguntas de sobre qué se
necesita información y cuál es el carácter de la información relevante. Para esto
debemos conocer la constitución del objeto: la naturaleza, las características y los
elementos de la educación, para saber qué información se puede obtener. La respuesta a
estas cuestiones condiciona el razonamiento instrumental, la tecnología y los
procedimientos de evaluación que se emplean para conocer los atributos de la enseñanza
y de los establecimientos escolares. Por ejemplo, si concebimos la educación como
sustancialmente constituida por comunicaciones relevantes para el desarrollo intelectual
y moral de los individuos, la evaluación sería una; si preferimos definirla como un
medio de aprendizaje y formación instrumental de los individuos, la evaluación sería
otra y, por lo tanto, el tipo de información relevante sería distinto en cada caso. No
argumentaré en favor de alguna definición, pues no es el propósito de este libro. Sólo
diré que el tipo de evaluación aplicada desenmascara la concepción educativa
subyacente, y que las circunstancias políticas de las instituciones establecen la
posibilidad de las evaluaciones y a esto debe atenerse el evaluador profesional.
Para identificar el objeto de evaluación podemos centrarnos en las posibles
configuraciones de las instituciones educativas como organizaciones de individuos
cuyos propósitos son comunes, si no es que afines, que se manifiestan en el contexto de
las relaciones que ellos mismos establecen para el funcionamiento de la institución
específica. Estas relaciones son fundamentalmente de enseñanza y aprendizaje, pero
también administrativas, laborales, gremiales, de planificación y de evaluación. De esta
manera nos centramos en las manifestaciones de la concepción educativa subyacente, no
en la concepción misma, siempre más compleja y controversial. Las manifestaciones
educativas (producto de las relaciones en una comunidad escolar) son la forma
sustancial de la institución respectiva, lo que constituiría la información.
El sentido de los objetos educativos que tradicionalmente son materia de evaluación
(programas, currículo, materiales de enseñanza, personal docente y administrativo,
aprendizaje de los alumnos e institución) se reubican como parte de un sentido más
general y comprensivo: el de la educación impartida en una institución creada ad hoc.
De manera que estamos en un terreno mucho más amplio que el señalado en la
bibliografía de evaluación educativa.
Una forma de caracterizar las manifestaciones educativas por medio de la información
es aquella con la que se pueda:
Describir las relaciones constituyentes de una realidad educativa.
Describir los elementos estructurales y normativos de la institución y las formas
específicas de realización de éstos.
Explicar la forma de organización de las relaciones de la comunidad escolar en
el contexto de lugares, tiempos, resultados, etcétera.
Identificar las singularidades y los conflictos de los elementos de la organización
y de las relaciones de los elementos.
Configurar los modelos de funcionamiento reales y los ejemplares.
Predecir, con un grado aceptable de certeza, el comportamiento futuro de la
organización mediante la prospección de los datos o de esos modelos.
Comparar una actividad similar en otras organizaciones afines.
La información puede ser cualquier dato que dé noticia del estado en el que se encuentra
la institución y las relaciones educativas, administrativas y de dirección, que pueda
conducir por las configuraciones señaladas. Puede ser cualquier dato estadístico que se
encuentre en los sistemas informáticos de la institución; los testimonios de los
participantes en las relaciones educativas; la expresión, por cualquier medio, del grado
de satisfacción de los beneficiarios con el servicio educativo; los registros de
observaciones; la consulta a expertos, y los registros documentales de la institución,
entre otros.
Las preguntas metodológicas son: ¿Qué información se necesita? ¿Cómo reconocer qué
se informa? ¿Quién proporciona la información? Para contestar la primera pregunta es
necesario considerar qué la información que se compila no es indiscriminada sino que el
procedimiento de búsqueda de datos está dirigido por los propósitos de la evaluación, y
que la información se selecciona y en algunos casos, como el de la opinión de los
beneficiarios o de la consulta a expertos, se crea. Por ejemplo, si la evaluación tiene por
objetivo la negociación de presupuestos y subvenciones sólo es necesario medir los
indicadores correspondientes a la eficiencia institucional, como generalmente se han
establecido en las administraciones públicas gubernamentales o en las agencias de
financiamiento (porcentaje de graduados, promedios de aprovechamiento, etc.. Pero si
se quiere conocer la satisfacción de los profesores con su situación laboral, habría que
elaborar una encuesta de opinión, realizar entrevistas testimoniales, configurar modelos
o tipologías de contratación y promoción laboral, y revisar políticas y reglamentos,
entre otras acciones.
Para las dos preguntas siguientes proponemos considerar una noción de objetos de
evaluación con base en el concepto de sistema [véase L. Von Bertalanffy, Teoría
general de sistemas]. Los objetos de la evaluación educativa se definen a partir de
cualquier entidad formada por una estructura con funciones relacionadas entre sí,
identificables de una manera relativamente inequívoca, que complementa o se
sobrepone y en ocasiones sustituye a la estructura reglamentaria de la institución
educativa de que se trate. Esto no significa que la estructura formal no sea objeto de
análisis; todo lo contrario: partiendo de ella se identifican las estructuras de
funcionamiento, que se observan como un mismo proceso, ya sea que formen parte de
una sola o de más instancias funcionales. Por ejemplo, de manera análoga a la
percepción de la enseñanza como un proceso asociado con el aprendizaje,
independientemente de que participen sujetos diferentes, el caso de la administración de
una institución educativa sólo puede tenerse en cuenta por medio de sus relaciones de
apoyo con los diferentes procesos educativos. El esfuerzo por definir estos objetos tiene
relación con la necesidad de volver asequible la complejidad educativa y reconocer la
dinámica real de las entidades institucionales mediante la identificación de lo que
subyace a la clasificación usual del sistema educativo en su conjunto.
Al respecto, el análisis del objeto de evaluación comprende varias referencias
sistémicas. La primera se relaciona con la división entre modalidades: formal
(escolarizada y abierta) y no formal. Una segunda referencia incluye la división de la
educación en niveles: preescolar, primaria, secundaria, superior media y superior. La
tercera puede implicar el espacio formal que provee las condiciones infraestructurales
para las oportunidades educativas: aula, institución, nivel, modalidad, subsistema, etc.
La siguiente referencia abarca todos los instrumentos en los que se apoya la actividad
escolar: currículos, programas, proyectos, bibliotecas, laboratorios y espacios de
recreación, entre otros. Podemos definir también, por ejemplo, dentro de la
caracterización de una institución, su sistema de gobierno, el sistema reglamentario, el
sistema para los procesos de aprobación de reformas, los procesos de contratación, los
exámenes de oposición y el ascenso de profesores. Todas las posibilidades de
concepción de sistemas y de sistemas dentro de sistemas constituyen los objetos
posibles de evaluación educativa.
Josu Landa propone el concepto de «microsistema operativo» para profundizar en el
análisis de los complejos de relaciones que subyacen a las clasificaciones sistémicas
usuales y para definir a algunos de los objetos de la evaluación. El término designa todo
espacio de la estructura de cada institución educativa que puede ser diferenciado porque
desempeña una función concreta y limitada, en virtud de que alienta procesos
específicos con base en determinados insumos. Para este autor, el microsistema
operativo es la unidad estructural básica de los sistemas institucionales, sus límites
dependen de los procesos concretos que regularmente ejecuta, de los resultados
inmediatos y de los elementos que transforma. Estos factores sirven para que dichos
microsistemas contribuyan al funcionamiento global del sistema institucional. Las
características de los microsistemas operativos son [véase «¿Qué evaluar en el sistema
de educación superior?», pp. 147-158]:
Cumplimiento de una o varias funciones diferenciadas.
Regularidad de sus procesos.
Articulación de relaciones sociales directas y estables, en virtud de los procesos
y resultados del microsistema operativo.
Constituirse en el ámbito directo, aunque no único, de pertenencia de
determinadas personas interrelacionadas.
Tener delimitada su función y responder específicamente a la fiis~, toria del
sistema institucional; en tal sentido, ser una ventana,~a la presencia de la historia
social en el seno de dicho sistema.
No es intención de este apartado hacer la definición de cada uno de los objetos
educativos susceptibles de evaluarse. Lo importante es señalar que para la aplicación
adecuada de cualquier procedimiento, el proceso de evaluación tiene que hacer
referencia necesariamente a la definición del objeto, la descripción de sus partes
constitutivas, la base teórica de la definición, la forma como se interrelaciona con otros
objetos educativos, etc. El análisis del objeto es necesario porque condiciona la
pertinencia de los protocolos de evaluación. Por ejemplo, no se evalúa de la misma
forma un currículo definido como una organización de objetivos educativos linealmente
programados, que un currículo definido como una interpretación educativa del estado
del conocimiento científico.
Asimismo, la concepción sistémica tiene consecuencias en la forma de entender a los
sujetos de la evaluación: es usual que los individuos funcionen como meros informantes
de acuerdo con las directrices de los evaluadores. Pero si se entiende el objeto de
evaluación como un sistema, subsistema o microsistema operativo, el papel de los
individuos como sujetos de evaluación cambia radicalmente. No son ya sólo
informantes de los acontecimientos de su institución sino que se convierten en analistas,
revisores y críticos de la actividad que ejecutan junto con los otros individuos que
forman parte del sistema de que se trate; saben cuáles son los insumos que necesitan
para su actividad y cómo la falta o la presencia de ellos la afecta; conocen cuáles son los
procesos que deben realizarse y las consecuencias de que no se efectúen y están al tanto
de los resultados de estas operaciones. Se convierten en sujetos para la evaluación.
Carácter de las conclusiones.
La conclusión es un enunciado constituido por los términos de la expresión de los
valores atribuidos a la educación y por los datos obtenidos a partir de la aplicación de
los procedimientos de evaluación. La conclusión evaluativa es la manifestación del
juicio acerca de la presencia o ausencia de los atributos esperados y por tanto la
determinación de las virtudes y defectos del objeto evaluado.
Las conclusiones siguen el patrón de los procedimientos empleados en el proceso de
aplicación de la evaluación. Si se midieron indicadores, los datos obtenidos se
contrastan con el estándar esperado y se concluye la buena o mala eficiencia de la
institución; por ejemplo, si se considera que una media nacional de eficiencia terminal
revela un buen funcionamiento institucional, se determina si el índice de eficiencia de la
institución respectiva es igual, superior o inferior a la tasa nacional. Si se ha analizado la
eficiencia terminal a partir de los complejos de relaciones institucionales, las
conclusiones son argumentativas respecto de lo que se hace y se opina para lograr una
eficiencia adecuada. El primer tipo de conclusiones se refiere a la evaluación de
resultados característicos de las relaciones funcionales entre las instituciones y las
administraciones públicas de la educación o las agencias de financiamiento; el segundo
tipo se refiere a la evaluación de procesos y constituye un camino para comprender las
causas y condiciones de los resultados. El capítulo 5 está dedicado a describir este
último tipo de conclusiones y a la redacción de un informe de evaluación.
Un problema por resolver en la secuencia de realización de una evaluación es
determinar quién enjuicia y quién elabora el informe de conclusiones. Hay dos opciones
evidentes: o alguien ajeno a la institución o miembros de ésta. En el primer caso se
pretende imparcialidad y mayor objetividad y en el segundo, un mayor conocimiento
del complejo institucional. Los procedimientos aplicados en Estados Unidos, Francia y
Canadá para acreditar la calidad de las instituciones complementan ambos
procedimientos mediante la elaboración de un autoestudio y la revisión que comisiones
externas hagan de los resultados de éste. El informe final lo elaboran tales comisiones.
La experiencia muestra que la presencia de un participante externo atempera las
diferencias de opinión en el seno de las comunidades educativas y puede favorecer un
mejor entendimiento del proceso, sobre todo si se trata de un evaluador profesional,
experto en la concepción y la aplicación de procedimientos. En cualquier caso, el mejor
juicio sólo puede ser calificado dependiendo de lo que se pretenda con la evaluación. Si
se trata de comprobar los efectos de la educación en el bienestar y la calidad de vida de
grupos sociales, el juicio depende de sus niveles de satisfacción con el servicio
educativo; si se trata de establecer la imagen pública de calidad educativa, dependerá
del parecer de un grupo socialmente reconocido como digno de credibilidad moral e
intelectual.
El método de razonamiento, la aplicación de procedimientos y la concepción de los
objetos de evaluación (los cuales se generan a partir de complejos de relaciones
sistémicas entre individuos con funciones dentro de una institución educativa) remiten
a consideraciones acerca de la naturaleza política de la evaluación y acerca de los
principios éticos que deben guiar estos procesos. Tales principios éticos nos revelan el
papel y la responsabilidad de cada individuo en la expresión de sus valores, los cuales
se reflejan en los análisis y en los juicios. Para los evaluadores clásicos esto no
constituye un problema: los evaluadores son los que tienen la responsabilidad de
enjuiciar, evaluar y concluir; acaso su único problema es la validez de las conclusiones.
Los individuos restantes constituyen donadores de información y objetos de
observación.
POLÍTICA Y ÉTICA DE LA EVALUACIÓN
(0 LA LIDIA DE LOS SUJETOS PARA LA EVALUACIÓN)
Cuando afirmo que no existe como tal un modelo universal, establezco que el evaluador
debe definir la viabilidad de una evaluación; es decir, la evaluación no es una ciencia
infalible, es una forma de proceder en un mundo social determinado: la institución
educativa, con el propósito de calificarla en su conjunto o en alguna de sus partes
constitutivas. Es una disciplina social que tiene formas de proceder específicas y
comunes.
La institución educativa, cualquiera que sea su estructura formal (pública o privada,
elemental, media o superior, rural o urbana), es una entidad social y cultural donde
surgen relaciones entre individuos que son propias de dicha institución, como las de
profesores y alumnos, pero también reproduce otras relaciones afines que reflejan el
mundo social, político y económico que la ha creado. Estas relaciones están
formalizadas en leyes y reglamentos o en la constitución de gremios y sindicatos o bien
se llevan a cabo, por la dinámica misma de la institución, como es el caso de las
organizaciones estudiantiles o los colegios agrupados por algún interés de tipo
académico. Así mismo tiene relaciones con el mundo exterior porque provee el servicio
social de la educación: en primera instancia, con administración gubernamental y con
grupos de la comunidad social de manera explícita o indirecta.
El problema de validez de la evaluación es que cada persona y cada grupo establecen
relaciones con el medio educativo de acuerdo con sus propios valores e intereses. Es
más, un individuo puede modificar su parecer de acuerdo con las determinaciones de los
diferentes grupos a los que pertenece o según las diferentes circunstancias personales o
de la institución.
Esta situación determina que la imposición de un proceso evaluativo o de la jerarquía de
ciertos valores para la calificación de la entidad educativa o para la selección de
procedimientos o enfoques de análisis de la información, y la orientación de las
conclusiones, constituye en todo momento una actitud hegemónica y homologadora.
Esta resulta contraria al espíritu de determinación social de la verdad de los valores y de
las circunstancias que vive una institución educativa. La consecuencia de tal actitud es
la desconfianza en el medio institucional, y en repetidas ocasiones se favorecen las
comunicaciones perturbadas que se reflejan en la calidad de la información
proporcionada por los sujetos del proceso. El punto extremo de rechazo a la pretendida
hegemonía y homologación es la de descalificación colectiva de los juicios y
conclusiones que se hacen acerca de la comunidad escolar de referencia. Es común que
con estas condiciones las comunidades experimenten un extrañamiento o una
enajenación respecto de los procesos evaluativos. No por otra cosa se ha creado la duda
acerca de la utilidad de los informes de la evaluación, tan generalizada en el medio
educativo.
Una actitud contraria a la imposición de marcos valorales es el reconocimiento de
carácter político de la evaluación, y consecuentemente la consideración de que estos
procesos, con otros, se inscriben en el conjunto de las dinámicas institucionales del
medio educativo. De manera inequívoca podemos decir que no hay evaluación valedera
para el mejoramiento del medio de educación si no se inserta en la dinámica de esas
relaciones sociales, para analizarlas y calificarlas. Si los participantes en esas relaciones
hacen a un lado el análisis y la calificación, es imposible la evaluación, cuando menos
en el sentido mencionado anteriormente: el de la construcción de la verdad socialmente
valiosa.
Todos los participantes deben tener conciencia de que sin poder político la evaluación
es un ejercicio especulativo y que los evaluadores aplican sus procedimientos en un
conjunto de situaciones contextuales superpuestas: la de la organización institucional,
la ética y la política; además, las administraciones gubernamentales aplican políticas
nacionales de evaluación con fundamento en criterios de aplicación generalizada. De
esta manera se hace evidente que el evaluador no actúa solamente con sus propias
determinaciones procedimentales y valorales sino que promueve valores e intereses de
unos grupos frente a otros, y la manifestación explícita y pública de esto confiere a su
actividad profesional un sentido ético.
Pero ¿cómo lidiar con el conjunto de relaciones sociales y políticas que determinan la
orientación del proceso evaluativo?. En primer lugar, asegurando que el proceso está
apoyado por quien ejerce una autoridad y tiene el poder y liderazgo suficientes para
alentar la aceptación de la evaluación y la participación de las personas. Segundo,
mediante la identificación de los sujetos de las situaciones educativas, individuos o
grupos. Tercero, mediante la elucidación de la forma como actúan y se relacionan estos
sujetos en el marco institucional y con su entorno social. Por último, organizando los
grupos de una forma especial y con propósitos específicos, fundamentalmente para
homologar lo que puede ser común a otras instituciones y reivindicar lo que es
diferente.
De esta manera se puede identificar los sujetos para la evaluación: los individuos o
colectivos relacionados con la aplicación de procedimientos de valoración a una entidad
educativa son aquellos relacionados con la expresión de opiniones, juicios o
información específica acerca del objeto analizado que reflejen una situación objetiva,
así como con la manifestación de algún grado de satisfacción con la educación y sus
instituciones. También se identifican como sujetos para la evaluación los individuos o
las entidades sociales que promueven el análisis o la valoración de la educación y los
que definen la orientación del objeto evaluado. De manera que se pueden identificar al
menos cuatro grupos de sujetos para la evaluación: los políticos o los promotores del
proceso que generalmente tienen algún tipo de autoridad; los que trabajan y estudian en
una institución educativa; los grupos sociales externos a la institución que dan una
orientación definida a los diferentes aspectos de la educación a partir de sus propias
necesidades, y, finalmente, los especialistas o profesionales de la evaluación. Desde
nuestro punto de vista todos son evaluadores (no sólo estos últimos), porque todos
participan en el proceso de una manera u otra, para validarlo o quitarle legitimidad, para
proporcionar información, para analizar su ámbito de responsabilidad o para calificar
sus relaciones institucionales, sus actividades y las de otros. Sin embargo, debe
considerarse que las tareas evaluativas formales usualmente son actividades
extraordinarias en relación con la vida cotidiana de las instituciones, y los profesores y
administradores están poco dispuestos a incrementar sus cargas de trabajo, sobre todo si
desconocen la utilidad de una evaluación. En esta circunstancia es necesario que el
evaluador cree las condiciones para la participación de las comunidades institucionales,
y una de las formas es organizando a la comunidad en grupos específicos. La
clasificación de los sujetos se verá con amplitud en el capítulo 4.
Cada uno de estos grupos puede actuar como sujeto individual o colectivo. En el primer
caso la fuerza de su valoración se da en tanto que los organizadores de la evaluación
consideren significativa su opinión; en el segundo caso, depende del consenso logrado
en el interior del grupo. Además, cada uno tiene sus intereses y necesidades educativos
que desean satisfacer por medio de los servicios que presta una institución. En este
sentido se pueden observar cambios en el valor de referencia de los juicios acerca del
objeto de evaluación. Es posible, en efecto, que la búsqueda y transmisión de la verdad
o la formación de estudiantes con criterios éticos y estéticos se manifieste como una
prioridad, pero esto puede ceder paso á la preferencia por la utilidad que se espera de la
educación en relación con el mercado de trabajo, según las necesidades o expectativas
personales o de grupo.
Idealmente, la emisión de juicios acerca del objeto educativo está basada en el diálogo y
la concertación de intereses entre los diferentes grupos de sujetos partícipes del objeto
de evaluación. Sin embargo, generalmente la cooperación de los individuos está en
relación directa con las ganancias que aspiran a obtener y, por supuesto, con la
inafectabilidad de sus intereses. El problema de la evaluación es precisamente que ni
ganancias ni intereses están completamente a salvo cuando se emiten juicios de valor
acerca de una actividad educativa. El análisis de cada grupo puede dar cuenta de este
conflicto.
El evaluador profesional es el encargado de transformar la idea original en mecanismos
tecnológicos adecuados para emitir juicios de valor confiables y tomar decisiones acerca
de las correcciones al funcionamiento del objeto de evaluación. Su papel no se limita a
una aplicación mecánica de conocimientos, implica el análisis estratégico y
presupuestario necesario para evaluar. Algunas de sus tareas son: crear condiciones de
posibilidad técnica para realizar la evaluación; identificar los procedimientos viables en
relación con las condiciones políticas, e idear o elegir las técnicas adecuadas.
Acerca del evaluador existen dos posturas que pueden considerarse extremas. Lee J.
Cronbach propone que el evaluador debe ser el facilitador o el educador respecto de una
situación objeto de análisis. En su opinión el evaluador es llamado por una institución
para iluminar el problema educativo correspondiente en un periodo corto. Para hacer
esto debe reconocer los temas relevantes del caso; a su vez, la selección de temas está
guiada por consideraciones prácticas, políticas e históricamente sustantivas. El
evaluador no debe establecer el valor del objeto ni tomar decisiones por otros, pero debe
sentirse libre para expresar posturas y emitir opiniones que considere importantes sin
omitir las evidencias inconsistentes con su opinión.
Cronbach añade que la función propia de la evaluación es acelerar el proceso de
aprendizaje por medio de la comunicación de aquello que, de otra manera, podría ser
soslayado o percibido erróneamente [véase Designing Evaluation of Educational and
Social Programs].
Jaap Scheerens, por su parte, propone adoptar una actitud política con el fin de
conseguir la viabilidad y aceptación de la evaluación dentro de una institución. Esto
significa que el evaluador delinea cuidadosamente el contexto en el que la evaluación se
va a realizar, y explora medios factibles de provisión de insumos para potenciar la
investigación valorativa y los medios para incrementar las condiciones favorables para
la evaluación. Finalmente debe decidir los cursos de acción de los siguientes factores:
los insumos para la creación y la ejecución de la evaluación; la transformación de los
resultados de la evaluación en procesos de decisión y la transformación de las
estructuras organizativas para la ejecución de las decisiones [véase «Contextual
Influences on Evaluation: the Case of Innovative Programs in Dutch Education>>, pp.
309-317. En otras palabras, el papel es el de un técnico pero también el de un político
que crea las condiciones propicias para ejecutar un proceso de evaluación. A diferencia
de la opinión de Cronbach, esta actitud política tiene mayores visos de realización
cuando el técnico está involucrado con el objeto que se evaluará o pertenece a la
institución que conforma el contexto inmediato de la evaluación.
La decisión de tomar una u otra postura depende de la relación que el evaluador tenga
con la institución donde se evalúa algún proceso. Si es un evaluador externo tiene
mayor libertad para permitirse educar sobre procesos de emisión de juicios. Si forma
parte del personal de la institución, el problema en este caso es cómo conformar un
grupo superpuesto a las estructuras tradicionales de la institución que se cohesione
alrededor de intereses comunes con otros grupos que participan en la evaluación.
La tarea primordial del evaluador es hacer válida la evaluación, dar certeza a las
conclusiones. La integración de la evaluación en la cotidianidad institucional es un
propósito de segunda instancia; en cualquier caso, no intuimos otra forma de validación
de las conclusiones, excepto la de integrar al proceso el enjuiciamiento crítico de los
mismos sujetos acerca de sus propias actividades educativas. Esto no quiere decir que lo
más viable políticamente sea una evaluación autogestiva que se realice en el tiempo,
lugar y circunstancia que más convenga a los grupos institucionales. Si la imposición
del proceso nos lleva a realizar informes sin utilidad alguna, la evaluación autogestiva
nos llevaría a diversas formas de complacencia. La evaluación en el interior debe ser
complementada y contrastada con las referencias sociales y la evaluación externa. La
tarea del evaluador es desplegar todas sus destrezas técnicas para evidenciar las virtudes
y deficiencias de los procesos de las instituciones educativas; es crear las condiciones
para que la comunidad escolar haga conscientes estas evidencias surgidas de sus propios
análisis y de los externos.
Lo conducente desde el punto de vista profesional es, en primerísima instancia, asegurar
la interlocución con quien solicita una evaluación y definir con esta persona o grupo el
propósito de evaluación. Éste es el punto de inicio de todas las demás decisiones
políticas y técnicas para realizarla, del sentido del informe y de las relación que debe
asumir el evaluador con los demás participantes del proceso. Considero, como
Cronbach, que el evaluador no debe imponer sus valores pero sí emitir su opinión como
experto; creo además que si forma parte de las instituciones, como lo propone
Scheerens, no puede guardar distancia de sus propios intereses. La pureza y la
neutralidad en las interpretaciones y los juicios es inexistente, pero sí puede existir
buena fe y profesionalidad y es más fácilmente si el evaluador es ajeno a la dinámica
institucional.
Además de la validez de las conclusiones, las preguntas que interesan sobre la ética de
los procesos de evaluación son: ¿qué papel tendrá el evaluador en el conjunto de
relaciones políticas y sociales que se presentan en la institución?, ¿cómo se relacionará
con sus interlocutores?, ¿a quién definirá como su interlocutor?. También resulta
fundamental la voluntad de participación de los individuos de la comunidad
institucional; la voluntad de responsabilizarse de sus valores y de expresarlos aunque no
sean políticamente correctos en tiempo y circunstancia, y tolerar los valores de otros y
sus formas de expresión; estar dispuestos a llegar a puntos de encuentro respecto de las
funciones educativas que todos desempeñan; la voluntad de veracidad de la información
que proporcionan y de asumir su responsabilidad frente a la satisfacción social y los
beneficios que espera la sociedad de la actividad educativa.
El resguardo político de la evaluación no debe dar por solucionado otro problema ético
más fundamental que la validez de las conclusiones, el cual se refiere a la corrección de
los valores expresados. La responsabilidad del evaluador no se restringe a evaluar las
cosas de acuerdo con los valores de una comunidad escolar, sino que debe tomar
postura frente a la corrección o verdad de esos valores. La paradoja está en relativizar
esa validez a una situación, un tiempo y un grupo humano determinados o basar la
evaluación en lo que de hecho es un verdadero valor; es decir, concluir sobre la
eficiencia y la eficacia de una situación educativa o sobre el valor de la formación
humana producto de esa situación educativa.
Un punto de encuentro para deshacer la paradoja es poner la evaluación en la ruta del
mejoramiento de la educación y de las situaciones educativas concretas para el bien
común (paideia), sin obviar la eficiencia y la eficacia de las acciones dirigidas a esa
ruta. Esto nos lleva a considerar también que una evaluación termina cuando el
evaluador suscribe las recomendaciones del caso, por lo que no puede sino ser un
experto y tener una cultura probada acerca del tema de evaluación. En este sentido la
dimensión ética de la evaluación de las instituciones lleva a considerar que la
construcción de las referencias valorales de la propia comunidad escolar debe incluir
referencias de satisfacción social.
Lo cierto es que el evaluador siempre tiene un juicio acerca de la mejor opción
educativa, basado en su experiencia y en sus principios teóricos, políticos y
psicológicos. La disyuntiva es ponerlos en juego en el proceso de análisis o dejarlos
entre paréntesis; creo que lo primero es inevitable y lo segundo imposible. El evaluador
debe trabajar como un experto (y serlo realmente) tanto en educación como en
evaluación, pero también debe funcionar con principios y valores personales y
fundamentales para cualquier sociedad civilizada, y debe saber qué responsabilidades
exigir a una comunidad escolar sometida a un análisis. Debe saber también cuándo
retirarse de una evaluación que sustenta valores contrarios a esos principios, y la base
para una decisión de este tipo sólo puede ser un juicio personal.
Una de las bases de actuación del evaluador la proporcionó un comité estadounidense
en 1980, mediante un documento titulado «Estándares para la evaluación de programas,
proyectos y materiales de educación», que entre otras cosas es un código profesional
para el rendimiento de cuentas de los evaluadores y para desarrollar la credibilidad
pública de la evaluación. Estos estándares se emitieron divididos en cuatro grupos:
La utilidad de los estándares para asegurar que una evaluación sirva a las
necesidades de información práctica de una audiencia determinada.
La factibilidad de los estándares dirigidos a asegurar que sean realistas,
prudentes, diplomáticos y equilibrados.
La corrección de las normas, para asegurar que la evaluación se conduce con
legalidad y ética, y asumiendo la responsabilidad del bienestar de los
involucrados y los afectados por sus resultados.
La precisión de los estándares para asegurar que la evaluación revele y transmita
información técnicamente adecuada acerca de las características del objeto de
estudio que determina su valor ó mérito [véase D. L. Stuff lebeam y G. Madaus,
«The Standards for Evaluation of Educational Programas, Projects and
Materials: a Description and Summary», pp. 395-404.