4.3 El concepto de evaluación educativa* Evaluar una institución

4.3 El concepto de evaluación educativa*
Evaluar una institución educativa es otorgar un valor a dicha institución y se
califica el tipo de educación que imparte. El valor que se expresa en
palabras como bueno, eficiente, de calidad, etc., depende tanto de las
características objetivas de la educación que se ofrece en la institución,
como de la idea que el sujeto que evalúa tiene acerca de lo que es o debe
de ser una educación buena, eficiente o de calidad.
La evaluación de la institución se hace al comparar la educación tal como se
percibe que la imparte una institución respecto a un ideal educativo
preconcebido. Dicho ideal se construye y se acepta por parte de los
individuos y de la sociedad.
Esta construcción responde a preguntas, entre otras, como las siguientes:
¿cómo debe ser la educación?
¿qué funciones debe cumplir?
¿qué tipo de formación debe dar?
Las respuestas a estas preguntas son múltiples y diversas y se han
expresado de diferentes formas a lo largo de la historia. Las respuestas son
ideas que se han desarrollado en forma gradual y que han requerido el
consenso social para tener validez y aplicabilidad y así construir el ideal de
la educación que más se ajusta a una sociedad o conjunto de sociedades.
Las ideas están basadas en nociones acerca de lo que es la cultura, lo que
debe ser la civilización y las cualidades que debe tener la mujer o el hombre
educados, es decir, en los valores que tienen primacía en lugares y épocas
específicos. Al mismo tiempo, las ideas dan respuesta a las necesidades,
expectativas y aspiraciones que una sociedad en particular tiene respecto
de la educación.
De esta manera, la caracterización del ideal de la educación es una
descripción de estos valores o cualidades que debe tener una “buena
educación”. Por ejemplo, un ideal educativo puede ser que una institución
forme personas competentes y emprendedoras en un mundo globalizado, y
esto se considera una tarea cultivadora de buenas costumbres. En tanto
50
que otro ideal puede ser la formación integral de personas competentes y
solidarias con el desarrollo de la comunidad y de la región que los vio nacer.
Es la sociedad en su conjunto y los individuos los que en forma gradual y
por consenso construyen y aceptan el ideal educativo.
Una vez que el ideal educati vo se ha establecido, aunque sea un tanto
subjetivo, sirve para valorar si una institución imparte la educación, tal como
ha sido conceptualizado el ideal por la persona o por el grupo de personas
interesadas en otorgar un valor al desempeño de la institución.
La construcción del ideal de la educación es un proceso sumamente
complejo y ante tal circunstancia los especialistas en evaluación educativa
han construido a lo largo de los años algunos conceptos que permiten hacer
objetivos, cuantificar y describir los elementos o atributos de la educación,
que incluyen (implícita o explícitamente) las cualidades o valores de la
misma.
A estos conceptos se les denomina criterios, parámetros, normas de
referencia, normas mínimas de operación, estándares de calidad, etc.
El criterio de evaluación es la expresión de un atributo que debe de tener la
educación que imparte una institución educativa. Su función es fundamentar
el juicio o estimación acerca de la institución educativa o de alguno de sus
componentes. Es una norma o regla de “buen” funcionamiento y expresa
también el valor o cualidad que debe caracterizar a una buena educación.
Se entiende que es una norma preestablecida utilizada por quien hace la
evaluación y expresa un juicio de valor.
En la educación se han llegado a ciertos acuerdos acerca de criterios de
operación y el deber ser de las instituciones educativas. Estos criterios, en
conjunto, son la expresión de los valores que dominan en una época
específica las actividades de las instituciones educati vas. Entre ellos se
encuentra: la eficiencia, la eficacia, la congruencia, la vigencia, la
pertinencia, etc. En este sentido, se dice que una educación es de buena
calidad cuando se le pueden aplicar dichos criterios y la valoración que se
hace de ellos, respecto a un parámetro o norma de referencia, es positiva,
desde el punto de vista del evaluador.
Los parámetros o normas de referencia son construcciones empíricas que
expresan de forma objetiva a los elementos de la educación (planes y
programas de estudio, eficiencia terminal, relación de alumnos por profesor,
horas de asesoría por alumno, perfil profesional de los profesores, etc.). Son
51
normas preestablecidas, generalmente cuantificadas, de lo que se
considera una “buena” operación de las instituciones o de los procesos
educativos.
La función de los parámetros en el proceso técnico de la evaluación es
proporcionar un marco de comparación que sustente la aplicación de un
calificativo o juicio de valor. Con ello, se busca disminuir lo más posible la
subjetividad propia de la valoración que hacen las personas.
Algunos de los procedimientos que se pueden emplear para la construcción
de los parámetros son los estudios comparativos entre diferentes sistemas
educativos, la investigación de necesidades educati vas, el análisis de las
variables del sistema educativo, el análisis del avance del conocimiento, etc.
Puede haber parámetros autorreferidos, esto es, normas de la buena
operación de una institución especificadas por los ideales educativos que se
indican en sus decretos de creación, sus políticas institucionales, sus
reglamentos, sus planes de desarrollo institucional, etc.
También hay parámetros construidos por consenso en el ámbito
internacional, como son los que recomienda la UNESCO, la OCDE o los
utilizados para la acreditación de la educación superior en países como los
Estados Unidos de América, Inglaterra o Canadá.
Otro tipo de parámetros son los modelos educativos, curriculares, de
enseñanza, etc., que son la base para la creación de instituciones con
nuevas orientaciones educativas o las innovaciones educativas que se
presentan en una época.
Ejemplos de parámetros son: la proporción de 20 alumnos por cada
profesor contratado, 20 alumnos por grupo, disponibilidad de un tutor para
cada uno de los alumnos, la asesoría en todos los cursos, las normas de la
Asociación de Bibliotecarios ABIESI para el número de títulos y de
ejemplares por título de acuerdo al número de alumnos, el número de
alumnos por computadora, etc.
Las normas mínimas son elementos de referencia para establecer las
comparaciones que resultan en la aplicación de calificativos o juicios de
valor a la educación. Estas normas son las reglas o condiciones necesarias
e indispensables sin los que no podría constituirse una buena institución
educativa. Por ejemplo, las instituciones deben tener: una ley orgánica, la
normatividad institucional aplicable a su operación, la acreditación oficial de
52
la Secretaría o Ministerio de Educación del país en que se ubica, órganos
de dirección unipersonales y colegiados, etc.
Los estándares de calidad son normas promedio, obtenidas de la suma del
conjunto de variables educativas aplicables a una institución o sistema
educativo. Por lo regular, estos promedios tienen un margen de libertad o
tolerancia.
Para conocer los elementos de la educación que imparte una institución,
se han desarrollado procedimientos y técnicas que pueden clasificarse en
experimentales, empíricos, etnográficos, etc. Los procedimientos están
dirigidos a la obtención de información a fin de configurar las características
de la educación que se imparte.
Una práctica común para delimitar los elementos que se consideran en una
evaluación es clasificarlos en categorías, variables e indicadores de
evaluación.
Una clasificación de las técnicas y procedimientos es dividirlos en
cuantitativos y cualitativos.
En los procedimientos cuantitativos la información que se desea obtener se
clasifica mediante algún método numérico o estadístico, por lo que es
posible aplicar diversas técnicas de la matemática para obtener información.
Se consideran procedimientos cuantitativos de evaluación las encuestas
dirigidas a conocer la opinión que sobre un tema tiene un sector de la
sociedad, la aplicación de cuestionarios con preguntas preclasificadas, las
listas de chequeo, la comparación entre variables cuantificadas (ingreso egreso, reprobados - aprobados, titulados - pasantes de los bachilleratos
tecnológicos, etc.).
Los procedimientos cualitativos se diseñan para obtener información basada
en la experiencia, conocimientos o impresiones de expertos relacionados
con la educación.
Los análisis de expertos, la técnicas de dinámica de grupos (panel, mesa
redonda, foro, etc.), las investigaciones de campo o las investigaciones
participativas son algunos ejemplos de procedimientos cualitativos.
Ambos tipos de procedimientos requieren de una base interpretativa que
permita traducir la información obtenida a juicios de valor. Dicha base está
53
dada por la definición o concepto del ideal de la educación que sea
aceptado.
De esta forma, en la práctica de la evaluación de la educación, los
procedimientos se eligen de acuerdo con la caracterización del deber ser de
la educación, con las finalidades que se persiguen y con el contexto en que
se da el proceso de evaluación (político, económico, social, de
disponibilidad de personal, etc.).
Por lo que se refiere al proceso de la evaluación de una institución
educativa, en términos generales consiste en:
1. Establecer los objetivos de la evaluación.
2. Decidir la infor mación que es necesario obtener sobre los elementos y la
operación de la institución.
3. Especificar los criterios que expresen lo que se considera una buena
educación. En este sentido, es indispensable acordar una definición de
cada criterio, con el fín de facilitar la comunicación entre los evaluadores
y los responsables de obtener y procesar la información educativa de la
institución.
4. Determinar los parámetros de comparación que expresan el ideal
educativo.
5. Planear la implantación del proceso completo de evaluación.
6. Diseñar los procedimientos, instrumentos y métodos para realizar el
proceso.
7. Informar, orientar y sensibilizar a los directivos de la institución a evaluar,
con el fin de que participen en forma positiva en el proceso.
8. Capacitar a las personas que participarán en el proceso.
9. Obtener únicamente los datos e información necesarios a los objetivos
de la evaluación, con el fin de no recabar datos que no se utilizarán.
10.
Comparar la información recabada con los parámetros establecidos.
11.
Expresar juicios de valor sobre cada uno de los elementos bajo
evaluación.
54
12.
13.
Diseñar y editar el informe de resultados.
En su caso, apoyar el proceso de toma de decisiones de las
autoridades educativas.
Al evaluar una institución educativa se obtienen datos que se transforman
en información sobre un conjunto de variables previamente definidas que,
en primer lugar, permiten conocer desde un punto de vista cualitativo y
cuantitativo el desempeño de la institución y tener mayor información sobre
sus fortalezas y sus debilidades.
En segundo lugar, esta información puede compararse con el conjunto de
parámetros que representan al ideal educativo de quien evalúa, o con
parámetros nacionales, internacionales o autorreferidos, lo que permitirá
conocer qué tan cerca se encuentra el desempeño institucional del ideal
mencionado.
Lo antes mencionado coadyuvará a orientar la toma de decisiones en todos
los niveles: individual (alumnos, profesores, personal, funcionarios de los
tres niveles de gobierno, las madres y padres de familia y la sociedad en su
conjunto), grupo, plantel, organismo educativo o sistema de organismos
educativos.
La comparación del estado de las variables de evaluación con los
resultados,
metas esperadas o parámetros de evaluación permitirá
reflexionar sobre el por qué de haber alcanzado o no los resultados o
metas; así como, de la razón de haberlos establecido.
Esto es, puede ser que una meta bien planteada se logre o no y, también
que, después de un proceso de evaluación se descubra que no había un
sustento real para establecerla y que la meta no era necesaria o que no
había sido bien planteada.
Las conclusiones a las que se llegue en el proceso de evaluación orientará
la decisión sobre mantener las metas a lograr o replantearlas; asimismo,
estas conclusiones son la base para, una vez establecidas las metas,
incorporar las actividades adicionales relacionadas con la planeación y
programación institucionales para alcanzarlas.
55
En este proceso, la dirección y coordinación, el seguimiento y control son
funciones que se apoyan en los resultados de la evaluación y en los
elementos que aporta la planeación y programación de acciones.
Cabe mencionar que las acciones y funciones mencionadas se llevan a
cabo por personas, se hace énfasis en este hecho, personas con diferentes
niveles de participación y de autoridad. Todas las personas son importantes
para el logro de las metas, por lo que la labor de integración de todas ellas
en un gran equipo colaborador es de vital importancia.
Es desalentador para los responsables de los procesos de evaluación que
los resultados adversos se repitan año tras año, que se altere a propósito el
valor de las variables sin mejorar el proceso educativo o que simplemente
nadie tome en cuenta los resultados en su debida dimensión.
Por ejemplo, hay instituciones que a través de los años presentan altos
índices de deserción, baja eficiencia terminal o muy limitada matrícula. Y a
pesar de que esta situación la muestran en forma constante los resultados
de los diferentes procesos de evaluación, la situación no mejora.
En otros casos, los índices de reprobación disminuyen o mejoran las
calificaciones promedio; sin embargo, la mejora es numérica y no
necesariamente del proceso educativo ya que, en algunos casos, se debe
a que algunos docentes aminoran el rigor de las evaluaciones a sus
alumnos, dado que el índice de reprobación o el promedio de calificaciones
pudiera convertirse en un indicador con el que es evaluado su trabajo como
docente o se determina el desempeño del plantel en su conjunto.
En este sentido, la Tecnología Educativa proporciona conocimientos
relevantes para ordenar y sistematizar los procesos, hacerlos objetivos,
darles seguimiento y evaluar los resultados parciales para lograr los fines
establecidos; asimismo, promueve la participación ordenada de las
personas.
Por otro lado, la labor y la actitud de las autoridades es fundamental para
llevar a cabo procesos de evaluación exitosos. Procesos de evaluación que
no sean aislados o fuera de contexto, procesos de evaluación que lleguen a
todas las personas que integran la comunidad educativa, las incorporen a
ellos y se logre el fin último que se desea, mejorar en forma continua la
calidad de la educación que se imparte a los jóvenes y contribuir a formarlos
como personas que logren sus propias expectativas y vivan en armonía con
su prójimo.
56
A continuación se presenta la definición de evaluación que fue aceptada por
los participantes del Grupo Técnico de evaluación que dirigieron desde el
punto de vista técnico los procesos que aquí se presentan:
“La evaluación educativa es un proceso sistemático, periódico y continuo,
de carácter cuantitativo y cualitativo, en el que participan todos los
miembros de una institución educativa; así como, es deseable intervengan
personas e instituciones ajenos a ella. En este proceso, con base en el
análisis de los resultados se proporcionan juicios de valor que apoyan la
toma de decisiones personal e institucional, con el fin de alcanzar el fin,
objetivos y metas institucionales”.
Como se observará, en primer lugar se considera la evaluación como un
proceso de apoyo a otro proceso, la educación, lo cual tiene una orientación
más cercana al enfoque de L.J. Cronbach que al de Ralph Tayler, cuyo
modelo se acerca más a la evaluación de productos educativos mediante el
enunciado de juicios con base en la comparación de parámetros u objetivos
preestablecidos.
Asimismo, se coincide con Stufflebeam en el sentido de que el propósito
más importante de la evaluación no es demostrar, sino perfeccionar. Es así,
que se reafirma la orientación evaluativa hacia los procesos y no en forma
exclusiva hacia los productos finales en la educación.
En los procesos de evaluación se optó por la evaluación criterial acorde a
un desempeño educativo deseable, más que comparar los resultados de los
procesos de evaluación con parámetros externos, lo que acerca los
procesos de evaluación en Hidalgo al enfoque de J.W. Popham.
En realidad, la situación educativa general en los planteles pequeños y de
nueva creación bajo evaluación era en muchas ocasiones evidente con una
serie visitas, consultas a los actores principales de los procesos educativos
que se daban en ellos y la información estadística básica, por lo que no era
indispensable esperar los resultados de procesos de evaluación dilatados y
que tuvieran parámetros nacionales o internacionales como referentes. Esto
es, con la información básica se tenía la capacidad para tomar decisiones
inmediatas que beneficiaran al proceso de enseñanza y aprendizaje del que
se responsabilizaba cada plantel.
Lo que se deseaba era conocer lo mejor posible el desempeño institucional
como un proceso educativo de largo plazo y determinar las acciones más
57
adecuadas para mejorar en forma gradual y constante la educación que se
impartía y lograr los objetivos educativos de cobertura, pertinencia y calidad.
Los procesos de evaluación fueron participativos y no se concentraron en
una sola dependencia que actuara como fiscal. En sí, la fase de planeación
de los primeros procesos apoyaron la formación y actualización del personal
participante, tanto de la dependencia coordinadora y normativa, esto es, el
IHEMSYS, como de los planteles que participaron en la evaluación y de las
Direcciones Generales a las que estaban adscritos. Asimismo, fue el
personal de los planteles evaluados el que participó en la dirección de los
procesos de evaluación en los planteles.
La evaluación se concibió como un proceso sistemático, periódico y
continuo, lo que reafirma la aportación de la Tecnología Educativa a los
procesos que se llevaron a cabo. Asimismo, al ser periódico y continuo, se
tuvo la intención de que se llevara a cabo en forma repetida y constante,
con el fin de conocer el desempeño institucional como un proceso educativo
en marcha y tomar de manera continua decisiones orientadas a mejorarlo
en forma permanente, más allá de modas o gestiones pasajeras de
funcionarios.
Los procesos de evaluación fueron procesos de autoevaluación y de
evaluación externa. Esto es, el IHEMSYS actuó como evaluador externo
respecto a los subsistemas que coordinaba: el CECYTEH, el COBAEH y el
Telebachillerato.
En tanto que estas instituciones, al participar activamente en los procesos
de evaluación le dieron el modo de autoevaluación. Por otro lado, al
evaluarse a todo el sistema de bachillerato estatal, el propio IHEMSYS
participó en un proceso de autoevaluación.
Con base en lo que aquí se expone, se establece que no hubo ni personas
ni instituciones ajenas al IHEMSYS y a los organismos de bachillerato
estatales que participara en los procesos de evaluación, por lo que no
existió la figura de un agente evaluador externo respecto a las instituciones
mencionadas.
El enfoque general de la evaluación fue de carácter social, por lo que el
criterio general establecido fue la pertinencia con el entorno social y el
impacto que tenía el proceso educativo en el entorno.
En cuanto al fin y a las metas, cabe indicar que no se redactaron
específicamente como el ideal a lograr, más que nada se impulsó ofrecer
58
igual oportunidad de acceso a la educación de buena calidad a todos los
jóvenes, en el marco de los ideales de educación contenidos en la
Constitución de los Estados Unidos Mexicanos y en la Constitución del
Estado de Hidalgo.
*Esta sección se apoya en un documento que me hizo el favor de redactar en 1991 la Dra. Carmen Carreón
para una publicación sobre la evaluación institucional de los currícula de ingeniería en el nivel licenciatura
y que adapté a lo largo de los años de acuerdo con las necesidades del trabajo desarrollado en Hidalgo.
59