LA EVALUACIÓN Y LA METAEVALUACIÓN: DOS PROCESOS DE

-
LA EVALUACIÓN Y LA METAEVALUACIÓN: DOS
PROCESOS DE LA ESTRATEGIA DE GESTIÓN DE LA
CALIDAD DE LA EDUCACIÓN SUPERIOR
CENTROAMERICANA.
Febrero, 2005
Introducción
En el proceso de la evaluación de servicios públicos, la pregunta fundamental es qué
tan satisfactoriamente se han desarrollado las tareas encomendadas en relación con
los recursos asignados y los objetivos propuestos. Entre estos están las instituciones
de educación superior y su oferta académica.
La evaluación y desarrollo de las instituciones de educación superior no se pueden
separar, la evaluación es parte integral de toda actividad sistémica. La dirección y la
administración de toda organización requieren información del impacto y de los
resultados de sus actividades, por ejemplo cuales objetivos se han logrado y cuales
no. En otras palabras, la toma de decisiones y la reorganización de las instituciones
requiere información sobre los éxitos y los fracasos.
En educación los indicadores de calidad no son tan evidentes y requieren de una
comprensión y análisis diferenciado. ¿Cómo se podría definir cero errores en
educación? ¿Es la ausencia de reprobación, sinónima de cero errores? ¿El
mejoramiento de la productividad en educación, significará mas graduados en
menor tiempo? ¿La calidad total significará la atención de toda la población
matriculada con los recursos asignados?
Podemos deducir que la evaluación de la calidad en educación no es una tarea
simple y requiere de instrumentos específicos así como de la decisión al más alto
nivel para poder ejecutarla.
Los procesos que involucran la auto-evaluación y la evaluación externa requieren
ser evaluados y determinar, no solo si los resultados obtenidos reflejan la realidad
de las instituciones evaluadas, sino también evidenciar la calidad de los procesos
mismos.
Desde 1997 las instituciones de educación superior de la región Centroamericana
con la creación del SICEVAES, se sometieron a un proceso de evaluación de la
calidad que consistió, no solo en los procesos de auto-evaluación y evaluación
externa, sino que también incluyo aspectos de capacitación, pasantias, talleres y
laboratorios que permitieran crear una masa crítica de personal capacitado para
poder conducir los procesos de evaluación.
Durante los siguientes años las universidades voluntariamente se sometieron a
procesos de auto - evaluación y de evaluación externa con el fin de promover, en el
futuro cercano, la acreditación de la educación superior de la región.
Los procesos desarrollados permitieron avanzar en la concepción de una propuesta
de Consejo de Acreditación de la Educación Superior, organismo que se encuentra
en sus etapas iniciales de organización.
A finales de 2003 y principios de 2004 se determinó la importancia de realizar la
meta - evaluación de las actividades desarrolladas, proceso que las instituciones
igualmente se comprometieron a desarrollar para evidenciar, con datos objetivos y
verificables, que la evaluación tuvo un impacto significativo en el mejoramiento
cualitativo de la educación superior de la región
La evaluación de la calidad de la educación superior centroamericana se realiza en
un marco de voluntariedad (las universidades promueven el proceso) bajo
procedimientos activos y participativos, comprometido con los valores de
negociación, consenso y responsabilidad. En consecuencia, la meta-evaluación se
realiza como parte de un continuo y se centra en la perspectiva de los directivos y
participantes de las universidades en el proceso, con el fin de valorar el camino
recorrido a través de criterios establecidos.
En concreto, la auto-evaluación y la evaluación externa utilizan los criterios
establecidos por el SICEVAES (Sistema Centroamericano de Evaluación de la
Calidad de la Educación Superior). La Meta-evaluación utiliza los criterios
establecidos para tal fin
El presente documento intenta analizar el proceso de la evaluación y la metaevaluación realizado en el SICEVAES, para determinar el impacto de las
actividades desarrolladas en el marco de la evaluación de la calidad de la educación
superior en las universidades centroamericanas y valorar los cambios producidos en
las mismas por los procesos de Auto-evaluación y evaluación externa.
OBJETIVOS DEL TRABAJO
I.
•
Estimular la reflexión en torno a la necesidad y justificación de la metaevaluación como parte del proceso de la evaluación y como una estrategia
para velar por los procesos de gestión de la calidad de la educación en la
región centroamericana, impulsada por las universidades a través del
CSUCA y su organismo especializado de evaluación, el SICEVAES, con
la cooperación de InWent y otros organismos de la cooperación Alemana.
•
Contribuir al establecimiento de un sistema de información y documentación
que de cuenta de la actividad que se genera en la región en materia de
evaluación de la calidad y que sea de provecho a los investigadores para
avanzar en el conocimiento de la situación de la educación superior y
proponer soluciones a los problemas encontrados
LA EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN SUPERIOR
EN CENTROAMÉRICA
1.1 El Concepto de Evaluación
En este trabajo planteamos el concepto de evaluación como parte de las actividades
normales y del desarrollo de una organización o institución que ofrece servicios
públicos. Puesto que la entrega de servicios públicos y la evaluación están
íntimamente ligadas a la planificación de los mismos; el concepto de evaluación en
estos casos se puede interpretar de manera bastante amplia, de tal forma que su meta
puede ser el impacto, la eficiencia, la calidad de los recursos humanos y la eficacia,
entre otros.
En cualquier proceso de evaluación que se realice, se pueden identificar las
siguientes dimensiones (Ministry of Interior, Ministry of Finance, Helsinki, 2001)
•
•
•
•
Evaluación simbólica. Que se establece para mantener las estructuras
existentes. Es un proceso técnico, pero no promueve el cambio o la
transparencia en las actividades. La esencia del concepto actual de la evaluación
no ha sido internalizado.
Evaluación Ritualìstica. Este tipo de evaluación no promueve el cambio real ni
el aprendizaje organizacional. El personal involucrado percibe la evaluación
como un proceso para mejorar la imagen institucional. La estrategia
organizacional no esta clara y la administración no apoya la evaluación.
La función coordinadora. La evaluación esta basada en la idea de control y
rendición de cuentas. Este modelo intenta fortalecer la relación entre la política
de toma de decisiones y la producción de servicios.
Evaluación como proceso de aprendizaje. Enfatiza en el desarrollo continuo
de la organización. Las bases del modelo son instrumentos de calidad y de autoevaluación. A través del modelo es posible empoderar al personal involucrado y
fortalecer la tendencia de los servicios centrados en el cliente.
Para los efectos de esta investigación, analizaremos la evaluación de la calidad de
la educación superior de Centroamérica como proceso de aprendizaje y como
proceso de función de coordinación, donde las organizaciones han podido estimular
o crear una cultura organizacional de transformación y cambio permanente, además
de hacer pública y visible su quehacer fundamental.
2. El Proceso de Evaluación de la Calidad de La Educación Superior en
Centroamérica.
2.1 El Contexto: La Educación Superior en Centroamérica
La educación superior en la región se ha caracterizado por un rápido crecimiento de
instituciones de diversa índole. Hoy día el número de universidades es muy variable
de país a país y no guarda una relación proporcional al tamaño de la población que
demanda el servicio. Si comparamos el número de universidades por país: Honduras
(16 universidades), Nicaragua (34), Panamá (15), El Salvador (26), Costa Rica (52),
y Guatemala (10), para un total de 149 universidades en la región. La gran mayoría
de las universidades de la región están concentradas en Costa Rica, Nicaragua y El
Salvador (76.2%). La Cobertura bruta es de 10.1% en Guatemala, Honduras 11.6%,
Nicaragua 11.9%, El Salvador 17.8%, Panamá 25% y Costa Rica de 34.5%, lo que
nos da una cobertura promedio de 18.5% a nivel regional1. Haciendo una
1
Cálculo propio según los datos proporcionados en la fuente (Alarcón Francisco, Luna Guillermo, 2003).
comparación, en 1997 la UNESCO reportaba que las regiones menos desarrolladas
tenían una tasa bruta de cobertura en educación superior promedio de 10.3%,
América Latina una tasa promedio del 19.4%, en Asia y Oceanía del 42.1%, en
Europa 50.7% y en Norte América de 80.7%3. Se estima que el conjunto de las
universidades de la región ofrecen un total de 3,094 programas o carreras, de los
cuales el 72.95% corresponde a programas de grado y el 27.05% a programas de
postgrado. Del total, 1,445 son ofrecidos por universidades estatales (47%) y 1,649
programas por universidades privadas (53%), mientras que la mayoría de los
programas de postgrado (57%) son ofrecidos por universidades estatales. (Alarcón
Francisco, Luna Guillermo, 2003)
2.2 Políticas de evaluación de calidad en la región
El tema de la evaluación, aseguramiento y acreditación de la calidad de la educación
superior surge ante un creciente número de demandas, tanto de carácter interno
como externo. En el ámbito externo se evidencia: a) tendencia a la homogenización
de los parámetros de desempeño, evaluación y organización curricular, b) la
desaparición de fronteras expresadas en el desembarco de universidades extranjeras,
la educación a distancia y la fuga de cerebros. A nivel interno se evidencia un
proceso creciente y agudo de heterogenización, tanto entre países, como al interior
de los mismos.; y un proceso de deterioro de la calidad en un marco de expansión
cuantitativa de la matricula y una reducción de los recursos financieros necesarios
para sostenerlas. (Alarcón Francisco, Erazo Iris, 2003)
El CSUCA, como ente coordinador de las instituciones de educación superior ha
jugado un papel muy destacado en el tema de la evaluación y acreditación de
calidad, específicamente a partir de 1962 por medio del Sistema de Carreras y
Postgrados Regionales SICAR, y a partir de 1998 con la creación y desarrollo del
Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior
SICEVAES a partir del cual, más recientemente, se ha creado el Consejo
Centroamericano de Acreditación de la Educación Superior (CCA). Desde estas
instancias, las políticas definidas por este organismo en materia de evaluación y
acreditación han incidido de manera importante en la toda la región
centroamericana
II. LA META EVALUACIÓN
1. El Concepto de la Meta Evaluación
El concepto de meta-evaluación fue desarrollado por primera vez por Michael
Scriven, en 1969, quien elaboró una definición mas completa posteriormente,
definiendo la meta-evaluación como: “La evaluación de las evaluaciones –
indirectamente, la evaluación de los evaluadores y representa una responsabilidad
ética y científica cuando está de por medio el bienestar de otros. Puede y debe
hacerse en primer lugar por un evaluador(a) de su propio trabajo; no obstante que
la credibilidad puede ser pobre, los resultados son considerados como un plus de
la validación del proceso. Aun cuando los resultados de la auto-evaluación no son
confiables, es deseable el uso de evaluadores independientes para realizar la metaevaluación. (Scriven, 1991)
Es la evaluación de la evaluación (Cook & Gruder, 1978; Scriven, 1969), y las
recomendaciones de cuando hacerla varían desde hacerlas después de cada
evaluación hasta hacerlas periódicamente. La meta-evaluación se puede aplicar en
cualquier momento de la evaluación, desde la planificación de la misma y los
métodos, hasta una evaluación completa que requiera la opinión de evaluadores
externos (Shadish, William (1998).
El objetivo de la meta evaluación es asegurar la calidad de los servicios evaluativos,
evitar enfrentarse a las prácticas ilegales y a los servicios que no son de interés
público, señalar el camino para el perfeccionamiento de la profesión y promover
una mayor comprensión de la empresa evaluativa (Stufflebeam, Daniel. L,
Shinkfield J. Anthony , 1987).
Según Diaz, Luis Fernando y Rosales Rotsay(2003) en la realización de procesos de
evaluación se utilizan dos acepciones de la meta evaluación. Una es la actividad o
conjunto de actividades que consisten en la elaboración de listas de comprobación y
en la aplicación directa de estas listas a un caso especifico para, con base en ellas,
construir, como resultado, un juicio sobre la evaluación. La otra se refiere a dar
sentido y explicar el significado del conjunto de actividades humanas que
denominamos evaluación en una situación concreta. La meta evaluación no es un
proceso esencialmente técnico, sino que tiene naturaleza política y ética. es un
proceso social de aprendizaje, que genera a su vez otros procesos de aprendizaje no
menos importantes (Guerra Santos Miguel. A, 1998).
Se define como el proceso que permite asegurar la calidad de los servicios
evaluativos, evitar o enfrentarse a las prácticas ilegales o a los servicios que no son
de interés publico, señalar el camino para el perfeccionamiento de la profesión y
promover una mayor comprensión de la empresa evaluativa” (Stufflebeam, 1987).
No obstante que el término meta-evaluación ha sido tradicionalmente usado para
referirse a la evaluación de la evaluación y a la síntesis de resultados de una o más
evaluaciones, existe una diferencia entre ambas: la síntesis de la evaluación sirve a
los propósitos de resumir los resultados de una evaluación. De hecho el énfasis esta
en los resultados. Su propósito fundamental no es evaluar y medir el proceso de la
evaluación, sino tener datos empíricos para juzgar los resultados generales de la
evaluación de los programas. De hecho, aunque el prefijo meta puede tener
connotaciones temporales (“después de”) no necesariamente se realiza la metaevaluación una vez finalizado el proceso, pueden ser actividades paralelas (Guerra
Santos Miguel. A 1998).
Otra función que la meta-evaluación puede cumplir es la describir, analizar y
evaluar los procesos de evaluación Los evaluadores son profesionales que están
obligados a analizar el proceso utilizado y las decisiones que se han tomado a lo
largo del proceso de evaluación (Stufflebeam, 1987).
Dentro de los marcos de referencia disponibles sobre como conducir la metaevaluación se identifican tres modelos: el modelo que requiere validación y que
esta asociado con las prácticas científicas; el modelo de los estándares desarrollado
por asociaciones de evaluadores; y los modelos independientes propuestos por
diferentes autores.
2. Tipos de Meta-evaluación
La meta-evaluación, tal como la entendemos, es una evaluación cuyo objeto de
estudio es la evaluación del programa de evaluación y no el programa mismo.
Para distinguir los tipos de meta- evaluación, Bustelo Maria (2003) plantea cuatro
tipos básicos:
Considerando el papel de la evaluación: formativa o sumativa. Es sumativa
cuando la función es recapitular el proceso completo de la evaluación. La metaevaluación es formativa cuando se usa como un instrumento de cambio durante
el proceso de la evaluación, el propósito es mejorar el diseño de la evaluación en
proceso.
Considerando el contenido o la fase del programa evaluado: diseño, proceso o
resultados. La meta-evaluación del diseño implica el análisis y valoración del
plan y el diseño de la evaluación, como fue concebido, sus propósitos, objetivos,
coherencia interna, contextualizaciòn, estrategias de implementación, entre
otros. También debe analizar el costo beneficio del proceso, las expectativas, la
utilidad, la rendición de cuentas, calendario de ejecución realista. La metaevaluación de proceso analiza la implementación de la evaluación. Incluye el
análisis de las dificultades en la implementación del proceso, ajustes al
calendario de ejecución, adecuación a las necesidades y efectividad de los
equipos de trabajo. La meta-evaluación de los resultados analiza tanto la
información obtenida como los resultados y efectos. La información obtenida
(outputs) son los resultados, la información y la evidencia producida
(hallazgos, interpretaciones, juicios, y recomendaciones), que se encuentran en
los reportes de evaluación. La meta-evaluación de los resultados debe al final
ayudar a un mejor entendimiento del proceso, a un aprendizaje por parte de los
equipos, en suma directamente relacionado con la utilidad de los procesos.
Considerando el momento de la evaluación: ex- ante (antes de la
implementación del proceso) o ex –postfacto (durante el proceso o
inmediatamente finalizado).
Considerando el agente que la realiza: interno o externo. La meta-evaluación
interna es desarrollada por los evaluadores mismos, es decir las mismas
personas que estuvieron a cargo de la evaluación, desarrollan la meta-evaluación
y por consiguiente son responsables del control de la calidad de los procesos de
evaluación. La meta-evaluación externa es desarrollada como su nombre lo
indica por un agente externo que no estuvo involucrado en el proceso de
evaluación, lo que consecuentemente le da más credibilidad al proceso y un
reconocimiento externo y consolidación del mismo. En el caso del SICEVAES
se realizo una combinación de ambos; una evaluación externa validada por
evaluadores externos, dando al proceso una verdadera credibilidad externa.
3 La Meta- Evaluación del SICEVAES
El tema de la meta-evaluación ha adquirido en los últimos tiempos una actualidad
nunca antes vista, a los evaluadores continuamente se les solicita que evalúen su
trabajo y que demuestren a los beneficiarios directos de sus acciones y a la sociedad
en general que los procesos que realizan son de beneficio para el mejoramiento de
las instituciones. La región centroamericana no escapa de este movimiento y desde
1997 la educación superior ha estado sujeta a procesos de evaluación de la calidad.
Las instituciones de educación superior a través del CSUCA y con la cooperación
de InWent promovieron el proceso de evaluación de la calidad de la educación
superior creando el SICEVAES (Sistema Centroamericano de Evaluación y
Acreditación de la Educación Superior). Asimismo, para ambas organizaciones, era
importante determinar si los esfuerzos financieros, académicos, técnicos y de
capacitación desarrollados tanto por las instituciones de educación superior como
por el CSUCA e InWent han sido de utilidad. Con este propósito se considero de
importancia desarrollar la meta-evaluación del SICEVAES.
4 El Significado de la Meta- Evaluación en el SICEVAES
La Meta-evaluación se definió para los intereses del SICEVAES, y para los efectos
de este documento como la evaluación de la evaluación, es decir como un proceso
de control de calidad de las evaluaciones de programas e de instituciones
desarrolladas por el SICEVAES.
5 Objetivos de la Meta-evaluación del SICEVAES
La meta- evaluación desarrollada por el SICEVAES tenia como propósito
establecer si este ha estado cumpliendo los objetivos primarios que se asumieron,
considerando, además, la cooperación con la actual InWEnt, a fin de: a. Tomar
decisiones que apunten a su mejor accionar en la región; b. Proveer bases para una
eventual continuación de la cooperación señalada, c. Valorar el impacto de la
cooperación InWent (financiera, académica) en el desarrollo alcanzado en materia
de evaluación en las universidades de la región (Guía meta-evaluación, 2003)2.
La meta evaluación se desarrolló considerando la evaluación interna (autoevaluación) y la evaluación externa (por pares), con los propósitos de desarrollar
2
Guía General de la Meta-evaluación del SICEVAES. CSUCA. SICEVAES, 2003
conocimiento y potenciar el aprendizaje en los participantes así como promover, al
mismo tiempo, procesos de coordinación en la toma de decisiones
En suma se analizó si el proceso fue eficiente (en esfuerzo), suficientemente
informativo (relevante, útil), y asegurar que no hubo problemas en entender
(comprensión y claridad) los procesos de auto-evaluación y de evaluación externa, y
con ello, las guías diseñadas por la comisión técnica del SICEVAES y validadas por
la CCR. Nuestra meta no fue valorar una propuesta teórica sino más bien valorar los
esfuerzos de las instituciones de educación superior a través del CSUCA y su
organismo especializado en evaluación de la calidad, el SICEVAES.
.6 Instrumentos para La Meta-evaluación
El instrumento utilizado para realizar la meta-evaluación fue un guía diseñado
específicamente al respecto que incluye aspectos relacionados con los procesos de
auto-evaluación y de evaluación externa, y con los procedimientos realizados.
La guía se desarrollo a través de un sistema de trabajo activo y participativo de los
expertos evaluadores, de la Comisión de Coordinación Regional (CCR) y la
Comisión Técnica (CTE) del SICEVAES, considerando los estándares tradicionales
de objetividad y validez, optimizando las decisiones para elevar la capacidad de
respuesta o la capacidad de adaptación a las necesidades de información de los
participantes en el proceso.
7 Factores a Evaluar en la Meta-evaluación del SICEVAES:
La interrogante de fondo a responder es: ¿Ha contribuido el SICEVAES al
desarrollo de una “cultura de evaluación” y a la implantación de un sistema de
aseguramiento de la calidad educativa en las instituciones integradas al Sistema?
Tal “cultura de evaluación” y “aseguramiento de calidad” implica, en general, el
camino hacia la promoción de la calidad y la garantía pública de la misma, y supone
acciones tales como la realización de procesos evaluativos y el establecimiento de
estructuras organizacionales Ad-Hoc en las instituciones integradas, la tendencia a
una profesionalización de las funciones, la planificación e implantación de cambios
para el mejoramiento, la sistematización y distribución de información a usuarios y
beneficiarios, retroalimentación por los mismos y la socialización de conceptos y
lenguaje en torno a la gestión para la calidad3.
Los criterios establecidos están referidos a los aspectos de: a)Realización de autoevaluación focalizada, b)Establecimiento de estructuras organizacionales para la
conducción de los procesos, c)Definición de planes de mejoramiento como
resultado de las evaluaciones , d)Planes y programas de acción implementados en
las instituciones para atender problemas puntuales, e) Intercambio de experiencias
en el campo del aseguramiento de la calidad educativa con organismos y personeros
3
Guía General de la Meta-evaluación. CSUCA/SICEVAES.2003
de la comunidad profesional, del sector productivo y de servicios, e)Desarrollo de
actividades de capacitación de personal académico de las universidades integradas
f)Producción y difusión de material de trabajo y de estudio, respecto de los procesos
de auto-evaluación, evaluación externa y gestión institucional, g)Aplicación, con
adaptación o sin ella, de los principios y procedimientos de regulación de calidad
educativa, en las instituciones, h)Efecto positivo en las áreas de docencia y gestión
institucional, en las instituciones, i)Incremento de la capacidad auto regulativa de
las instituciones, j)Intercambio de experiencia y conocimiento técnico para el
establecimiento de un sistema de acreditación en la región; k)Generación de
información para facilitar el intercambio académico;,l)Apoyo financiero y oportuno
para la realización de las actividades de evaluación; m)El propósito de los dos
primeros criterios, está orientado a los procesos mismos de la evaluación (Validez);
Los criterios c y d se orientan a verificar el desarrollo e implementación de planes
de mejora y planes de acción puntuales, producto de la evaluación (relevancia,
utilidad.)
Los criterios e, f, g apuntan al tema de la formación de recursos humanos en
procesos de evaluación de la calidad (relevancia y utilidad.)
Los criterios h, i, están referidos a la transformación de las instituciones como
resultado de la evaluación (relevancia y utilidad.)
El criterio j se refiere a los avances en el campo de la acreditación (eficacia,
rendición pública), y finalmente el l a los aspectos financieros del proceso
(transparencia y rendición de cuentas.) el k esta referido a la generación de sistemas
de información
Para llevar a cabo la meta evaluación se consideró de importancia desarrollar las
siguientes actividades4:
1. Analizar la información de base, considerando las cartas de intención suscritas
entre InWEnt y el CSUCA, así como los convenios establecidos y cualquier otra
documentación que tanto CSUCA como InWEnt consideren pertinente hacer
llegar a los evaluadores. Esta información de base constituirá el marco de
referencia para la evaluación y permitirá definir los objetivos en función de los
cuales se analizarán las acciones del programa.
2. En primer lugar se consensuó con los actores principales del proceso sobre la
necesidad de realizar la meta evaluación. Para ello se realizó un taller con la
participación de los y las responsables de las Unidades Técnicas de Evaluación
(UTAS) de las universidades de la región, de la Comisión Técnica (CTE) y del
Comité de Coordinación Regional (CCR), con el apoyo de los expertos que
diseñaron los criterios de la meta evaluación. En este taller de elaboró la Guía y
se definieron estrategias de socialización y adecuación.
3. Analizar los documentos pertinentes e informes de autoevaluación elaborados
por las UTAS como parte de la evaluación del SICEVAES, así como los
4
Ver cronograma de Actividades de la Evaluación Externa de la Meta Evaluación en Documentos del
SICEVAES
4.
5.
6.
7.
8.
informes de síntesis elaborados por el Comité Técnico de Evaluación y los
informes nacionales preparados para la evaluación.
Efectuar entrevistas a profundidad a los principales actores: Miembros del
CSUCA, del CCR, de la CTE, del CCA; representantes de las agencias de
aseguramiento de la calidad existente, en el ámbito nacional o regional;
representantes de gobierno en los distintos países; y representantes de la
cooperación alemana (al menos InWEnt y GTZ).
Efectuar visitas a instituciones en los diversos países. Para ello, sobre la base
del análisis de los informes mencionados en el punto 2, se elaborará una pauta
de visita, y cada uno de los evaluadores visitará dos países, con la compañía de
representantes de la CTE designados por el CSUCA.
Preparar y participar en el seminario taller sobre metaevaluación
Elaborar un informe de evaluación que será enviado a la División de Educación
de InWent y la Dirección de CSUCA para sus observaciones.
Presentación del informe ante los organismos cooperantes
III. RESULTADOS DE LOS PROCESOS DE AUTOEVALUACION Y DE
EVALUACION EXTERNA
A juicio tanto de la auto-evaluación como la evaluación externa los resultados
fueron exitosos. El análisis de los objetivos generales planteados para el sistema
mismo muestra que se ha logrado incorporar, en los sistemas de educación
superior centroamericanos, hábitos sistemáticos de autoevaluación y evaluación
externa, comprometiendo no sólo a las autoridades de las universidades públicas
sino también a sus colegas de universidades privadas. Los académicos de las
instituciones participantes conocen el programa, han participado en muchas de
las actividades organizadas y por consiguiente, hoy el concepto de
aseguramiento de la calidad de la educación superior vigente en Centroamérica
forma parte de la cultura de las instituciones y sistemas de educación superior en
la región.
La incorporación de otros actores al proceso ha resultado también
razonablemente eficaz. Autoridades de gobierno, representantes de instituciones
privadas y de asociaciones profesionales y gremiales han participado en los
Foros (cuatro) Centroamericanos por la Acreditación de la Educación Superior
realizados durante la vigencia del programa. Si bien se mantienen ciertas
distancias, y la incorporación de estos actores no es todo lo amplia que sería
deseable, se trata de un esfuerzo importante por cuanto permitió romper barreras
que hace algunos años habrían parecido infranqueables.
En este contexto es esencial destacar el rol desempeñado por el Consejo
Superior Universitario de Centroamérica (CSUCA), que no obstante ser un
organismo constituido por las universidades públicas de la región, ha favorecido
la discusión sobre aseguramiento de la calidad a otros actores del mundo
universitario y fuera de él.
Es importante señalar la visión y las orientaciones establecidas por los
organismos responsables de la cooperación alemana, que con creatividad,
flexibilidad y rigurosidad permitieron orientar el programa de modo tal que éste
es ampliamente reconocido por su alto grado de sintonía con las necesidades,
los requerimientos y la cultura de la educación superior centroamericana.
Las instituciones reconocen de manera significativa el desarrollo de una masa
critica en la región comprometida con los esfuerzos de mejoramiento de la
calidad
3.1 Principales Logros en el Sistema centroamericano
a) Desarrollo del Sistema Centroamericano de Evaluación y Acreditación de la
Educación Superior (SICEVAES), expresado en procesos de capacitación y
entrenamiento de personal, diseño y desarrollo de guías y materiales de
evaluación, implementación de procesos de auto-evaluación y evaluación
externa y, al final pero no por ello menos importante, el desarrollo de instancias
de reflexión, evaluación y análisis de las experiencias realizadas.
b) Empoderamiento de autoridades instituciones, académicos y otros centros de
interés, a traves de los conocimientos y la experiencia apropiadas para
organizar y llevar a cabo procesos de auto-evaluación y evaluación externa de
programas e instituciones de educación superior.
c) Organización y sistematización de un conjunto significativo de documentos de
apoyo a los procesos de evaluación, ampliamente reconocidos, valorados y
utilizados. Estos documentos cubren desde la formulación de estándares para la
evaluación hasta guías y manuales para orientar el trabajo de los equipos
institucionales y de pares externos.
d) El impacto de los procesos de evaluación sobre programas e instituciones, que
han permitido mejorar la articulación entre los procesos de formación, los
egresados de las distintas carreras y el medio laboral. Entre estos impactos es
posible señalar el cierre de carreras que no cumplen con criterios de calidad, la
consideración de estos criterios en el diseño de nuevas carreras y
modificaciones curriculares, pedagógicas y administrativas en ya carreras
evaluadas.
e) El fortalecimiento de instancias de integración en la región, como resultado de
la reflexión compartida acerca de las acciones necesarias para el aseguramiento
de la calidad entre autoridades de gobierno, líderes de la educación superior
estatal y privada, representantes de asociaciones profesionales y gremiales,
apoyados por especialistas de otros países.
f) La constitución del Consejo Centroamericano de Acreditación de la Educación
Superior (CCA), como un organismo que integra a diversos actores en su
interior y que puede desempeñar un rol fundamental para la sustentabilidad de
las acciones contempladas en el programa, su fortalecimiento y desarrollo
futuro.
g) El desarrollo de metodologías de capacitación y entrenamiento innovadoras y
eficaces, que pueden servir de modelo a otros procesos tanto en la región como
fuera de ella. Asimismo, el énfasis en el desarrollo de la región como un todo,
unido al apoyo concreto prestado a cada uno de los países constituye también
un elemento innovador y sugerente para otras regiones con características
similares.
3.2 Aspectos a mejorar
h) El desarrollo de los procesos de evaluación de la calidad en las universidades
no ha sido homogénea, lo que sugiere la necesidad de explorar las razones que
pudieron haber afectado y que eventualmente conduzcan a una desmotivación
para la continuidad del proceso. Ante esta situación se hace necesario la
expansión de los sistemas de evaluación
i) Algunas de las actividades no lograron desarrollarse de manera satisfactoria.
Un ejemplo de esto es el trabajo realizado en torno al diseño e implementación
de estudios de egresados. Dada la importancia de este tipo de estudios, parece
esencial profundizar en las condiciones que redujeron su impacto y buscar
nuevas alternativas para su desarrollo.
j) Si bien el conjunto de personas que participaron en las diversas actividades del
programa constituyeron una suerte de red informal, su eficacia y capacidad para
prestar apoyo a los integrantes se reduce significativamente debido a su escasa
formalización, lo que impide el logro del efecto multiplicador que facilitaría
la actualización y profundización de las actividades de evaluación y
aseguramiento de la calidad. Pro lo tanto el establecimiento de sistemas de
gestión de la calidad daría un impulso significativo a este proceso.
k) El énfasis del programa, correctamente a juicio de los evaluadores, estuvo
esencialmente en las tareas asociadas a la auto-evaluación y la evaluación
externa de programas e instituciones. En este aspecto se hace necesario abordar:
o El tema de la participación de los egresados y empleadores en procesos
más allá de la evaluación.
o La necesidad de profundizar en el desarrollo de capacidades de
planificación, diseño y seguimiento de planes de mejoramiento,
o Revitalizar las funciones del SICEVAES en el marco de la gestión de la
calidad en la región como un proceso integrador para la transformación
de las instituciones.
o
3.4 Resultados de la Meta evaluación (Auto evaluación y Evaluación Externa) en
función de la Validez, Utilidad Y Relevancia de los procesos
a- Comprensión: Los resultados demuestran que las personas responsables de
responder a la guía de auto-evaluación como a las entrevistas de evaluación externa
las encontraron fácil de responder. Algunas preguntas se podían responder con un si
o un no, sin embargo se esperaba que las UTAS (Unidades Técnicas) aportaran
detalles a sus respuestas. Esto se logro parcialmente como se puede verificar en los
informes institucionales. Con la visita de los pares externos se logro completar la
información
b- Claridad. El alto índice de respuestas satisfactorias indica en general un nivel
de claridad de la guía, y de los procesos realizados en las visitas de los evaluadores
externos, que permitió valorar el proceso de la evaluación de la calidad de la
educación superior, tanto por los actores directos como por los usuarios.
c- Relevancia. En general, todos los factores analizados como las respuestas,
revelan su importancia para entender el proceso realizado. Se observa un
incremento en los aspectos relacionados con la capacitación y la formación de
recursos humanos en el campo de la evaluación de la calidad de la educación, área
en la que las universidades han logrado un mejoramiento significativo en el
conocimiento científico y en la experiencia ganada.
d- Utilidad. Los altos puntajes de satisfacción recibidos en general, en todos los
factores de la guía, indican la potencial importancia para el mejoramiento continuo
de los procesos de evaluación y de la calidad de las instituciones de educación
superior de la región. Esto se confirma en el informe de evaluación externa
3.5 Conclusiones
•
•
•
•
•
•
Los logros que en materia de evaluación de la calidad ha alcanzado la región son
de gran significado para los procesos de integración Centroamericana y brindan
un claro mensaje a la sociedad del interés de la educación superior por elevar
sus estándares y contribuir de manera significativa al desarrollo educativo,
social, económico y político de la región.
La meta-evaluación debe verse como un proceso de comprensión e
interpretación de la evaluación de la calidad de la educación superior de la
región centroamericana.
Como todo proceso, la evaluación de la calidad de la educación, necesita
someterse a la meta-evaluación, con el propósito de analizar los posibles
problemas y dificultades y encontrar soluciones para su mejoramiento. Por lo
novedoso del proceso en el área centroamericana, se construyo una guía que
respondiera a los objetivos planteados. Consecuentemente, la guía se construyó
considerando la importancia que para los procesos de acreditación tendrían los
resultados obtenidos y por otro lado aprender de los errores para futuros
procesos.
En general se puede concluir que la meta-evaluación tuvo resultados
satisfactorios, permitiendo detectar problemas específicos tanto en el
procedimiento como en la instrumentación y la necesidad de reformular o
adecuarlos.
En relación a los propósitos de la evaluación planteados tanto por Stufflebeam
y Bustelo, concluiremos que la meta- evaluación desarrollada por el
SICEVAES cumplió los propósitos de aprendizaje, desarrollo de conocimiento
y el de rendición de cuentas.
La meta-evaluación es un proceso social de aprendizaje de gran importancia
para las instituciones, por lo tanto su aplicación requiere algo mas que una guía
o una lista de criterios, se requiere que el metaevaluador plantee interrogantes,
sugerencias y perspectivas que apoyen a la comprensión del proceso tanto de los
mismos evaluadores como de distintas audiencias.
3.6
Perspectivas Futuras
1. Se debe reconocer el valor del proceso realizado tanto para los efectos de
valorar el impacto del apoyo económico de InWent, como de evidenciar ante la
sociedad civil y las comunidades universitarias las transformaciones producidas
en el seno de las mismas. Se puede afirmar que el estudio se desarrollo como un
primer esfuerzo de sistematizar la información obtenida en las instituciones, y
con la aspiración de mejorar continuamente los procesos de la evaluación de la
calidad en la educación superior de la región, las conclusiones por lo tanto no
intentan ser generalizables. Por el contrario, reconocemos que su utilidad
fundamental concierne al mejoramiento de procesos específicos para el
establecimiento de un sistema de calidad en el contexto de nuestras
universidades, no descartando la posibilidad que este trabajo motive a otros
investigadores a conducir proceso de meta-evaluación, como una actividad
critica de auto-análisis, dirigida a mejorar su propio trabajo.
2. Se reconoce la necesidad de impulsar el establecimiento de sistemas de
información y estudios de la universidad que permitan generar conocimiento
sobre las nuevas realidades en las que se mueven nuestras instituciones de
educación superior. Dentro de esto la definición de políticas, la toma de
decisiones, el estudio de graduados, entere otros.
3. Impulso a ka integración y armonización académica regional, a través de la
definición de competencias que deben tener los graduados de la región, estudios
comparativos sobre grados y títulos,
4. Independientemente de las realidades políticas y los intereses creados dentro de
las instituciones, estamos convencidos de la importancia que los procesos de
evaluación de la calidad tienen en el mejoramiento y reforzamiento de las
personas y de las instituciones.
REFERENCIAS
Acta Constitutiva del Consejo Centroamericano de Acreditación. Consejo Superior
Universitario Centroamericano, (CSUCA), 2004.
Alarcón Francisco, Luna Guillermo: Antecedentes, Situación Actual y perspectivas
de la Evaluación y la Acreditación de la Educación Superior Centroamérica.
IESALC, UNESCO, 2003. http://www.iesalc.unesco.org.ve/
Alarcón Francisco, Erazo Iris: Estado Actual de la Evaluación y la Acreditación.
Documento de trabajo para la Conferencia sobre Educación Superior. Universidad
de Krems, Austria, 2003.
Bustelo, Maria: Meta-evaluation as a Tool for the Improvement and Development
of the Evaluation Function in Public Administration.
www.europeanevaluation.org/docs/BusteloSevillaEES.pdf
Chelimsky, E. (1983). The definition and measurement of evaluation quality as a
management tool. New Directions for Program Evaluation, 18, 113-126.
Chelimsky, E. (1997). The coming transformations in Evaluation. In E. Chelimsky
& W.R. Shadish (Eds.). Evaluation for the 21st century. A handbook (pp. 1-26).
Thousand Oaks, CA: Sage.
Diaz Luis Fernando y Rosales, Rotsay: Meta evaluación: Evaluación de la
Evaluación de políticas, programas y Proyectos Sociales, 2003.
Guerra Santos Miguel. A. “Evaluar es Comprender. Colección Respuestas
Educativas. Magisterio Rio de la Plata, 1998.
Guía General de la Meta-evaluación del SICEVAES. CSUCA. SICEVAES, 2003.
Guía de Auto-evaluación de Programas. Consejo Superior Universitario
Centroamericano (CSUCA), Sistema Centroamericano de Evaluación y
Acreditación de la educación Superior. Comisión Técnica de Evaluación. Editorial
UPNFM, 2003
Joint Committee on Standards for Educational Evaluation (1981). Standards for
evaluations of educational programs, projects and materials. New York: McGrawHill.
.
Ministry of Interior: Ministry of Finance Towards a Shared Evaluation of Public
Services. Discussion Initiative. Vision Productivity for the future Programme and
association of Finnish Local and regional Authorities. Helsinki, 2001.
www.pldg.pl/p/pl/TarJF/downloadFile/19/4/1/6
Rebolloso, E. (1994a). La evaluación del personal profesional: ¿Un modelo de
evaluación nuevo o una síntesis de modelos previos? Revista de Psicología Social,
2, 231-255.
Rebolloso, E. (1994b). Los standards de evaluación de la Joint Committee. Su
utilidad como guía para la práctica profesional en educación y servicios sociales.
Revista de Psicología Social Aplicada, 4, 63-91.
Scriven. Michael en Bustelo, Marìa “Metaevaluación as a toll for the Improvement
and Development of the Evaluation function in Public Administration.
www.europeanevaluation.org/docs/BusteloSevillaEES.pdf
Stufflebeam, Daniel. L, Shinkfield J. Anthony. Evaluación Sistémica: Guía Teórica
y Práctica. Temas de Educación, Paidos, 1987.
Scriven, M. (1969). An introduction to metaevaluation. Educational Product Report,
2, 36-38.
Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior.
Documento de creación, CSUCA, 1998.
Shadish, William (1998). Some evaluation questions. Practical Assessment,
Research & Evaluation, 6(3). http://PAREonline.net/getvn.asp .
Stufflebeam Daniel, Meta- Evaluation, Occasional Papers series, 1974.
http://www.wmich.edu/evalctr/pubs/ops/ops03.pdf
Stufflebeam, D.L. & Shinkfield, A.J. (1987). Evaluación sistemática. Barcelona:
Paidós/MEC