Evaluación Institucional Participativa

PROGRAMA NACIONAL DE FORMACIÓN PERMANENTE
ENCUENTRO PROVINCIAL DE CAPACITACIÓN DE CAPACITADORES
LA PLATA, 12 Y 13 DE AGOSTO
LA EVALUACIÓN INSTITUCIONAL PARTICIPATIVA
1. Sobre el concepto de evaluación. La evaluación implica: (a) la producción /
construcción de información sobre aquello que se evalúa, (b) el cotejo con ciertos
parámetros que nos permitan valorar la información, (c) la toma de decisiones en
relación con ese juicio valorativo.
2. La producción o construcción de información sobre aquello que se evalúa
implica la “construcción de un objeto”. En esto, la evaluación se acerca a la
investigación social, hace uso de sus metodologías y enfoques, sus técnicas y sus
herramientas y asume muchas de sus complejidades y problemas. Entre otros,
podemos mencionar: (a) el problema de construcción de la “distancia óptima” para
la producción de información; (b) el problema del involucramiento subjetivo con el
objeto de conocimiento; (c) los supuestos contenidos en las categorías que
construyen el objeto; (d) la relación reflexiva entre las categorías teóricas y las
categorías sociales; (e) la cuantificación de lo que es cualitativamente
heterogéneo.
3. El cotejo con los parámetros que permitan realizar un juicio evaluativo es lo que
diferencia a la evaluación de la investigación, pero también lo que aproxima la
evaluación
a
la
política
educativa.
1
El
concepto
“parámetros”
designa
genéricamente cualquier representación de cómo debería ser la realidad
analizada, en una o muchas de sus dimensiones. Ese “deber ser” es clave en el
proceso de evaluación. Quiénes determinan ese deber ser, cómo lo fundamentan,
cuán pública es su definición, en qué medida son conocidos estos parámetros por
los protagonistas de la situación evaluada son algunas de las claves para analizar
el tipo de evaluación, su pertinencia, su “justicia” con relación a aquello que se
evalúa.
4. Así como constituye una construcción del objeto, la evaluación también implica
un recorte de la realidad. Cuanto más explícito sea este recorte, en mejores
condiciones están quienes evalúan de interpretar la información de que disponen.
5. La condición de “evaluador” depende de las tareas asumidas en el proceso de
evaluación. En realidad, una evaluación puede tener distintos protagonistas para
distintas etapas del proceso. Puede haber quienes discutan qué mirar y con
relación a qué parámetros producir el juicio evaluativo, puede haber quienes
recojan la información en el marco de definiciones adoptadas por otros, y puede
haber quienes concreten en juicio evaluativo analizando la información producida
por unos y los criterios definidos por otros. En este proceso también puede haber
actores que tomen más de una posición. La condición de evaluación interna o
externa, y de auto-evaluación en el marco de una institución estará dada por un
análisis de quiénes desempeñan qué roles, y sobre todo de quiénes son los que
se ocupan de las tareas clave de definición de parámetros y producción del juicio
evaluativo.
2
6. El juicio evaluativo (es decir, la relación referente / referido) puede ser de dos
vías: se puede juzgar la información obtenida de la situación por su cotejo con los
parámetros, o bien se puede evaluar la adecuación de los parámetros a
expectativas realistas sobre la información obtenida. ¿Es justo esperar en corto
plazo un abandono escolar nulo en una escuela que tiene una elevada tasa de
abandono? ¿Cómo adecuar los parámetros para que las decisiones que se tomen
con la información producida sean factibles de ser concretadas?
7. Muchas veces las concepciones de evaluación se detienen en el punto de
producción de un juicio evaluativo y mencionan como un paso posterior a la
evaluación el proceso de toma de decisiones a que dan lugar los resultados, o el
“uso” de la evaluación. Sin embargo, en la evaluación en el ámbito educativo es
fundamental considerar este momento como parte de la evaluación. Esto quiere
decir que: (a) en la medida en que la producción de información, la discusión
sobre parámetros y la elaboración de un juicio evaluativo exige un esfuerzo y un
tiempo determinados, el uso que se realice de los resultados debe guardar
proporción con dicho esfuerzo; (b) incluso el “no uso” de los resultados es una
decisión sobre los resultados.
8. La iniciativa que impulsa un ciclo de evaluación define si se trata de una
evaluación interna, una autoevaluación o una evaluación externa. Esta precisión
conceptual permite distinguir dos formas de la evaluación que se diferencian por el
grado de compromiso y responsabilización de los actores por los resultados de la
evaluación, pero sobre todo, permiten identificar de dónde surgen los parámetros
de la evaluación, es decir, en qué medida quienes son parte del hecho, situación o
3
institución evaluada participan de la formulación de los parámetros para la
realización del juicio evaluativo.
9. La evaluación interna o autoevaluación involucra a los actores de la institución
en la formulación de los parámetros o criterios que serán empleados para realizar
el juicio evaluativo. Del mismo modo implica que las decisiones sobre la
“construcción” del objeto de la evaluación (la definición de qué se va a evaluar, y
por lo tanto, qué información será necesario construir o utilizar) también podrá
involucrar a distintos actores de la institución.
10. Una diferencia entre la auto-evaluación y la evaluación externa puede residir
en el tipo de concepción sobre los procesos de mejora en las instituciones. Existen
distintas formas de pensar en estos procesos de mejora y en el papel que juega la
evaluación en ellos. En las evaluaciones externas que conocemos, generalmente
los sistemas de evaluación de los aprendizajes a gran escala, se suele suponer
que la “devolución” de información producirá decisiones de mejora por parte de los
actores institucionales, sea porque éstos recibirán una retro-alimentación sobre los
resultados de su trabajo, sea porque recibirán la presión de otros actores, sus
pares docentes, las familias o la sociedad, para tomar decisiones de mejora.
Implícitamente, esta concepción parece sostener que si no se mejora es porque
no se sabe cuáles son los resultados de las propias decisiones, o bien porque no
existen las presiones sociales e institucionales suficientes para mejorar.
La auto-evaluación, en cambio, al involucrar a los actores de la institución en las
decisiones de los parámetros de evaluación y en la producción de información
relevante, puede dar lugar a otras lógicas de mejora, ya no fundadas en la
4
retroalimentación (o no únicamente) sino en el compromiso de los propios actores
de la institución, en sus hipótesis y explicaciones sobre los procesos que
condujeron a esos resultados.
11. La autoevaluación entraña riesgos que tienen que ver con la posibilidad de una
definición de parámetros conservadores, que tiendan a justificar las situaciones
actuales, considerarlas como inmodificables, o ignorar aspectos importantes que
de las demandas sociales o políticas sobre las instituciones. En caso de esto
suceda, el esfuerzo evaluativo puede resultar poco eficaz para producir cambios y
constituir una justificación de las resistencias institucionales.
12. Otro de los riesgos relacionados con la autoevaluación es que el
involucramiento de los actores con la situación evaluada les impida ver aspectos
importantes de la vida cotidiana de la institución. En este caso estamos frente al
mismo tipo de problemas que se presenta al investigador del campo de las
ciencias sociales que estudia una situación familiar de la que participa. En estos
casos existen estrategias metodológicas que podrían permitir construir miradas
problematizadoras del cotidiano.
13. La complejidad del compromiso institucional involucrado en procesos de autoevaluación conduce a considerar que se trata de construir e instalar culturas
evaluativas,
es
decir,
sentidos
compartidos
entre
los
distintos
actores
institucionales.
14. Ahora bien, no alcanza con que algunos actores de la institución formen parte
5
de la definición de criterios y parámetros, sino que si se trata de que la evaluación
impulse procesos de mejora, cambios en las instituciones frente a aquellos
aspectos que resultan problemáticos, la evaluación debe ser participativa. Esto
significa que cada uno de los pasos del ciclo de la evaluación debe involucrar a
todos los miembros del equipo docente y directivo: la definición de criterios de
evaluación, la construcción de aquello que será evaluado, la producción de la
información, el análisis y la elaboración de los juicios evaluativos, las decisiones
sobre el uso de los resultados. Esta participación del colectivo docente de una
institución también hace posible realizar el análisis de los parámetros y criterios en
relación con la información relevada como características de un momento de la
institución. Permite ser justos con las expectativas, con aquello que se espera
lograr y con el esfuerzo que se le pide a los actores institucionales.
15. En el marco del Programa Nacional de Formación Permanente, el interés
indicado por las definiciones políticas se centra en la institución. Es decir,
hablamos de auto-evaluación participativa institucional. Esto quiere decir que el
objeto a evaluar es la institución. ¿Es posible evaluar el conjunto de dimensiones
que hacen a una institución? ¿Es posible componer una evaluación de la
institución que supere una sumatoria de factores evaluados? Es difícil responder a
estas preguntas. Una institución es más que la suma de actores, regulaciones,
prácticas y discursos. Es la configuración relacional de estas dimensiones y otras
que podemos no ver. Cuando hablamos de evaluación institucional, entonces, no
pretendemos realizar una evaluación exhaustiva de todo lo que hace a una
institución. En cambio, se trata de evaluar aquellas dimensiones que para los
actores institucionales son los aspectos más relevantes para cumplir con sus
6
expectativas en un marco político y pedagógico determinado.
16. Por lo tanto, el trabajo de autoevaluación institucional participativa es el
resultado de un trabajo colectivo de los docentes y directivos de una institución.
Parte de un análisis de cuáles son las principales expectativas que debe cumplir la
institución en el marco de las definiciones políticas y pedagógicas nacionales y
provinciales (en el PNFP este es el trabajo iniciado en el tratamiento del bloque 1).
Implica definir las dimensiones de la vida y la labor institucional que deberán ser
estudiadas, y por lo tanto, avanza en la “construcción” de su objeto de evaluación.
Todo este trabajo supone la producción de acuerdos y compromisos de los
equipos docentes y directivos que anticipan aquellos aspectos sobre los que
resulta importante encarar procesos de mejora institucional.
17. Estas definiciones y compromisos pueden dar lugar a sistematización de
información preexistente, como la que proviene de los sistemas de estadística, las
calificaciones, evaluaciones, registros de asistencia, actas y otra documentación
que produce cada institución. También puede dar lugar a la elaboración de
información nueva, a través de entrevistas, análisis de documentos, registros,
observaciones y narrativas docentes. En cualquier caso, es el sentido de la
evaluación lo que debe orientar la producción o sistematización de información, de
manera que el esfuerzo de esta recolección guarde proporción con lo que se
espera conocer.
18. Desde el punto de vista de los enfoques también es importante poner en
primer lugar el sentido de la evaluación ya que de otro modo podemos caer en
7
posiciones preconcebidas acerca de los enfoques cualitativos y cuantitativos, la
cuestión de la objetividad y la subjetividad, etc. Todas estas cuestiones son
importantes para la toma de decisiones metodológicas acerca de cómo y qué
información relevar o producir. Sin embargo, si están precedidas por acuerdos,
compromisos y claridad respecto del sentido de la evaluación, estas decisiones
pueden ser revisadas y adecuadas a lo largo del proceso. Si el sentido de la
evaluación no está claro, es muy posible que ocupen el lugar del debate central de
los equipos institucionales, y por lo tanto lleve a una parálisis en el trabajo de
evaluar o a una acumulación de información irrelevante o poco significativa.
19. Dado que se trata de un trabajo colectivo, que se sostiene a lo largo del
tiempo, es importante documentar el proceso de evaluación. Con relación a este
aspecto ya hemos trabajado sobre la cuestión del registro, pero habría que insistir
en el carácter necesario de esta documentación para poder dar continuidad a la
evaluación en el marco de procesos de mejora que le permitan al equipo docente
y directivo
volver
periódicamente
sobre
los
acuerdos establecidos,
las
dimensiones y parámetros definidos y la información relevada para evaluar los
resultados y consecuencias de las decisiones adoptadas y reconsiderar su cambio
o permanencia.
8