La medición del logro educativo en Colombia

La medición del logro educativo en Colombia
Eduardo Aldana Valdés*
Primeras experiencias
El primer antecedente documentado de la medición, a nivel nacional, del progreso cognitivo de los
niños y jóvenes en el sistema educativo colombiano se encuentra en el proyecto del Instituto SER de
Investigación titulado Determinación del logro educativo. Este proyecto fue financiado por el Centro
Internacional de Investigaciones para el Desarrollo (CID), y se inició a comienzos de la década de los 80.
Pretendía desarrollar una metodología adecuada a las circunstancias colombianas, probarla en la educación
primaria y, con la divulgación de sus resultados, mostrar su utilidad para orientar las acciones del Estado
dirigidas a mejorar la calidad del sistema educativo del país. El proyecto desarrolló todos los pasos
necesarios desde la identificación de las áreas - matemáticas y lenguaje - y los niveles - final del tercero y
quinto grados de la educación básica primaria - que serían objeto de la medición, pasando por la
identificación de los objetivos específicos, el desarrollo de los ejercicios, la selección de la muestra y la
aplicación de los ejercicios, hasta del análisis y divulgación de los resultados. Posiblemente las
características más sobresalientes de este proyecto fueron la vinculación de educadores de vasta experiencia
en la escogencia de los objetivos y la selección de los ejercicios y el cuidadoso diseño de la administración
de las pruebas para evitar distorsiones en los resultados como, por ejemplo, que las deficiencias de algunos
niños en la comprensión de textos escritos afectara sus respuestas en matemáticas.
El Ministerio de Educación Nacional (MEN) recibió con interés las recomendaciones del proyecto,
entre las cuales se incluía la de establecer un programa permanente de determinación de logros educativos
con el doble propósito de detectar los cambios ocurridos entre aplicaciones e identificar situaciones
problemáticas, en áreas del conocimiento, regiones geográficas o establecimientos educativos, que
requirieran intervenciones efectivas. El propio ministerio realizó, entre 1982 y 1983, un proyecto titulado
Evaluación del Logro Educativo para los grados primero y segundo de la educación básica primaria. Sin
embargo, fue solamente hasta 1988 que el MEN, en el marco de la descentralización educativa, decidió
establecer un programa permanente. Para ello, creó la División de Control de la Calidad de la Educación y
le encomendó organizar un banco de pruebas de evaluación y diseñar parámetros para la evaluación de
instituciones, planes y programas educativos.
Con el fin de poder cumplir con las anteriores funciones, en 1989 un equipo interinstitutional,
integrado por funcionarios del Ministerio de Educación, el Centro de Estudios Sociales, la Universidad
Pedagógica Nacional y el Instituto SER de Investigación, revisó los conceptos y antecedentes de la
evaluación de la calidad en el sistema educativo colombiano y propuso la constitución de un sistema
nacional de evaluación de la calidad de la educación que se encargara de recolectar, procesar y presentar
información relevante para la formulación de la política educativa del país. Se establecieron, entre otros, los
siguientes objetivos específicos para el sistema:
*
*
Construir y consolidar progresivamente un modelo conceptual y operativo de organización
y operación de los procesos de evaluación - nacional, regional, local e institucional - que
proporcione los elementos necesarios para la toma de decisiones tendientes a alcanzar
metas de calidad.
Codirector en Colombia del programa Preal
*
Evaluar permanentemente la apropiación de conocimientos y el desarrollo personal y social
de los estudiantes y su relación con las características del maestro y de su trabajo
pedagógico, la organización escolar y la utilización de diferentes procesos y materiales
educativos.
•
Generar una cultura educativa en la escuela y la comunidad.
•
Comunicar permanentemente la información recolectada y producida a todos los
interesados.
*
Avanzar en la construcción teórica de conceptos como los de calidad de la educación,
evaluación escolar, logro educativo, procesos educativos y desarrollo personal y social, y
afinar la elaboración de los indicadores correspondientes.
*
Impulsar las investigaciones y estudios que contribuyan a alcanzar los anteriores objetivos.
Las experiencias más recientes
Bajo el impulso de la División de Control de la Calidad de la Educación, se inició durante 1990 la
preparación de ejercicios en matemáticas y lenguaje para niños de tercero y quinto de primaria y algunos
formularios para la recolección de información sobre el niño y su historia educativa, las costumbres en su
familia, las relaciones del padre con los hijos y sus expectativas acerca del futuro de los mismos. Como se
presumía que este tipo de circunstancias estaban relacionadas con el progreso cognitivo del niño, se les
empezó a denominar factores asociados al logro educativo o simplemente factores asociados. Estas pruebas
y formularios se aplicaron de manera experimental en escuelas de tres departamentos en la región cafetera
de Colombia - Caldas, Risaralda y Quindío - durante el segundo semestre de ese año. La aplicación fue realizada por los maestros respectivos con el fin de sensibilizarlos sobre la importancia de la evaluación del
logro y el aprovechamiento, por ellos mismos, de los resultados en el mejoramiento de las condiciones y
procesos escolares.
Esta experiencia sirvió de base para iniciar un amplio programa de medición del logro cognitivo. En
1991, en un esfuerzo conjunto del Ministerio de Educación, el Servicio Nacional de Pruebas,1 y el Instituto
SER de Investigación, se llevo a cabo la primera medición del logro en 13 divisiones territoriales - doce
departamentos y el distrito capital de Bogotá - con calendario A que es el que va de febrero a noviembre. La
muestra incluyó estudiantes de los grados tercero y quinto de educación básica primaria en escuelas
públicas y privadas. En total se encuestaron aproximadamente 15 mil alumnos en 218 escuelas urbanas y
212 escuelas rurales. Las áreas examinadas fueron las de matemáticas y lenguaje. También se
administraron cuestionarios a los niños para explorar su desarrollo personal y social y para determinar los
factores o características de ellos mismos y de sus hogares. Los profesores y los directores del plantel
respondieron a cuestionarios que buscaban información sobre los factores asociados con cada docente y el
director y el plantel, respectivamente. 2
1
El Servicio Nacional de Pruebas (SNP) es parte de un organismo oficial, el Instituto para el Fomento de la
Educación Superior (ICFES), y se encarga de la aplicación de pruebas para el ingreso a la educación superior.
También, por convenio con el MEN, se encarga de las diferentes pruebas de selección y convalidación para los
diferentes grados de la educación primaria y secundaria.
2
Un resumen de la metodología y los resultados de este trabajo se encuentra en Saber, Sistema Nacional de
Evaluación de la Calidad de la Educación. Primeros resultados: matemáticas y lenguaje en la básica primaria.
Bogotá, MEN, 1992.
El mismo equipo interinstitutional realizó, durante 1992, un trabajo similar en establecimientos de
calendario B, de septiembre a junio, en tres departamentos con ese calendario y en el distrito capital de
Bogotá que tiene los dos. La muestra fue de casi 6 mil alumnos en 159 escuelas públicas y privadas y
urbanas y rurales, y se usan los mismos instrumentos de la medición anterior.
En ese año y en el siguiente, el SNP del ICFES realiza la evaluación del logro cognitivo en
matemáticas y lenguaje de los alumnos de secundaria básica en los grados séptimo y noveno, para los dos
calendarios, A y B, a partir de la aplicación de pruebas a un total de 35 mil estudiantes.
Las experiencias anteriores le indican al Ministerio de Educación que existen las condiciones para
establecer una verdadera "línea de base" en la educación básica primaria que cubra a la totalidad de las
divisiones territoriales del país. Entre 1993 y 1994, el Servicio Nacional de Pruebas y el Instituto SER se
encargan de revisar y reelaborar los instrumentos y aplicarlos, con una mayor participación del SNP y de
los docentes en las escuelas de las cinco divisiones territoriales del calendario B. En total se administran los
ejercicios a cerca de 57 mil estudiantes en 1.628 planteles de 33 divisiones territoriales, incluido el distrito
capital de Bogotá y excluido el Departamento de Guainía en donde no se hace la aplicación.
Durante 1994 el SNP aplica pruebas de matemáticas y lenguaje a una muestra de 417 niños de los
grados tercero y quinto de primaria con limitaciones auditivas, en colaboración con el Instituto Nacional
para Sordos.
En 1996, el Ministerio de Educación Nacional contrata a un centro especializado en encuestas de
opinión, el Centro Nacional de Consultoría, para que aplique y analice las pruebas desarrolladas por el SNP
en matemáticas y lenguaje para estudiantes de los grados séptimo y noveno de la básica secundaria. Se
aplican a una muestra de más de 13.500 alumnos del calendario B en ese año y se espera realizar con los de
calendario A en 1997.
Resultados y conclusiones de los trabajos anteriores
Uno de los grandes retos del Sistema Nacional de Evaluación de la Calidad de la Educación (Saber)
es el análisis comparativo y acumulativo de enorme cantidad de datos recolectados en las diferentes
aplicaciones, y la publicación de informes que resuman los resultados de cada prueba y el conocimiento
adquirido al compararlas entre sí.3 El autor solamente conoce dos publicaciones del Ministerio de
Educación4 y ambas se refieren fundamentalmente a los propósitos y organización del sistema y a la
aplicación y resultados del ejercicio llevado a cabo en 1991 con los estudiantes de las 13 divisiones
territoriales con calendario A. El MEN ha publicado dentro de la serie Saber unas cartillas dirigidas a los
docentes y que explican el sistema. Existen los informes del Instituto SER y del SNP sobre el trabajo
desarrollado por la respectiva entidad en cada aplicación 5 pero son informes parciales, demasiado
detallados y difíciles de obtener y de analizar por los planteles, las autoridades educativas a nivel regional y
local y las personas interesadas en esta temática.
Las siguientes observaciones se basan en las publicaciones del MEN y en un artículo publicado por
investigadores del Instituto SER:
*
3
El nivel logro cognitivo demostrado por los estudiantes de tercero y quinto grado, en
matemáticas y lenguaje, es muy bajo y de cuidado, como lo indican las siguientes
aseveraciones, entre otras, de la ultima publicación del MEN:
Un ejemplo de este esfuerzo se encuentra en el informe final del trabajo realizado por el instituto SER en 1993 y
1994 con niños de la primaria básica en los calendarios A y B (IFF-289 de 1996), al presentar una serie de hipótesis
sugestivas sobre la relación entre el logro del estudiante y los factores motivacionales del profesor y los alumnos.
4
El informe ya referenciado y el titulado “La calidad de la educación: un asunto de todos”, serie documentos
especiales, MEN/Saber, 1995.
5
Entre los documentos del SNI? se encuentran algunos que podrían convertirse en artículos para revistas
internacionales especializadas en la evaluación del logro cognitivo.
La situación es muy grave pues los estudiantes [de tercer grado] sólo utilizan las
matemáticas en forma mecánica y sin mayor raciocinio. Pueden ejecutar las operaciones
básicas, pero no las pueden aplicar para resolver problemas concretos.
Es preocupante que los estudiantes en este grado [quinto] no manejen niveles de
comprensión lectora más crítica y reflexiva y que, aunque manejen ciertos aspectos
formales de la lengua, no tengan un dominio adecuado de ésta.
6
*
Existen diferencias significativas e importantes en el nivel de logro de los estudiantes en las
dos áreas y los dos grados no corresponden a las mismas divisiones territoriales, los más
bajos coinciden.
*
Los mayores logros relativos se encuentran, para las dos áreas y los dos grados, en las
escuelas urbanas con respecto a las rurales, y en los planteles privados con respecto a los
públicos. En algunos pocos departamentos se encontró un nivel de logro promedio más alto
en las escuelas rurales, por razones que no se conocen bien. Como los mayores niveles de
logro en las escuelas privadas podían deberse a la procedencia socioeconómica de los
alumnos, en un análisis posterior6 se repitió la comparación, controlando por variables
asociadas con esa característica de los hogares de los estudiantes. La diferencia en favor de
las escuelas privadas se mantuvo, lo que indica que existen otros factores explicativos que
deben investigarse.
*
Los mayores niveles de logro se encontraron:
*
En alumnos que han asistido a cursos preescolares, no han repetido cursos y
asisten con regularidad a la escuela.
*
En hogares que tienen libros diferentes a los textos escolares, leen la prensa y ven
televisión, vive una persona con un relativo alto nivel educativo, y están
localizados a poca distancia, en tiempo, de la escuela.
*
Cuando el alumno dispone de texto y el profesor utiliza eficientemente el tiempo
escolar, conoce el currículo y lo cubre durante el período escolar.
*
Cuando el docente tiene un nivel educativo relativamente más alto, dispone de
materiales didácticos y es mujer.
*
En planteles con más y mejores servicios públicos (agua, energía y alcantarillado),
son del tipo escuela nueva (en el sector rural), tienen el ciclo básico completo (al
menos nueve grados) en lugar de solamente los primeros cinco grados, y ofrecen la
jornada completa (mañana y tarde).
Aldana, Eduardo; Rodriguez, Patricia y Hederich, Christian. El logro educativo en matemáticas y lenguaje de los
alumnos de tercer grado. Bogotá, Instituto SER-Fedesarrollo. Coyuntura Social (7), nov. 1992,
Consecuencias y perspectivas
La evaluación del logro cognitivo en Colombia ha estimulado el interés y la dedicación de un número
pequeño pero persistente de especialistas en la materia y ha conseguido, por lo menos, confirmar varias
hipótesis sobre la calidad de la educación en el país y, unida al conocimiento acumulado por diversos
actores en el gobierno y en el sistema educativo, ha contribuido a la formulación de una ambiciosa reforma
educativa incorporada en normas como la Ley General de Educación (Ley n9 115, de 1994) y sus decretos
reglamentarios, las recomendaciones de la Misión de Ciencia, Educación y Desarrollo y en el Plan Decenal
de Educación 1996-2005.
Sin duda, las conclusiones que se podrían obtener de un más amplio y exhaustivo análisis - y difusión
- de los resultados de las diferentes mediciones realizadas en todo el país permitirá focalizar más
equitativamente, a nivel de división territorial, las políticas y la acción estatales y orientar los programas de
las nuevas instituciones que están surgiendo en apoyo de la reforma educativa, como la Corporación para el
Desarrollo y la Investigación de la Educación Básica.
Sin embargo, tal como se ha venido realizando la medición del logro educativo, tiene poca utilidad
para los municipios y planteles que no quedan incluidos en varias muestras consecutivas. Esto es
especialmente grave si se considera que la descentralización de la educación en Colombia asigna la mayor
responsabilidad por su fomento a las autoridades locales y una gran autonomía académica y administrativa
a los propios planteles escolares. Además, los nuevos conceptos y experiencias en evaluación indican que
sus mejores resultados se obtienen cuando en ella se involucran, en una verdadera autoevaluación, todas las
partes potencialmente afectadas por sus conclusiones y las acciones correspondientes. Esta autoevaluación
es la que permite juzgar la validez de unos resultados basados, como inevitablemente sucede, en el examen
parcial del complejo proceso formativo de niños, niñas y jóvenes, y en el escrutinio solamente del logro
cognitivo en unas pocas áreas; es la que permite identificar algunas explicaciones contextuales de los
resultados y la que estimula la formulación de nuevas hipótesis explicativas y la búsqueda de la información
adicional que se requiere.
Una alternativa sería la de extender las mediciones a todos los establecimientos escolares. En el caso
colombiano, por el elevado número de planteles públicos y privados, los costos real y de oportunidad de esta
alternativa serían prohibitivos. Otra, que amerita ser estudiada más detenidamente, sería la de construir un
gran banco de ejercicios, a partir de estándares educativos aceptados,7 y utilizarlos para construir pruebas
que se administrarían a una muestra nacional relativamente reducida y se suministrarían para que fuesen
aplicadas por las regiones, las localidades o los planteles interesados. El sistema Saber se encargaría en este
último caso, además, de procesar y analizar los resultados y de devolverlos al plantel con alguna indicación
de su posición con respecto a otros planteles en su región y en el país.
Quedarían faltando las posibilidades de efectuar comparaciones entre estratos más específicos a nivel
subnacional y con otros países. La primera carencia podría ser subsanada, con algunas limitaciones, por los
exámenes del SNP al final de la educación media (undécimo grado). La posibilidad de contar con
comparaciones internacionales la ofrecen programas internacionales como el TIMSS, en el cual Colombia
ya está participando.
7
Un punto de partida en el caso colombiano es el esfuerzo realizado por el MEN y plasmado en los indicadores de
logros curriculares presentados en la Resolución Nº 2.343, de 5 de junio de 1996.