Diapositiva 1 - Dirección General de Evaluación Educativa de la

EVALUACIÓN EN GRAN ESCALA DE
LA EDUCACIÓN BÁSICA
Progresos recientes y desafíos futuros
Felipe Martínez Rizo
Simposium Internacional Evaluación: Lecciones
aprendidas y perspectivas futuras
Dirección General de Evaluación Educativa, UNAM, octubre 25-26, 2007
1. El desarrollo de la evaluación de la
educación básica
1.1 Los inicios: 1970-1990
1.2 El desarrollo de la década de 1990. Inicio del
desarrollo actual de la evaluación en gran escala.
En educación básica se desarrolló en tres
contextos:
♦
Los programas compensatorios apoyados por el
Banco Mundial, desde 1991.
♦
El programa de Carrera Magisterial, derivado del
ANMEB de 1992.
♦
Las evaluaciones internacionales TIMSS (1995),
LLECE (1997) y PISA (2000).
La DGE de la SEP desarrolló varios
proyectos:
♦ Para evaluar programas compensatorios;
♦ Para
el
Factor
Magisterial;
Aprovechamiento
de
Carrera
♦ El Instrumento para Diagnóstico de Alumnos de Nuevo
Ingreso a Secundaria (IDANIS);
♦ Pruebas para las Olimpiadas del Conocimiento.
♦ Pruebas de Estándares
Matemáticas.
Nacionales
de
Lectura
y
Comenzaron evaluaciones cualitativas y se impulsó la
creación de las AEE.
1.3 Los avances de 2001 a 2007
♦ La DGEP continuó los proyectos
comenzó la evaluación diagnóstica.
anteriores
y
♦ La SEP comenzó a difundir algunos resultados.
♦ En el marco del PEC comenzó
proyecto de evaluación cualitativa.
un
ambicioso
♦ Algunos
estados
fortalecieron
sus
propias
evaluaciones y comenzaron a difundir resultados.
El Instituto Nacional para la Evaluación
de la Educación
♦ Se creó en 2002, para evaluar la calidad del sistema
educativo como tal.
♦ Primer informe fines 2003: resultados de pruebas
primaria y secundaria, e indicadores del contexto y
recursos de escuelas.
♦ Análisis de calidad de evaluaciones pasadas:
demasiadas, con diseño no siempre apropiado para
propósito no claro; usaban instrumentos elaborados
con un propósito para otro distinto.
♦ Señaló que era más adecuado un enfoque con ciclos
de grados y áreas curriculares clave, y muestras.
A partir de 2004, el INEE se propuso:
♦ Desarrollar nuevas pruebas para evaluar el sistema
educativo.
♦ Hacer un Plan de Desarrollo.
♦ Impulsar la difusión de resultados para autoridades,
maestros y sociedad.
♦ Promover la integración de los esfuerzos de
evaluación en un auténtico sistema nacional de
evaluación educativa.
En 2004:
♦ Última aplicación de PEN; los resultados se difundieron
en diciembre con PISA 2003.
♦ Nuevos instrumentos, Exámenes de la calidad y el
logro educativo (Excale).
♦ Se preparó un Plan Maestro de Desarrollo. (PMD)
♦ Se impulsó la difusión de resultados: a las autoridades,
la sociedad y los periodistas.
♦ Apoyo a entidades para difundir resultados por escuela.
♦ Para promover el sistema nacional de evaluación se
elaboró el documento Política Nacional de Evaluación y
se buscó la coordinación con las entidades federativas.
En 2005, 2006 y 2007:
♦ El desarrollo de las nuevas pruebas Excale continuó
conforme lo planeado:
♦ Se cumplieron metas primera etapa del PMD (20042006), tanto en pruebas Excale como evaluaciones
internacionales, sistema de indicadores y evaluación de
recursos y procesos de escuelas.
♦ El trabajo de difusión de resultados siguió adelante.
♦ Sistema Nacional de Evaluación Educativa: colaboración
INEE-SEP incluyó diseño de sistema conjunto de
indicadores, apoyo para desarrollar pruebas ENLACE y
preparar marco regulatorio del Sistema Nacional de
Planeación y Evaluación Educativas.
En cuanto a media superior, está incluida en el
ámbito de acción del INEE, pero hasta 2006 las
acciones del Instituto se refirieron sólo a la
básica. En 2007 la SEMS comenzó un trabajo
para diseñar y poner en marcha sistema de
evaluación; el Instituto participa en él.
2. Actores y condicionamientos
2.1 Evaluadores y aspectos técnicos
2.2 Autoridades educativas y aspectos políticos
2.3 Sociedad en general
2.4 Los medios de comunicación
2.5 El común denominador: la falta de cultura de
evaluación
3. Lecciones aprendidas
3.1 En cuanto a lo técnico, dos lecciones de los
primeros años del INEE:
♦ Es posible hacer evaluación de alta calidad, si se dan
los pasos necesarios, con base en metodologías
probadas y asesoría de las personas más calificadas.
♦ Se pueden dominar las técnicas
mediante procesos intensivos de
perder de vista la importancia
investigadores jóvenes formados
posgrados.
más avanzadas
capacitación, sin
de incorporar a
en los mejores
Los avances se han dado en un lapso
corto:
♦ EXCALE 06 y 09: inicio 02/2004; aplicación 06/2005;
resultados 08/2006.
♦ EXCALE 03: inicio
resultados 08/2007.
01/2005;
aplicación
06/2006;
♦ EXCALE 00: inicio
resultados 08/2008.
01/2006;
aplicación
05/2007;
♦ ENLACE:
inicio
02/2006;
resultados 10/2006.
aplicación
06/2006;
♦ Panorama 2003, 2004, 2005 y 2006.
♦ Sistema conjunto indicadores: inicio
volumen 1 y diseño del sistema, 06/2006.
06/2005;
3.2 En cuanto a la difusión de resultados. Otras
lecciones:
♦ Esfuerzos de difusión, si se les presta atención y se
basan en un trabajo serio, van ganando poco a poco
la confianza de las autoridades y la sociedad.
♦ Lo anterior se traduce, en lapsos razonables, en el
uso de resultados de evaluaciones para tomar
decisiones que mejoren la educación.
♦ Si se involucra al maestro en el trabajo de evaluación
y se le comunican los resultados en forma clara,
desarrolla actitudes positivas y comienza a usarlos.
♦ Es difícil llevar a la sociedad información compleja en
forma accesible; es más fácil producir un cuaderno
técnico que un folleto de divulgación.
♦ La difusión masiva es cara y más si se quiere llegar al
público de todas las entidades en un país grande.
Aunque siga habiendo noticias sensacionalistas e
interpretaciones sin sustento, en comparación con la
situación anterior hay avances indudables:
♦ Hace diez años: no se difundía resultado alguno y no
había demandas en ese sentido;
♦ Hace cinco años: comenzaba la difusión; su nivel en
medios sólidos inferior al nivel actual de los menos
sólidos.
♦ Hoy: se considera normal que los resultados se
difundan; hay reclamos por demoras de pocos días;
nivel de medios sólidos superior, aunque lejos de lo
ideal.
3.3 En cuanto a los factores que influyeron en
el proceso
3.3.1 Cambios en el rol de autoridades,
sociedad
y
medios
de
comunicación
3.3.2 El desarrollo
técnica
de
la
capacidad
CONCLUSIÓN
BALANCE Y PERSPECTIVAS
Para
que
sea
provechosa,
evaluación deberá:
una
♦ Partir de un concepto de calidad amplio que, sin
negar la importancia de los resultados educativos,
no se reduzca a ellos, sino que incluya otros
aspectos.
♦ Precisar con claridad su propósito y diseñarse de
manera congruente con él.
♦ Utilizar instrumentos/procedimientos que aseguren
validez, confiabilidad y comparabilidad.
♦ Definir referentes pertinentes y variados para
contrastar los resultados de las mediciones;
♦ Llevar a juicios de valor mesurados, que tengan en
cuenta alcances y límites de mediciones y
elementos
relevantes
del
entorno
para
contextualizar.
♦ Difundir los resultados de manera amplia y
oportuna buscando que las interpretaciones que se
hagan sean correctas, y coadyuvar a su uso.
Los principales riesgos
sistematizan así:
a
evitar
se
♦ Inadecuada planeación: no se definen bien los
propósitos, se mezclan o las evaluaciones no se diseñan
de manera congruente con ellos.
♦ Inadecuada implementación: no se respetan exigencias
metodológicas, produciendo ausencia de validez y/o
confiabilidad de resultados.
♦ Inadecuado análisis: no se tienen en cuenta alcances y
límites de cada acercamiento, o elementos del contexto.
♦ Inadecuada difusión: se ocultan resultados, o se difunden
sin aportar elementos para su correcta interpretación.
♦ Inadecuados usos: los resultados
decisiones sin sustento sólido.
se
utilizan
para
En síntesis:
♦ Hasta 2000 había varias evaluaciones a cargo de la
SEP, con limitaciones técnicas, no se difundían, y no
estaban articuladas. Además se producían estadísticas
básicas.
♦ Se han dado pasos importantes, como los señalados,
tanto en lo técnico, como en difusión y articulación.
♦ Habrá que seguir mejorando técnicamente pruebas,
otras evaluaciones e indicadores; seguir impulsando
difusión de resultados, en especial para autoridades y
maestros; desarrollar el sistema de evaluación de
educación media superior; y dar sustento jurídico al
sistema nacional de evaluación.
MUCHAS
GRACIAS