Lineamientos para el diseño, aplicación y calificación de los Exámenes para el Seguimiento al Logro Académico (EXSLA). 1. Diseño de los EXSLA Los EXSLA tienen el propósito de aportar información periódica sobre el nivel de logro académico alcanzado por los alumnos, de 3º a 6º grado de las escuelas públicas del Distrito Federal, en los temas y contenidos del plan y programas de estudio vigentes y constituye una oportunidad para saber hasta dónde docentes, directivos y autoridades educativas hemos alcanzado las metas propuestas para el ciclo escolar. Concebidos como instrumentos de una evaluación continua y formativa, cuyos eventos de aplicación se realizan bimestralmente, los EXSLA permiten contar con un diagnóstico permanente sobre los niveles de logro académico observado por los alumnos a través del ciclo lectivo, lo cual posibilita, por un lado, fundamentar las decisiones de las autoridades y, por otro, elaborar estrategias orientadas a mejorar los aprendizajes en las aulas. Los EXSLA están orientados a la evaluación de contenidos curriculares de español, matemáticas y, para el ciclo 2011-2012, ciencias naturales, por medio de pruebas objetivas y estandarizadas cuya elaboración está a cargo de los equipos técnicos de la Coordinación Sectorial de Educación Primaria (CSEP). El proceso para la elaboración de los EXSLA inicia con el análisis del currículum de los cuatro grados evaluados para construir las tablas de especificaciones correspondientes, las cuales reflejan la carga horaria, la importancia y el nivel de complejidad de los temas y contenidos de cada una de las asignaturas. Esto tiene como consecuencia que el número de reactivos varíe de aplicación a aplicación. A continuación, y en estricto apego a las tablas de especificaciones, se construye cada uno de los reactivos, los cuales tratan de observar la normatividad técnica que sobre el tema rige a los correspondientes de la prueba ENLACE. Así mismo, 1 la construcción de reactivos se apoya en el análisis estadístico, con el modelo clásico y con el de la Teoría de Respuesta al Item, de las evaluaciones anteriores, lo cual permite aceptar, ajustar y calibrar cada uno de ellos. Los reactivos aceptados y calibrados se almacenan en un banco que es utilizado en cada aplicación para dar estabilidad a las medidas de las pruebas. El proceso del diseño de los exámenes concluye con el ensamblaje de los reactivos y con su edición e ilustración. En cada aplicación se construyen, revisan y validan alrededor de 300 reactivos, lo que implica realizar este proceso a 1200 reactivos en un año. Paralelo a la construcción de las pruebas, se realiza el diseño de las hojas de respuesta y de los listados y materiales para el control de la aplicación. Características El ejercicio de evaluación se basa en la aplicación de una prueba objetiva y estandarizada que mide contenidos curriculares definidos en el Plan y programas de estudio vigentes de educación primaria, en las asignaturas de Matemáticas, Español y Ciencias Naturales. La prueba consta de un cuadernillo de preguntas y de una hoja óptica de respuestas. Para el caso de la aplicación de diagnóstico, está estructurada por 28 reactivos de opción múltiple de cada asignatura para 3o y por 40 reactivos para 4º, 5º y 6º grados. El número de reactivos podrá variar de aplicación a aplicación. 2. Aplicación de los EXSLA El calendario definitivo para la aplicación de los EXSLA se dará a conocer apenas terminada la evaluación de diagnóstico que se aplicará los días 5 y 6 de octubre del año en curso. La selección de las fechas para la aplicación de los EXSLA tiene el objetivo de permitir el regreso de los resultados de las evaluaciones a las escuelas en un lapso no mayor a un mes y dentro de los periodos regulares de clases, posibilitando con ello la elaboración de planes de intervención para la mejora del rendimiento escolar de los alumnos. 2 La distribución de los exámenes y de las hojas de respuesta se realiza de acuerdo con matrices elaboradas por la CSEP, con información obtenida de la estadística del bimestre inmediato anterior a la aplicación. Los exámenes se entregan a granel en las Direcciones Operativas o en los módulos de distribución. Las hojas de respuesta, por su parte, son empaquetadas e identificadas por zona escolar y enviadas de esta manera a las Direcciones Operativas o módulos de distribución. La aplicación de los ejercicios de evaluación se llevarán a cabo en sesiones de 45 minutos distribuidas en dos días y se destinará una sesión para el conteo de aciertos, en donde participarán los alumnos. Por ejemplo, en el caso de la evaluación de diagnóstico, se realizarán cuatro sesiones de aplicación de 45 minutos el primer día y dos el segundo, la hora y media restante del segundo día se dedicará al conteo de aciertos. Normas de la aplicación De los participantes a) Los destinatarios son los alumnos de 3° a 6° grados de las escuelas primarias públicas del Distrito Federal. b) Los Titulares de las Direcciones Operativas son los responsables generales de la aplicación. Entregan a cada supervisor de sector o de zona los materiales de aplicación y comunican las normas generales de organización. c) Los supervisores de sector, cuando sea el caso, entregan a los supervisores de zona los materiales respectivos y participan en la observación de la aplicación en las escuelas. d) Los supervisores de zona tienen como responsabilidad la distribución de los materiales a las escuelas, la organización de la aplicación, en coordinación con los directores de escuela, la observación de la aplicación, así como el reporte de resultados. e) Los directores de escuela designan a los docentes aplicadores por grupo, de acuerdo a la estrategia establecida con el supervisor, organizan la 3 aplicación en la escuela y reportan los resultados al supervisor de zona. Ningún maestro aplica la prueba a sus propios alumnos. No habrá aplicadores externos. f) Los docentes aplicadores atienden durante los dos días de aplicación al grupo que le ha sido designado. De los instrumentos a) Cuadernillos de preguntas y hojas ópticas de respuestas. Cada alumno contará con un cuadernillo de preguntas y una hoja óptica de respuestas en la que anotará sus datos personales en las áreas correspondientes. b) Listados para el control de la aplicación (LCA). El docente anota en los LCA el nombre del alumno a un lado del folio de la hoja de respuestas que le fue asignada. (Anexo 1). c) Formato para Aplicación en el Aula (Forma FAA). El docente aplicador registra en este documento los resultados del grupo. (Anexo 2). d) Formato para Aplicación en la Escuela (Forma FAE). En este documento el director concentra los resultados de todos los grupos y registra los resultados de la aplicación por escuela. (Anexo 3). De la aplicación a) Antes del examen el docente titular del grupo explicará a los alumnos el sentido que tiene la aplicación del instrumento. Comentará con ellos que los ejercicios de evaluación tiene la intención de explorar lo que han aprendido en las asignaturas de Español, Matemáticas y Ciencias Naturales, ya que ello servirá para saber lo que hay que mejorar en cuanto a la manera de trabajar con éstas y las demás asignaturas en el salón de clases. b) Los alumnos no deberán conservar las pruebas ni las hojas de respuesta en los intervalos de cada sesión. Tanto las pruebas como las hojas de respuesta quedarán en resguardo del docente aplicador al término de cada sesión. c) Los alumnos deberán contestar todas las preguntas en su respectiva hoja 4 de respuestas. IMPORTANTE La hoja óptica de respuestas deberá ser llenada únicamente con lápiz del número 2 ó 2 ½. Por ningún motivo se deberá utilizar bolígrafo, bicolor, crayón o algún otro medio diferente al lápiz número 2 ó 2 1/2 en la respuesta de los reactivos, los datos de identificación y durante el proceso de calificación. Así mismo, durante el proceso de calificación de los reactivos en aula, las marcas de correcto e incorrecto y del total de aciertos en cada una de las asignaturas deberán anotarse dentro de los cuadros señalados para ello. Para evitar la anulación de la hoja de respuestas y el retraso en la lectura óptica es necesario asegurarse que los alumnos y docentes eviten escribir o poner marcas en las áreas en donde está impreso el código de barras y el número binario, así como en el de las marcas de tiempo. Estas áreas han sido identificadas con leyendas claras de advertencia. (Anexo 4). Otro aspecto a considerar para asegurar la equidad, la imparcialidad y la confiabilidad de la evaluación es evitar que los docentes dirijan la prueba, dicten las preguntas y las opciones a los alumnos o marquen o remarquen sus respuestas. d) Los exámenes se aplicarán de acuerdo con el calendario mostrado anteriormente en todas las escuelas, conforme a las indicaciones del supervisor de zona. La aplicación se realizará en apego al siguiente horario para el caso de la evaluación de diagnóstico. 5 Horario 9:00 a 9:45 9:45 a 10:30 Turno matutino Primer día Aplicación Español Aplicación Matemáticas 11:45 a 12:30 Recreo Aplicación Ciencias Naturales Aplicación Español Horario 14:00 a 14:45 15:45 a 16:30 Turno vespertino Primer día Aplicación Español Aplicación Matemáticas 11:00 a 11:45 17:00 a 17:45 17:45 a 18:30 Recreo Aplicación Ciencias Naturales Aplicación Español Segundo día Aplicación Matemáticas Aplicación Ciencias Naturales Conteo de aciertos, registro en formato y entrega a la dirección Segundo día Aplicación Matemáticas Aplicación Ciencias Naturales Conteo de aciertos, registro en formato y entrega a la dirección Del desarrollo de la Aplicación a) El Docente-aplicador recibirá, por parte del director los materiales respectivos, verificando la cantidad recibida de acuerdo al grupo que atenderá. b) El Docente-aplicador registrará en el Formato para Aplicación en el Aula la información correspondiente. c) El Docente-aplicador presentará al grupo las instrucciones, el propósito del examen, las indicaciones para resolverlos y promoverá un ambiente de cordialidad, respeto y honestidad. d) Se deberá evaluar a todos los alumnos. e) Los alumnos que falten a una o más sesiones, podrán recuperar las sesiones que no contestaron. El director de la escuela establecerá el mecanismo que corresponda para atender adecuadamente estos casos de excepción. No se olvide que la intención es promover la participación del 100% de los alumnos. Se trata de un ejercicio de evaluación que por ningún motivo debe adquirir rasgos punitivos. 6 f) Al término del primer día de aplicación, el Docente-aplicador entregará al director las pruebas junto con el Formato para la Aplicación en el Aula(FAA). g) En el segundo día, después de la aplicación del examen, el Docenteaplicador entrega al director el Formato de Aplicación en el Aula debidamente requisitado. Los cuadernillos de preguntas se entregan al maestro titular del grupo, a fin de que se realice un aprovechamiento exhaustivo de los materiales posterior a la aplicación. Se pretende que el docente titular junto con sus alumnos y padres de familia revisen el examen con la intención de aclarar las dudas que se hayan generado al resolverlo, reconocer aquellos temas donde es necesario profundizar o retomar su estudio nuevamente. Las hojas ópticas de respuesta se empacarán dentro de la bolsa en la que fueron recibidas junto con los Listados para el Control de la Aplicación (LCA) y serán entregadas por grupo al director de la escuela quien, a su vez, las entregará al supervisor de zona junto con la forma FAE. Del conteo de aciertos a) Una vez concluida la tercera sesión de resolución del examen, el Docenteaplicador recoge los cuadernillos y distribuye las hojas ópticas de respuestas, cuidando que a ningún alumno le corresponda su propia hoja, para realizar el conteo de aciertos. b) El maestro lee detenidamente el reactivo y la respuesta; los alumnos, en la hoja óptica de respuestas, proceden a señalar con √, dentro de cada cuadro impreso para ello, cuando la repuesta sea correcta. c) Al finalizar, el maestro indica a los alumnos que hagan el conteo de las respuesta correctas y las registren en el cuadro impreso y con la leyenda “Total de aciertos” al final de la hoja, para cada asignatura. d) El maestro recoge las hojas ópticas de respuestas y registra el resultado global del grupo en el Formato de Aplicación en el Aula (FAA). 7 De los reportes internos de resultados a) Cada docente aplicador entrega al director de la escuela el Formato de Aplicación en el Aula con los resultados del grupo al que atendió. b) El director de la escuela concentra los resultados de todos los grupos en el formato correspondiente y los entrega al supervisor de zona. c) El supervisor de zona concentra los resultados de las escuelas de la zona y los captura en el sitio web habilitado para tal efecto. http://csep/usuarios. (Anexo 5). De la lectura y calificación de las hojas de respuesta. a) El supervisor de zona entrega las hojas de respuesta al personal de la Dirección Operativa quien, a su vez, las entrega a la CSEP. b) La CSEP recibe, registra y lee el total de las hojas de respuesta en un lapso no mayor a 15 días hábiles. c) La CSEP valida la lectura óptica y realiza el primer análisis estadístico de la información para verificar, a través del modelo clásico, la consistencia y validez de los reactivos aplicados. d) La CSEP, realiza un segundo análisis estadístico de la información, basado en la Teoría de Respuesta al Ítem, con la finalidad, por un lado, de observar el ajuste al modelo de cada uno de los reactivos y de las pruebas en su conjunto y, por otro, de obtener las medidas por alumno en cada una las asignaturas evaluadas. e) La CSEP, con base en las actividades anteriores, califica las pruebas y asigna puntajes y medidas, procediendo a aplicar los puntos de corte utilizados en la ENLACE para definir el nivel de desempeño o logro académico en el que se encuentran los alumnos en cada una de las asignaturas evaluadas. f) Son puestos a disposición de los grupos técnicos de la CSEP los análisis estadísticos de los reactivos y de las pruebas con la finalidad de que sirvan de insumo fundamental en la construcción de las pruebas que serán aplicadas en el siguiente ejercicio de evaluación. 8 De los reportes externos de resultados a) Para cada aplicación, la CSEP diseñará y producirá los siguientes reportes de resultados. Tipo de reporte Grupo Niveles de logro académico por asignatura Porcentajes de aciertos y descriptores gráficos por reactivo-contenido, componente y asignatura √ √ Nivel de agregación Zona Sector Dirección Operativa √ √ √ √ √ CSEP √ √ √ b) La CSEP producirá los reportes de resultados en formato electrónico tipo PDF (Portable Document Format de Adobe) y los pondrá a disposición de todos los actores participantes en la evaluación a través de su página electrónica. Los reportes serán enviados también a las Direcciones Operativas para asegurar su distribución a los sectores, zonas y escuelas. (Anexos 6 y 7). Después de la aplicación Posterior al ejercicio de evaluación. En sus respectivos ámbitos de responsabilidad, el supervisor general de sector, el supervisor de zona y el director de la escuela convocan al personal a su cargo directo para hacer un análisis de los resultados obtenidos. Se deberán tomar decisiones respecto a las acciones pedagógicas que se deben fortalecer, emprender o modificar a fin de mejorar los aprendizajes de los alumnos a su cargo. Sugerencias para el análisis de la información en las escuelas El análisis de los resultados de la evaluación se realiza cotidianamente en los espacios educativos y en éste no sólo participan las autoridades escolares y los maestros, también participan los alumnos y padres de familia. Por lo que los docentes junto con sus alumnos pueden buscar un tiempo de reflexión en grupo para aligerar la tensión del examen y hacer un sondeo sobre el grado de dificultad encontrado. Reconocer esta práctica cotidiana como un ejercicio valioso y elaborar un sencillo balance donde los alumnos registren sus apreciaciones permite 9 también escuchar la voz de quienes directamente están involucrados en esta tarea, los niños. Con la intención de recuperar la información que la aplicación de la presente evaluación nos aporta y diseñar estrategias para fortalecer el trabajo del aula, corresponsabilizando a todos los involucrados en la tarea educativa, maestros, alumnos, padres de familia y autoridades escolares, se plantean algunas sugerencias para analizar la experiencia una vez concluido este proceso. I. Difundir la información de los resultados obtenidos Actividad Elaborar gráficas para ilustrar los resultados en el periódico mural de la escuela, boletín informativo, tríptico para los padres de familia, entre otros. II. Promover espacios de reflexión y análisis de los resultados Proponer un momento para el análisis de los resultados en cada grupo, donde el maestro y los alumnos revisen y respondan a los siguientes cuestionamientos: a. b. c. d. e. ¿En qué asignatura obtuvieron menor calificación? ¿En qué asignatura su calificación fue más alta? ¿A qué creen que se deba que el grupo obtuvo esas calificaciones? ¿Hubo alguna pregunta en particular que les representó mayor dificultad?. ¿Por qué? ¿Qué vamos a hacer para alcanzar mejores resultados? Nota: Como un ejercicio reflexivo el docente puede promover con el grupo la elaboración de textos donde el alumno narre cómo vivió el examen o elaboren cartas donde escriban sus retos personales, las depositen en una caja o urna y en la siguiente evaluación hacer una reflexión de sus retos personales y los logros obtenidos. III. Comentar con los padres de familia el propósito de la evaluación y los resultados obtenidos para acordar tareas de apoyo específico. Proponer estrategias de trabajo colaborativo. 10 Actividades en colegiado de escuela: En la reunión de Consejo Técnico realizar un análisis con los gráficos integrando las conclusiones a las que llegaron en cada uno de los grupos. Recuperen los análisis a los que llegaron en cada grupo con sus alumnos, así como los compromisos de apoyo con los padres de familia. En colegiado propongan alternativas para elevar los resultados obtenidos. Actividades en colegiado de zona escolar: En reunión de C.T. de zona el supervisor y directores deberán exponer los resultados y plantear las siguientes preguntas: a) ¿Por qué creen que lograron esos resultados en las diferentes asignaturas? b) ¿Qué opinaron los maestros y los alumnos de la escuela al respecto? c) Desde su función de directores y supervisor de zona ¿Cómo apoyar a los grupos de la escuela para superar las posibles deficiencias encontradas? Elaboren, junto con los directores de las escuelas, un plan de actividades para apoyar las áreas donde se obtuvo un puntaje menor, así como para fortalecer aquéllas donde se obtuvieron buenos resultados. 11 Anexo 1 Listados para el control de la aplicación 12 Anexo 2 Forma FAA 13 Anexo 3 Forma FAE 14 Anexo 4 Hoja óptica de respuestas 15 Anexo 5 16 Anexo 6 Reporte de resultados. Niveles de Logro por asignatura. Resultados por grupo en comparación con los de la zona escolar. 17 Anexo 7 Reporte de resultados. Porcentajes de aciertos y descriptores gráficos por reactivo-contenido, componente y asignatura. Resultados por grupo. 18 Anexo 7 (Continúa) Reporte de resultados. Porcentajes de aciertos y descriptores gráficos por reactivo-contenido, componente y asignatura. Resultados por grupo. 19 Anexo 7 (Continúa) Reporte de resultados. Porcentajes de aciertos y descriptores gráficos por reactivo-contenido, componente y asignatura. Resultados por grupo. 20