UNIVERSIDAD DE LA FRONTERA FACULTAD DE EDUCACION Y HUMANIDADES LA EVALUACION FORMATIVA COMO AYUDA EN LA CONSTRUCCION DE APRENDIZAJES EN ESTUDIANTES DE PRIMER AÑO MEDIO, DE UN COLEGIO PARTICULAR SUBVENCIONADO DE TEMUCO. Tesis presentada para obtener el Grado de Magister en Educación Alumno: Carlos Adrián Salazar Fuentes Profesor Patrocinante: Dra. Cecilia Quaas Fermandois TEMUCO – CHILE 2013 UNIVERSIDAD DE LA FRONTERA FACULTAD DE EDUCACION Y HUMANIDADES LA EVALUACION FORMATIVA COMO AYUDA EN LA CONSTRUCCION DE APRENDIZAJES EN ESTUDIANTES DE PRIMER AÑO MEDIO, DE UN COLEGIO PARTICULAR SUBVENCIONADO DE TEMUCO. Tesis presentada para obtener el Grado de Magister en Educación Alumno: Carlos Adrián Salazar Fuentes Profesor Patrocinante: Dra. Cecilia Quaas Fermandois TEMUCO – CHILE 2013 III A mi familia Soledad compañera de viaje, gracias por tu empuje y fortaleza en todo momento; Ernesto, gracias por tu apoyo de hijo y de alumno, y por tener el privilegio de verte crecer en ambas direcciones; Ayelen, gracias por tu sonrisa abierta y solidaria, cada centímetro que creces es un aliento a ser mejor padre y educador; Llampuzken, llegaste a inundar nuestro hogar con tus alitas nuevas y tus ojitos inmensos, gracias por venir a acompañar nuestro camino. IV AGRADECIMIENTOS En primer lugar quisiera agradecer a Conicyt, por haber creido en mí. Sin la Beca, mis estudios no habrían podido concretarse. Mi deseo es seguir contribuyendo en la educación de los jóvenes de mi país, y este estímulo de volver a la Universidad, sólo fue posible gracias al aporte de Conicyt. A mi Profesora Patrocinante, Dra. Cecilia Quaas, por su humildad, paciencia y su capacidad de enseñar, en todo momento. A los estudiantes que he tenido a lo largo de mis años de docencia, en especial el Segundo año medio “B”, al cual denomino G-2015, del Colegio Scole Creare. Con ellos y por ellos, estoy en el mundo de la enseñanza y del aprendizaje. A mis compañeros profesores y directivos del Colegio Scole Creare, que son parte de un esfuerzo importante por hacer mejor educación. A mis compañeros de Magister, en especial a Julio César, María Graciela, Marcia, Claudio, Andrea, Nancy, Carolina y Juan Marcos, con quienes avanzamos y compartimos buenos momentos. A la Directora del Magister, Dra. Sonia Osses, por el tiempo destinado y la genuina dedicación para los alumnos del Programa. V RESUMEN La presente investigación se enmarca en el uso de la evaluación formativa mediante la retroalimentación como ayuda en la mejora de los aprendizajes. Es una IAP, que se desarrolla en un colegio subvencionado de la ciudad de Temuco, donde los sujetos de la investigación son alumnos de primer año medio. Los datos son recogidos durante el año 2012, a través de diversos instrumentos (observación, entrevistas, grupo focal, encuesta, evaluaciones), lo que va configurando una mirada global y particular sobre el uso de la evaluación formativa más allá del discurso de los docentes. La investigación parte del supuesto que los docentes utilizan escasamente la evaluación formativa, y que en el caso de la Retroalimentación, esta es vista sólo como una acción remedial, en base a preguntas correctas e incorrectas, donde se coloca en primer orden la “necesidad” de una calificación por sobre el logro de aprendizajes de los estudiantes. Esta limitante del accionar evaluativo, es usada en la investigación, para lograr dejar instalado en el establecimiento, la retroalimentación permanente, con un carácter más prospectivo que retrospectivo. Para ello se trabaja en la instalación de un modelo de planificación de clases, que da cuenta de esta particularidad, y cuyo funcionamiento se monitorice a partir de observación de clases periódica, revisión del protocolo de planificación (incluye cronograma anual, planificación de unidad, evaluaciones, talleres, pautas y guías), y diálogo permanente entre docentes (departamentos). La planificación de clases parte desde la evaluación, por lo tanto el eje de la actividad escolar serán los indicadores de evaluación. Las actividades que se contemplen deben estar coherentemente concatenadas en función de los aprendizajes que deben ser logrados durante el proceso de revisión de los contenidos. Este proceso se colocó en marcha a partir de evaluaciones estandarizadas internas, que en dos momentos del año, entregaban información sobre la apropiación de los aprendizajes. Dado que los resultados obtenidos mejoraron de un semestre a otro, se optó por incorporar esta planificación para toda la actividad educativa del establecimiento. VI ÍNDICE GENERAL 1. INTRODUCCIÓN ...................................................................................................................... 1 2. PLANTEAMIENTO DEL PROBLEMA ................................................................................... 3 3. PREGUNTA DE INVESTIGACIÓN ......................................................................................... 5 4. MARCO TEÓRICO ................................................................................................................... 6 5. SUPUESTOS ............................................................................................................................ 17 6. OBJETIVOS ............................................................................................................................. 18 7. METODOLOGÍA ..................................................................................................................... 19 7.1. Paradigma .........................................................................................................................................19 7.2. Diseño Metodológico de la Investigación ........................................................................................22 7.2.1. Tipo de Investigación ................................................................................................................22 7.3. Sujetos de la Investigación ...............................................................................................................30 7.4. Técnicas e instrumentos de Recolección de Datos...........................................................................31 7.4.1. Entrevista en profundidad semi-estructurada ...........................................................................32 7.4.2. Grupo Focal ..............................................................................................................................34 7.4.3. Pauta de Seguimiento a Evaluaciones Aplicadas .....................................................................36 7.4.4. Encuesta a estudiantes sobre el uso de la Retroalimentación en su proceso de Aprendizaje. ....41 7.4.5. Prueba de Avance Curricular y la Prueba de Síntesis. .............................................................42 8. RESULTADOS OBTENIDOS ................................................................................................. 48 8.1. Entrevista en profundidad semi-estructurada ...................................................................................49 8.2. Grupo focal.......................................................................................................................................51 8.3. Pauta de Evaluación aplicada a los instrumentos de evaluación. ....................................................53 8.4. Encuesta a estudiantes sobre el uso de la Retroalimentación en su proceso de Aprendizaje. ..........55 8.5. Resultados de la Prueba de Avance Curricular (PAC) y la Prueba de Síntesis. ................................57 9. ANÁLISIS DE RESULTADOS............................................................................................... 59 9.1. Análisis de las Entrevistas ................................................................................................................61 9.2. Análisis Grupo Focal con Alumnos ................................................................................................65 VII 9.3. Pauta de Evaluación aplicada a los instrumentos de evaluación. ....................................................69 9.4. Análisis de Resultados de las Pruebas de Avance Curricular y de Síntesis. ...................................71 9.5. Análisis de la Encuesta a estudiantes sobre el uso de la Retroalimentación. ...................................74 10. DISCUSIÓN E INTERPRETACIÓN DE LOS RESULTADOS .......................................... 75 11. HALLAZGOS ....................................................................................................................... 81 12. REFERENCIAS BIBLIOGRÁFICAS .................................................................................... 86 ANEXO ......................................................................................................................................... 89 ANEXO 1. GUION DE ENTREVISTA ..................................................................................................90 ANEXO 2. GUION GRUPO FOCAL .....................................................................................................91 ANEXO 3. EJEMPLO DE PRUEBAS SOMETIDAS A PAUTA DE ANÁLISIS .................................92 ANEXO 4. MODELO DE PLANIFICACIÓN ........................................................................................96 ANEXO 5. CONSENTIMIENTO INFORMADO PROFESOR .............................................................97 ANEXO 6. CONSENTIMIENTO INFORMADO ESTUDIANTE .........................................................98 VIII Índice de Imágenes, Gráficos y Tablas Imagen N° 1. Pregunta N° 7 de la Encuesta, Retroalimentación de la Evaluación. ...................... 41 Gráfico N° 1. Pregunta N° 5 de la Encuesta a estudiantes sobre Retroalimentación .................... 55 Gráfico N° 2. Pregunta N° 7, de la Encuesta a estudiantes sobre Retroalimentación ................... 56 Gráfico N° 3. Comparación de Rendimientos entre pruebas PAC y de Síntesis ........................... 57 Gráfico N° 4. Comparación de rendimiento igual o superior a 75%. ............................................ 58 Gráfico N° 5. Comparación de rendimiento igual o inferior a 25%. ............................................. 58 Tabla N°1. Características Generales que definen dos Lógicas de Evaluación............................... 9 Tabla N° 2. Aspectos de la Evaluación Formativa ......................................................................... 11 Tabla N° 3. Tipología de Retroalimentación de profesores hacia alumnos ................................... 16 Tabla N° 4. Etapas de la IAP.......................................................................................................... 24 Tabla N° 5. Etapas de la Investigación. ......................................................................................... 30 Tabla N° 6. Conjunto de Criterios para Analizar una Evaluación ................................................. 36 Tabla N° 7. Hoja de Excel para incorporar las respuestas de los estudiantes en las evaluaciones. 44 Tabla N° 8. Hoja en Excel, que aporta Datos para el Análisis de Evaluación por Item. ............... 45 Tabla N° 9. Cuadro Resumen de Datos de rendimiento por Habilidad. ........................................ 46 Tabla N° 10. Cuadro Resumen de Rendimiento por contenido ..................................................... 46 Tabla N° 11. Cuadro Resumen, cruzando Rendimiento y Habilidades. ........................................ 47 Tabla N° 12. Resumen de Rendimiento y Calificaciones Obtenidas ........................................... 47 Tabla N° 13. Resumen de Resultados de la Evaluación de las Evaluaciones ............................... 53 Tabla N° 14. Tramos de Evaluaciones Rendidas por estudiante. .................................................. 71 Tabla N° 15. Pruebas Rendidas ..................................................................................................... 72 Tabla N° 16. Comparación de Logros. .......................................................................................... 72 Tabla N° 17. Comparación de Rendimientos. ............................................................................... 73 Tabla N° 18. Pregunta sobre la preparación de la Evaluación....................................................... 74 Tabla N° 19. Pregunta sobre Retroalimentación ........................................................................... 74 1. INTRODUCCIÓN Nuestra sociedad está envuelta en un complejo escenario de transformación. Una transformación, que va más adelante de lo planeado y que afecta nuestra forma de organizarnos, de trabajar, de relacionarnos y, por cierto, de cómo aprendemos. En la escuela, estos cambios tienen gran notoriedad: nuestros estudiantes disponen de muchísimas fuentes de información, las cuales se ven acrecentadas por el aporte de las NTICs. Esta situación hace necesario que desde la escuela se haga un replanteo de las formas de encarar el proceso de formación de nuestros estudiantes. Hay coincidencia que vivimos en una sociedad, cuyo principal valor es el conocimiento. El cual se ve reflejado en altos niveles de formación de sus ciudadanos y la capacidad de innovar y emprender múltiples tareas. Esta vertiginosa carrera por alcanzar altos estándares tiene una característica esencial: la caducidad del conocimiento. Ello obliga a estar permanentemente en actividades de perfeccionamiento para satisfacer las demandas de la ciudadanía. ¿Cuál es el papel del profesor en esta sociedad cambiante? Estar atento a los cambios en la forma de aprender, que la responsabilidad de la formación profesional está en las propias manos, observando con detalle el momento social que le corresponde vivir. “Hacer de nuestras escuelas espacios en los que no sólo se enseña sino en los que los profesores aprenden, representa el gran giro que necesitamos. Y para ello, nada mejor que entender que es el derecho a aprender de nuestros alumnos, el principio que debe orientar la formación. Una formación dirigida a asegurar un aprendizaje de calidad en nuestros alumnos, comprometida con la innovación y la actualización. Que supere el tradicional aislamiento que caracteriza a la profesión docente. Una formación que consolide un tejido profesional a través del uso de las redes de profesores y escuelas y que facilite el aprendizaje flexible e informal. Una formación en definitiva que contribuya a reprofesionalizar la docencia frente a aquellos que pretenden simplificar la complejidad del acto de enseñar.” (Marcelo, 2002, pág. 29) 2 En este escenario la evaluación cobra un papel relevante. Sobre todo cuando se trata de superar la evaluación como sinónimo de rendimiento escolar. En la actualidad, la evaluación es vista (idealmente), como un elemento que cruza el sistema educativo, “La evaluación es el motor del Aprendizaje, ya que de ella depende tanto qué y cómo se enseña, como el qué y cómo se aprende” (Sanmartí, 2008, pág. 19). Hoy por hoy, no sólo se evalúa a los educandos y maestros, sino también la escuela en su conjunto. La presente investigación se refiere a la evaluación formativa y la construcción de aprendizajes (Pérez Rivera, 2007), en un caso empírico de un primer año medio de un colegio particular subvencionado de Temuco, donde a través del estudio cualitativo se indagará en los/as alumnos/as, profesores/as y equipo directivo, los elementos claves que cruzan Evaluación Formativa y aprendizaje. El periodo de la investigación fue el año académico del año 2012, los resultados de la misma serán compartidos con la comunidad educativa en una reunión conjunta. 3 2. PLANTEAMIENTO DEL PROBLEMA “Hoy en día surge con fuerza otro enfoque de evaluación que, más coherente con los actuales planteamientos constructivistas del aprendizaje, privilegia la función formativa de la evaluación, pues ella está estrechamente ligada a la ayuda que se debe otorgar al alumno para reforzar y mejorar su aprendizaje” (Contreras, 2003, pág. 40). Así escribía Contreras (2003), para referirse a los nuevos enfoques que aparecían en el horizonte de la evaluación de los aprendizajes, cuando la Reforma Educativa Chilena estaba en marcha. Hoy nos seguimos preguntando lo mismo, sobre todo cuando se avizoran otros tipos de cambio para la educación chilena: con estudiantes alzando la voz por la calidad y la gratuidad y un Ministerio empeñado en realizar una serie de cambios en el ámbito de los planes y programas de estudio ¿Dónde queda la evaluación formativa? Sigue postergada, bajo el paraguas de las pruebas nacionales y sus resultados cada vez más “importantes” para las comunidades de familias, que ven en esas cifras, parámetros validados de búsqueda de colegios, para la colocación de sus hijos. Esto no es una crítica gratuita a las pruebas estandarizadas que miden año a año a nuestros estudiantes (Simce, PSU, más algunas internacionales, como PISA), sino centrar la mirada en el aula, y qué se está haciendo a partir de la evaluación, para mejorar allí los aprendizajes. La evaluación formativa, entonces debiera entenderse desde una perspectiva crítica reflexiva, cuya principal función es la de ser un medio al servicio del aprendizaje, es decir, relevar por sobre todo la función formativa. Para ello, es necesario que se entienda como un proceso reflexivo apoyado en evidencias de diverso tipo [Santos Guerra, 1996, citado por (Contreras, 2003)]. Esto implica no solamente la evaluación del alumno, sino también incluye la del profesor y la escuela. Es necesario que los profesores estén muy conscientes sobre cómo entienden la evaluación, para qué sirve, cuándo y cómo se evalúa, todo ello con el fin lograr los aprendizajes que se pretenden. Díaz Barriga (1998) afirma que “[…] debe señalarse en forma enfática que la evaluación es parte 4 integral de una buena enseñanza, de hecho podríamos decir sin ningún menoscabo que no es posible concebir adecuadamente a la enseñanza sin la evaluación” (Díaz-Barriga & Hernández, 2002, pág. 352). La evaluación debe hacerse de manera paralela y simultánea al Proceso de Enseñanza y de Aprendizaje (PEyA), ya que se entiende que “permite obtener información, al instante, sobre la interacción profesor-alumno-contenidos-intenciones de enseñanza” (Pérez Rivera, 2007, pág. 21). Esta información debiera permitir, prever o detectar las dificultades que incidan en los aprendizajes, así como sus causas, de tal forma que se puedan tomar decisiones, sobre lo que se hace o simplemente darle una nueva dirección al proceso. Para ir superando la definición de evaluación como sinónimo de calificación, entonces habrá que fijar la mirada en un componente más completo del proceso de evaluar. Evaluar para mejorar, es hacerse cargo del proceso, es aprender y enseñar, como un viaje de múltiples caminos, además de ser ida y vuelta. Por lo tanto en un colegio que intenta encaminar a sus estudiantes hacia aprendizajes de calidad o de larga duración, es preciso que se pregunte ¿qué estamos haciendo en evaluación? 5 3. PREGUNTA DE INVESTIGACIÓN ¿En qué medida la evaluación formativa, específicamente la retroalimentación, aplicada por los profesores que enseñan en primer año medio, ayuda en la construcción de aprendizajes en los alumnos? 6 4. MARCO TEÓRICO El enfoque teórico que orienta la presente investigación está fundamentado en la Evaluación Formativa (Scriven, 1967). La evaluación formativa, será entendida cuando “… la evidencia acerca de los logros de los estudiantes es obtenida, interpretada y usada por docentes, aprendices o sus pares para tomar decisiones acerca de sus próximos pasos en la instrucción que tengan probabilidades de ser mejores, o mejor fundadas, que las decisiones que ellos hubieran tomado en la ausencia de la evidencia que fue obtenida” (Black y William, 2009:6) citado en (William, 2009, pág. 23). Como se dijo en el párrafo anterior, el concepto de evaluación formativa fue empleado primeramente por Michel Scriven en el año 1967, quien la definió como un proceso orientado a mejorar la calidad de un programa y la diferenció de la evaluación sumativa en cuanto esta tenía como propósito el determinar la eficacia global de dicho programa (Amigues y Zerbato-Poudou, 1999) citados en (Contreras, 2003). Sin embargo, con quien más significado obtiene, por su contribución a la práctica, es con Benjamín Bloom con el Mastery Learning (1968-1976). Bloom integró la evaluación formativa a los Procesos de Enseñanza y de Aprendizaje a manera de una retroalimentación basada en la información obtenida por el profesor respecto del logro de ciertos objetivos puestos con antelación. Esta retroalimentación debía, necesariamente, tomar otra forma que la emprendida en la primera ocasión de enseñanza (Contreras, 2003). Sadler (1989) aportó el modelo más aceptado de la evaluación formativa. Este autor indicó que es insuficiente que los maestros simplemente den una retroalimentación respecto de si las respuestas son correctas o incorrectas. En vez de ello, para facilitar el aprendizaje, es igualmente importante que la retroalimentación esté vinculada explícitamente a criterios claros de desempeño y que se proporcione a los estudiantes estrategias de mejoramiento (Shepard, 2006). La evaluación formativa puede ser entendida como un proceso sistemático que permite obtener evidencia continua acerca del aprendizaje de los estudiantes. Los datos obtenidos, pueden ser 7 usados para identificar el nivel de aprendizaje real del estudiante y adaptar los procedimientos de la clase para ir en búsqueda de los aprendizajes esperados (por los estudiantes y el profesor). Bajo este tipo de evaluación, los estudiantes se caracterizan por participar de su proceso de aprendizaje, por lo tanto poseen autonomía de vuelo para tomar decisiones que favorezcan la construcción del conocimiento junto al profesor. Es propio de la evaluación formativa, y en ello coinciden varios autores (Heritage, 2007), (Moreno, 2011), la variada gama de estrategias que posee para obtener evidencias. Los autores mencionados, la clasifican en tres tipos: “evaluación al vuelo, evaluación planeada para la interacción, y evaluación enclavada en el currículum.” (Moreno, 2011, pág. 125). Evaluación al vuelo. Ocurre de forma espontánea durante una clase. Permite corregir aspectos de la clase ya sea porque fueron mal entendidos o persisten dudas razonables de los estudiantes. Se trata de una intervención casi fuera de libreto, que facilita aclarar ideas erradas, sin perder la ruta inicialmente planificada. Evaluación planeada para la interacción. El profesor se anticipa a las preguntas que pudieran formular los estudiantes, planificando una batería de preguntas y respuestas que tiendan a clarificar el conocimiento de lo trabajado y de esta manera aportar a la capacidad de construir buenas interrogantes por parte de los estudiantes. Evaluación enclavada en el currículo. En este plano hablamos de las propuestas entregadas desde la planeación del currículo (programas de estudio) y aquellas que son parte del proceso de la clase (actividades permanentes). ¿Cómo concebir la evaluación formativa, más allá de sus componentes técnicos? Una evaluación que no educa a quienes participan de ella debería ser llamada de cualquier otra forma (Santos Guerra M. , 2006), menos evaluación educativa. En sentido estricto, la verdadera 8 evaluación siempre será formativa (Álvarez, 2001). En ese contexto esta investigación surge como una necesidad de incorporar la evaluación formativa a la propuesta evaluativa de un establecimiento educacional y que de esta forma pueda ayudar de manera significativa al aprendizaje de los estudiantes. Por evaluación formativa debemos entender aquella que ayuda a crecer y a desarrollarse intelectual, afectiva, moral y socialmente al individuo (Moreno Olivos, 2007). La evaluación formativa asoma como una herramienta a disposición del profesor que pretende potenciar el logro de aprendizaje de sus estudiantes. Puede ser utilizada para identificar la comprensión que el alumno posee sobre un determinado tema; clarificar la progresión de su aprendizaje; instalar procesos de intervención eficaces para apoyar a quienes se esfuerzan, pero que muchos de sus resultados no son los esperados; reflexionar para mejorar las prácticas de enseñanza; proveer a los estudiantes de herramientas de autonomía en cuanto a que prosigan su propio camino, entregándoles confianza en sus logros; estimular un proceso de evaluación (mejora) continua y así, conducir a una transformación de la escuela. ¿Qué papel juega la evaluación para el logro de los aprendizajes? Hay suficiente investigación que sitúa a la evaluación en un rol calificador, de medición, de certificación (Álvarez, 2001), pero que al mismo tiempo sufre una serie de patologías (Santos Guerra, 1988), por lo tanto hablar de evaluación formativa y su relación con el aprendizaje, implica acercarse a la definición de evaluación de Ahumada: “es el proceso de delinear, obtener, procesar y proveer información válida, confiable y oportuna que nos permita juzgar el mérito o valía de programas, procedimientos y productos con el fin de tomar decisiones”. (Ahumada, 2006, pág. 18). El Ministerio de Educación en un documento sobre evaluación se preguntaba: “¿Puede la evaluación del desempeño escolar levantar los estándares y mejorar el aprendizaje de los alumnos y alumnas?” (Mineduc, 2006, pág. 23). Respondía con un sí tajante, dando a entender, eso sí, que el foco de la evaluación debía cambiar a una evaluación donde el “esfuerzo debe ponerse en 9 ayudar a los docentes a utilizar la evaluación como parte integral del aprendizaje para mejorar los niveles de logros de sus estudiantes”. (Mineduc, 2006, pág. 23). Un cuadro que permite establecer qué es evaluación formativa de lo que no, es el siguiente, y que resume lo expresado por Perrenoud y otros autores. Tabla N°1. Características Generales que definen dos Lógicas de Evaluación. 1 La lógica de la fabricación de las jerarquías La lógica de la regulación de los aprendizajes El aprendizaje está al servicio de la evaluación. Esta última termina La evaluación está al servicio de los aprendizajes. Sirve tanto al por subordinar la enseñanza. alumno como al maestro. Fabricación de jerarquías; comparación, clasificación, selección y Búsqueda de la información necesaria para comprender y mejorar exclusión: funciones que puede llegar a cumplir la evaluación (Morán, el proceso de aprendizaje de los alumnos (Pérez, 2007). 2007; Pérez, 2007). Tiende a la estandarización. Examen tradicional estandarizado: Tiende a la individualización. Se fomenta la retroalimentación principal técnica de evaluación, pasando de constituir un medio a ser mediante el diálogo interactivo (Black y Wiliam, 2006b). un fin en sí mismo (Moreno, 2009). El alumno es pasivo, es objeto y no sujeto de la evaluación (Moreno, El alumno pasa de ser objeto a sujeto de la evaluación. Esta se 2007). convierte en un trabajo compartido con el profesor (Corominas, 2000). Muestra solo los productos o resultados del aprendizaje. Hay un Muestra simultáneamente los productos y el proceso del énfasis en los resultados en detrimento del proceso, en la cantidad aprendizaje, con énfasis en el proceso antes que en el resultado antes que en la calidad (Bordas, 2001; Moreno, 2009). (Corominas, 2000). En este tipo de evaluación, el alumno entrega su prueba o responde a La evaluación se vuelve un proceso continuo y permanente un interrogatorio y espera el día en que el profesor comunique su (Morán, 2007). Se lleva a cabo paralela y simultáneamente al resultado, con mayor o menor justificación. proceso de enseñanza-aprendizaje (Pérez, 2007). El profesor es el único evaluador (Moreno, 2009). Se fomenta la autoevaluación y coevaluación. El alumno participa activamente en su propio proceso de evaluación (Black y Wiliam, 2006a). 1 (Pérez Expósito & González Aguilar, 2011) 10 El foco entonces es colocar la evaluación al servicio de los aprendizajes. En ese sentido, el desarrollo durante más de cuarenta años del concepto de evaluación formativa, con diversas definiciones y aplicaciones, permiten construir un andamiaje de propuesta de investigación cualitativa, que estudie y analice críticamente la puesta en práctica de la evaluación educativa en un colegio particular subvencionado, con énfasis en la retroalimentación de los aprendizajes. Sin duda que los contextos de donde emana la Evaluación Formativa han cambiado. Pero la fuerza de su vigencia se manifiesta en el largo listado de autores e investigaciones que han aportado en esta dirección. Camilloni, (2004), hace mención a una serie de definiciones de Evaluación Formativa: Scriven, 1967; Bloom, 1971; Airasian, 1971; Stufflebeam y Shinkfield, 1971; Perrenoud, 1999; Pellegrino, Chudowsky y Glaser, 2001; Boston, 2002, llegando a la conclusión que “Dos características parecen ser comunes a las distintas concepciones de la evaluación formativa. Todas hacen alusión a su contemporaneidad con los procesos de enseñanza y de aprendizaje y; también, tal como había nacido el concepto en el trabajo de Scriven, a la intención de que la información recogida permita mejorar los procesos evaluados” (Camilloni, 2004, pág. 8). Por su parte, William (2009), cuya definición junto Black, ha sido adoptada para esta investigación, hace referencia a Black y William, 1998; Cowie y Bell, 1999; Shepard, Hammerness, Darling-Hammond y Rust, 2005; Looney, 2005; Kahl, 2005; Broadfoot, Daugherty, Gardner, Gipps, Harlen, James y Stobart, 1999. Black y William, mencionados por (William, 2009), para explicar la definición de evaluación formativa mencionada al inicio de este apartado, proponen cinco instancias: 1. Cualquiera puede ser el agente de la evaluación formativa: la evaluación no descansa sólo en el docente. 2. El foco de la definición está en las decisiones: la evaluación debe conducir a mejores aprendizajes. 11 3. La definición pone el foco en los próximos pasos en la instrucción: actividad intencional para crear aprendizaje, inclusiva más que transmisiva. 4. La definición es probabilística: se puede verificar si fue mejor que, o que hubiera pasado en ausencia de la evaluación 5. La evaluación no necesita cambiar la instrucción planificada: la definición requiere que las decisiones sean o bien mejores o mejor fundadas que las decisiones tomadas sin la evidencia recogida como parte del proceso de evaluación. Tabla N° 2. Aspectos de la Evaluación Formativa 2 Dónde va el aprendiz Clarificar y compartir las Profesor metas del aprendizaje y los criterios de logro (1) Comprender y compartir Compañero las metas del aprendizaje y los criterios de logro (1) Comprender las metas del Aprendiz aprendizaje y los criterios de logro (1) Dónde está ahora el aprendiz Diseñar discusiones de clase efectivas, preguntas y tareas que permitan obtener evidencias del aprendizaje (2) Cómo llegar ahí Proveer retroalimentación que permite a los alumnos avanzar (3) Promover a los estudiantes como recursos de enseñanza para otros alumnos (4) Promover a los estudiantes como dueños de su propio aprendizaje (5) La confluencia de Evaluación Formativa y aprendizaje la encontramos en Ahumada (2005), cuando aterriza cómo debiera ser evaluado el Aprendizaje (significativo), y establece algunos criterios para el rol del profesor: “- El profesor tiene que actuar como un verdadero mediador o puente entre los conocimientos nuevos y los conocimientos previos de los estudiantes, entregándoles un material que pueda 2 Extraído de (William, 2009). Los números entre paréntesis indican a cuál de las cinco estrategias claves está relacionado el proceso 12 actuar sobre ellos significativamente, es decir, estructurado de tal forma que el alumno reconozca su significado y le dé el sentido que corresponda. - El profesor debe traspasar al alumno, en forma progresiva, el control y la responsabilidad del aprendizaje para que sea él quien asuma su responsabilidad como gestor de sus propios aprendizajes.” (Ahumada, 2005, pág. 25). Por otra parte, Perrenoud (2008), se pregunta: ¿Una evaluación al servicio de la selección… o al servicio de los aprendizajes? Esta interrogante del autor nos lleva a considerar la existencia de una evaluación “ideal” y una “real”, pero al mismo tiempo, viene a considerar que la evaluación educativa sigue siendo usada con fines de medición, calificación, examen, clasificación, donde el principal sostenedor del proceso sigue siendo el profesor. Siguiendo a Perrenoud, en su libro “La evaluación de los alumnos: de la producción de la excelencia a la regulación de los aprendizajes. Entre dos lógicas” (Perrenoud, 2008), plantea que actualmente es posible identificar dos lógicas presentes en las prácticas de evaluación del aprendizaje en la escuela (Pérez Expósito & González Aguilar, 2011). Por un lado, “tradicionalmente, la evaluación en la escuela está asociada a la fabricación de jerarquías de excelencia. Los alumnos se comparan, y luego se clasifican, en virtud de una norma de excelencia, abstractamente definida o encarnada en el docente o en los mejores alumnos. […] En el curso del año escolar los trabajos de control, las pruebas de rutina, los interrogatorios orales, la calificación mediante notas de los trabajos personales o de conjunto, fabrican “pequeñas” jerarquías de excelencia, de las cuales ninguna es decisiva, pero cuya acumulación y suma prefiguran la jerarquía final: ya sea porque ella se basa ampliamente en los resultados obtenidos en el curso del año […] ya sea porque la evaluación en el curso del año funciona como entrenamiento para el examen” [Perrenoud, 2008: 10, citado en (Pérez Expósito & González Aguilar, 2011, pág. 137)]. 13 ¿Cuál es la segunda lógica? Aquella que coloca a la evaluación al servicio del aprendizaje, es decir, la evaluación como reguladora de los aprendizajes. La intención de la evaluación es: “estimar el camino ya recorrido por cada uno [de los estudiantes] y, simultáneamente, el que resta por recorrer, a los fines de intervenir para optimizar los procesos de aprendizaje” (Perrenoud, 2008, pág. 116). No obstante, tanto la estimación como el sentido de la intervención no son llevados a cabo únicamente por el profesor, sino que en dicha tarea el estudiante tiene una función activa. De hecho, la propia noción de regulación en Perrenoud implica el desarrollo de la autorregulación, es decir: “[del] conjunto de habilidades metacognitivas del sujeto y sus interacciones con el ambiente, que orientan sus procesos de aprendizaje en el sentido de un determinado objeto de dominio” [Perrenoud, 2008: 116, citado en (Pérez Expósito & González Aguilar, 2011, pág. 137)]. Por lo tanto, cuando hablamos de la evaluación como regulación de los aprendizajes, estamos hablando de Evaluación Formativa (EF). Y estamos afirmando tal como lo dice Sanmartí (2008), que la finalidad principal de la evaluación es la regulación de la enseñanza como del aprendizaje (tanto de la dificultades y los errores del alumnado, como del proceso de enseñanza). Pero, ¿es la EF un camino único para la mejora de los aprendizajes? Hay estudios que llaman a la cautela frente al concepto, pero al mismo tiempo plantean que una buena estrategia correctiva o una implementación correcta pueden ayudar a lograr los resultados esperados. “La aplicación en el aula de los principios de la EF no es sencilla, en particular si se trata de habilidades cognitivas complejas y no de simples tareas memorísticas, ya que para ello no basta que se modifiquen las prácticas de evaluación, sino que es todo el enfoque de la enseñanza lo que debe cambiar. El sustento teórico de la EF es sólido y el resultado de las experiencias de su aplicación permiten tener expectativas razonablemente optimistas al respecto…” (Martínez Rizzo, 2012, pág. 11). Para que los docentes sean eficaces en reforzar el aprendizaje de los estudiantes, deben 14 comprobar constantemente la comprensión que éstos vayan logrando. Por otra parte, tienen que darles a conocer la importancia de que ellos mismos asuman la responsabilidad de reflexionar y supervisar su propio progreso en el aprendizaje. (Shepard, 2006) En este contexto, la presente investigación coloca su foco en la retroalimentación, la cual puede ser entendida como un proceso que ayuda a proporcionar información relevante sobre las competencias de las personas, sobre su accionar, lo que puede saber y su pensamiento, lo cual nos permite conocer el resultado de sus procesos y de esta forma ayudarle a mejorarlo en el futuro. Ayuda a los individuos a alinear su propia imagen con la realidad, por lo que puede ser considerada como un espejo que devuelve a la persona la imagen de lo que está haciendo o de cómo se está comportando. Por esta razón, se puede decir que es una herramienta efectiva para aprender como los demás perciben las acciones, conocimientos, palabras y trabajos de la persona en cuestión y permite que ésta le dé a conocer a los demás sus percepciones. “Uno de los hallazgos más antiguos de la investigación psicológica (Thorndike, 1931) es que la retroalimentación facilita el aprendizaje -sobre errores conceptuales o retrocesos ineficaces- es probable que el que aprenda persista en cometer los mismos errores” (Shepard, 2006, pág. 25). Por otra parte (William, 2009), plantea que una de las más poderosas metáforas que subyacen a la teoría de la evaluación formativa es la idea de la retroalimentación. En este contexto, el autor plantea que ciertamente en el último cuarto de siglo, han aparecido un número de sólidas reseñas sobre el impacto de las prácticas evaluativas en los estudiantes y en sus aprendizaje, sin embargo, son tan disímiles las propuestas que se resisten a una síntesis fácil dadas las diferencias en los supuestos, sus bases teóricas y sus prescripciones (William, 2009, pág. 16). Al mismo tiempo, el autor, señala al menos tres temas emergentes a considerar: 1. Los resultados de los análisis, son usados en múltiples formas, algunas veces conflictuadas. Sobre todo cuando asoma el uso de la evaluación con características 15 sumativas, que reduciría el apoyo para el aprendizaje. 2. Existen diversos modos de retroalimentación que pueden ser efectivos para diferentes tipos de aprendizajes. Las habilidades de orden superior no podrían ser retroalimentadas de la misma manera que las habilidades de conocimiento del contenido. Lo mismo, aquella retroalimentación inmediata es más efectiva en habilidades procedimentales, en cambio una retroalimentación más tardía puede encajar mejor en las habilidades de orden superior. 3. La retroalimentación más efectiva focaliza su atención prospectivamente antes que retrospectivamente. Lo anterior tiene una relación directa con lo planteado por (Shepard, 2006), quien en base a tres preguntas da cuenta del proceso de evaluación: 1. ¿A dónde tratas de ir? 2. ¿Dónde estás ahora? 3. ¿Cómo puedes llegar ahí? Como lo recalca (William, 2009), la pregunta importante no es, “¿Qué hice bien y qué hice mal?”, sino “¿Qué hacer ahora?” Un cuadro explicativo de las tipologías que rodean la Retroalimentación de profesores hacia alumnos de Tunstall y Gipps (1996), nos aclara las características complejas que tiene este proceso, y que por cierto bien encaminado puede ser de mucha utilidad para la concreción de los aprendizajes. 16 Tabla N° 3. Tipología de Retroalimentación de profesores hacia alumnos 3 Retroalimentación positiva …………………. Retroalimentación evaluativa/calificativa A1 B1 Premiar Aprobar Retroalimentación de logros Retroalimentación formativa descriptiva C1 D1 Descripción de Construcción de los logros aprendizajes C2 D2 A2 B2 Especificación de Construcción de Castigar Desaprobar logros o modos de caminos alternativos mejorar para mejorar Retroalimentación evaluativa Retroalimentación descriptiva Retroalimentación negativa …………………….. Retroalimentación para mejorar Es importante hacer notar que los tipos de retroalimentación A y B están más centrados en la persona, en cambio C y D, se centran con mayor fuerza en el trabajo desarrollado. 3 (Tunstall & Gipps, 1996) 17 5. SUPUESTOS 1. La práctica evaluativa de los profesores de primero medio, está orientada principalmente, a medir los resultados de los estudiantes al final de cada unidad, dejando poco o nulo espacio a la retroalimentación. 2. La evaluación formativa que dicen aplicar los profesores de primero medio está más cerca de ser un enunciado retórico, que una práctica permanente, especialmente al momento de compartir la regulación de los aprendizajes con los estudiantes, la cual termina haciéndose desde la perspectiva del docente. 3. El concepto de retroalimentación que los docentes emplean se orienta a revisar las evaluaciones sumativas en términos de respuestas correctas e incorrectas, pero sin llegar a reforzar los aspectos que asoman deficientes en el trabajo de los estudiantes. 18 6. OBJETIVOS Objetivo General: Analizar la puesta en práctica de la evaluación formativa, mediante la retroalimentación y su relación con la construcción de aprendizajes en estudiantes de primer año medio. Objetivos Específicos: 1. Caracterizar la idea de evaluación formativa que orientan el quehacer docente. 2. Analizar cuál es el rol otorgado a la retroalimentación por los docentes en el contexto de la evaluación formativa. 19 7. METODOLOGÍA 7.1. Paradigma En el año 2001, en el libro Knowing What Students Know (Pellegrino et al., 2001) una de las recomendaciones centrales era que las observaciones e interpretaciones de la evaluación deben estar relacionadas con un modelo cognitivo bien estructurado de cómo aprende el estudiante en cierto campo. Este modelo fundamental debe reflejar una comprensión actualizada de cómo se desarrolla el aprendizaje en un campo, y no las “creencias tan restrictivas” (Pellegrino et al., 2001, p. 54) en que se basan las evaluaciones del logro académico que más se utilizan. Un modelo de aprendizaje sirve “como un elemento unificador, un núcleo que da cohesión al currículo, la enseñanza y la evaluación” (Pellegrino et al., 2001, pág. 54) citado en (Shepard, 2006, pág. 17). La misma autora se refiere a la coherencia que debe existir entre las evaluaciones externas y de aula, destacando con ello, que el idioma con el cual se hable sea reconocido por todos los actores del proceso de aprendizaje. Es decir, deben apoyarse en modelos que sean compatibles con el aprendizaje del estudiante, de tal manera que la evaluación no se convierta en una amenaza latente, donde se tenga que “preparar” para determinada evaluación. No es tema de esta investigación, sin embargo, es propio del trabajo escolar “cambiar” metodologías cuando se trata de “preparar” alumnos para prueba externas (Simce, PSU), estableciendo una suerte de paralelismo excluyente entre el aula y las mediciones nacionales. La presente investigación se hará bajo el paradigma Constructivista, por las características de implicación que éste entrega tanto a los maestros como a los aprendices. “La concepción constructivista del aprendizaje y de la enseñanza parte del hecho obvio de que la escuela hace accesible a sus alumnos aspectos de la cultura que son fundamentales para su desarrollo personal, y no sólo en el ámbito cognitivo: la educación es motor para el desarrollo globalmente entendido, lo que supone incluir también las capacidades de equilibrio personal, de inserción social, de relación interpersonal y motrices, parte también de un consenso ya bastante 20 asentado en relación al carácter activo del aprendizaje, lo que lleva a aceptar que este es fruto de una construcción personal, pero en la que no interviene sólo el sujeto que aprende; los “otros” significativos, los agentes culturales, son piezas imprescindibles para esa construcción personal…” (Coll, y otros, 2007, pág. 15). De esta lógica podemos entender que el constructivismo tiene por fin que el alumno construya su propio aprendizaje, en y para la sociedad, donde el profesor en su rol de mediador es parte de la construcción del aprendizaje y no un mero transmisor de verdades repetidas e indistintas. Ahumada (2006) entrega más luces sobre lo anterior: “1. El profesor tendría que actuar como un verdadero mediador o puente entre los conocimientos previos de los estudiantes, entregándoles un material que pueda actuar sobre ellos “significativamente”, es decir, estructurado de forma tal que el alumno reconozca su significado y le dé el sentido que corresponda. 2. El profesor tendría que traspasar al alumno, en forma progresiva, el control y la responsabilidad en el aprender para que sea él quien se apropie de éste y asuma su responsabilidad como gestor de sus propios aprendizajes.” (Ahumada, 2006). En el constructivismo la evaluación debe dirigirse al proceso de construcción de conocimientos que el alumno realiza, a partir de sus conocimiento previos, y hacia un proceso de desarrollo tanto personal como social (González, Hernández, & Hernández, 2007). En ese sentido la evaluación formativa, concebida en los términos de la presente investigación está dentro de los parámetros de la filosofía constructivista, ya que apuesta a promover los aprendizajes en los aprendices. Pero no es sólo un conocimiento individual, ya que la base de lo anterior la encontramos en el modelo sociocultural del aprendizaje, el cual surge de un renovado interés en el trabajo de Vygotsky (1978) y otros psicólogos rusos. (Shepard, 2006), plantea que dicho modelo es el más propiado para desarrollar una EF, ya que se ocupa de la naturaleza social del aprendizaje, en la 21 idea de que la competencia y la identidad de quienes aprenden se desarrollan por medio de una participación mediada socialmente, a través de una práctica con pleno significado. El individuo, prosigue (Shepard, 2006), aprende a pensar y a razonar gracias a una gran diversidad de apoyos proporcionados por adultos y pares más conocedores e informados. “En la teoría sociocultural es fundamental comprender que los productos de la actividad (los resultados del aprendizaje) están integrados en las prácticas culturales del ambiente donde se desarrolla la actividad. De este modo, aprender a conocer es volverse un adepto que participa en las maneras de hablar, las representaciones del conocimiento y el uso de herramientas asociadas con una comunidad de práctica específica.” (Shepard, 2006, pág. 18). Vygotski, (2009) sostenía que “todas las funciones en el desarrollo cultural del niño aparecen dos veces: primero, en el nivel social, y luego en el nivel individual; primero entre la gente (interpsicológica), y luego dentro del niño (intrapsicológica).” Siguiendo esta dirección de Vygotsky, podemos usar la investigación sociocultural para entender los procesos sociales que respaldan y definen el aprendizaje. El aprendizaje social es la integración que el individuo lleva consigo, en su forma de razonar, en sus expectativas, los criterios que emplea para su cotidianeidad, etc. Lo cual constituye su materia esencial, para abordar, no tan sólo el conocimiento, sino también aspectos relevantes de su quehacer en la vida. 22 7.2. Diseño Metodológico de la Investigación 7.2.1. Tipo de Investigación La presente investigación es de carácter cualitativo, centrada en el análisis de la práctica de la evaluación formativa realizada con dos primeros medios de un colegio particular subvencionado. La información primaria se levantó durante el año 2012. Es una Investigación Acción Participativa (IAP), dado que está planteada como un proceso de análisis de la situación (prácticas evaluativas), identificación de problemas (aprendizaje de los estudiantes) y elaboración de estrategias de acción planeadas, llevadas a cabo y sistemáticamente sometidas a observación, reflexión y cambio (evaluación formativa) (Pérez Serrano, 2002). Los participantes en la acción (estudiantes, profesores) están involucrados en todas las actividades y por las características del proceso se demanda de ellos colaboración, participación real en todas las etapas del proceso, compromiso personal, apertura hacia la actividad humana y responsabilidad. (Kemmis, 1992) La presente investigación cuenta con la participación de la comunidad educativa, por cuanto los profesores manifiestan su anhelo por mejorar el aprendizaje de sus estudiantes, y estos últimos avanzan en pos de su autonomía. La investigación está al servicio de la comunidad educativa, por cuanto emana de la propia práctica y apunta a resolver problemas y necesidades propias. El problema de la evaluación a través de su enfoque formativo, ha sido definido a partir de la idea de mejorar los aprendizajes de los estudiantes, y que pueda ser un aporte más allá de las calificaciones. El enfoque no pasa por encontrar recetas, sino más bien que la comunidad sea autogestora del proceso, tenga un control operacional (saber hacer): lógico (entender) y crítico del mismo, con tal de empoderarse de la acción. (Abad Corpa, Delgado Hito, & Cabrero García, 2010) 23 El contexto socio-educacional de la institución educativa facilita espacios para que los protagonistas de los procesos de enseñanza y aprendizaje (profesores y estudiantes) puedan adquirir el conocimiento de manera reflexiva, a fin de mejorar la racionalidad y la justificación de las actuales prácticas (evaluativas), la comprensión de dichas prácticas y la situación en que se realizan. Hay una serie de características que distinguen a la IAP de otros métodos de investigación: la colaboración entre los investigadores y participantes, la resolución de problemas prácticos, el cambio de la práctica y el desarrollo de teorías emergentes (Latorre, 2003). En cuanto a su dinámica histórica, hay consenso en los autores de la historia de la educación, que es la obra Dewey (1929) “Sources of the Science of Education” la investigación-acción (IA), la precursora de esta metodología. Sus ideas sobre la “pedagogía progresiva”, el carácter democrático de la educación, el aprendizaje en la acción, la necesidad de que los profesores se impliquen en las investigaciones, en definitiva, su pensamiento crítico y reflexivo y sus ideas de democracia y participación subyacen implícita o explícitamente en sus planteamientos. (Abad, Delgado, & Cabrero, 2010) Más adelante, en 1945, los escritos de Collier sobre las relaciones interétnicas, utiliza este tipo de Investigación y señala la necesidad de aplicarla a los programas sociales y la colaboración entre investigador y participantes. Sin embargo, van a ser los aportes de Lewin, los más decisivos, en el período post Segunda Guerra Mundial. Para este autor, la investigación es ante todo IA (en palabras de Lewin, “no queremos acción sin investigación, ni investigación sin acción”). La idea del autor pasa porque mediante este tipo de investigaciones, los avances teóricos y los cambios sociales, se logran si los interesados en hacerlo son incluidos. 24 “¿Qué es la IAP?... Se puede definir como un método de estudio y acción que busca obtener resultados fiables y útiles para mejorar situaciones colectivas, basando la investigación en la participación de los propios colectivos a investigar. Que así pasan de ser "objeto" de estudio a sujeto protagonista de la investigación, controlando e interactuando a lo largo del proceso investigador (diseño, fases, devolución, acciones, propuestas...) y necesitando una implicación y convivencia del investigador externo en la comunidad a estudiar.” (Alberich, 2007, pág. 6). Ander-Egg (2003), establece el siguiente paso a paso (ver tabla N°3) al momento de implementar una IAP. Sostiene el autor que lo central de una investigación de estas características es, que no se puede hacer en abstracto. Lo que hay son seres humanos que tienen necesidades, problemas e intereses, por lo tanto y parafraseando con (Fals Borda, 2009), se trata de una investigación “sentipensante”, ya que los sujetos de la investigación, son profesores y estudiantes. Tabla N° 4. Etapas de la IAP. 4 Formulación del problema ¿Qué vamos a estudiar?, ¿para qué vamos a estudiarlo? Definición de los objetivos generales ¿Qué esperamos de nuestro estudio para resolver nuestros y específicos ¿Cómo vamos a proceder en el relevamiento de datos? Trabajo de campo Elaboración de los datos Redacción del informe Presentación del informe 4 (Ander-Egg, 2003) problemas y necesidades? ¿Qué técnicas o procedimientos utilizar? ¿Cómo vamos a organizar la tarea de recogida de datos e información? Codificación y decodificación de la información recogida. Análisis e interpretación de los datos. ¿Cuáles son los resultados del estudio, cómo expresarlos y hacerlos conocer por el conjunto de la comunidad interesada? Socialización de la información. Discusión de los resultados y, si es pertinente, reelaboración de éstos. 25 Tomando como modelo el cuadro anterior, se ha complementado con el aporte de (Alberich, 2007), para orientar la presente investigación. 7.2.1.1. Primera Fase. Autodiagnóstico. Se comenzó con una propuesta general dando a conocer cuáles eran los objetivos de la investigación. El objetivo general fue: Analizar la puesta en práctica de la evaluación formativa, mediante la retroalimentación y su relación con la construcción de aprendizajes en estudiantes de primer año medio. La propuesta surge de la necesidad de analizar la puesta en práctica de la evaluación formativa en un establecimiento educacional subvencionado que había incorporado algunos ajustes a la forma de encarar la evaluación de los aprendizajes. Desde el año 2010 se habían incorporado dos evaluaciones estandarizadas (internas) en 7 subsectores (Lenguaje, Matemática, Idioma extranjero (inglés), Historia, Biología, Química y Física). Ambas evaluaciones tienen algunos componentes similares (son realizadas por el profesor de asignatura, tienen una extensión de 30 preguntas, los ítems son de Selección Múltiple), como también algunas diferencias (la primera se denomina Prueba de Avance Curricular (PAC), y se aplica a fines del segundo semestre, la segunda se llama Prueba de Síntesis (PS), y es aplicada en las semanas previas al fin de año escolar). El equipo de Gestión del establecimiento, supervisaba la realización de estas evaluaciones, entregando el soporte de distribución de las horas de clases, de tal forma que al momento de rendir las evaluaciones, estas se dieran en un horario similar para todos los cursos. La revisión de las pruebas, corría por cuenta del profesor asignado para ese efecto. Durante el primer año (2010), los cursos completos dieron dichas evaluaciones, sin embargo, los resultados no acompañaron el proceso, por lo tanto para el año 2011, se dio la opción de que aquellos estudiantes con promedio hasta el momento de la evaluación con nota 6,0 o superior quedaban eximidos de dicha prueba. Para el año 2012, se mantienen el mismo procedimiento, pero se les facilita a los profesores de asignatura, una tabla en Excel, la cual contiene una serie de procedimientos que les permite tomar decisiones con las evaluaciones, antes de proceder a colocar las calificaciones. Es decir, se comienza a dar cuerpo a la idea de retroalimentar de manera efectiva a los estudiantes, en este caso una vez respondidos los 26 instrumentos, por lo tanto se desarrollan acciones remediales que permitan anclar de manera efectiva los aprendizajes. 7.2.1.1.1. Recogida de información: Datos secundarios (calificaciones del año anterior de los alumnos). Recogida de conocimientos sensibles (entrevistas a los estudiantes y apoderados, durante el año lectivo), elaboradas en su momento con otros objetivos y con otras metodologías, pero que permiten obtener datos valiosos al momento de situar a los estudiantes no tan solo en el contexto escolar, si no también familiar y social. 7.2.1.1.2. Comisión de seguimiento: La estructura del establecimiento está conformada por la Dirección, Unidad Técnica Pedagógica, y el Equipo Técnico, que está integrado además por tres coordinadores de Ciclo (Primer Ciclo Básico, segundo Ciclo Básico y Educación Media). Los coordinadores de cada ciclo, tienen relación directa con los profesores Jefe y de asignatura, y las discusiones que se dan al interior constituyen materia esencial para la marcha de la Investigación. De este espacio nacen las propuestas, que se presentan al Consejo de Profesores, para su validación en la Comunidad educativa. El seguimiento se hará en tres niveles: a) Equipo de Gestión b) Profesores Jefes c) Profesores de Asignatura Esta Comisión (Equipo de Gestión) tiene reuniones semanales, donde se analiza la marcha de las propuestas y acciones desarrolladas, por lo tanto se está abordando de manera continua el proceso educativo en general y la evaluación en particular. La idea de hacer esta reunión semanal es para supervisar, revisar y reorientar el proceso investigador. Se avanza así en la construcción del objeto-sujeto de estudio. En esta parte del proceso se fue construyendo la pregunta de investigación, la que finalmente quedó definida de la siguiente manera: ¿En qué medida la evaluación formativa, específicamente la retroalimentación, aplicada por los 27 profesores que enseñan en primer año medio, ayuda en la construcción de aprendizajes en los alumnos? 7.2.1.1.3. Informantes voluntarios: Se captan voluntarios, preferentemente profesores, que van descubriendo algunas aristas de la situación y que entregan luces del avance de los estudiantes en las asignaturas que imparten, además de análisis sobre la forma en que se llevan adelante los procesos de aprendizaje y de enseñanza. En este apartado cobra relevancia la dinámica que tiene cada uno de los cursos. Para ello se realizan reuniones específicas de los primeros medios, aplicando un FODA abierto, que da cuenta de los niveles de aprendizaje que tienen los estudiantes de estos niveles, sobre todo porque se han incorporado alumnos de otros establecimientos y se requiere conocer el estado de avance tanto del proceso académico como el de integración. 7.2.1.1.4. Observación implícita: Se observa la participación de los estudiantes en las actividades de clase y extra programáticas, con el fin de ir generando instancias que provoquen reacciones de aprendizaje más allá de lo cognitivo, como una forma de conocer más de cerca los métodos de aprendizaje de los estudiantes. Por ejemplo, día del alumno, Jornada de Convivencia Escolar, elección del Centro de Estudiantes, etc. 7.2.1.1.5. Trabajo de campo: Se da inicio del trabajo de campo, mediante entrevistas semiestructuradas a los profesores, Focus Group a los estudiantes, Aplicación de Encuesta sobre el concepto de Retroalimentación, prueba de avance curricular y prueba de síntesis. 7.2.1.1.6. Primer informe: Se elabora un primer informe dando cuenta de la situación preliminar y de la concreción del trabajo propuesto. La idea es: hacer una distinción entre los fines de la investigación (base teórica, de lo que se pretende hacer) y entre los objetivos generales y específicos. Se incluye aquí también el método y proyecto a realizar (acciones, cronograma y propuesta de análisis). 28 7.2.1.2. Segunda Fase: Trabajo de Campo y Primeras Propuestas 7.2.1.2.1. Trabajo de campo. Continuación de las entrevistas semi-estructuradas, encuestas, aplicación de las pruebas de avance curricular y las pruebas de síntesis. Se continúa la recogida de información. 7.2.1.2.2. Análisis del discurso. Análisis de contenido de los discursos recogidos en las entrevistas y grupos de discusión. 7.2.1.2.3. Segundo informe. Primeras conclusiones provisionales. Para su debate con los colaboradores de la investigación y en reuniones de la Comisión de Seguimiento y otras. Estos informes también se llevan para su debate a talleres y reuniones. ¿Qué conjuntos de acción y relaciones existen y cuales nos empezamos a plantear que podrían existir? 7.2.1.2.4. Talleres: En las reuniones de Profesores, se articulan espacios para dar cuenta de las sistematizaciones de las acciones desarrolladas (Prueba de Avance Curricular, y Encuesta sobre Retroalimentación), al mismo tiempo se utilizó la Técnica FODA, que otorgó bases sobre los puntos débiles y fuertes de las acciones desarrolladas, lo cual permite replantearlas para el futuro, enriqueciendo su contenido y corrigiendo o eliminando aquello que pueda ser motivo de obsolescencia. Al mismo tiempo, se logra jerarquizar los problemas existentes, para focalizar los esfuerzos en pos del aprendizaje delos grupos de estudiantes que lo representen. 7.2.1.3. Tercera Fase: Conclusiones y Propuestas de Acción 7.2.1.3.1. Construir el Programa de Evaluación: que incluya un fuerte componente de evaluación formativa, haciendo énfasis en la retroalimentación. 7.2.1.3.2. Puesta en marcha de protocolos para las evaluaciones, que den cuenta tanto de las habilidades y de los conocimientos que serán evaluadas, así como de las actividades previas y 29 posteriores a la ejecución de la prueba. Lo cual debe ser conocido por todos los actores. 7.2.1.3.3. Análisis en torno a las acciones desarrolladas y si estas van en beneficio del aprendizaje de los estudiantes. Hacer énfasis en la Retroalimentación, que supere la mera presencia retórica y se convierta en herramienta esencial del proceso educativo. Recogida de información permanente, a través de las instancias de participación y de acción. 7.2.1.3.4. Toma de decisiones. Propuesta a la institución. Construcción de Evaluación que releve la evaluación Formativa, como motor dinamizador de los procesos de Aprendizaje y de Enseñanza. 7.2.1.4 Informe final. Se entrega un informe final a los diferentes sujetos-actores que han participado en la investigación, que incluye, entre otros aspectos: - Diagnóstico (problemáticas detectadas, puntos fuertes y débiles del proceso de evaluación del establecimiento, FODA). - Conclusiones y propuestas de acción. Acciones concretas con programación y evaluables; propuesta de creación de indicadores para la revisión de las evaluaciones. 30 7.3. Sujetos de la Investigación Los sujetos de la investigación son estudiantes de primero medio de un colegio particular subvencionado y los profesores y profesoras que realizan clases de Lenguaje, Matemática, Biología, Física, Química, Inglés e Historia, en dichos cursos. Desarrollo Trabajo de Campo: La organización del trabajo de campo se considera en las siguientes etapas: Tabla N° 5. Etapas de la Investigación. Etapa 1 Socialización de investigación con equipo directivo del colegio y cuerpo docente Etapa 2 Socialización de investigación con alumnos/as del primero medio y apoderados Etapa 3 Diseño y pruebas de instrumentos de recolección de información Etapa 4 Aplicación instrumentos de recolección de información Etapa 5 Análisis de la información Etapa 6 Redacción resultados investigación Etapa 7 Socialización de resultados con comunidad educativa 31 7.4. Técnicas e instrumentos de Recolección de Datos Como instrumentos de recolección de información se utilizaron los siguientes: - Entrevista en profundidad semi-estructurada - Grupo focal - Pauta de Evaluación aplicada a los instrumentos de evaluación desarrolladas por los/as docentes a los primeros medios. - Encuesta a los estudiantes sobre el uso de la Retroalimentación en su proceso de Aprendizaje. - Prueba de Avance Curricular y Prueba de Síntesis. 32 7.4.1. Entrevista en profundidad semi-estructurada La entrevista se abordó de acuerdo a lo planteado por Pérez Serrano (2002), entendiendo que con la entrevista (en profundidad), lo que se busca es ir más allá de las respuestas superficiales (Pérez Serrano, 2002). La misma autora, coloca atención en el rol del entrevistador, fundamentalmente en el equilibrio al momento de llevar a cabo la entrevista. Destacando el concepto de interacción para dar a entender que más allá de la intencionalidad propia de la investigación, el entrevistado/a también aporta acción, ante lo cual hay que estar atento. “Permiten al investigador y al entrevistado moverse hacia atrás y hacia delante en el tiempo (...). Las entrevistas pueden adoptar una variedad de formas, incluyendo una gama desde las que son muy enfocadas o predeterminadas a las que son muy abiertas (...). La más común, sin embargo, es la entrevista semi-estructurada que es guiada por un conjunto de preguntas y cuestiones básicas a explorar, pero ni la redacción exacta, ni el orden de las preguntas está predeterminado. (... )” (Valles, 1999, págs. 178-179) La entrevista estuvo referida a las siguientes áreas: 1. Concepto de evaluación formativa que utilizan los profesores y profesoras 2. Criterios considerados al momento de diseñar la evaluación 3. Retroalimentación como soporte al aprendizaje de los estudiantes. 4. Análisis y uso de la información que entregan las evaluaciones aplicadas 5. Regulación y autorregulación de los aprendizajes. 6. Discurso pedagógico y reflexión crítica sobre las prácticas evaluativas. Previa a la aplicación de las entrevistas se realizó una prueba piloto, con la finalidad de sondear la comprensión de los temas, tiempo de aplicación y forma de relacionarse con el/la entrevistado/a. Con los insumos de la prueba piloto se realizaron los ajustes necesarios a la pauta de entrevista. 33 Las entrevistas tuvieron una duración promedio de 50 minutos, las cuales fueron transcritas en su integralidad, para su posterior análisis. El análisis de las entrevistas y de los otros instrumentos (que se señalan más abajo) se realizó bajo el análisis de contenido, donde según Krippendorff (1997) esta técnica está destinada a formular, a partir de ciertos datos, inferencias reproducibles y válidas que puedan aplicarse a su contexto. Esta herramienta proporciona conocimientos, nuevas intelecciones y una representación de los hechos, estos resultados deben ser reproducibles para que sea fiable. El análisis de contenido se caracteriza por investigar el significado simbólico de los mensajes, los que no tienen un único significado, puesto que según menciona el autor, "los mensajes y las comunicaciones simbólicas tratan, en general, de fenómenos distintos de aquellos que son directamente observados" (Krippendorff, 1997, pág. 35) 34 7.4.2. Grupo Focal El grupo focal es una técnica de investigación cualitativa. Un grupo focal consiste en una entrevista grupal dirigida por un moderador a través de un guion de temas o de entrevista. Se busca la interacción entre los participantes como método para generar información. El grupo focal lo constituyen un número limitado de personas: entre 4 y 10 participantes, un moderador y, si es posible, un observador. A través de él se consigue información en profundidad sobre lo que las personas opinan y hacen, explorando los por qué y los cómo de sus opiniones y acciones. No se obtienen cifras ni datos que nos permitan medir aspecto alguno. Se trabaja con la información que se expresa en los discursos y conversaciones de los grupos. El lenguaje es el “dato” a analizar, comprender e interpretar. El grupo focal se definen como “… un tipo especial de entrevista grupal que se estructura para recolectar opiniones detalladas y conocimientos acerca de un tema particular, vertidos por los participantes seleccionados. Esta técnica permite organizar grupos de discusión alrededor de una temática, la cual es elegida por el investigador. Además se obtienen respuestas a fondo sobre lo que piensan y sienten las personas de un grupo de forma libre y espontánea, guiados por un facilitador o moderador.” (Balcázar, P. et. al., 2005, pág. 129) Se realizó 1 Grupo Focal con estudiantes de Primero Medio. Los tópicos que se abordaron fueron los siguientes: - Uso de la evaluación formativa - Tipos de evaluación desarrollados - Retroalimentación de los aprendizajes - Participación en el proceso de evaluación La convocatoria al grupo focal se realizó vía telefónica, contactándose con los apoderados/as para 35 explicar el objetivo de la investigación y del grupo en sí. Se les indica la hora, lugar y se les explica sobre el consentimiento informado que garantiza los derechos de sus hijos/as frente a su participación en las actividades de la investigación. Participaron 7 alumnos/as, 3 mujeres y 4 hombres. La jornada se realizó en el salón de reuniones de la Fundación Instituto Indígena. Se cuenta con las condiciones óptimas para un grato ambiente de conversación (calefacción, alimentación, privacidad, tranquilidad). El grupo focal se inicia a las 11.15 hrs. y finaliza a las 12.10 hrs. Por las características del instrumento, en el Grupo Focal participaron 7 personas. Se invitó a estudiantes que “representaran” los distintos niveles rendimiento escolar, como una manera de tener una mirada amplia del proceso de evaluación de sus aprendizajes. El grupo focal tuvo una duración de 45 minutos, se realizó en dependencias externas al establecimiento y procuró condiciones cómodas para el desarrollo de la actividad. El contenido de instrumento fue transcrito de manera literal. 36 7.4.3. Pauta de Seguimiento a Evaluaciones Aplicadas Se elaboró una pauta con criterios de realización y criterios de calidad, para observar las evaluaciones aplicadas por los profesores y profesoras con la finalidad de analizar sus objetivos, coherencia y tipo de evaluación, y eventualmente sus resultados. Tabla N° 6. Conjunto de Criterios para Analizar una Evaluación 5 CRITERIOS DE REALIZACIÓN ENCABEZADO OBJETIVO DE APRENDIZAJE Formato IDENTIFICACIÓN INSTRUCCIONES PRESENTACIÓN Coherencia Preguntas Aprendizaje, Profesor, Año Lectivo y nombre de la Evaluación. - La evaluación indica Aprendizaje(s) esperado(s) y/o habilidad(es). - Existe un espacio específico donde el estudiante debe registrar su nombre y la fecha de realización. - Las instrucciones generales y específicas están redactadas de manera que orienten al estudiante acerca del procedimiento que debe seguir para contestar la prueba. - Se garantiza la presentación nítida de la prueba: unificando tamaño y tipo de letra; así como la calidad de los dibujos, imágenes, esquemas o representaciones gráficas que se utilicen en ella. declaradas. ENUNCIADO - El enunciado de cada ítem es formulado de manera clara y directa. VOCABULARIO - Se emplea vocabulario técnico propio de la asignatura. DIVERSOS ITEMS Utiliza ítems de respuesta cerrada y de desarrollo, al menos uno de cada tipo. COEVALUACIÓN AUTOEVALUACIÓN 5 - En el encabezado de página se registra Institución Educativa, Asignatura, Curso, Unidad de - Las preguntas o reactivos tienen directa relación con los aprendizajes esperados enunciados, así como con las habilidades PUNTAJE Evaluación CRITERIOS DE CALIDAD La puntuación de cada ítem se consigna con números enteros, teniendo en consideración la habilidad que se pretende medir y el formato del ítem. El instrumento de evaluación contempla un espacio específico para la coevaluación El instrumento señala con claridad las condiciones que debe indicar el estudiante como logro de sus aprendizajes Creación propia, la cual fue presentada como parte de un trabajo del Programa de Magister, cuyo objetivo era evaluar instrumentos de evaluación. 37 Dos elementos relevantes para considerar la calidad en una evaluación lo constituyen la validez y la confiabilidad. El primer elemento (validez) tiene su origen en la medición. Se plantea que una prueba es válida “si mide lo que pretendía medir”. Messick (1989) define la validez como “un juicio evaluativo integrado del grado en el cual la evidencia empírica y teórica soporta la adecuación y pertinencia de las inferencias y acciones basadas en los puntajes de un test o en otros modos de evaluación” (p. 13), citado en (Förster Marín & Rojas-Barahona, 2008). En este contexto cabe preguntarse, si en una evaluación de aula realizada a un grupo menor de estudiantes, como el caso de las pruebas revisadas 6 (las evaluaciones de lenguaje y matemática fueron respondidas por 105 estudiantes de primero medio) pudiera aplicarse el concepto de validez. ¿Para qué es válida la prueba de lenguaje? En su objetivo de aprendizaje dice: “demuestran lo aprendido en torno a la teoría de la Comunicación y todos los aspectos influyentes en esta”. ¿Sirvió haber construido este instrumento?, ¿volvería a ser aplicado a otros estudiantes el próximo año?, ¿los puntajes obtenidos por los estudiantes demuestran lo aprendido? La validez no es algo propio del instrumento o situación de evaluación, es una propiedad de la interpretación y los usos que se realizan de la información obtenida a partir de ellos (Valverde, 2000) citado por (Förster Marín & Rojas-Barahona, 2008). ¿Qué esperaba el profesor de matemática? Que sus estudiantes “apliquen propiedades de los números racionales a la resolución de ejercicios y problemas”. ¿Las respuestas de los estudiantes dejan satisfecho al profesor desde la óptica de la enseñanza?, y los estudiantes, ¿quedan satisfechos con su aprendizaje? Desde un punto de vista formativo, todo profesor espera que sus estudiantes superen la clásica distribución normal en los resultados de una evaluación, y desarrollen una asimetría positiva (nivelar hacia arriba), ya que ello estaría dando cuenta de un nivel de logros satisfactorio de las materias trabajadas en clases. 6 Se analizaron 2 evaluaciones (Lenguaje y Matemática) para Primero Medio, cuyo análisis se comparte en la presente investigación, dado que forma parte del proceso de la misma. Las evaluaciones, fueron aplicadas a 105 estudiantes de primero medio, y los instrumentos (1 ejemplo de cada uno), son parte del anexo de esta investigación. 38 Stiggins (2001) evita hablar de “validez” en el contexto de la sala de clases y reemplaza este término por evaluación de “alta calidad” (high-quality classroom assessment), citado en (Förster Marín & Rojas-Barahona, 2008). Por otra parte, ¿cada cuánto tiempo en los consejos técnicos de profesores hay una evaluación de las evaluaciones realizadas? ¿Hay capacidad instalada como para darle un vistazo profesional a la labor evaluativa en los centros educacionales? Una opinión permanente en los consejos técnicos es evaluar según el contexto, ya que hay cursos donde un mismo contenido fue “aprendido” de otra manera, porque el proceso de enseñanza no pudo darse en los mismos términos que en los otros cursos. Entonces junto a la medición de tipo psicométrico es necesario agregar el fondo cultural propio de los educandos para ir avanzando en la validación de nuestros instrumentos. ¿Cuántos profesores utilizan una planilla en Excel u otra planilla de cálculo similar, para contabilizar las respuestas de sus estudiantes? Podríamos concluir en relación a la validez, que ambas pruebas se podría emplear en otras realidades escolares, y podrían entregar información relevante acerca de la enseñanza que se imparte y del aprendizaje de los estudiantes, pero siempre a escalas pequeñas, porque al ser evaluaciones de aula, lo que se busca es conocer los anclajes de conocimiento que existen en los estudiantes de determinado espacio, más que sacar conclusiones del desempeño de los estudiantes para los fines específicos de la evaluación. En una tabla comparativa de la validez en evaluaciones a gran escala y en la sala de clases, adaptado de Broockhart (2003), citado en (Förster Marín & Rojas-Barahona, 2008), se concluye lo siguiente (a nivel de aula, nivel al que corresponden las evaluaciones revisadas): - Las deducciones y las acciones tomadas son internas al proceso de medición. - Los estudiantes son observadores conjuntamente con los profesores; “esas mediciones” corresponden a procesos formativos de evaluación. - Los estudiantes reciben beneficios individuales de la información de la evaluación 39 - El objetivo de la evaluación es comprender cómo es el desempeño de los estudiantes comparado con el ideal” y/o el uso efectivo de esa información para el aprendizaje. - El contexto de la medición es un constructo relevante. - Las especificaciones de contenido reflejan el dominio y la enseñanza. - Las creencias de los profesores, sus prácticas y el conocimiento de la materia y de los estudiantes (incluyendo diferencias culturales y lingüísticas) son preocupaciones relevantes (la validez tiene un fuerte elemento contextual). - La evaluación es parte de la enseñanza. Una buena evaluación es un “episodio genuino de aprendizaje” (evaluar para aprender, para mejorar ¿Se pueden mantener los instrumentos en el tiempo, si ya están validados?). El segundo elemento que se considera para analizar la calidad de una evaluación es la confiabilidad o precisión de la misma. A diferencia de la validez, la confiabilidad solo se relaciona con la consistencia de la medición, al margen de lo que se mida exactamente (Flórez, 1999; Hogan, 2004), citado en (Förster Marín & Rojas-Barahona, 2008). La confiabilidad implica que el instrumento entrega resultados similares cuando se repite su aplicación en las mismas circunstancias a las mismas personas. El concepto de confiabilidad hace referencia a consistencia, exactitud y estabilidad de los resultados, a las inferencias que se pueden realizar, y tiene directa relevancia en las conclusiones y posterior toma de decisiones (Luckett & Sutherland, 2000; McMillan, 2003) citado en (Förster Marín & Rojas-Barahona, 2008). Aunque más precisamente tiene relación con la precisión de la medición y para demostrar eso es que se toma en reiteradas ocasiones. Al igual que en la validez, la confiabilidad se diferencia en su presencia de gran escala y a nivel de aula, ya que al momento de llevar adelante el proceso se tienen en cuenta factores que van más allá del instrumento. ¿Qué elementos habría que considerar para que un instrumento otorgue confiabilidad? (Förster Marín & Rojas-Barahona, 2008), adaptando de Brookhart (2003), establecen que a nivel de aula: 40 - La confiabilidad es la suficiencia de la información. (En el contexto de la investigación, el desarrollo de las evaluaciones por parte de los estudiantes permite acercar pasos a la confiablidad del instrumento). - El objetivo de la confiabilidad es tener información estable acerca de la diferencia entre el desempeño de los estudiantes y el “ideal”, tal como se definen en los objetivos de aprendizaje. 41 7.4.4. Encuesta a estudiantes sobre el uso de la Retroalimentación en su proceso de Aprendizaje. La encuesta se aplica una vez al año y reúne 7 ítems, de los cuales dos están relacionados con Retroalimentación, en el ítem 5 se menciona de manera implícita, mientras en la pregunta 7, se explicita aquella que se refiere a verificar los aciertos y errores post evaluación. A continuación las preguntas formuladas: 1. 2. 3. 4. 5. 6. 7. Al Inicio se deja claro el objetivo y las actividades a desarrollar en la clase. El Desarrollo de la clase se centra en la exposición del profesor desde la pizarra. El Desarrollo de la clase se centra en el trabajo del estudiante y orientación del profesor. Se hace un cierre (resumen) de la clase al final de la hora. Hay preparación para la evaluación (repaso, temario, guía, otros). Una vez rendida la evaluación se tienen los resultados antes de los 15 días. Se realizó retroalimentación de los contenidos que fueron evaluados (aciertos- errores). La encuesta se hizo de manera on-line a través de la plataforma de Google Drive, mediante una escala de apreciación, donde frente a cada ítem el estudiante debía evaluar con 1, Si se cumplía el enunciado, 2 si No se cumplía y 3 si se cumplía A Veces, tal como se aprecia en la imagen. Imagen N° 1. Pregunta N° 7 de la Encuesta, Retroalimentación de la Evaluación. 42 7.4.5. Prueba de Avance Curricular y la Prueba de Síntesis. Desde el año 2010 se incorporaron dos evaluaciones estandarizadas (internas) en 7 subsectores (Lenguaje, Matemática, Idioma extranjero (inglés), Historia, Biología, Química y Física). Ambas evaluaciones tienen algunos componentes similares (son realizadas por el profesor de asignatura, tienen una extensión de 30 preguntas, los ítems son de Selección Múltiple), como también algunas diferencias (la primera se denomina Prueba de Avance Curricular (PAC), y se aplica a fines del segundo semestre, la segunda se llama Prueba de Síntesis (PS), y es aplicada en las semanas previas al fin de año escolar). El equipo de Gestión del establecimiento, supervisaba la realización de estas evaluaciones, entregando el soporte de distribución de las horas de clases, de tal forma que al momento de rendir las evaluaciones, estas se dieran en un horario similar para todos los cursos. La revisión de las pruebas, corría por cuenta del profesor asignado para ese efecto. Durante el primer año (2010), los cursos completos dieron dichas evaluaciones, sin embargo, los resultados no acompañaron el proceso, por lo tanto para el año 2011, se dio la opción de que aquellos estudiantes con promedio hasta el momento de la evaluación con nota 6,0 o superior quedaban eximidos de dicha prueba. Para el año 2012, se mantienen el mismo procedimiento, pero se les facilita a los profesores de asignatura, una tabla en Excel (ver tabla N°7), la cual contiene una serie de procedimientos que les permite tomar decisiones con las evaluaciones, antes de proceder a colocar las calificaciones. Para la evaluación de estos instrumentos se construyó una tabla de Excel que permite trabajar los resultados tanto de manera horizontal como vertical, es decir se evalúa el trabajo del estudiante y del comportamiento de los diversos ítems y cómo estos influyen en el rendimiento individual y colectivo. La tabla, otorga resultados en varias direcciones. La primera es obtener el puntaje de cada estudiante, el cual se verifica con la hoja de respuestas, para ello se anota en la tabla cada una de las respuestas del estudiante, y en términos horizontales se puede apreciar tanto su puntaje, el porcentaje de rendimiento, su nivel de logro y su calificación. Los ítems están desplegados en columnas, por lo tanto la lectura de cada pregunta se hace en vertical y los resultados de las mismas (de manera individual) asoman al final de los datos. 43 En una segunda hoja de Excel aparecen 5 tablas de análisis, la Tabla N°8, corresponde a los resultados de los ítems de la prueba, detallados de uno en uno. La Tabla N°9, es una mirada al resultado de los ítems clasificados por habilidades. La Tabla N°10, los ítems clasificados por contenidos, la Tabla N°11, una relación entre contenidos y habilidades de acuerdo a los ítems utilizados, y la Tabla N°12, que corresponde al resultado de las calificaciones obtenidas, una vez analizada la prueba. 44 Tabla N° 7. Hoja de Excel para incorporar las respuestas de los estudiantes en las evaluaciones. 21/01/2013 17:59 Alumno 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 1 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 DÉ CI MA S PUN TOS % 30 100 NOT NIVE L DE LOGR O 1 ABARZUA 2 ACEITON 1 1 1 0 1 1 1 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 12 40,0 3,0 N 3 ARZOLA 1 1 0 1 0 1 0 1 0 0 1 1 1 1 1 0 1 0 0 0 1 0 0 0 0 0 1 1 0 1 15 50,0 3,5 N 4 ASTETE 1 0 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 7 23,3 2,2 N 5 BASTIAS 1 0 1 1 1 0 1 1 1 1 1 0 1 0 0 1 1 0 0 0 0 1 1 0 0 1 1 1 0 0 17 56,7 3,8 N 6 CAMPOS 0 P 7 CARRASCO 0 P 8 CARRILLO 0 9 CASTRO 10 CORREA 11 ESPINOZA 0 1 1 0 1 0 1 0 1 0 0 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 1 0 1 12 1 1 0 1 1 0 1 1 1 1 0 1 1 1 0 1 1 1 0 0 0 1 1 0 1 0 0 1 1 1 20 P P 40,0 3,0 N 66,7 4,5 M/L 0 P 12 FONSECA 0 P 13 GONZALEZmt 0 P 14 GONZALEZmr 0 15 HENRIQUEZ 1 0 0 0 0 1 0 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 0 0 1 1 0 1 0 0 12 40,0 3,0 N 16 JARAMILLO 1 0 1 0 0 1 0 0 0 1 1 1 1 1 1 1 0 0 0 0 0 1 1 1 0 0 0 1 1 1 16 53,3 3,7 N 17 LEON 0 P 18 MARTINEZ 0 P 19 MATURANA 0 20 MILLAO 1 1 1 0 1 1 1 1 1 1 1 0 1 0 1 1 0 0 0 0 0 1 1 1 0 0 0 0 1 0 17 56,7 3,8 N 21 MIRANDA 1 0 0 0 1 1 1 0 1 1 0 0 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 21 70,0 4,8 M/L 22 MOYA 23 ORTIZ 60,0 4,0 M/L 56,7 3,8 N 24 REYES 25 RIQUELME P P 0 1 0 1 1 1 0 1 1 1 1 1 1 1 1 0 0 1 0 1 0 0 1 0 1 1 0 0 0 0 1 18 1 1 0 0 1 1 1 0 1 0 1 1 1 1 1 1 0 0 0 0 0 1 1 1 0 0 0 1 1 0 17 P 0 P 26 RIVAS 0 27 RODRIGUEZ 0 28 RUIZ 29 SALAZAR 0 P 30 SEGUEL 0 P 31 SOTO 0 32 VASQUEZ 1 0 1 0 0 0 0 0 0 0 1 0 1 1 0 1 1 0 1 1 0 0 1 1 0 1 0 1 0 0 13 43,3 3,2 33 VELASQUEZ 1 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 0 1 24 80,0 5,5 L 34 ZUCCONE 1 1 1 0 0 0 0 1 1 0 1 1 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 0 11 36,7 2,8 N 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 0 1 0 1 1 0 1 1 1 1 1 25 P P 83,3 5,8 L P N 45 Tabla N° 8. Hoja en Excel, que aporta Datos para el Análisis de Evaluación por Item. ANÁLISIS EVALUACIÓN ÍTEM N° 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 CONTENIDOS I Guerra I Guerra I Guerra Entre Guerras Entre Guerras Entre Guerras II Guerra II Guerra II Guerra Guerra Fría Guerra Fría Guerra Fría Guerra Fría Guerra Fría Hábitat Urbano Hábitat Urbano Hábitat Urbano Población Población Población Población Población Globalización Globalización Globalización Globalización Globalización Globalización Globalización Globalización HABILIDAD CARACTERIZAR CARACTERIZAR CARACTERIZAR CARACTERIZAR CARACTERIZAR CARACTERIZAR ANALIZAR ANALIZAR ANALIZAR COMPRENDER COMPRENDER COMPRENDER COMPRENDER COMPRENDER CARACTERIZAR CARACTERIZAR CARACTERIZAR RECONOCER RECONOCER RECONOCER RECONOCER CARACTERIZAR CARACTERIZAR CARACTERIZAR RECONOCER RECONOCER RECONOCER EVALUAR EVALUAR EVALUAR PRO 16,0 8,0 9,0 7,0 9,0 10,0 9,0 10,0 10,0 10,0 12,0 9,0 13,0 11,0 5,0 9,0 11,0 4,0 6,0 4,0 5,0 10,0 8,0 8,0 4,0 8,0 6,0 12,0 6,0 8,0 % NIVEL LOG M/L NO/L <20% 100 LOG 16 50 NOL 8 8 50 56 NOL 9 7 44 44 NOL 7 9 56 56 NOL 9 7 44 63 M/L 10 6 38 56 NOL 9 7 44 63 M/L 10 6 38 63 M/L 10 6 38 63 M/L 10 6 38 75 M/L 12 4 25 56 NOL 9 7 44 81 LOG 13 3 19 69 M/L 11 5 31 31 NOL 5 11 69 56 NOL 9 7 44 69 M/L 11 5 31 25 NOL 4 12 75 38 NOL 6 10 63 25 NOL 4 12 75 31 NOL 5 11 69 63 M/L 10 6 38 50 NOL 8 8 50 50 NOL 8 8 50 25 NOL 4 12 75 50 NOL 8 8 50 38 NOL 6 10 63 75 M/L 12 4 25 38 NOL 6 10 63 50 NOL 8 8 50 46 Habilidades Tabla N° 9. Cuadro Resumen de Datos de rendimiento por Habilidad. HABILIDAD ITEM Caracterizar Analizar Comprender Reconocer Evaluar 12 3 5 7 3 % EVAL 40,0 10,0 16,7 23,3 10,0 TOTALES 30 100,0 % REND. <20% % PREG 57,3 60,4 68,8 33,0 54,2 0 0 0 0 0 0,0 0,0 0,0 0,0 0,0 53,5 0 0,0 Contenidos Tabla N° 10. Cuadro Resumen de Rendimiento por contenido CONTENIDOS ITEM I Guerra Entre Guerras II Guerra Guerra Fría Población Hábitat Urbano Globalización 3 3 3 5 5 3 8 % EVAL 10,0 10,0 10,0 16,7 16,7 10,0 26,7 TOTALES 30 100,0 % REND. <20% % PREG 68,8 54,2 60,4 68,8 36,3 52,1 46,9 0 0 0 0 0 0 0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 53,5 0 0,0 47 HABILDAD + CONTENIDO Tabla N° 11. Cuadro Resumen, cruzando Rendimiento y Habilidades. I HAB+CO Gue N rra Caracteri 3 zar Analizar Compren der Reconoce r Evaluar TOTALES 3 % Entre Guerras % 68,8 3 54,2 II Guerr a 3 % Guerra Fría % Poblac ión % Hábitat Urbano % Globali zación % TOT AL 1 62,5 3 52,1 2 50,0 12 60,4 3 5 68,8 5 4 10,0 3 10,0 3 10,0 5 16,7 5 29,7 16,7 Tabla N° 12. Resumen de Rendimiento y Calificaciones Obtenidas ANÁLISIS EVALUACION FINAL CATEGORÍA DAT OS % total alum 34 100 alum pres 16 47 6,0 - 7,0 0 0 5,0 - 5,9 2 13 4,0 - 4,9 3 19 3,0 - 3,9 9 56 2, 0 - 2,9 2 13 0 0 nota prom 3,8 54 nota maxi 5,8 83 nota mini 2,2 23 APROB 5 15 REPRO 11 32 PENDIENTES 18 53 PJE. IDEAL 30 100 PJE. REAL 30 100 LOGRADO 2 6 M/LOGRADO 3 9 NO LOGRADO 11 32 PENDIENTE 18 53 1,0 - 1,9 3 10,0 3 37,5 7 3 54,2 3 8 26,7 30 48 8. RESULTADOS OBTENIDOS La investigación se desarrolló como una Investigación Acción Participativa (IAP), estableciendo los pasos que una investigación de esta naturaleza implica. En primer lugar, la investigación se plantea como un proceso de análisis de la situación (entrevistas en profundidad a los profesores, grupo focal a estudiantes, encuesta a estudiantes sobre retroalimentación), identificación de problemas (prueba de avance curricular y prueba de síntesis) y elaboración de estrategias de acción planeadas, llevadas a cabo y sistemáticamente sometidas a observación, reflexión y cambio (evaluación de las evaluaciones). Esta dinámica de trabajo se realizó a partir de los instrumentos que a continuación se detallan y que son parte importante del andamiaje pedagógico del establecimiento educacional donde se desarrolló la investigación. 49 8.1. Entrevista en profundidad semi-estructurada Se entrevistó a todos los profesores (10) que realizaron clases a los primeros medios durante el año 2012. La base de las entrevista fue el guion que acompaña la investigación. La entrevista es previamente concertada con los profesores, quienes manifiestan su entera voluntad a ser entrevistados en la materia, la cual se les indica con toda claridad, mediante un documento de Consentimiento Informado (Anexo N° 5). Si nos ajustamos al libreto de la entrevista, arroja los siguientes resultados: Al momento de preguntar sobre ¿qué entiende por evaluación formativa?, todos los docentes entregan una definición argumentada, dando a entender que manejan y aplican dicha evaluación. La segunda interrogante, ¿Cómo utiliza la evaluación formativa en su proceso de enseñanza?, generó una serie de planteamientos, que dan cuenta de la disparidad de formas al momento de establecer un proceso evaluativo de la formación. Dicha diferencia se acrecienta cuando en la pregunta tres (¿Qué criterios utiliza al momento de diseñar la evaluación?), deben referirse a los criterios de diseño de evaluación, tema que se está instalando en el establecimiento y que aun genera algunas resistencias, sobre todo cuando se trata de aplicar algunos diseños que homologuen la forma de preparar los instrumentos evaluativos. En la cuarta pregunta (¿Cómo debiera desarrollarse la evaluación de los aprendizajes?), las opiniones son diversas, aunque persiste la idea de establecer líneas de acción que ayuden a estructurar procesos de evaluación integrales, que coloquen al centro de todo, el interés por aprender de los estudiantes. En este contexto, la pregunta es cuestión tiene una relación con la idea de incorporar la retroalimentación a la práctica evaluativa permanente (pregunta N°5). Ahora bien, el tema conlleva la idea explícita de acercarse a una respuesta que sea común para la mayoría acerca de qué manera trabaja la retroalimentación (pregunta N°6), sin embargo la variedad de prácticas referidas a este tema, están ligadas básicamente a un tipo de 50 retroalimentación (respuestas buenas v/s respuestas erradas). Una vez aplicada la evaluación, ¿qué tipo de análisis desarrolla con la información que obtiene de las evaluaciones aplicadas? (preg. N°7). Las respuestas tienden a ser dispersas, manteniendo casi de manera contante, la idea de construir análisis siempre y cuando la dirección académica lo requiera, más que de una práctica cotidiana ya incorporada plenamente. La pregunta N°8 ¿Construye actividades evaluativas (pruebas) para que sus estudiantes las respondan con material de apoyo?, fue contestada mayormente que no es una práctica usada con regularidad. La pregunta N°9, arrastra de nuevo la particularidad docente, en términos de integrar otros métodos de seducción, que se acerquen la educación que el centro educativo despliega ¿En su práctica evaluativa integra la heteroevaluación, con la coevaluación y la autoevaluación de los aprendizajes? La respuesta es un silencio, que sólo se rompe con la siguiente pregunta (10). ¿Qué opina sobre la siguiente afirmación? “La evaluación sólo se usa como un instrumento de medición del aprendizaje”. En esta pregunta, casi al cierre de la encuesta. Se vuelve a fusionar la idea clara del principio. Se entiende qué es evaluación formativa, en particular la retroalimentación, sin embargo, los resultados muestran más miedo a equivocarse que ha intentar resolver esta instancia con las herramientas que les permita mejorar los aprendizajes de los estudiantes. 51 8.2. Grupo focal Participan 7 alumnos/as, 3 mujeres y 4 hombres. La jornada se realiza en el salón de reuniones de la Fundación Instituto Indígena. Se cuenta con las condiciones óptimas para un grato ambiente de conversación (calefacción, alimentación, privacidad, tranquilidad). El grupo focal se inicia a las 11.15 hrs. y finaliza a las 12.10 hrs. Los apoderados de los estudiantes fueron informados de manera previa a través de un documento de Consentimiento Informado (ver anexo 6). El guion elaborado, permitió obtener diversas respuestas las cuales se dan a conocer en este apartado: En la pregunta N°1 se les pide una opinión sobre “¿Cuál es la idea de evaluación que tienen tus profesores?”. Los estudiantes lo asocian a que sus profesores/as buscan conocer cuál es el grado de conocimientos adquiridos, con los resultados logrados por ellos, para desde ahí analizar qué acciones seguir (repasar, realizar un nuevo trabajo de investigación, entre otras opciones). Relacionan el tema con la retroalimentación de sus evaluaciones y la clara idea que los docentes tienen del curso donde ellos participan, dado que las evaluaciones tienden a ser diferentes entre curso y curso. En la pregunta N° 2, se indaga si durante el semestre tuvo evaluaciones formativas, ante lo cual los estudiantes relacionan la EF con retroalimentación, a partir de la revisión de respuestas, sobre todo corrigiendo aquellas que estuvieron erradas. Cuando se les pide que señalen los tipos de evaluación que desarrollaron durante el semestre, las menciones se concentran en seis (6): Con materiales (dominó) Mapas conceptuales Afiches 52 Exposiciones Investigaciones Pruebas escritas Ahora si llevamos estas formas de evaluar a una confrontación con la realidad, tenemos que en el semestre se colocaron 38 calificaciones por estudiante en las asignaturas que fueron evaluadas en las Pruebas PAC y de Síntesis (Lenguaje, Inglés, Matemática, Biología, Física, Química e Historia). En relación a la pregunta sobre ¿qué tipo de instrumento de evaluación siente que aprende más y por qué? Lo que es más significativo para el aprendizaje de los jóvenes que participan del grupo focal son: exposiciones, mapas conceptuales e investigaciones. La consulta N° 5, indagaba si existe una retroalimentación posterior a rendida la evaluación. Las respuestas coincidieron que fundamentalmente se centra en la revisión de las respuestas erradas y en las correcciones de éstas, por lo general se desarrolla en una clase sólo destinada a este objetivo. En la consulta N° 6, referida a la participación de su proceso de evaluación (Coevaluación y Autoevaluación), los estudiantes manifiestan que no tienen experiencia en este tipo de acciones. La consulta sobre si está de acuerdo con la forma en que es evaluado, los estudiantes admiten con autocrítica, que los resultados son responsabilidad propia, más que el desarrollo de la acción evaluativa. En la pregunta N° 8, se les consulta si han realizado evaluaciones (pruebas) con material de apoyo. Frente a lo cual manifiestan que no es común la realización de evaluaciones bajo esta mirada. 53 8.3. Pauta de Evaluación aplicada a los instrumentos de evaluación. La tabla N°5, que da cuenta de los Criterios de Realización, fue aplicada a los instrumentos de evaluación (pruebas) que fueron aplicadas a los primeros medios, sujetos de la presente investigación. Los resultados fueron los siguientes: Tabla N° 13. Resumen de Resultados de la Evaluación de las Evaluaciones CRITERIOS DE REALIZACIÓN ENCABEZADO OBJETIVO DE APRENDIZAJE Formato IDENTIFICACIÓN (10%) CRITERIOS DE CALIDAD PROMEDIO 2% - (0,4 Unidad de Aprendizaje, Profesor, Año Lectivo y nombre de la Evaluación. p.) 2% - (0,4 - La evaluación indica Aprendizaje(s) esperado(s) y/o habilidad(es). p.) - Existe un espacio específico donde el estudiante debe registrar su nombre y la 2% - (0,4 fecha de realización. p.) orienten al estudiante acerca del procedimiento que debe seguir para contestar la prueba. - Se garantiza la presentación nítida de la prueba: unificando tamaño y tipo de PRESENTACIÓN RESULTADO - En el encabezado de página se registra Institución Educativa, Asignatura, Curso, - Las instrucciones generales y específicas están redactadas de manera que INSTRUCCIONES POND. IDEAL letra; así como la calidad de los dibujos, imágenes, esquemas o representaciones gráficas que se utilicen en ella. 2% - (0,4 p.) 2% - (0,4 p.) Coherencia Las preguntas o reactivos tienen directa relación con los aprendizajes esperados enunciados, así como con las 40% - (8 (40%) habilidades declaradas. p.) Preguntas (30%) 10% - (2 ENUNCIADO El enunciado de cada ítem es formulado de manera clara y directa. VOCABULARIO Se emplea vocabulario técnico propio de la asignatura. DIVERSOS ITEMS Utiliza ítems de respuesta cerrada y de desarrollo, al menos uno de cada tipo. p.) 10% - (2 p.) 10% - (2 p.) Puntaje La puntuación de cada ítem se consigna con números enteros, teniendo en consideración la habilidad que se 20% - (4 (20%) pretende medir y el formato del ítem. p.) TOTAL 20 P. (100%) 0,3 p. 0,3 p. 0,3 p. 0,3 p. 0,3 p 7 p. 1,5 p. 1,5 p. 1,5 p. 3 p. 16 P. (80%) De un total de 20 puntos contemplados en la pauta, el resultado promedio de la evaluación de las 54 evaluaciones alcanzó un total de 16 puntos. Este puntaje que representa un 80% de metas alcanzadas, se logró fundamentalmente a partir de la retroalimentación efectuada a los profesores en el semestre durante el cual se desarrolló está parte de la investigación. Cabe consignar que al principio de año, los resultados por evaluación no superaban el 50% promedio al momento de aplicarse la tabla. 55 8.4. Encuesta a estudiantes sobre el uso de la Retroalimentación en su proceso de Aprendizaje. La encuesta fue aplicada a toda la Enseñanza Media del establecimiento con un total de 264 estudiantes, quienes representaban el 88% del alumnado. En el caso de los dos primeros medios sujetos de la investigación, su participación fue de un 95,7%. Para las dos preguntas utilizadas en la presente investigación, los resultados fueron los siguientes: En la pregunta N° 5, los estudiantes de ambos cursos mayoritariamente afirman positivamente que existe una preparación para la evaluación. Destaca con una alta cifra de aprobación Lenguaje y Matemática. En el segmento negativo el más alto lo representa Inglés, sin embargo, la cifra sólo es de un 15%. Gráfico N° 1. Pregunta N° 5 de la Encuesta a estudiantes sobre Retroalimentación Pregunta N° 5: Hay preparación para la evaluación (repaso, temario, guía, otros). 70 60 50 40 30 20 10 0 8 1 19 12 1 13 6 11 8 3 2 11 4 54 48 48 50 52 MAT HIS BIO 10 58 38 LEN ING SI NO FIS QUI A/V En la pregunta N° 7, referida a la retroalimentación, los porcentajes de aprobación, son menos altos que en la pregunta N° 5. Destaca Química con una cifra de aprobación de un 70%, y el mayor rechazo sigue siendo Inglés con un 30%. 56 Gráfico N° 2. Pregunta N° 7, de la Encuesta a estudiantes sobre Retroalimentación Pregunta N° 7: Se realizó retroalimentación de los contenidos que fueron evaluados (aciertos - errores) 70 60 50 40 18 14 9 8 18 17 16 20 12 18 17 9 9 39 33 36 32 32 38 LEN ING MAT HIS BIO 12 30 20 10 0 SI NO FIS 47 QUI A/V En términos globales, la encuesta permite afirmar que en estos dos temas, los estudiantes creen positivamente que existe una preparación para la evaluación y que una vez realizada la evaluación se hace, en opinión de los estudiantes, de manera permanente. 57 8.5. Resultados de la Prueba de Avance Curricular (PAC) y la Prueba de Síntesis. Una vez concluido el proceso de rendir las pruebas PAC y de Síntesis, podemos observar que en tres asignaturas (Biología, Matemática e Historia), hay un alza en el porcentaje de rendimiento, donde el alza más significativa se dio en Matemática con un 17% de aumento. En el lado contrario, cuatro asignaturas disminuyen su rendimiento (Química, Física, Lenguaje e Inglés), destacando Inglés con un 12%. Gráfico N° 3. Comparación de Rendimientos entre pruebas PAC y de Síntesis Comparación de % de Rendimiento entre Pruebas PAC y de Síntesis 80 70 60 50 40 30 20 10 0 75 59 38,5 37,5 61,5 51,5 51 52,5 37,5 58 55 43 47,5 35,5 Rendimiento En el segmento de mayor rendimiento (sobre 75%), destacan Biología Matemática e Historia, donde la mayor cifra es Matemática que pasa de 2 a 24, que obtienen un porcentaje igual o superior a un 75%. Las asignaturas en donde bajó la cantidad de estudiantes con rendimientos superiores a 75%, son Física, Lenguaje e Inglés. La mayor baja se dio en Lenguaje que pasa de 9 a 2 estudiantes con 75% o más. Un caso especial, lo constituye Química, donde no hubo estudiantes que superaran dicho porcentaje de rendimiento en ambas evaluaciones. 58 Gráfico N° 4. Comparación de rendimiento igual o superior a 75%. Comparación de Rendimiento 75% o más entre Pruebas PAC y de Síntesis 24 25 20 15 9 7 10 5 0 0 3 0 5 2 0 4 2 0 2 0 75% o más Quienes obtuvieron porcentajes de rendimientos inferiores al 25%, destaca Química e Inglés. El caso más complejo es Inglés, que pasa de 2 a 13 estudiantes con porcentaje igual o inferior a 25% de rendimiento. Las asignaturas que disminuyeron la cantidad de estudiantes con bajos porcentajes de rendimiento son Biología y Matemática. Al mismo tiempo, Física y Lenguaje no obtuvieron a estudiantes con porcentajes de 25% o menos, en ninguna de las pruebas. Gráfico N° 5. Comparación de rendimiento igual o inferior a 25%. Comparación de Rendimiento 25% o menos entre Pruebas PAC y de Síntesis 14 12 10 8 6 4 2 0 14 13 8 6 2 0 0 0 0 25% o menos 1 0 1 2 2 59 9. ANÁLISIS DE RESULTADOS Los datos recogidos se analizaron mediante la técnica de Análisis de Contenido, en esta etapa preliminar. El Análisis de Contenido nos ofrece la posibilidad de investigar sobre la naturaleza del discurso. Es un procedimiento que permite analizar y cuantificar los materiales de la comunicación humana. En general, puede analizarse con detalle y profundidad el contenido de cualquier comunicación: en código lingüístico oral, icónico, gestual, gestual signado, etc. y sea cual fuere el número de personas implicadas en la comunicación (una persona, diálogo, grupo restringido, comunicación de masas...), pudiendo emplear cualquier instrumento de compendio de datos como, por ejemplo, agendas, diarios, cartas, cuestionarios, encuestas, test proyectivos, libros, anuncios, entrevistas, radio, televisión... [Holsti, 1968, citado en (Porta, 2003)]. Pérez Serrano, se refiere a la amplia gama de oportunidades de uso que tiene la técnica: “En los últimos años esta técnica ha abandonado los límites de los medios de comunicación y se utiliza en marcos cada vez más variados, desde el contenido de las producciones personales como técnica auxiliar al análisis de datos obtenidos, a través de encuestas, entrevistas, registros de observación, etc.”. (Pérez Serrano, 2002, pág. 133) Krippendorff, define el Análisis de Contenido como “Técnica destinada a formular, a partir de ciertos datos, inferencias reproducibles y válidas que puedan aplicarse a un contexto” (Krippendorff, 1997, pág. 28). Esta técnica, según el autor mencionado, sitúa al investigador respecto de la realidad en una triple perspectiva: - Los datos tal y como se comunican al analista. - El contexto de los datos. - La forma en que el conocimiento del analista obliga a dividir la realidad. 60 - La inferencia como tarea intelectual básica. - La validez como criterio seguro de éxito (Pérez Serrano, 2002) 61 9.1. Análisis de las Entrevistas Una vez realizado el análisis de contenido de cada una de las preguntas consideradas en la pauta de evaluación, se tiene lo siguiente: P.1. ¿Qué entiende Ud. por evaluación formativa? Es una de las preguntas donde todos los entrevistados/as manifiestan una opinión clara, desarrollada y con argumentación. Básicamente existió consenso en que es una evaluación no calificada, como un instrumento que sirve para supervisar el avance en el aprendizaje de los alumnos/as. Se comprende además como herramienta para determinar cambios frente a debilidades en los Procesos de Aprendizaje y de Enseñanza. Por otro lado se señala como una herramienta útil para estimular al alumno/a en el Proceso de Aprendizaje, lo cual es visto como positivo y que incide en el grupo sin mayor resistencia. P.2. ¿Cómo utiliza la Evaluación Formativa (EF) en su proceso de enseñanza? En esta pregunta existió una diversidad de opiniones, pues algunos/as docentes la comprendieron como herramienta de acción y otros/as como método. Algunos/as la catalogaron como herramienta para introducir cambios en la metodologías de contenidos o actividades de causen dificultad. Por otro lado señalan que también se utiliza cuando se avanza en contenidos más complejos o abstractos, es como una forma de motivar en escenarios complejos. 62 Existieron coincidencias entre algunos/as que plantearon que utilizan la EF al final de cada clase, como elemento de cierre de los contenidos. Algunos/as también señalaron que les es muy útil para cotejar el desarrollo de los objetivos. Los talleres y actividades grupales también están considerados como métodos de trabajo. P.3. ¿Qué criterios utiliza al momento de diseñar la evaluación? También existió heterogeneidad en las respuestas, lo que prevaleció se relaciona básicamente con los aprendizajes esperados y contenidos mínimos. Algunos/as docentes organizan la evaluación con criterios relacionados a lo receptivo – productivo, y más específicamente desde lo general a lo particular. Para otros/as el criterio central debía relacionarse con la aplicación del conocimiento, buscando formas evaluativas que superen la práctica de “memorización” que desarrollan algunos de los alumnos/as. También algunos docentes consideran como criterio importante formular indicaciones claras para el desarrollo de la prueba, que se adecue a las distintas aptitudes y necesidades de aprendizajes de los/as alumnos, además de incluir el puntaje ideal en cada ítem y totalidad de la evaluación. P.4. ¿Cómo debiera desarrollarse la evaluación de los aprendizajes? Muchos de los docentes coinciden que debiera incluirse la evaluación formativa, con distintos instrumentos y modalidades; y donde también vaya de la mano con los aprendizajes esperados. Algunos más analíticos optan porque se debiera reconocer primero qué es lo necesario que el/la estudiante aprenda, y contrastarlo con la manera en que se está traspasando el conocimiento. En este mismo sentido se valora “compartir los criterios con alumnos” como una forma de adecuar la 63 evaluación a lo que los jóvenes esperan y qué empatizan. P.5. ¿Incorpora la retroalimentación en su práctica evaluativa? y P.6 ¿De qué manera trabaja la retroalimentación? Todos los docentes consultados manifestaron que sí incorporan la retroalimentación luego de las evaluaciones, y que para algunos/as de ellos es un práctica instalada desde hace tiempo, donde una vez entregada la evaluación a los alumnos/as se revisa y analiza en conjunto, entregando así las respuestas correctas. Al trabajar la retroalimentación se evidencia los criterios establecidos previamente, se detectan errores y se trabajan con ejemplos cercanos de fácil comprensión. Por lo general prefieren trabajar la retroalimentación de manera colectiva y en el caso de evaluaciones que consideran exposiciones orales, se refuerzan los aspectos más débiles y se potencian los que han estado acertados. P.7. ¿Qué tipo de análisis desarrolla con la información que obtiene de las evaluaciones aplicadas? El primer análisis tiene que ver sí se cumplió o no con el aprendizaje esperado y por lo general está asociado a un análisis cuantitativo, detectando el número de respuestas erradas o no contestadas. Indican que se revisar el nivel de logro lleva a establecer relaciones entre habilidades y contenidos, con el objetivo de mejorar el instrumento de evaluación. El análisis lleva a la toma de decisiones en los casos que la evaluación deja grandes vacíos (número importante de respuestas erradas, sin responder) lo que en ocasiones deriva en dejar nula una evaluación o repetirla. 64 P.8. ¿Desarrolla actividades evaluativas (pruebas) con material de apoyo? La mayoría de los docentes indica que no es una práctica habitual. P.9. ¿En su práctica evaluativa integra la heteroevaluación con la coevaluación y la autoevaluación de los aprendizajes? Pregunta que evidencia no dominio de los/as docentes sobre los diversos tipos de evaluación. P.10. ¿Qué opina sobre la siguiente afirmación? “La evaluación sólo se usa como un instrumento de medición del aprendizaje” Es la pregunta que permite un mayor nivel de análisis y reflexión. Algunos/as se manifiestan críticos ante el planteamiento indicando que se queda sólo en una parte de lo que implica la generación de aprendizaje. Primero que todo plantean que es una realidad muy presente en el ámbito docente, pero que ellos/as realizan un esfuerzo por superar ese estado y trasladar la reflexión a los métodos de enseñanza, las expectativas de los alumnos/as. 65 9.2. Análisis Grupo Focal con Alumnos P.1. En tu opinión ¿Cuál es la idea de evaluación que tienen tus profesores? Los/as estudiantes lo asocian a que sus profesores/as buscan conocer cuál es el grado de conocimientos adquiridos, con los resultados logrados por ellos, para desde ahí analizar qué acciones seguir (repasar, realizar un nuevo trabajo de investigación, entre otras opciones). “… a veces se repasa o se nos manda a hacer un trabajo, o en vez de hacer una prueba se manda a hacer un trabajo para aumentar el conocimiento…” Relacionan de inmediato el tema de la retroalimentación de sus evaluaciones, ven a ésta como una posibilidad de ampliar el conocimiento, de aprender más y suplir los vacíos previos a la evaluación. En la retroalimentación coinciden con lo expresado por sus profesores/as, donde indican que revisan sus pruebas de manera grupal. Reconocen además que las evaluaciones implementadas son diferenciadas, entre un curso y otro, valorando que sea así, pues los niveles de comprensión, ambiente grupal y formas de asimilar el conocimiento varían de un grupo a otro. “…por ejemplo, los profes las pruebas que hacen… a los otros cursos le hacen una distinta. Porque en cada curso aprendieron algo distinto…” Por otro lado los alumnos/as tienen un diagnóstico claro sobre los tipos de evaluación implementado en cada asignaturas “… en Física sabemos cómo son las pruebas, de alternativa y nada más…”, lo cual en ocasiones puede provocar predisposiciones a la hora de estudiar o de enfrentar la evaluación. P.2. ¿Durante el semestre tuvo evaluaciones formativas? La evaluación formativa la relacionan directamente con la retroalimentación. 66 “… Trabajo en grupos y a veces de manera individual… se nos otorgaba décimas para las calificación…” “…Corrigiendo las incorrectas y también justificándolas…” P.3. ¿Qué tipos de evaluación desarrolló en clases este semestre? Con materiales (dominó) Mapas conceptuales Afiches Exposiciones Investigaciones Pruebas escritas P.4. ¿Con qué tipo de instrumento de evaluación siente que aprende más y por qué? Las más votadas fueron exposiciones, mapas conceptuales e investigaciones. En el caso de las exposiciones indican que les permite indagar más sobre un tema y delimitar lo que consideran pertinente compartir de aquellos conocimientos. En los mapas conceptuales ven la posibilidad de sintetizar información, presentarla de manera esquemática y ordenada. “… aprendo más con las exposiciones y los mapas conceptuales. En las primeras uno se centra en el tema y va más allá de lo que necesita investigar… se aprende lo importante y lo llamativo y los mapas es un resumen de todo lo que uno ha aprendido…” P.5. ¿Una vez rendidas las evaluaciones qué tipo de retroalimentación recibió? Fundamentalmente se centra en la revisión de las respuestas erradas y en las correcciones de éstas, por lo general se desarrolla en una clase sólo destinada a este objetivo. Los alumnos/as valoran esta instancia como una oportunidad de mejorar su aprendizaje, logran internalizar lo que realmente se busca con la retroalimentación, opinión también coincidente con sus docentes. “… volver a ver los contenidos que no quedaron tan claros. Porque no necesariamente se va a subir la nota, pero se va aprender la materia que va a ser importante más adelante…” 67 P.6. ¿Participó de su proceso de evaluación? - Coevaluando - Autoevaluado Los alumnos/as mencionan no tener experiencia en este tipo de evaluaciones, pero piensan que sí debería incorporarse, ellos se encuentran en condiciones de responder por su proceso de aprendizaje, eso sí reconocen que quizás no todos están preparados en el ámbito de la sinceridad, o de la madurez para enfrentar el proceso de autoevaluación. P.7. En su opinión ¿está de acuerdo con la forma en que es evaluado? La discusión para esta respuesta fue interesante, pues centran el debate en una postura autocrítica de cómo enfrentan su proceso de estudio para lograr aprendizajes. Reconocen que en ocasiones ellos pueden dar más, y que pasa por la responsabilidad con que asumen su preparación para las evaluaciones y para todo el proceso educativo. “La mayoría de los estudiantes estudia solo para la prueba, por lo tanto se les olvida el contenido. Entonces en una prueba de síntesis, ya no recuerdan los contenidos…” P.8. ¿Realizaste evaluaciones (pruebas) con material de apoyo durante el semestre? No es muy común que realicen evaluaciones con material de apoyo, lo cual coincide con lo planteado por docentes y esto podría constituir un desafío a nivel de comunidad educativa, para ampliar las herramientas de aprendizaje y superar el estudiar sólo bajo una estructura. Los temas expuestos por los alumnos/as tienen sintonía con lo expresado por los profesores/as, pues ambos consideran relevante incorporar la autoevaluación y la diversidad de evaluaciones como métodos para ampliar el aprendizaje. Como una forma de ordenar los datos y registros obtenidos en el trayecto de la investigación, se generarán categorías de análisis, las cuales se desprenden de los objetivos específicos y dan cuenta de los diversos instrumentos utilizados para la recolección de información. 68 La información recopilada se analizó, a través de un sistema categorial preliminar, que va dando cuenta de las tendencias encontradas tanto en las entrevistas, como en el grupo focal. Las citas obtenidas, se anexarán a las categorías preestablecidas, para crear una red semántica, que entregue luces de la relación entre los diferentes componentes de la investigación. 69 9.3. Pauta de Evaluación aplicada a los instrumentos de evaluación. Si consideramos que la validez de un instrumento de evaluación se basa en tres momentos o dimensiones (contenido, instruccional y consecuencial), en lo que respecta a las pruebas analizadas podemos dar cuenta sólo de algunos aspectos dado que no estamos en condiciones de observar el proceso en el cual se enmarca el instrumento. En ese sentido desde la perspectiva asociada al contenido suponemos que existe una tabla de especificaciones que redunda en la construcción de las evaluaciones analizadas, ya que ambas corresponden a cierres de unidad. La suposición se basa en la presencia de las “habilidades” asociadas a contenido que se expresan en el encabezado de la evaluación. Desde un plano instruccional, se puede observar que el lenguaje utilizado es conocido por los estudiantes, ya que no hay evidencias de “dudas” en ambos procedimientos (subrayados, tachados, etc.). No tenemos certeza si las actividades desplegadas en el instrumento son similares a las actividades del proceso, pero se entiende que los contenidos evaluados han sido trabajados de manera equivalente a como se preguntan en el instrumento. En la dimensión consecuencial, vital para el futuro del estudiante (donde se evidencia la unidad entre aprendizaje y certificación), se puede observar que tanto los propósitos de la evaluación así como sus evidencias están definidas e identificadas en ambos procedimientos. Desde la mirada asociada a la confiabilidad, ambos procedimientos dan cuenta de medir el mismo aprendizaje a partir de diferentes situaciones evaluativas; los ítems e instrucciones se entienden con claridad; y la corrección se aprecia limpia, sin re-correcciones en una misma pregunta. ¿Pasaron la prueba de “calidad” las evaluaciones analizadas? De acuerdo a los criterios elaborados, sí. Ambas evaluaciones cumplen los aspectos previstos. Sin embargo, a medida que se avanzaba en el análisis iban apareciendo otros criterios posibles. 70 Uno de esos criterios no considerados es la retroalimentación. Al ver las dos evaluaciones, en la de matemática se aprecian indicaciones de donde está el error del estudiante, pero claro, como el resultado es casi óptimo, no se indican más detalles, pero es un indicio que en las demás evaluaciones corregidas, se mantiene el formato de corrección. En la prueba de lenguaje, se ve sólo la indicación de correcto e incorrecto, pero sin destacar lo correcto en aquellas preguntas respondidas equivocadamente. Ahora si pensamos en una evaluación aun sin responder por los estudiantes, otro criterio faltante sería (si hablamos de habilidades), indicar frente a cada pregunta la habilidad evaluada, ya que ello sería indicio de preguntar lo que ya se ha trabajado durante el proceso. Porque se entiende que en este establecimiento educacional se trabaja desde las habilidades asociadas a contenido, por lo tanto es preciso clarificar en mejor medida esta característica. 71 9.4. Análisis de Resultados de las Pruebas de Avance Curricular y de Síntesis. Los estudiantes que rindieron ambas evaluaciones eran 69 en total. De los cuales, como ya explicamos en el paso anterior se eximían aquellos que habían obtenido un promedio de calificaciones igual o superior a 6,0. Por lo tanto, y de acuerdo a la realidad de cada asignatura, los resultados fueron los siguientes: Todos los estudiantes, dieron al menos una evaluación. Tal como lo muestra la tabla de los rangos de pruebas rendidas. Tabla N° 14. Tramos de Evaluaciones Rendidas por estudiante. Tramo ES % 0-4 12 17,4 5-9 11 15,9 10 - 14 46 66,7 En el tramo de 0 – 4 pruebas rendidas, encontramos a 12 estudiantes, quienes se distribuyen en un 50% que rindió al menos una PAC y PS completa (por ej. Lenguaje), y el otro 50% sólo rindió una de ambas. Es coincidencia que estos estudiantes representan los promedios de calificaciones más altos. En el segundo tramo, hay 11 estudiantes, de los cuales 9, rindieron entre 2 y 4 PAC y PS completas (al igual que el párrafo anterior). Ya en el tercer tramo, encontramos el grueso de los estudiantes, con un 66%, de los cuales 18 estudiantes rindieron todas las evaluaciones. 72 Los estudiantes rindieron en total 699 evaluaciones, de un total de 966, de las cuales 343 equivalen a PAC (49,07%) y 356 a PS (50,93%). El promedio de estudiantes que rindieron las evaluaciones es de 49, 9 lo que equivale a un 72,4% del total. Las evaluaciones se distribuyeron a partir de los siguientes rangos: Tabla N° 15. Pruebas Rendidas PAC SIN RAP NRP N°P 32 46 311 94 % 6,63 9,52 64,4 19,5 Las evaluaciones que fueron rendidas (Rinden ambas Pruebas – RAP) tanto en la versión PAC como en la PS, completan un 64,4%, cifra que se utilizará para el análisis de resultado final. Tabla N° 16. Comparación de Logros. SUBE BAJA IGUAL N°P 158 129 24 % 50,8 41,5 7,72 De las 311 evaluaciones dobles realizadas por 63 estudiantes (91,3%), indican que el 50,8% sube su rendimiento en la Prueba de Síntesis, mientras que un 7,72% se mantiene. Ahora, si hacemos el análisis solamente con aquello estudiantes que rindieron el 100% de las evaluaciones, los resultados son los siguientes: 73 Tabla N° 17. Comparación de Rendimientos. SUBE BAJA IGUAL N°P 65 53 8 % 51,6 42,1 6,35 Estas evaluaciones representan un 40,5% de las 311 ya analizadas, fueron rendidas por 18 estudiantes (26,1%). Los resultados se mantienen en relación a la tabla anterior, aumentando levemente la mejora y la baja, así como disminuyen quienes que se mantuvieron iguales. 74 9.5. Análisis de la Encuesta a estudiantes sobre el uso de la Retroalimentación. Tabla N° 18. Pregunta sobre la preparación de la Evaluación. Pregunta N° 5: Hay preparación para la evaluación (repaso, temario, guía, otros). C1°M LEN ING MAT HIS BIO FIS QUI SI 58 38 54 48 48 50 52 NO 1 10 1 6 8 2 4 A/V 8 19 12 13 11 3 11 Un total de 67 estudiantes responde la encuesta, en la pregunta N° 5, un 74,2% asegura que hay preparación para la evaluación, con diversos materiales de apoyo de acuerdo a las características de cada asignatura. La asignatura con un porcentaje menor de aprobación es Inglés con un 56,7%. En la pregunta N° 7, referida a específicamente al concepto de Retroalimentación, el porcentaje de aprobación cae a un 54,8%, donde la mirada de manera negativa a la afirmación sube de un 6,82% a 20,7%. Las asignaturas en este rango son evaluadas de manera similar o pareja, donde los mayores porcentajes (%) de rechazo están en Inglés, Historia y Biología con cifras cercanas al 30%. Tabla N° 19. Pregunta sobre Retroalimentación Pregunta N° 7: Se realizó retroalimentación de los contenidos que fueron evaluados (aciertoserrores) C1°M LEN ING MAT HIS BIO FIS QUI SI 39 33 36 32 32 38 47 NO 9 20 12 18 17 9 12 A/V 18 14 18 17 16 9 8 75 10. DISCUSIÓN E INTERPRETACIÓN DE LOS RESULTADOS La interpretación de la información constituyen sí misma el “momento hermenéutico” propiamente tal, y por ello es la instancia desde la cual se construye conocimiento nuevo en esta opción paradigmática. El poder realizar correctamente este proceso interpretativo se ve enormemente posibilitado cuando partimos de elementos teóricos de base, que nos permiten pensar orgánicamente y, con ello, ordenar de modo sistematizado y secuencial la argumentación. Una vez concluido el análisis de la información recogida, se procedió a buscar relaciones entre la evaluación formativa y el aprendizaje de los estudiantes. En ese sentido, el discurso de los docentes participantes y la opinión de los estudiantes, tienen algunos elementos en común y otros de manera encontrada, pero que permite establecer la trascendencia de la investigación más allá del grupo de referencia. Estos aspectos, tanto en lo particular como en lo general, se examinaron e interpretaron, bajo el prisma del marco teórico que acoge la investigación, y como carta de navegación, los objetivos declarados. Según (Cisterna Cabrera, 2005), “En el campo de la educación, una forma de realizar este proceso surge de la comprensión de que dicho campo puede ser entendido epistemológicamente desde la concurrencia de dos grandes áreas: a) el de las ciencias pedagógicas propiamente tales, que estudian el hecho pedagógico en sí mismo, conformado por tres grandes campos de teoría y praxis: el campo del currículo, desde donde se produce la selección de cultura, que a su vez conforma lo que denominamos “el conocimiento educativo”; el campo de la didáctica, desde donde se concreta el proceso de organización y realización del acto de enseñanza de los contenidos seleccionados, y el campo de la evaluación, que legitima y valida los aprendizajes de quienes son los protagonistas esenciales del hecho educativo, vale decir, los estudiantes, y b) el de las “ciencias o disciplinas complementarias de la educación”, que cumplen la función de 76 aportar el abanico de conocimientos que nos ayudan a comprender y realizar de mejor forma la acción educativa, y donde podemos encontrar disciplinas tales como: filosofía de la educación, sociología de la educación, psicología educacional, administración y orientación educacional.” (Cisterna Cabrera, 2005, pág. 70) Para la presente investigación abordaremos el análisis a partir de lo siguientes aspectos: 10.1. Desde el campo disciplinar Los docentes entrevistados reconocen en la evaluación formativa una herramienta que puede ser eficaz en la construcción de aprendizajes de sus estudiantes, de hecho coinciden en su definición en que: es una evaluación no calificada, como un instrumento que sirve para supervisar el avance en el aprendizaje de los alumnos/as, y que además se comprende como una herramienta para determinar cambios frente a debilidades en los procesos de aprendizaje y enseñanza. Sin embargo, la utilización de la misma no está incorporada como una necesidad permanente en la acción educativa. Por lo tanto hay coincidencia en el diagnóstico, pero no en la puesta en escena. De hecho esto se acrecienta, cuando se le pregunta sobre si incorpora otros componentes de la evaluación, más allá de la heteroevaluación. ¿Cómo se diseñan entonces los instrumentos con los cuales se obtiene información del avance en el aprendizaje de los estudiantes? Las respuestas de los docentes, son variadas, con miradas de la disciplina que se enseña por sobre aspectos propios de la evaluación. En este aspecto los estudiantes (a través del grupo focal), reconocen que el principal foco de la evaluación formativa como parte de su proceso de aprendizaje, está a partir de lo que ellos denominan retroalimentación. Es decir, una vez concluida la prueba (tal cual está preguntado en la encuesta), los profesores trabajan con los estudiantes los aspectos que no fueron bien respondidos. Sin embargo, el tema de fondo sigue siendo la calificación, por encima de los niveles de logro obtenidos en los aprendizajes. Estudiantes y profesores coinciden en colocar la Retroalimentación como una tarea que se realiza, pero que aún es necesario afinar detalles. De hecho, la encuesta que preguntaba directamente sobre este tema, aporta luces en términos que un 54,6 % afirma que efectivamente hay retroalimentación, sin embargo un 20% dice que no hay tal 77 acción, por lo tanto, podemos estar en presencia de un discurso que se ve acosado por los hechos de cubrir el programa de estudios por sobre el aprendizaje. En el grupo Focal, los estudiantes reconocen que sí hay Retroalimentación, la cual se relaciona con las acciones remediales que los profesores optan por desarrollar por evaluaciones, sobre todo cuando los resultados están por debajo de los esperado. Entonces volvemos a preguntarnos ¿los instrumentos de evaluación construidos por los docentes, obedecen a alguna lógica que vaya más allá del propio campo disciplinar? Las respuestas de los docentes son variadas, sobre todo al momento de ponerse de acuerdo donde colocar el énfasis. En este aspecto, la idea de construir una pauta de Criterios para Construir y Analizar la Evaluación (Tabla N°5), permitió ordenar las evaluaciones al menos en los aspectos formales, de tal manera que los estudiantes observen grados de uniformidad frente a los instrumentos y el lenguaje empleado por los examinadores sea el mismo. Esta se construyó a partir de las experiencias que se fueron dando en el marco de esta investigación y en base a los datos recogidos por la Coordinación de Enseñanza Media del establecimiento. Se colocó en marcha antes de la Prueba de Síntesis, lo que permitió presentar a los estudiantes instrumentos de evaluación que reúnan los estándares que el colegio estima son los apropiados. En términos formales, prácticamente no hubo preguntas que hayan tenido que eliminarse, en el transcurso de la evaluación, ya sea por una alternativa ausente, o repetición de preguntas, etc. Los estudiantes trabajaron con un instrumento limpio, lo cual evita el ruido de la aclaración de dudas formales. Hay aspectos de la tabla mencionada que siguen siendo campo minado, como la co-evaluación y la autoevaluación, hay un espacio aun por develar, pero al ser planteadas como parte de un ideal de evaluación algunos profesores las han ido incorporando, tema que los estudiantes valoran, ya que los hace más partícipes de su proceso de aprendizaje. Otro tema no resuelto en la PAC y la PS, es el tipo de pregunta. Las catorce pruebas analizadas son de respuesta cerrada. Es decir los estudiantes estuvieron sometidos (quienes dieron todas las evaluaciones) a 420 peguntas tipo selección múltiple, donde además los temas preguntados tenían un tiempo de haber sido vistos durante un semestre (PAC) y un año (PS). Para los estudiantes, sin embargo, estas evaluaciones son importantes ya que entienden que deben estudiar para aprender, en lugar de hacerlo para una 78 prueba en particular. Ahora bien, el tema que los preocupa es el tipo de preguntas (respuesta cerrada, generalmente Selección Múltiple), ya que habitualmente son evaluados con instrumentos que conllevan este tipo de interrogantes. Los estudiantes observan esta situación con signos de resignación sobre todo cuando hablamos de los tipos de preguntas, los cuales tienden a ser de respuesta cerrada ¿Tienen alguna preferencia los estudiantes? Ser evaluados con preguntas variadas, que ojalá incluyan la construcción de respuestas (como los mapas conceptuales), sin desconocer la validez de las preguntas cerradas, pero dejando más espacio a la diversidad de formas de aprender que cada estudiante posee. 10.2. Desde el ámbito de la didáctica Las concepciones sobre evaluación que los docentes deslizan en las respuestas a la entrevista, están divididas en torno a los siguiente: algunos coinciden en que debiera incluirse la evaluación formativa, con distintos instrumentos y modalidades; y que esto vaya de la mano con los aprendizajes esperados (es decir, un grado de coherencia entre lo que se evalúa o pregunta y aquello que se ha declarado como enseñanza). Otro grupo de docentes, discuten que debiera reconocerse primero qué es lo necesario que el/la estudiante aprenda, y contrastarlo con la manera en que se está traspasando el conocimiento ¿Están dispuestos los profesores a compartir los criterios de evaluación con sus estudiantes? Es decir, ¿deben los estudiantes conocer la hoja de ruta de su proceso evaluativo? Algunos creen que es necesario, ya que permite adecuar las evaluaciones al interés de los estudiantes. Sin embargo, frente a la pregunta si los estudiantes utilizan material, por ejemplo, para la realización de una evaluación, la mayor parte de los profesores reconoce que no es así y lo estudiantes coinciden en esto. Por lo tanto cuando hablamos de pruebas, y si estas pruebas por lo general tiene un tipo de pregunta, sin la posibilidad que el estudiante consulte durante su ejecución el proceso de construcción de su aprendizaje a través de los propios apuntes desarrollados, estamos hablando de evaluaciones en un solo sentido. No hay instancias de compartir los criterios y sigue siendo el instante de la evaluación un espacio “diferente”, que conlleva un cambio importante frente lo cotidiano. Al mismo tiempo, desde esta perspectiva, el estar “en prueba”, genera un clima propio de dicha instancia, que muchas veces se 79 aparta de lo acostumbrado en la asignatura ¿Por qué ese cambio durante las evaluaciones? En algunos encabezados de prueba se escribe en negrita: “no se puede preguntar durante la prueba”. ¿Y si algunas de las preguntas están mal redactada, o simplemente el contenido preguntado no fue enseñado, o la pregunta 18 es igual a la 30? Muchas pueden ser las interrogantes en una evaluación. Interrogantes no sólo para obtener una respuesta fácil, si no de forma. Por lo tanto prohibir desde el arranque las preguntas sobre lo que se está evaluando, es inhibir el momento más preciado para aprender. Seguramente las dudas podrán ser abordadas en la clase siguiente, sin embargo, el momento preciso que el estudiante necesita para su aprendizaje, es cuando hizo la pregunta. Lo más probable que en la semana que sigue, la duda original simplemente haya quedado como duda, porque claro, se revisarán las respuestas correctas e incorrectas, pero ese instante preciso es irrepetible. La variedad de formas de enseñar está asociada a las diferentes formaciones que los docentes han tenido a lo largo de su carrera profesional. Sin embargo, sigue siendo tema: enseñar cómo se aprendió. ¿Cuántos profesores estarán dispuestos a que sus alumnos desarrollen un instrumento de evaluación con material de apoyo?, ¿qué porcentaje de la calificación se está dispuesto a compartir con los estudiantes, mediante una propuesta de autoevaluación y/o de co-evaluación? Las respuestas dadas por los docentes en la entrevista develan que en estos temas, hay mucho por hacer. En cierta medida, no se buscan otras maneras de atender el proceso evaluativo. Se sigue la tendencia de la reproducción. En algunos casos, al ser bien planificada y atendiendo en la preguntas de las pruebas a lo que se trabajó en clases, con ejercicios revisados previamente, es posible obtener “resultados” satisfactorios. Pero el tema está más allá de los resultados. ¿Se está en condiciones de avanzar en la idea de que nuestros estudiantes puedan construir su conocimiento a partir de las actividades planificadas por los docentes? ¿Hay espacio para el aprendizaje?, ¿se trabaja para la transmisión del conocimiento o para la reproducción? Esta discusión se puede observar en las preguntas realizadas en la entrevista a los docentes, los cuales 80 dejan plasmado en sus respuestas, la incomodidad de incorporar elementos a la evaluación que compartan escenario con la llamada heteroevaluación. 10.3. Desde el ámbito de la evaluación La entrevista a los docentes denota ausencias de referentes teóricos al momento de responder a las interrogantes. Es decir la acción evaluar se hace más bien desde los lineamientos o criterios planteados idealmente por el centro educativo, pero si grandes cuestionamientos. Se tiene claro que es importante mejorar el aprendizaje y se aprecian ciertas luces de cómo debiera llevarse adelante el proceso. Sin embargo, la carencia de aportes desde la ciencia educativa, acortan el debate a la búsqueda de referentes prácticos que permitan un mejoramiento de la práctica evaluativa. La cercanía de la propuesta del establecimiento con lo realizado en el aula se siente monitoreado por las diversas instancias del Equipo de Gestión: revisión de planificaciones, evaluaciones y visitas a las salas de clases. Así como los instrumentos revisados en esta investigación: Encuesta de cómo perciben los estudiantes la Retroalimentación y las Pruebas de Avance y Curricular y de Síntesis. 10.4. Desde el campo de las disciplinas complementarias de la educación La formación de personas creativas, es la razón de ser del establecimiento donde se desarrolló la investigación. De hecho, se pregona con profundidad la idea de incentivar la creatividad, la autonomía del pensamiento, temas que están presentes con claridad en la carta de navegación del establecimiento. Pero ¿qué camino recorre la evaluación: uno propio de cada asignatura o el diseñado a partir de la construcción colectiva? Aún se cruzan algunos de estos elementos, sin embargo hay un consenso en los profesores que se está haciendo las acciones adecuadas para realidad de los estudiantes, cuyas familias han optado por compartir la educación de sus hijos. 81 11. HALLAZGOS La investigación se desarrolló como una Investigación Acción Participativa (IAP), dado que fue planteada como un proceso de análisis de la situación (prácticas evaluativas), identificación de problemas (aprendizaje de los estudiantes) y elaboración de estrategias de acción planeadas, llevadas a cabo y sistemáticamente sometidas a observación, reflexión y cambio (evaluación formativa) (Pérez Serrano, 2002). En este contexto, la observación de las prácticas evaluativas devela que existen concepciones particulares que están profundamente arraigadas en los docentes, por lo tanto existe un margen estrecho al momento de ampliar la gama de posibilidades de evaluar el aprendizaje, lo que en algunas ocasiones imposibilita que algunos estudiantes rindan de mejor forma. Un caso particular lo constituyen los mapas conceptuales, instrumento que pudiera dar cuenta de una serie de habilidades que podrían trabajarse, sin embargo, es muy poco común que se utilice como instrumento de evaluación. Por lo general, sigue siendo la prueba llamada objetiva (Selección Múltiple, Verdadero y Falso y Términos Pareados), la que concita gran parte de las miradas, y cuya ejecución permanente es respaldada por las mediciones nacionales. ¿Cómo dar cuenta de los aprendizajes de los estudiantes? La planificación centrada en lo que se va a evaluar indica un propósito que al ser compartido con los estudiantes, no debiera haber sorpresas al momento de las evaluaciones. En esta línea está la organización del establecimiento, que ve en el rendimiento de los alumnos una señal clara de cómo se están haciendo las cosas, qué es lo que falta por hacer y cómo se puede apoyar aquellos aspectos que todavía interfieren en el aprendizaje de los estudiantes. En este esquema de acciones, cobra relevancia la Evaluación Formativa a través de la Retroalimentación. La persistencia de solicitar a los docentes, no tan solo que declaren la idea de usar la retroalimentación, sino que la incorporen de manera permanente en el quehacer evaluativo, ha permitido que en las mediciones internas se haya mejorado los indicadores de 82 resultado. La idea de evaluación formativa que orienta el quehacer docente, está directamente relacionado con las concepciones sobre la evaluación, que los profesores tienen arraigados no tan sólo desde su formación, sino que desde el tiempo que eran estudiantes. Se evalúa como se aprendió, y esto se instala en el andamiaje profesional del docente. ¿Qué importancia tiene poder develar las concepciones que los docentes tienen de la evaluación formativa? Si el logro de los aprendizajes en los estudiantes es sobresaliente, podemos asociar que determinadas formas de evaluar pueden incidir en tales rendimientos. (Prieto & Contreras, 2008) afirman que, la evaluación es un componente transversal en el proceso educativo y está muy relacionada tanto con la enseñanza como con el aprendizaje, dándole un rol clave al enlazar ambos procesos y permitiendo transformarlos mediante la recopilación de información. Otro aspecto relevante lo menciona (Vergara, 2011), que las concepciones del docente determinan su práctica pedagógica; éstas son de gran importancia debido a que constituyen las pautas de sus acciones. ¿Cuál es la importancia de todo esto? Que las concepciones sobre Evaluación de los profesores, inciden de manera notable sobre la práctica, “en especial en el área de la evaluación, puesto que tradicionalmente se ha considerado como un proceso técnico de verificación de resultados de aprendizaje acorde con objetivos predeterminados” (Vergara, 2011, pág. 5). El profesor no es un ente neutro entre lo que sabe y lo que comunica. Cada vez que ingresa a una sala de clases, no tan sólo carga una mochila de saberes, que podrá compartir o entregar con los educandos, sino también carga una serie de concepciones sobre lo que es su quehacer como docente, cómo entiende los procesos de enseñanza y aprendizaje y cómo ve a los estudiantes en su proceso de avance en la escolaridad. El profesor cuenta con poderes que van más allá de la calificación (aunque pareciera ser que es el único que le queda). Dichos poderes están guardados en la mochila de los saberes y de las concepciones. No se sabe cuánto podrá incidir en el educando (son procesos lentos, despertares humanos a lo que cada uno le tocará vivir), pero hay un elemento claro: no hay acción docente que pase inadvertida. 83 “En el caso del profesor, las nociones que sustente sobre la educación, sobre los contenidos que imparte, sobre las características del currículum y las condiciones en las que diariamente desarrolla su trabajo, le llevarán a entender, interpretar y tomar decisiones que afectarán su acción en la práctica pedagógica. De ahí la importancia de estudiar las creencias de los profesores (Morales, 2001), pues éstas se entrelazan con la experiencia profesional y se objetivan en el contacto con la realidad escolar. De este modo, las creencias, definidas como constructos personales, muestran una comprensión de las prácticas de los profesores, pues éstos interpretan el proceso educativo desde sus propias creencias. A través de éstas, los profesores perciben, organizan y procesan la información y toman las consiguientes decisiones respecto de su trabajo profesional, puesto que constituyen un factor poderoso en la determinación de sus conductas y demuestran tener gran incidencia en la calidad de los aprendizajes de los estudiantes (Fang, 1996; Duran, 2001; Pajares, 1992)”, citados en (Vera, Schiefelbein, & Osses, 2012, pág. 304). ¿Qué ocurre con las prácticas pedagógicas? Según Prieto y Avalos (1995) se entienden como “un proceso que se gesta en el contexto del aula y que comprende el desarrollo e implementación de una compleja red de situaciones, contenidos, relaciones y expectativas que surgen desde y a partir de la vida cotidiana de la escuela focalizada en el proceso de enseñar y aprender” (Avalos & Prieto, 1995) citados en (Amaranti, 2010, pág. 1). En dichas prácticas, la evaluación que se ejecutada por los profesores responde principalmente a la urgencia de medir y de cuantificar, dejando en un lugar secundario la idea de mejorar el aprendizaje, a partir de la evaluación. Los aportes de las investigaciones son numerosos, de cómo enfrentar el proceso evaluativo, sin embargo, al momento de hacerlo siguen primando nuestras concepciones y creencias, las cuales no nos damos el tiempo de colocar en discusión, o al menos generar algún grado de duda sobre si es correcto o no el procedimiento empleado. (Black y William, 1998) citado en (Amaranti, 2010), nos plantea que en las escuelas hay una ausencia de la evaluación para aprender y se potencia la evaluación del aprendizaje. Para Díaz 84 Barriga (1997), una evaluación de esta forma, interfiere en la construcción del conocimiento por parte de los estudiantes. Estas práctica sólo “fomentan una individualización del proceso de evaluación, en el cual los estudiantes se preocupan más por obtener una buena calificación, que por conocerse, observarse y reflexionar sobre su aprendizaje” (Díaz Barriga, 1997:21) citado en (Amaranti, 2010, pág. 1). La idea que está en juego es el aprendizaje, en este contexto, “los profesores son responsables de la enseñanza y de los resultados de aprendizaje de los estudiantes, por lo que la función acreditada ante la sociedad amerita que se tengan claras nociones sobre la naturaleza del aprendizaje (Brown, Brisbane y Matter, 2008)” citado en (Peña Moreno, 2010, pág. 9). - La naturaleza de la inteligencia o la idea que la evaluación cumple un rol de clasificación entre el fracaso y el éxito a partir de condiciones innatas de los estudiantes, que por lo demás no podrían traducirse en mejoras importantes en aquellos grupos que no tienen un rendimiento destacado. Al mismo tiempo opera la idea de que la inteligencia es una construcción cultural, y que por lo tanto, poco tiene que ver la “cuna” de las personas y el determinismo social. - Los Procesos de Enseñanza y de Aprendizaje: una mirada tradicional es concebir estos de una manera única, es decir, “si enseñé tales contenidos deben estar aprendidos”. Esta consigna, muy recurrente a la hora de hablar de resultados, deja entrever una de las discusiones más permanentes, pero al mismo tiempo poco abordados en los establecimientos. En los consejos técnicos, generalmente al final de los procesos, es normal discutir sobre este punto, sin embargo, el problema casi siempre está en los estudiantes, “no estudian”, “son flojos”, “estos contenidos los revisamos lo suficiente”, etc. El profesor asume la responsabilidad de enseñar y aprender por los alumnos, pero desde una óptica de la reproducción de los conocimientos y no de la construcción. Aquí se produce un punto de inflexión con quienes ven el mismo tema como dos procesos separados, pero que la educación tiene la tarea de unirlos en beneficio de los aprendices. - Las evaluaciones son objetivas, y miden el avance de los logros de los estudiantes, al final 85 del proceso. Esta perspectiva coloca al profesor en una posición neutral, donde es común escribir en las instrucciones de las pruebas “no se aceptan preguntas durante la prueba”. Es decir, en el momento más importante de aprendizaje, el profesor cierra la puerta al mismo. “La prueba podría tomarla cualquiera”. La prohibición de las dudas generalmente se viene abajo, cuando la construcción del instrumento no está del todo clara y el estudiante con mejor rendimiento levanta su mano para plantearlo. Numerosos ejemplos existen de respuestas distintas para preguntas similares y que han sido calificadas con bajo puntaje por no decir exactamente lo expresado en clases o en el libro ¿Dónde queda la construcción del conocimiento? La subjetividad de la evaluación, debe permitir una comunicación clara con los estudiantes, afirmando en ellos su autonomía y la comprensión de los conocimientos. Pruebas con el material de trabajo sobre la mesa, constituyen ejercicios que los estudiantes agradecen, porque no tan solo se evalúa cuanto puedan saber de determinados contenidos, sino también, se analiza la naturaleza de las preguntas, se integran conocimientos de otras áreas y permite la autoevaluación. En esta materia, asistimos a una arremetida constante de las pruebas estandarizadas. La respuesta de los maestros, es que son fáciles de corregir y los estudiantes serán examinados de esta manera por las pruebas nacionales. No se coloca en duda, que la “mejor” forma de evaluar pasa por la construcción de prueba de respuesta cerrada, las cuales poseen el rótulo de “objetivas” e incuestionables. Sin embargo, también está la idea de entender la evaluación no solo como una medición de logros al final del proceso, sino como una actividad permanente al servicio del aprendizaje, y que conlleve fundamentalmente la acción formativa, ya que permite compartir con el estudiante sus avances. 86 12. REFERENCIAS BIBLIOGRÁFICAS Abad Corpa, E., Delgado Hito, P., & Cabrero García, J. (2010). La investigación-acciónparticipativa. Una forma de investigar en la práctica enfermera. Revista Investigación y Educación en Enfermería, vol. 28, núm. 3, 464-474. Abad, E., Delgado, P., & Cabrero, J. (2010). La investigación-acción-participativa. Una forma de investigar en la práctica enfermera. Revista Investigación y Educación en Enfermería, vol. 28, núm. 3., 464-474. Ahumada, P. (2005). Hacia una Evaluación Auténtica del Aprendiaje. México: Paidós Mexicana. Ahumada, P. (2006). La evaluación en una concepción de aprendizaje significativo. Valparaíso: Ediciones Universitarias de Valparaíso. Alberich, T. (2007). Investigación - Acción Participativa y mapas sociales. Barcelona: Benlloch. Allal, L. (1980). Estrategias de evaluación formativa. Concepciones psicopedagógicas y modalidades de aplicación. Infancia y Aprendizaje, 4-22. Álvarez, J. (2001). Evaluar para conocer, examinar para excluir. Madrid: Morata. Amaranti, M. (13 de Septiembre de 2010). Concepciones y prácticas de retroalimentación de los profesores de lenguaje y comunicación de primer año de educación media” investigación cualitativa con estudio de caso. Recuperado el 26 de Octubre de 2012, de Congreso Iberoamericano de Educación: http://www.adeepra.org.ar/congresos/Congreso%20IBEROAMERICANO/EVALUACIO N/RLE2488_Amaranti.pdf Ander-Egg, E. (2003). Repensando la Investigación-Acción Participativa. Barcelona: Grupo Editorial Lumen Humanitas. Balcázar, P. et. al. (2005). Investigación Cualitativa. Toluca: Universidad Autónoma del Estado de México. Camilloni, A. (2004). Sobre la evaluación formativa de los aprendizajes. Quehacer Educativo, 612. Camilloni, A., Celman, S., Litwin, E., & Palou, C. (1998). La evaluación de los aprendizajes en el debate didáctico contemporáneo. Buenos Aires: Paidós. Cisterna Cabrera, F. (2005). Categorización y Triangulación como procesos de validación del conocimiento en investigación cualitativa. Theoria, Vol. 14, 61-71. Coll, C., Martin, E., Mauri, T., Miras, M., Onrubia, J., Solé, I., & Zabala, A. (2007). Constructivismo en el aula. México: Graó. Contreras, G. (2003). Evaluación Formativa. Nuevos Enfoques. Pensamiento Educativo. Vol. 33, 31-48. Díaz Barriga, A. (1998). Una polémica en relación al examen. Perfiles Educativos, 41-42. Díaz-Barriga, F., & Hernández, G. (2002). Estrategias docentes para un aprendizaje significativo. Una interpretación constructivista. México: Mc Graw Hill. Fals Borda, O. (2009). Una sociología sentipensante para América latina. Bogotá: CLACSO. Förster Marín, C., & Rojas-Barahona, C. (2008). Evaluación al interior del aula: una mirada desde la validez, confiabilidad y objetividad. Rev. Pensamiento Educativo, Vol. 43, 285- 87 305. García, S. (2002). La Validez y la Confiabilidad en la Evaluación del Aprendizaje desde la Perspectiva Hermenéutica. Rev. Ped [online]. vol.23, n.67, ISSN 0798-9792. , 297-318. González, M., Hernández, A., & Hernández, A. (2007). El constructivismo en la evaluación de los aprendizajes del álgebra lineal. Educere, 123-135. Guba, G. (1990). The Paradigm Dialog. Londres: SAGE. Heritage, M. (2007). Formative Assessment: What Do Teachers Need to Know and Do? Phi Delta Kappan, 140-145. Kemmis, S. &. (1992). Cómo planificar la investigación-acción. Barcelona: Laertes. Krippendorff, K. (1997). Metodología de análisis de contenido. Teoría y Práctica. Barcelona: Paidós. Latorre, A. (2003). La investigación acción y el cambio organizacional . En C. A. Joaquín G, Estrategias de formación para el cambio organizacional (págs. 28-63). Barcelona : EDO. Marcelo, C. (16 de Agosto de 2002). Aprender a Enseñar Para La Sociedad del Conocimiento. Obtenido de Archivos Analiticos De Politicas Educativas, 10, 35.: http://epaa.asu.edu/ojs/article/view/314 Martínez Rizzo, F. (2012). Investigación empírica sobre el impacto de la evaluación formativa: revisión de la literatura. Revista Electrónica de Investigación Educativa Vol. 14, N° 1, 115. Obtenido de http://redie.uabc.mx/vol14no1/contenido-martinezrizo12.html Mineduc, C. (2006). Evaluación para el aprendizaje, enfoque y materiales prácticos para lograr que sus estudiantes aprendan más y mejor. Santiago: Unidad de Currículum y Evaluación. Moreno, T. (2011). La cultura de la evaluación y la mejora de la escuela. Perfiles Educativos vol. XXXIII, núm. 131, IISUE-UNAM, 116-130. Peña Moreno, J. (2010). Concepciones de enseñanza cara a cara, mixta y en línea de profesores universitarios. Recuperado el 26 de Octubre de 2012, de Revista Apertura Digital: http://www.udgvirtual.udg.mx/apertura/index.php/apertura3/article/view/18/24 Pérez Expósito, L., & González Aguilar, D. (2011). "Dime como evalúas y te diré qué enseñas". Un análisis teórico sobre las relaciones entre la evaluaciónde aprendizaje y la enseñanza de la justicia social. Revista Iberoamericana de Evaluación Educativa Volumen 4, Número 1, 135-148. Pérez Rivera, G. (2007). La evaluación de los aprendizajes. Reencuentro, abril., 20-26. Pérez Serrano, G. (1993). El análisis de contenido de la prensa. La imagen de la Universidad a distancia. Madrid: UNED. Pérez Serrano, G. (2002). Investigación Cualitativa. Retos e Interrogantes I. Métodos. Madrid: La Muralla. Pérez Serrano, G. (2002). Investigación Cualitativa. Retos e interrogantes II. Técnicas y análisis de datos. Madrid: La Muralla. Perrenoud, P. (2008). La evaluación de los alumnos. De la producción de la excelencia a la regulación de loa aprendizajes. Entre dos lógicas. Buenos Aires: Colihue. Porta, L. (1 de Octube de 2003). La investigación cualitativa: El Análisis de Contenido en la investigación educativa. Obtenido de Investigación Cualitativa & Nvivo: http://www.investigacioncualitativa.es/Paginas/Articulos/investigacioncualitativa/PortaSil va.pdf 88 Prieto, M., & Contreras, G. (2008). Las concepciones que orientan las practicas evaluativas de los profesores: un problema a develar. Estudios Pedagógicos XXXIV, Nº 2, 245-262. Rodríguez, M. L. (15 de Septiembre de 2004). La teoría del Aprendizaje Significativo. Recuperado el 2 de Enero de 2012, de Conferencia Internacional sobre Mapas Conceptuales: http://cmc.ihmc.us/CMC2004Programa.html Rodríguez, M. L. (2011). La teoría del aprendizaje significativo: una revisión aplicable a la escuela actual. Revista Electrònica d’Investigació i Innovació Educativa i Socioeducativa, V. 3. n, 1, 29-50. Rueda Beltrán, M., & Torquemada González, A. D. (2008). Las concepciones sobre "evaluación" de profesores y estudiantes: sus repercusiones en la evaluación del desempeño docente. Reencuentro, Núm. 53, 97-112. Sanmartí, N. (2008). 10 ideas clave. Evaluar para aprender. Barcelona: Graó. Santos Guerra, M. (1988). Patología General de la Evaluación Educativa. Infancia y Aprendizaje, 143-158. Santos Guerra, M. (2006). Escrito en la Piel. Aprendizaje sobre evaluación a través de la experiencia. Revista de Ciències de l’Educació , 251-280. Shepard, L. A. (2006). La Evaluación en el Aula. En R. L. Brennan, Educational Measurement (págs. 623-646). México: Instituto Nacional para la Evaluación del Educación. Stiggins, R., & DuFour, R. (2009). Maximizing the Power of Formative Assessments. Phi Delta Kappan, 640-644. Tunstall, P., & Gipps, C. (1996). Teacher Feedback to Young Children in Formative Assessment: A Typology. British Educational Research Journa, 389-404. Valles, M. (1999). Técnicas Cualitativa de Investigación Social. Reflexión metodológica y práctica profesional. Madrid: Síntesis S.A:. Vera, D., Schiefelbein, E., & Osses, S. (2012). Las Creencias de los profesores rurales: una tarea pendiente para la. Estudios Pedagógicos XXXVIII, Nº 1:, 297-310. Vergara, C. (2011). Concepciones de Evaluación del Aprendizaje de Docentes desatacdos de Educación Básica. Actualidades Investigativas en Educación, 1-30. Vygotski, L. S. (2009). El desarrollo de los procesos psicológicos superiores. Barcelona: Crítica. William, D. (2009). Una síntesis integradora de la investigación e implicancias para una nueva teoría de la evaluación formativa. Archivos de Ciencias de la Educación, 15-44. 89 ANEXO 90 ANEXO 1. GUION DE ENTREVISTA Preguntas a sujetos pertenecientes al estamento docentes de aula 1. ¿Qué entiende Ud. por evaluación formativa? 2. ¿Cómo utiliza la evaluación formativa en su proceso de enseñanza? 3. ¿Qué criterios utiliza al momento de diseñar la evaluación? 4. ¿Cómo debiera desarrollarse la evaluación de los aprendizajes? 5. ¿Incorpora la retroalimentación en su práctica evaluativa? 6. ¿De qué manera trabaja la retroalimentación? 7. ¿Qué tipo de análisis desarrolla con la información que obtiene de las evaluaciones aplicadas? 8. ¿Construye actividades evaluativas (pruebas) para que sus estudiantes las respondan con material de apoyo? 9. ¿En su práctica evaluativa integra la heteroevaluación, con la coevaluación y la autoevaluación de los aprendizajes? 10. ¿Qué opina sobre la siguiente afirmación? “La evaluación sólo se usa como un instrumento de medición del aprendizaje” 91 ANEXO 2. GUION GRUPO FOCAL 1. En su opinión ¿Cuál es la idea de evaluación que tienen sus profesores? 2. ¿Durante el semestre tuvo evaluaciones formativas? 3. ¿Qué tipos de evaluación desarrolla en clases? - Escritas (Preguntas Cerradas y Abiertas) - Orales (Interrogaciones) - Trabajo de Investigación - Audiovisuales - Uso de TICs - Exposiciones - Mapas, Afiches, etc. - Mapas conceptuales 4. ¿Con qué tipo de instrumento de evaluación siente que aprende más y por qué? 5. ¿Una vez rendidas las evaluaciones qué tipo de retroalimentación recibe? 6. ¿Participa de su proceso de evaluación? - Coevaluando Autoevaluado 7. En su opinión ¿está de acuerdo con la forma en que es evaluado? 8. ¿Realiza evaluaciones (pruebas) con material de apoyo? 9. ¿Cuál es la evaluación con la que se siente más cómodo? 10. ¿Qué sugerencia tiene para la evaluación de sus aprendizajes? 92 ANEXO 3. EJEMPLO DE PRUEBAS SOMETIDAS A PAUTA DE ANÁLISIS 93 94 95 96 ANEXO 4. MODELO DE PLANIFICACIÓN Planificación de Unidad Unidad: (NOMBRE DE LA UNIDAD) Docente: (NOMBRE DEL PROFESOR) Curso II MEDIO 6 SEMANAS Tiempo estimado 1 Marzo 2013 Fecha de inicio Fecha de término CONCEPTOS CLAVES: (DE ACUERDO AL PROGRAMA DE ESTUDIOS) ACTITUDES: (DE ACUERDO AL PROGRAMA DE ESTUDIOS) HABILIDADES: (DE ACUERDO AL PROGRAMA DE ESTUDIOS) OBJETIVO DE APRENDIZAJE 7 INDICADORES DE EVALUACIÓN 8 FECHA 9 CLASE A CLASE martes, 18 de Abril de 2013 10 TIPO DE EVALUACIÓN E INSTRUMENTO 11 N° PREGUNTAS PRUEBA 12 **** TODA ACCIÓN EVALUATIVA DEBE ESTAR ACOMPAÑADA DE SU RESPECTIVA PAUTA Y/O RÚBRICA. **** LAS EVALUACIONES SE ENTREGAN AL MISMO TIEMPO QUE LA PLANIFICACIÓN. **** UNA VEZ RECIBIDO EL HORARIO DE CLASES, ENVIAR CALENDARIO TENTATIVO DE EVALUACIONES (A COORDINACIÓN), LAS FECHAS QUE SE ESTIPULEN SERÁN INAMOVIBLES, POR LO TANTO ES NECESARIO TENER EN CUENTA EL CALENDARIO ESCOLAR ANTES DE CONSTRUIR EL DE EVALUACIONES: SERÁN PUBLICADOS EN EL SITIO WEB DEL COLEGIO. 7 De acuerdo al Programa de Estudios. Seguir el orden desplegado en la Planificación Anual. COBERTURA. De acuerdo al PROGRAMA DE ESTUDIOS. Recuerde que lo planteado en el Programa es Mínimo, si Ud. ve que hay OTROS INDICADORES interesantes de trabajar, puede incorporarlos. 9 Cada una de las clases. Este espacio debe ser completado con el horario de clases. 10 SEÑALAR LO QUE EL ESTUDIANTE EJECUTARÁ. De acuerdo a la experiencia, es probable que un indicador se repita en varias clases, sin embargo, las actividades tienden a variar de una clase a otra, por lo tanto es preciso indicar QUÉ harán los alumnos, en cada una de ellas. Un aspecto esencial en esta parte de la Planificación, lo constituye la RETROALIMENTACIÓN, hasta ahora hemos trabajado de manera introductoria este elemento, sin embargo, la invitación es a promover esta parte del trabajo pedagógico con la mayor importancia, de tal forma que nuestros estudiantes terminen por apropiarse de mejor manera de los conocimientos. Tipos de Retroalimentación a) CONFIRMATIVA: se indica sólo si está bien o no la respuesta dada por el alumno. b) CORRECTIVA: aparte de indicarle si está bien o mal la respuesta, se le presenta la repuesta correcta. c) EXPLICATIVA: se le indica al estudiante por qué está bien o mal la respuesta dada. d) DIAGNOSTICA: se le identifica la fuente de la equivocación en el caso de que la respuesta sea equivocada. e) ELABORATIVA: se le entrega información para posibilitarle ampliar su saber. Describir lo que se va a realizar en la clase. Lo cual debe reflejarse en el libro de clases. En términos estándar debiera colocarse inicio, desarrollo y cierre, pero para descomplejizarlo, es preferible que se coloque la idea central de la actividad. 11 La evaluación puede ser clasificada de diversas maneras. Para nuestra planificación, ocuparemos los conceptos de: DIAGNÓSTICA, FORMATIVA Y SUMATIVA, donde además es necesario escribir qué INSTRUMENTO (Prueba, Taller, Trabajo de Investigación, etc.) utilizaremos. Cada Instrumento debe indicar el tipo de pregunta o la rúbrica que será empleada para la acción evaluativa. Si alguien quisiera utilizar otros aspectos de la evaluación que vaya más allá de la HETEROEVALUACIÓN (lo que hacemos habitualmente) como la Autoevaluación y Coevaluación, puede integrarlo sin problemas, pero con su pauta respectiva. 12 La idea es ocupar esta columna como Tabla de especificaciones, indicando lo que a su juicio es más relevante para la evaluación de lo aprendido (número de preguntas o % que el INDICADOR representa en la EVALUACIÓN 8 97 ANEXO 5. CONSENTIMIENTO INFORMADO PROFESOR (Profesor de _____________ del Colegio Scole Creare de Temuco) En mi calidad de Profesor (a) de _____________ del Colegio _____________________, comuna de __________________, acredito tener pleno conocimiento de los objetivos y proyecciones del Proyecto de Tesis “La evaluación formativa como ayuda en la construcción de aprendizajes en estudiantes de primer año medio, de un colegio particular subvencionado de Temuco.” y acepto libremente participar en dicho Proyecto. Doy fe de conocer todos los principios éticos que subyacen a la investigación y los resguardos que, en este ámbito, responsablemente se han tomado para proteger los derechos de las personas involucradas en la investigación. Mi participación consistirá en ________________________________________. Durante el desarrollo de las clases, el investigador podrá visitar mis cursos a objeto de realizar observación participante de las clases, como asimismo, sostener entrevistas conmigo y/o con mis estudiantes a fin de mejorar sobre la marcha el proceso en desarrollo. Si tengo alguna dificultad que me impida continuar mi participación en la presente investigación, podré retirarme del mismo sin ninguna consecuencia posterior para mí y/o para mis alumnos. Del mismo modo, si siento que mis derechos han sido vulnerados podré contactarme con el Comité de Ética de la Universidad de La Frontera. En caso de duda o preocupación relacionadas con el desarrollo de la Investigación, podré comunicarme con la Dra. Sonia Osses Bustingorry, Departamento de Educación, Universidad de La Frontera, fono 2325373. Nombre…………………………………………………………………………………………… Establecimiento…………………………………………………………………………………… Firma………………………………………………. Fecha………………………………………………. Temuco, ___________________________ 98 ANEXO 6. CONSENTIMIENTO INFORMADO ESTUDIANTE (Estudiante de Primero Medio del Colegio Scole Creare de Temuco) En mi calidad de Apoderado (a) del alumno(a) _____________ del Colegio _____________________, comuna de __________________, acredito tener pleno conocimiento de los objetivos y proyecciones del Proyecto de Tesis “La evaluación formativa como ayuda en la construcción de aprendizajes en estudiantes de primer año medio, de un colegio particular subvencionado de Temuco” y acepto libremente participar en dicho Proyecto. Doy fe de conocer todos los principios éticos que subyacen a la investigación y los resguardos que, en este ámbito, responsablemente se han tomado para proteger los derechos de las personas involucradas en la investigación. La participación de mi hijo(a) consistirá en un grupo focal. Si se presenta alguna dificultad que le impida a mi hijo continuar con su participación en la presente investigación, podrá retirarse de la misma sin ningún inconveniente. Del mismo modo, si siento que mis derechos han sido vulnerados podré contactarme con el Comité de Ética de la Universidad de La Frontera. En caso de duda o preocupación relacionadas con el desarrollo de la Investigación, podré comunicarme con la Dra. Sonia Osses Bustingorry, Departamento de Educación, Universidad de La Frontera, fono 2325373. Nombre__________________________________________________________________ Firma_______________________________ Fecha________________________________ Temuco, ___________________________