EXPERIENCIAS DE UTILIZAR LA TÉCNICA PEA(PORTAFOLIO DE EVIDENCIAS DE APRENDIZAJE) COMO COMPLEMENTO EN LA EVALUACIÓN DEL APRENDIZAJE Juan A. Nolazco Flores* y Ma. Guadalupe Roque** *Dpto. de Ciencias Computacionales, Tecnológico de Monterrey, campus Monterrey ** Dpto. de Computación Básica, Tecnológico de Monterrey, campus Monterrey Resumen El portafolio de evidencias es una herramienta de evaluación del aprendizaje, como un examen escrito. Esta herramienta tiene la ventaja que no solo evalúa el aprendizaje sino que los apoya. En este trabajo se presentan los resultados cuando esta herramienta se utiliza como complemento en la evaluación del aprendizaje. Para demostrar la efectividad de esta herramienta, se diseñó una encuesta para evaluarla. Los resultados de la encuesta fueron más que satisfactorios y demuestra el apoyo que esta herramienta puede brindar al profesor. 1. Introducción La forma más tradicional de calificar es el examen escrito. A continuación se listan algunos puntos sobre la realidad del examen [1]: Su perspectiva se ha restringido hasta el punto de considerar la medida del éxito de la enseñanza en término de las adquisiciones observables de los estudiantes. Su finalidad suelen ser proporcionar una visión retrospectiva sobre el aprendizaje del estudiante, medir lo aprendido antes de adentrase en cursos posteriores, o recibir una calificación que le permita un ejercicio profesional. Las principales críticas al sistema de examen: 1. Difícilmente sirven para lo que realmente dicen que sirve [1]. 2. Difícilmente miden lo que pretenden medir [1]. 3. Problemas de fiabilidad: un mismo examen puede ser valorado de manera diferente por distintas personas [1]. 4. Los resultados de los exámenes NO reflejan el <<saber>> de los alumnos o la calidad de sus procesos intelectuales. Los niveles de los exámenes ya sea resultado de las pruebas estandarizadas o exámenes, no nos dicen necesariamente nada sobre el nivel educativo[2]. 5. Los alumnos retrasan el aprendizaje, hasta llegado el momento de los exámenes [3]. 6. Suelen ser inadecuados para captar distintos tipos de conocimiento. Tienden a poner pruebas que son fáciles de calificar, lo cual tiende a concentrarse en niveles de comprensión bajos [1]. 7. Generalmente, solo muestran una visión particular del saber: adquisiciones observables [1]. 8. La nota obtenida depende del estado del estudiante (p.e. enfermo, deprimido, etc.). y de la duración del examen. 9. La redacción puede confundir al estudiante y guiarlo hacia otra pregunta. El examen solo da una visión parcial del examinado, adquisiciones observables. Sin embargo, falta considerar otros aspectos importantes en la evaluación como el potencial del estudiante para aprender nuevos conceptos basado en prácticas desarrolladas o al platicar con personas. En otras utilizar el examen tradicional como única herramienta de evaluación es como juzgar la obra de un arquitecto solo por lo bonito que se aprecia, sin considerar la funcionalidad y resistencia de la misma, o como juzgar un automóvil por la belleza física que proyecta. Algunas alternativas más completas de evaluar el aprendizaje podría ser: Realizar exámenes escritos sin caer en la superficialidad del significado de examinar. Encargando trabajos individuales y/o en grupo, proyectos en el área de su curso, trabajo de campo, etc. Entrevistar individualmente con cada estudiante y sugerirle avances y correcciones a su aprendizaje. El problema de estas alternativas es el tiempo que consumen. Por lo tanto, una alternativa que modera el tiempo es utilizar una forma de evaluación basada en un portafolio de evidencias. Es importante subrayar que este portafolio puede ser revisado semanalmente, quincenalmente o mensualmente tal que el tiempo invertido no sea exagerado. 2. El portafolio Es una modalidad de evaluación que está comenzando a extender en los ámbitos universitario (Barton y Collins [4] encontraron más de 200 publicaciones sobre la utilidad del Portafolio). La idea central del portafolio como recurso de evaluación se basa en los siguientes puntos: en que el alumno y el profesor pueden reflexionar sobre el crecimiento de los estudiantes debido a la naturaleza evolutiva del desarrollo del portafolio en la naturaleza evolutiva permite realizar cambios a lo largo del programa. en que el alumno siente el aprendizaje como algo propio al ir desarrollando el portafolio. Proporciona evidencia del conocimiento, las habilidades, las disposiciones de quien labora. Las características de un portafolio, según Barton y Collins [4], son: El profesor debe de definir cuál es la finalidad del portafolio de manera que el estudiante sepa lo que se espera de él antes de comenzar a preparar sus archivos de evidencia. Las evidencias recopiladas por el alumnado han de establecer una correspondencia entre el trabajo del curso y sus experiencias de aprendizaje. Captan el crecimiento y el cambio del estudiante a través del tiempo. Las reflexiones del alumnado son una forma poderosa de propiciar la integración de la teoría y la práctica. Cada portafolio es una creación única porque cada estudiante determina qué evidencias incluir y realiza una autoevaluación como parte del proceso de desarrollo Calificar a un portafolio no es más complicado que calificar un examen, pero puede ser más laborioso. Los componentes del portafolio: 1. Propósito: cada evidencia debe organizarse para demostrar su evolución hacia las metas marcadas. 2. Evidencias: Según Collings [5] a) Artefactos: documentos del trabajo normal de grupo, desde actividades de clase hasta trabajos realizados por iniciativa propia. b) Reproducciones: Incluyen hechos que normalmente NO se recogen. Por ejemplo cintas de conversaciones con expertos en el área. c) Atestiguaciones: Documentos sobre el trabajo del estudiante preparado por otras personas. Por ejemplo, comentarios realizados por el docente, por otros profesores o por personas involucradas en el proceso formativo del estudiante. d) Producciones: Dan forma y sentido al portafolio i) Explicitación de metas: el estudiante ejemplifica de manera personal el propósito del portafolio que va a realizar. ii) Reflexiones: se lleva a cabo mientras se elabora, se organiza o se revisa el portafolio para proponerlo a evaluación. iii) Encabezamientos: pequeños informes que acompañan a cada documento y descubren qué es, por qué, y de qué es evidencia. 3. Objetivo Presentar los resultados obtenidos en la evaluación del aprendizaje, y en el aprendizaje mismo, utilizando el portafolio de evidencias de aprendizaje. 4. Estrategia Metodológica: En esta sección se presenta la metodología y resultados obtenidos al utilizar como complemento (Tabla 1) de evaluación el PEA para evaluar el aprendizaje del contenido de un curso. El portafolio de evidencias fue opcional y lo desarrollan los estudiantes durante el semestre y el profesor lo revisó cada mes. El propósito de cada revisión es retroalimentar al estudiante para que mejore sus habilidades. Tipo de Evaluación Evaluación Dura Evaluación Suave Herramienta Exámen de Medio Término Tareas y Ejercicios Exámen Final Portafolio Tabla 1 Ponderación 40% 20% 40% Para ajustes en la calificación Para demostrar la efectividad de esta herramienta, se diseñó una encuesta (Anexo A) para conocer si el portafolio apoyó a los estudiantes, tanto a su aprendizaje, así como para demostrar al maestro que su aprendizaje es mayor que los que demuestran en un examen escrito. La encuesta se aplicó en el último mes del curso. La encuesta fue aplicada por una persona externa, desconocida para los estudiantes y sin que no la relacionada con el profesor. 5. Resultados El experimento se desarrollo en cuatro cursos técnicos impartidos en el ITESM, campus Monterrey (Tabla 2). La mecánica de evaluación del curso se presentó a los estudiantes al principio del semestre. El portafolio fue opcional para evitar que el estudiante se sintiera presionado y realizara resúmenes y cuadros sinópticos a la fuerza. Los resultados y su análisis se basan en la encuesta que se muestra en el anexo A. Los resultados de esta encuesta se van a ir discutiendo en los siguientes párrafos. Materia Grado Semestre Redes Computacionales Sistemas Operativos Programación en Lenguaje C y Simulación Análisis y Diseño de Redes de Voz y Datos Pregrado: ISC, ISE, ISI Pregrado:ISE, ISC, ISI sexto quinto Num. de Estudiantes en el curso 37 13 Posgrado: MCT, MIE-T terminal 10 Posgrado: MCT, MIE-T, MSM terminal 21 Num. De Estudiantes que Edad Promedio de Realizaron el Portafolio los estudiantes 13 5 21 21 6 24 19 81 24 43 Primeramente, el número de estudiantes que realizó el portafolio se presenta en la Tabla 2. Se puede observar que aproximadamente un 50% de estudiantes desarrolló el portafolio. La Figura 1 muestra la razón por la cuál los estudiantes no realizaron el portafolio. En esta figura el eje de las abscisas representa el número de estudiantes y en el eje de las ordenadas representa la opción de la encuesta que escogió el estudiante (para ver el significado de la opción favor de ir al anexo A). Los resultados a esta pregunta, muestran que la mayoría de los estudiantes que no contestaron la encuesta (31) creen que el portafolio es útil, pero no realizaron el portafolio por razones de tiempo. Este número de estudiantes representa la mayoría. De los estudiantes que si desarrollaron el portafolio, hubo distintas razones por las cuales lo desarrollaron. Los resultados de la encuesta que responde este aspecto se muestra en la Figura 2 y 4. Se puede observar básicamente un número uniforme de aproximadamente 20 estudiantes seleccionaron cada uno de los incisos (ver anexo A). Un 87% de los estudiantes encontró que realmente si fue útil para demostrarle al maestro que aprendió más de lo que representa su examen escrito (Tabla 4). Sorprendentemente, solamente el 27% de los estudiantes dice que el desarrollo del portafolio le toma mucho tiempo (Tabla 4). Además, el 93% de los estudiantes afirma que vale la pena el tiempo invertido en el desarrollo del portafolio (Tabla 4). De los relativamente pocos (27%) estudiantes que les tomó mucho tiempo realizar el portafolio, se encuentra que la principal razón es que no tiene la práctica de realizar resúmenes. Otras razones fue porque tuvieron que pasar los resúmenes en limpio, lo cual no era necesario. Algunas personas (30%) utilizaron aprendizaje colaborativo (Tabla 4). Afortunadamente, de las respuestas de estas personas, la encuesta nos revela que la razón principal de utilizar aprendizaje colaborativo fue que aprendieron del conocimiento de sus compañeros (Figura 5). Lo más relevante es que ninguno respondió que el propósito de trabajar colaborativamente fue para presentar más trabajo y hacer pensarle al profesor que trabajo más de lo que realmente trabajo. Aún más, solo el 5% de las personas utilizó el portafolio para engañar al profesor utilizando resúmenes rápidos hechos al vapor (Tabla 4). Los resultados de la encuesta muestra que estas personas presentaron el portafolio al vapor para obtener mejor calificación final. De la Figura 5, también se puede observar que solamente una persona seleccionó que utilizó el trabajo colaborativo para obtener mejor calificación final. Carrera Ayudó a demostrar que su evaluación es mejora de lo que demuestra el examen escrito. El Portafolio toma mucho tiempo. Valió la pena a pesar del tiempo que toma desarrollar el Portafolio. Utilizó aprendizaje colaborativo Tabla 4 % 86 27 93 30 Razones por las cuáles NO desarrolló el portafolio Serie1 a b c Número de alumnos Número de alumnos 40 30 20 10 0 Razón por la cual decidió realizar el portafolio Opción seleccionada Figura 1 25 20 15 Serie1 10 5 0 a Razón por la cual tom ó m ucho tiem po realizar el portafolio bOpciónc seleccionada d e Figura 2 f Razón por la cuál cree que valío la pena realizar el portafolio 5 25 3 2 Serie1 20 15 Número de alumnos Número de alumnos 4 Serie1 10 5 1 0 0 a Opción seleccionada b c d Figura 3 e a b Opción c Seleccionada d e Figura 4 f Razones por las cuales realizó el portafolio colaborativam ente Número de alumnos 15 10 Serie1 5 0 a b c d Opción Seleccionada Figura 5 e 6. Comentarios y Conclusiones En este trabajo se estudio el apoyo que representa el portafolio para el proceso de aprendizaje y evaluación de un estudiante. De los resultados obtenidos, se puede concluir que a pesar de que la mayoría de los estudiantes que no contestaron creen que el portafolio es útil no realizaron el portafolio fue por razones de tiempo. se puede observar que solo 2 estudiantes no dicen que es una buena forma de aprender. Este resultado nos indica que hay personas, aunque el porcentaje no es mucho, que no los apoya a aprender. Con el propósito de respetar la forma de aprender, esto nos lleva a la conclusión de que el portafolio debe de seguir siendo opcional. Las personas que utilizaron el portafolio para engañar al profesor es un porcentaje mínimo y aceptable ya que este porcentaje se puede encontrar en los exámenes escritos. Existe un porcentaje, aunque relativamente pequeño, de personas que siguen pensando en obtener una nota más alta, antes que aprender. Por lo anterior, recomendamos explicar al inicio del curso el objetivo del portafolio y los beneficios para el estudiante. 7. Capitalización Dado que los resultados logrados en el aprendizaje de los alumnos fueron muy satisfactorios y que existen otros cursos de la misma naturaleza en así como en los programas de Profesional del Sistema Tecnológico en general, se considera que las experiencias obtenidas en este curso son aplicables a otros y que el uso del portafolio de evidencias de aprendizaje (PEA) será altamente benéfico en términos de aprendizaje de los alumnos y de evaluación justa del aprendizaje. Con lo anterior se da cumplimento a la Misión ITESM 2005 al desarrollar la capacidad de aprender por cuenta propia. 8. Bibliografía [1] Sancho Gil, Joana Ma., Aproximación a nuevos enfoques, estudios y perspectivas de evaluación, . [2] Holt, M., Curriculum Evaluation and the Assesment of Performance Unit, en M.Sikilbeck (de) Evaluating the Curriculum in the Eigthies. Londres:Hodder and Stoughton. 1984. [3] Elliot, J., Teaching for Understanding and teaching for assessment: a review of teacher´s research with special reference to its policy implications, en Dbbutt D, elliot J. (de.), Issue on Teaching for Understanding. The Schools Curriculum Development Committee from the former Schools Council Programme 2 (Helping Individual Teachers to Become more Effective) New York: Longman, 1985. [4] Barton, J. & Collins, A., Portafolios in Teacher Education, Journal of Teacher Education, 44/3, pp. 200-210. [5] Collins, 1991. [6] Sancho, J.M., Conferencia dictada en el ITESM, campus Monterrey, Jun., 1997. 9. Anexo: Encuesta El propósito de esta encuesta es medir, con objetividad, la efectividad de la utilización del Portafolio como apoyo en el proceso de evaluación del aprendizaje. Para este propósito le pedimos que responda objetivamente la siguiente encuesta. Esta encuesta es anónima y solo interesa conocer su punto de vista objetivos. Se confía en su madurez para responder esta encuesta. El Portafolio es una propuesta para mejorar el sistema de evaluación en grupos no mayores a 25 estudiantes. El Portafolio consiste en conocer más de cerca el esfuerzo y avance de cada estudiantes de un curso. Debido a lo difícil que representa la evaluación del aprendizaje, esta encuesta también servirá como guía para mejorar o eliminar esta forma de evaluación del aprendizaje. Curso:______ Edad:______ Maestría o Licenciatura:_____________________________ 1) ¿Desarrolló el Portafolio durante el semestre? Si_ No_ 2) Si la respuesta es Si vaya a la pregunta 4, sino por favor continúe. 3) Elija alguna de las siguientes opciones como razones por las cuales no desarrolló el Portafolio: a) Creo que es útil, pero no tenía tiempo para desarrollarlo. b) No lo considero útil en el proceso de evaluación. c) Para mi caso, no representa una buena forma de aprender. 4) ¿Qué modificación sugeriría (si es que hay) para que el Portafolio fuera útil en el proceso de evaluación? 5) Gracias por contestar la encuesta. 6) Selecciones una o más de las opciones, si refleja la razón por la cual decidió realizar el Portafolio: a) Pensé que era una buena herramienta para demostrar que trabajé bien durante todas las semanas del semestre. b) Pensé que era una buena herramienta para demostrarle al maestro que aprendí más de lo que puedo expresar en un examen. c) Pensé que me ayudaría a estudiar. d) Pensé que me ayudaría a repasar. e) Pensé que me ayudaría a reflexionar sobre lo que realmente aprendí. f) Otra (especifique). 7) Ha encontrado que el Portafolio le ha apoyado para demostrar que su evaluación es mejor que lo que demuestra un examen escrito. Si_ No_ 8) ¿El desarrollo del Portafolio toma mucho tiempo? Si_ No_ 9) Si la respuesta es negativa ir a la pregunta 8. 10) Selecciones una o más de las opciones, si refleja la razón por la cual le tomo mucho tiempo desarrollar el Portafolio: a) Tuve que pasar los apuntes en limpio. b) Es muy difícil tener que reflexionar sobre lo que aprendí. c) No estoy muy impuesto a hacer resúmenes y me toman mucho tiempo. d) Tengo problemas de ortografía y me toma mucho tiempo verificar el escrito. 11) ¿Vale la pena el tiempo que le dedicó al Portafolio? Si_ No_ 12) Si la respuesta es negativa ir a la pregunta 11. 13) Selecciones una o más de las opciones, si refleja la razón por la cual cree que valió la pena realizar el Portafolio: a) Es una buena herramienta para demostrar que trabajé bien durante todas las semanas del semestre. b) Es una buena herramienta para demostrarle al maestro que aprendí más de lo que puedo expresar en un examen. c) Me ayudó a estudiar. d) Me ayudó a repasar. e) Me ayudó a reflexionar sobre lo que realmente aprendí. f) Otra (especifique). 14) Al realizar el Portafolio utilizó aprendizaje colaborativo (p.e. complete los resúmenes con los comentarios de mis compañeros, o realizó los resúmenes en grupo). Si_ No_ 15) Si la respuesta es No favor de ir al punto 12. 16) Selecciones una o más de las opciones, si refleja la razón por la cual realizó los Portafolios colaborativamente: a) El trabajo en la empresa es colaborativo, entonces quise ir practicando esa forma de trabajo. b) De esta forma trabaje menos y le hice pensar al maestro que hice mucho trabajo. c) Para tener mejor calificación final. d) Aprendí de la forma de trabajar de mis personas. e) Aprendí del conocimiento de mis compañeros. 17) Ha encontrado que el Portafolio le ha apoyado para engañar al profesor presentando resúmenes hechos al vapor y hacerle pensar al profesor que estudié mucho y de esta forma mejorar mi calificación final. Si_ No_ 18) Si la respuesta es No favor de ir al punto 14. 19) Selecciones una o más de las opciones, si refleja la razón por la cual presentó Portafolios hechos al vapor y hacer pensar al profesor que estudié mucho: a) Tengo presión para mantener un promedio de las becas y me interesa subir nota. b) Tengo presión para mantener un promedio para que la compañía me pague la materia. c) Para tener mejor calificación final. 20) ¿Qué modificaciones sugeriría para mejorar el proceso de evaluación utilizando el Portafolio?