PROPUESTA DE HERRAMIENTAS OBJETIVAS DE EVALUACIÓN DE ASIGNATURAS EXPERIMENTALES DE INGENIERÍA QUÍMICA S., Lucas*; M.T., García-Cubero Departamento Ingneiería Química y Tecnología del Medio Ambiente; Universidad de Valladolid [email protected] RESUMEN En este trabajo se presenta una metodología de evaluación objetiva aplicada a una asignatura de tipo experimental que se imparte en la titulación de Ingeniero Químico de la Universidad de Valladolid. Esta evaluación de tipo formativo se basa en el desarrollo de una serie de cuestionarios o rúbricas de evaluación que permiten valorar de forma objetiva todos los conocimientos, habilidades, destrezas, actitudes, aptitudes, competencias, vínculos y capacidades que deben desarrollar los alumnos. El proceso se completa con la elaboración de una guía de autoevaluación para el profesor que le permitirá, junto con la encuesta docente institucional, realizar un análisis sistemático de su actividad docente. PALABRAS CLAVE: Evaluación formativa; Rúbrica de evaluación; Asignaturas experimentales; Ingeniería Química ABSTRACT In this work an objective methodology of evaluation has been applied to an experimental subject of Chemical Engineer Degree at Valladolid University. The formative evaluation is based on the development of several objective questionnaires or evaluation rubrics that allow evaluating all the knowledge, abilities, skills, attitudes, aptitudes, competitions and capacities that students have to develop. Evaluation guides together with teaching evaluation test complete the evaluation process and facilitate the systematic analysis of the educational activity. KEYWORDS: Formative evaluation; subjects; Chemical Engineering Evaluation rubrics; Experimental INTRODUCCIÓN La experimentación en el laboratorio juega un papel muy importante en el proceso de enseñanza-aprendizaje del alumno, ya que facilita la asimilación JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -195- y consolidación de los conocimientos teóricos y su relación con la realidad industrial de la Ingeniería Química [1]. Sin embargo, no es fácil cuantificar el grado de asimilación de los conocimientos transmitidos y decidir su suficiencia. No es sencillo encontrar la forma óptima de llevar a cabo esta evaluación ya que, debido al elevado número de alumnos, generalmente es necesario recurrir a pruebas puntuales. Los métodos más adecuados de evaluación en un área como Ingeniería Química son la evaluación continua y formativa [2]. La evaluación formativa permite al profesor conocer la evolución de sus alumnos, al tiempo que éstos son conscientes de su proceso de aprendizaje y se responsabilizan de su propia educación. Además, permite ajustar las programaciones y la metodología en cada momento del proceso docente [3-4]. En cuanto al contenido de la evaluación, ésta debe ser flexible y consistente [5]. Las pruebas deben ser minuciosamente elaboradas de forma que reflejen fielmente el grado de asimilación de las bases teóricas de la disciplina como de su aplicación práctica: Deben evitarse las cuestiones teóricas que puedan ser contestadas únicamente con el empleo de la memoria, intentando que éstas permitan comprobar el grado de comprensión del alumno. El contenido práctico de la evaluación debe incluir un número no excesivo de aplicaciones. La preparación de los problemas debe suministrar datos suficientes para una correcta estimación de los conocimientos del alumno y deben prepararse con un grado de dificultad razonable en el tiempo disponible, de forma que el alumno sea capaz de resolverlos mediante las ideas y conceptos desarrollados en las clases a lo largo del curso. Lógicamente este método de evaluación es posible mediante la realización de pruebas escritas y/u orales. Sin embargo, un examen no tiene ningún valor si no mide las tareas o funciones que el alumno tendrá que cumplir en el ejercicio de su profesión. Además, es preciso que los criterios de corrección sean conocidos por todos los alumnos, que se les facilite la revisión de los exámenes corregidos, de modo que conozcan los errores que han cometido, la importancia de esos errores y cómo deberían haber realizado correctamente las pruebas. La evaluación debe ser un proceso cíclico que se da en y durante todo el proceso de enseñanza y el proceso de aprendizaje y que debe verse completado con un proceso de autoevaluación [6-7]. JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -196- En este trabajo se presenta un modelo de evaluación formativa aplicado a la asignatura Experimentación en Ingeniería Química. Los pilares básicos sobre los que se asienta esta evaluación, como veremos más adelante, se basan en la realización de una serie de cuestionarios objetivos adaptados a cada una de las fases del proceso durante la realización de las prácticas. Además el modelo de evaluación propuesto se completa con una Guía de autoevaluación orientada al análisis y posible mejora de la actuación del profesor. METODOLOGÍA Y EVALUACIÓN DE LA ASIGNATURA Metodología La asignatura de Experimentación en Ingeniería Química II, es una asignatura troncal de doce créditos prácticos que pertenece al actual título de Ingeniero Químico. Se imparte en el segundo ciclo (4º curso) y sus contenidos, de acuerdo al descriptor, son: “Realización de prácticas a escala de laboratorio y de planta piloto sobre operaciones y procesos de Ingeniería Química”, y están relacionadas directamente con las asignaturas troncales de tercer y cuarto curso de Ingeniero Químico: Operaciones de Separación, Cinética Química Aplicada, Reactores Químicos, Tecnología del Medio Ambiente y Simulación de Procesos Químicos. Desde el curso académico 2005/2006 se ha venido desarrollando una nueva metodología de enseñanza-aprendizaje aplicada a esta asignatura con el objetivo de conseguir que los alumnos desarrollen no sólo las competencias específicas propias de una disciplina de carácter experimental, si no también las de carácter genérico o transversal (capacidad de análisis y síntesis de resultados, habilidades comunicativas orales y escritas, trabajo en equipo, toma de decisiones, etc.) [8-9]. Para cumplir con los objetivos establecidos, cada una de las prácticas a desarrollar por los alumnos (agrupados en parejas) se divide en cuatro sesiones: 1. Preparación (presencial): Los alumnos elaboran el procedimiento experimental tomando como base una lista de objetivos facilitada por el profesor y el montaje experimental existente en el laboratorio 2. Experimentación (presencial): Cada pareja de experimentación lleva a cabo la práctica asignada, anotando los resultados experimentales necesarios para alcanzar los objetivos establecidos 3. Cálculos (no presencial): A partir de los resultados experimentales obtenidos en el laboratorio, cada pareja de experimentación, realiza todos los cálculos necesarios para alcanzar los resultados finales JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -197- 4. Realización del informe (no presencial): Cada grupo experimentación redacta y entrega el informe de cada práctica de Evaluación La metodología anteriormente expuesta se completa con un proceso de evaluación adaptado a los objetivos previamente establecidos y a las competencias que el futuro ingeniero debe adquirir en esta disciplina de carácter experimental. Por ello, la evaluación del aprendizaje de los alumnos incluye la valoración del informe de prácticas (30%), la realización de un examen oral (30%), la valoración del trabajo del alumno en el laboratorio (30%) y la presentación y defensa de un proyecto de cambio de escala (10%). Mediante estos cuatro pilares básicos podemos evaluar todos los conocimientos, habilidades, destrezas, actitudes, aptitudes, competencias, vínculos y capacidades que deben desarrollar los alumnos como futuros ingenieros químicos (Tabla 1). Tabla 1. Conocimientos, habilidades, actitudes, aptitudes, competencias y capacidades que debe desarrollar el alumno en la asignatura Experimentación en Ingeniería Química II de acuerdo a los criterios ABET (2008) [10] ALUMNO DEBE SER CAPAZ DE ... LABORATORIO INFORME ESCRITO EXAMEN ORAL PROYECTO - Relacionar conocimientos teóricos y prácticos Manipular equipos/instrumentos de medida/material de laboratorio Conocer los procedimientos de análisis y toma de muestra Operar las instalaciones de laboratorio Elaborar un plan de trabajo (procedimiento experimental) Predecir resultados y comparar con los de bibliografía Proponer alternativas frente a imprevistos Cooperar y compartir con los compañeros (trabajo en grupo) Buscar información eficazmente Analizar, evaluar y sintetizar la información Tratar resultados experimentales y estimar errores Construir gráficos y tablas Interpretar resultados Extraer conclusiones y desarrollar su juicio crítico Redactar informes estructurados Afianzar los conocimientos teóricos relacionados con las prácticas Relacionar conocimientos teóricos y prácticos Comprender el funcionamiento de las prácticas Analizar resultados y sacar conclusiones Pensar en posibles alternativas de operación Discutir argumentadamente Formular juicios autónomos Expresarse con claridad Buscar, analizar y sintetiza información específica (uso Internet) Extrapolar los resultados de laboratorio a escala industrial Seleccionar entre las distintas alternativas de diseño Comparar los resultados obtenidos con los de bibliografía Redactar una memoria de proyecto estructurada Elaborar presentaciones en Power Point Dirigirse a una audiencia (claridad expositiva, dominio del tiempo) Discutir argumentadamente Trabajar en grupo JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -198- A continuación se detalla que aspectos deben cumplir los alumnos en cada uno de los apartados implicados en la evaluación: Laboratorio La nota de laboratorio será el compendio de una serie de aspectos que el profesor valorará adecuadamente tomando como base los cuestionarios prácticos o rúbricas de evaluación elaborados. El profesor dispone de tres cuestionarios adaptados a cada una de las partes implicadas en el proceso de realización de cada práctica. El primer cuestionario corresponde a la fase de preparación (Figura 1). Con él se pretende evaluar de forma objetiva todos los aspectos relacionados con las tareas que el alumno debe realizar durante el primer módulo de preparación de la práctica: conocimiento de la instalación, fundamento teórico, elaboración del procedimiento experimental y cuaderno de laboratorio. El segundo cuestionario está relacionado con la fase de operación (Figura 2). Con él se pretende evaluar objetivamente todas las actividades llevadas a cabo por el alumno durante el módulo de experimentación: operaciones previas, arranque de la instalación, operación, recogida de datos e interpretación de los mismos, parada, limpieza de la instalación y elaboración del cuaderno de laboratorio. El profesor debe rellenar estos dos cuestionarios al final de cada práctica, asignando una nota a cada alumno en cada uno de los apartados. En el tercer cuestionario se abordan otros aspectos valorables y de suma importancia a la hora de establecer una nota de laboratorio (Figura 3). Estos aspectos están relacionados con la habilidad experimental del alumno, su grado de implicación/interés, su capacidad de trabajar en grupo, su comportamiento, etc. Este tercer cuestionario lo completa el profesor al final del período de experimentación, asignando al alumno de forma global una calificación en cada uno de los apartados. La contribución de cada uno de estos cuestionarios en la nota final de laboratorio es de un 40% para la etapa de preparación, 40% para la fase de operación y 20% para los otros aspectos valorables. Informe prácticas Se entrega un informe único por pareja y en él se valoran tanto los contenidos (contribución del 70%) como la forma (contribución 30%). El informe escrito deberá abarcar los apartados que se citan a continuación: JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -199- Índice general paginado Prácticas: título, fundamento teórico, objetivos, diagrama de flujo normalizado, procedimiento experimental y datos experimentales recogidos, resultados: cálculos, análisis y tratamiento de errores, conclusiones y juicio crítico Bibliografía Nomenclatura (símbolos empleados) Apéndices Cada informe incluye las prácticas realizadas por ese grupo teniendo en cuenta las siguientes consideraciones: Extensión práctica: 6/7 hojas recomendable (máximo 10) con un tamaño letra: 11-12 pto. El orden, la presentación y la claridad en la redacción serán otros aspectos a valorar. Examen oral El examen oral se realiza de forma individual y privada en presencia de dos profesores responsables de la asignatura. En él se valora el grado de conocimiento de las prácticas realizadas por el alumno (contribución del 70%), pudiendo incidir en cualquiera de los aspectos del informe: fundamento teórico, procedimiento experimental, forma de realizar los cálculos, interpretación de resultados, posibles dudas o aclaraciones. Se consideran también otros aspectos como su claridad expositiva, su capacidad de pensar, su capacidad de discutir argumentadamente, etc, con una contribución del 30%. La duración del examen oral es entre 15-30 minutos dependiendo del número de prácticas a evaluar. Proyecto En el segundo cuatrimestre se realiza un proyecto basado en un cambio de escala de una de las prácticas realizadas. La elaboración del proyecto presenta una doble vertiente. Por un lado es necesario elaborar un informe del proyecto realizado que debe cumplir los siguientes requisitos: Objetivo del proyecto Diagrama de bloques del proceso propuesto Balances de materia y energía de toda la planta Cálculos para el cambio de escala, suposiciones y datos industriales utilizados Diagrama de flujo de la instalación (indicar la instrumentación necesaria) Dimensionado de los equipos y diseño con detalle del equipo principal Servicios auxiliares Resumen Se presenta un informe único por grupos con una extensión máxima de 1012 páginas (máximo 15). La elaboración del informe supone a los alumnos la JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -200- realización de un esfuerzo importante, por ello su contribución a la nota final del proyecto será de un 70%. Otro de las habilidades que se pretende que el alumno adquiera es perder el miedo a hablar en público y desarrollar su capacidad de argumentar y debatir. Por ello se incluye una exposición oral pública del proyecto por grupos. El tiempo máximo de la exposición será 10 minutos por grupo (5min/persona) seguido de un turno de preguntas de duración máxima 10 minutos. En esta exposición se valorarán los siguientes aspectos: Forma de la presentación: Orden/Estructuración/Cumple objetivos y esquema Contenido: coherencia de resultados Habilidades comunicativas: claridad expositiva/ dominio del tiempo/empatía La exposición oral supone un 30% de la nota final del proyecto. Otras consideraciones Para aprobar la asignatura, los estudiantes deben obtener una calificación mínima de cuatro en cada uno de los apartados considerados en la evaluación. Con la finalidad de que el alumno conozca su evolución en la asignatura, el profesor publica las calificaciones parciales al finalizar el primer cuatrimestre. DESARROLLO DE AUTOEVALUACIÓN HERRAMIENTAS DE EVALUACIÓN Y Tal y como se ha comentado previamente, el objetivo de este trabajo es presentar un modelo de evaluación formativa aplicado a la asignatura Experimentación en Ingeniería Química. Esta propuesta de innovación evaluativa surge de la inquietud que muestra el profesorado de la asignatura en su búsqueda de una forma de evaluación más objetiva e integral. Los pilares básicos sobre los que se asienta esta propuesta de evaluación se basan en el diseño de una serie de cuestionarios objetivos o rúbricas de evaluación adaptados a cada una de las fases del proceso de realización de las prácticas en el laboratorio (preparación, operación y otros aspectos valorables), y que se presentan en la Figuras 1, 2 y 3, respectivamente. Estas rúbricas de evaluación permiten asignar de forma más objetiva una calificación a la labor desempeñada por los alumnos en el laboratorio. Este modelo de evaluación propuesto debe completarse con alguna técnica de autoevaluación que permita analizar y abarcar todos los aspectos implicados en la docencia. Por esta razón, y teniendo en cuenta que la JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -201- información del profesor resulta de máxima utilidad para la mejora de la docencia, se propone como instrumento de autoevaluación para el profesor una Guía de Autoevaluación que se centra en el análisis y posible mejora de la actuación del profesor [11-12]. Esta guía de Autoevaluación para la mejora de la docencia, es un instrumento de uso personal y privado, que facilita el análisis sistemático de la actividad docente. Esta guía consta de tres cuestionarios dedicados a cada uno de los apartados implicados en la docencia: Planificación, Actuación y Evaluación. En la Figura 4, y a modo de ejemplo, se presenta el cuestionario incluido en la guía de autoevaluación correspondiente a la fase de planificación. Cada apartado consta de una Guía de análisis y un espacio reservado al Planteamiento de tus objetivos de mejora. Al final del primer cuatrimestre el profesor completará la guía de autoevaluación con la finalidad de establecer los puntos fuertes y débiles implicados en la planificación, actuación y forma de evaluación de la asignatura. El profesor, en base a esta información y junto con los resultados de la encuesta docente institucional cumplimentada por los alumnos , elaborará un plan de mejora que deberá poner en marcha durante el segundo cuatrimestre. Figura 1. Rúbrica de evaluación de la Asignatura Experimentación en Ingeniería Química II: Fase de preparación JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -202- Figura 2. Rúbrica de evaluación de la Asignatura Experimentación en Ingeniería Química II: Fase de experimentación Figura 3. Rúbrica de evaluación de la Asignatura Experimentación en Ingeniería Química II: Otros aspectos valorables JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -203- Figura 4. Cuestionario de autoevaluación de la Asignatura Experimentación en Ingeniería Química II: Fase de planificación CONCLUSIONES En este trabajo se realiza una propuesta de evaluación objetiva aplicada a una asignatura de tipo experimental, Experimentación en Ingeniería Química II, que se imparte en la actual titulación de Ingeniero Químico de la Universidad de Valladolid. Esta evaluación de tipo formativo se basa en el desarrollo de una serie de cuestionarios que permiten valorar de forma objetiva todas las competencias de tipo transversal y específico que los alumnos deben adquirirr en las distintas fases implicadas en el desarrollo de esta asignatura. El proceso se completa con la elaboración de una guía de autoevaluación para el profesor. Esta herramienta, junto con la información suministrada por la encuesta docente institucional realizada por el alumno, permitirán al profesor realizar un análisis sistemático de su actividad docente y elaborar un plan de mejora. Las conclusiones más relevantes de este trabajo, en ausencia todavía de resultados que permitan valorar de forma cuantitativa la eficacia de las herramientas evaluativas propuestas, son las siguientes: JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -204- Los aspectos implicados en la evaluación de esta asignatura experimental: realización de un informe escrito, el trabajo de laboratorio, el examen oral y la exposición y defensa de un proyecto de cambio de escala, son adecuados a los objetivos de evaluación previamente establecidos, al tiempo que permiten desarrollar muchas de las competencias transversales necesarias en todo futuro Ingeniero Químico, como la capacidad de análisis y síntesis, la toma de decisiones, el trabajo en equipo y las habilidades comunicativas orales y escritas El método de evaluación propuesto, basado en rúbricas de evaluacion, es objetivo en la medida en que las metas que se pretenden alcanzar en la evaluación están definidas previamente con claridad y cada uno de los apartados de la evaluación tiene un porcentaje final asignado acorde con el trabajo realizado por el alumno Las rúbricas de evaluación elaboradas para las fases de preparación, operación y otros aspectos, permiten valorar de forma objetiva la nota de laboratorio, hasta ahora asignada de forma subjetiva por el profesor El proceso de evaluación se completa con una Guía de Autoevaluación de la actividad docente que permite analizar qué aspectos relacionados con la planificación, actuación o evaluación fallan, y proponer alternativas de mejora Esta metodología de evaluación es extrapolable, con las modificaciones pertinentes, a otras asignaturas de tipo experimental que en la actualidad se valoran de forma subjetiva BIBLIOGRAFÍA 1. Bell, J.T. and Fogler, H.S., Virtual Reality in Chemical Engineering Education, Proceedings of the Illinois / Indiana ASEE Sectional Conference, Purdue University, West Lafayette, Indiana, (1995). 2. Wankat, P.C., Oreovicz, F.S., Teaching Engineering. McGraw-Hill, Inc, New York, (1996). 3. Bordas, M.I., Cabrera, F., Estrategias de Evauación de los aprendizajes centrados en el proceso. Revista Española de Pedagogía. Año LIX, enero-abril, n.218, pp.25, (2001) 4. Rosales, C., Evaluar es reflexionar sobre la enseñanza, Editorial Narcea, Madrid, (1990). 5. Zabala, A., Los informes de evaluación, Innovación educativa AULA nº 55, Graó, (1995). 6. Moses, I., Self and student evaluation of academic staff. Assessment and Evaluation in Higher Education, 11 (1), pp. 76, (1986). JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -205- 7. Barber, L.W., Improving teaching performance: Bloomington, Indiana: Phi Delta Kappa, (1985). Formative evaluation. 8. Lucas, S., García, M.T., Bolado, S., García, P., González, G, Urueña, M.A. Diseño e Implantación de una Metodología de Enseñanza-Aprendizaje aplicada a la Asignatura “Experimentación en Ingeniería Química” del Título de Ingeniero Químico. Jornadas Nacionales de Intercambio de Experiencias Piloto de Implantación de Metodologías ECTS , Badajoz, (2006) 9. Lucas, S., García, M.T., Estudio comparativo del nivel de desarrollo de competencias en asignaturas de carácter experimental y teórico en el Título de Ingeniero Químico. V Jornadas de Redes de Investigación en Docencia Universitaria, Alicante, (2007) 10. ABET, 2008, Criteria for Accrediting Engineering Programs. Effective for evaluations during 2009-2010 accreditation cycle, disponible en línea: <http://www.abet.org/> [consulta 20 de mayo de 2010] 11. Cruz, A., Mejora de la calidad de la docencia y autoevaluación del profesor, Talleres de Técnica docente para el profesorado universitario. Arte docente. Centro Buendía. Universidad de Valladolid, (2002). 12. Brown, S., Glasner, A., Evaluar en la Universidad. Problemas y nuevos enfoques. Ediciones Narcea, Madrid, (2003). JORNADA INNOVACIÓN DOCENTE – RIMA 2010 1-2 Julio 2010, Campus Nord UPC -206-