acciones de mejora del aprendizaje mediante tutorías y evaluación
Anuncio
ACCIONES DE MEJORA DEL APRENDIZAJE MEDIANTE TUTORÍAS Y EVALUACIÓN FORMATIVA José Antonio Gómez Hernández ([email protected]) Eduardo M. Eisman Cabeza ([email protected]) Dpto. de Lenguajes y Sistemas Informáticos Dpto. de Ciencias de la Computación e I.A. E.T.S.I. Informática y de Telecomunicación Universidad de Granada RESUMEN Este artículo describe una experiencia de tutorización y evaluación de trabajos escritos y presentaciones orales de los mismos por parte de los alumnos de la asignatura ‘Diseño de Sistemas Operativos’ de la titulación de Ingeniería Informática de la Universidad de Granada con el objetivo de mejorar la calidad de la docencia que en ella se ofrece. Esta experiencia está enmarcada dentro de un trabajo de mentorización de profesores noveles promovido por el Vicerrectorado para la Garantía de la Calidad de nuestra universidad. El artículo describe las acciones realizadas en relación al proceso de tutorización y la puesta en marcha de un sistema de rúbricas para la evaluación. Ambos elementos están pensados para mejorar la calidad de los trabajos y presentaciones al permitir una realimentación al alumno de los puntos fuertes y aspectos a mejorar. A tenor de los resultados obtenidos en las encuestas realizadas a los alumnos, la experiencia ha sido bastante positiva, aunque siempre hay aspectos que se pueden mejorar. 1. INTRODUCCIÓN El papel actual del profesor universitario es ayudar a sus alumnos a aprender. Como se indica en la literatura, el profesor ya no debe actuar como un mero transmisor del conocimiento. Debe ser el impulsor y guía del aprendizaje de sus estudiantes en las competencias establecidas en los grados. Como Prieto (2008) nos indica, no debemos confundir medios con fines. Tradicionalmente, nuestro principal objetivo como docentes siempre ha sido que los alumnos adquieran un conocimiento sólido de las disciplinas que impartimos, y que además lo hagan de una manera eficiente. Esto nos ha llevado durante muchos años a mejorar nuestra docencia en diversos aspectos como la planificación, los contenidos, o los materiales. Sin embargo, en general, esta mejora no va acompañada de una mejora sustancial en los resultados en cuanto a número de aprobados, calificaciones, o nivel de satisfacción según las encuestas de opinión del alumnado. Esto incita a pensar que tenemos que cambiar algo. No basta con que seamos eficientes en nuestra docencia si el aprendizaje no se realiza de forma eficaz. Por ello, no todo el trabajo debe recaer de nuestro lado, sino que es más importante lo que nuestros alumnos deben aprender mediante los procedimientos que mejor se adecuen a cada caso. En la línea de promover una mejora en la calidad de la docencia, la Universidad de Granada viene realizando un programa de formación del profesorado en el que se incluye un ‘Curso de iniciación a la docencia universitaria’ para profesores con menos de cinco años de experiencia docente que culmina en una etapa de mentorización donde se presta especial atención a la inserción laboral del profesor novel guiado por un profesor mentor. El contenido de este artículo es parte de la experiencia de mentorización que ha tenido lugar a lo largo de todo el curso académico 2009/2010, y en la que hemos participado dos profesores de la Escuela Técnica Superior de Ingenierías Informática y de Telecomunicación de la Universidad de Granada con docencia en las asignaturas ‘Sistemas Operativos II’ y ‘Diseño de Sistemas Operativos’ de Ingeniería en Informática (profesor mentor), y ‘Fundamentos de Informática’ de la Diplomatura en Estadística (profesor novel). 2. EL PROCESO DE MENTORIZACIÓN Esta experiencia tenía dos objetivos principales. Por un lado se pretendía que, mediante la realización de una serie de observaciones/grabaciones de la labor docente tanto del profesor mentor como del profesor novel, se potenciasen aquellos aspectos que se considerasen positivos, y se identificasen las carencias existentes a fin de poder subsanarlas a través de ciclos de mejora. Asimismo, se planteaba la necesidad de realizar una serie de seminarios que sirviesen para analizar y profundizar en temas de interés relacionados con nuestra labor docente. A continuación, detallamos brevemente las acciones relacionadas con los seminarios para incardinar el trabajo descrito en el artículo. Los temas tratados en los seminarios fueron: metodologías docentes, tutorías, y evaluación. Con ellos se pretendía obtener resultados prácticos que pudiesen ser aplicados a nuestra docencia. Para la preparación de cada uno de nuestros seminarios, se seleccionaba un material común de estudio que era analizado individualmente por ambos profesores y que servía como punto de partida de la discusión. A lo largo de cada seminario se aclaraban las dudas que habían surgido y se analizaba la posibilidad de aplicar en nuestras asignaturas algunas de las propuestas discutidas, aunque fuese solamente de forma parcial. Por último, al finalizar cada seminario se llegaban a unas conclusiones y se planteaba si era o no necesario aclarar o profundizar en algún otro aspecto de interés. 2.1. Seminario sobre metodologías docentes El primer seminario que se llevó a cabo consistió en una revisión de las modalidades y metodologías de enseñanza más utilizadas (De Miguel, 2005; Navarro y Valero, 2007; Prieto, 2008), las cuales son descritas de forma clara y concisa en la primera referencia. Por modalidades de enseñanza nos referimos a las distintas maneras de organizar y llevar a cabo los procesos de enseñanza – aprendizaje. Pueden ser tanto presenciales (clases teóricas, prácticas, seminarios, talleres, tutorías…) como no presenciales (trabajo autónomo de los alumnos, individual o en grupo). Lo ideal es que el alumno se enriquezca trabajando con varias de ellas, aunque hay que saber distribuir bien el volumen de trabajo, tanto del profesor como de los alumnos. Estas modalidades se concretan en procedimientos, estrategias, o técnicas específicas constituyendo las diferentes metodologías de enseñanza (lección magistral, estudio de casos, resolución de ejercicios y problemas, aprendizaje basado en problemas o en proyectos, aprendizaje cooperativo…). El seminario finalizó con una descripción, a petición del profesor novel, de los métodos empleados por el mentor en sus clases, detallando cuáles recomendaba y cuáles no. 2.2. Seminario sobre tutorías Nuestro interés en realizar un seminario sobre tutorías radicaba en el hecho de que, a pesar de ser una componente esencial dentro del proceso de enseñanza – aprendizaje, pues permite establecer una relación personalizada que mejora el aprendizaje de los estudiantes, atendiendo a sus perfiles diferenciados e individualizados, era un recurso muy poco utilizado por los alumnos, desaprovechando así el gran potencial docente que se les ofrece. Por otro lado, en nuestra Escuela no existía un plan de acción tutorial (PAT) implantado, ni siquiera a nivel de nuestros departamentos, sino que las tutorías se dejaban a criterio de cada profesor. En el seminario se analizaron las tutorías (Álvarez Rojo, 2003 y 2004; Delgado Sánchez, 2003) desde dos puntos de vista diferentes. La primera, como orientación de la formación académica integral del estudiante, facilitando su adaptación e integración en su formación como futuro profesional, y la segunda como estrategia didáctica orientada a facilitar el aprendizaje en el ámbito disciplinar de la asignatura. Bajo nuestro punto de vista, nuestras tutorías debían centrarse principalmente en la formación académica del estudiante, redirigiendo las tutorías fuera del ámbito de nuestra docencia (resultados académicos inapropiados, movilidad, elaboración del currículum, orientación sobre salidas profesionales, problemas familiares…) a los lugares especializados de que dispone la universidad, salvo casos realmente simples. De esta forma, trataríamos aspectos sobre el trabajo individual o autónomo del estudiante (planificación de su tiempo, utilización de diferentes estrategias de aprendizaje como la realización de esquemas, resúmenes, mapas conceptuales, comprender lo que se estudia en lugar de memorizarlo…) y el trabajo en pequeño grupo (aprendizaje cooperativo donde se favorece la participación de todos los estudiantes). No se trata de hacer el trabajo del alumno, sino de guiar su aprendizaje. Por último indicar que, con el desarrollo de las nuevas tecnologías, los alumnos prefieren realizar consultas por correo electrónico o a través de plataformas de apoyo a la docencia en lugar de hacerlo presencialmente, por la comodidad de no tener que desplazarse al centro. Como acciones concretas se propuso realizar un plan de tutorías (Gómez Hernández, 2010a) para supervisar los trabajos y presentaciones de la asignatura ‘Diseño de Sistemas Operativos’ como veremos en el apartado 3.1. 2.3. Seminario sobre evaluación El último seminario estuvo orientado a la adquisición de nuevas estrategias de evaluación. Se revisó bibliografía sobre evaluación formativa (Casanova, 1998; Kuisma, 1999; López López, 2007; Morales Vallejo, 2007 y 2009; Olmos Miguelañez, 2008; Smyth, 2004) que es la que más nos interesaba ya que tenía como objetivo identificar las debilidades del proceso de enseñanza – aprendizaje para poder actuar en consecuencia, en contraposición a la evaluación sumativa, que se centraba en obtener una calificación final para el trabajo realizado por el alumno. Llegamos a la conclusión de que la mejor forma de realizar una evaluación formativa era mediante el uso de una carpeta de aprendizaje o portafolio. En ella, el alumno podía ir anotando las dificultades que encontrase en cada tema, las aclaraciones de conceptos que no entendiese bien, los ejercicios que resolviese, sus prácticas, trabajos y presentaciones, exámenes de autoevaluación, resúmenes de seminarios, etc. Así, el profesor no sólo supervisaría el trabajo del alumno en clase, sino también su trabajo autónomo, que en ocasiones se deja un poco de lado por la existencia de prácticas o exámenes de otras asignaturas. Además, se intentaba romper la tendencia de los alumnos a identificar evaluación continua con examen continuo, lo cual provoca que estos sólo estudien de cara a los exámenes parciales. En este sentido, como medidas a tomar para la asignatura ‘Sistemas Operativos II’ se propuso utilizar los ‘one minute papers’, que consisten en dedicar unos minutos al final de la clase para que los alumnos contesten por escrito, y poniendo su nombre, a muy pocas preguntas, abiertas o de tipo test. Por ejemplo, indicar qué ha sido lo más importante que ha aprendido en la clase de ese día, qué es lo que le ha quedado más confuso, o que defina o explique algún concepto. De esta forma, se consigue que los alumnos presten más atención en clase, lleven las lecturas al día, reflexionen sobre lo que han estudiado, sepamos si han entendido los conceptos que se han explicado, si hay errores individuales o generalizados que se deben corregir, e incluso es una manera de pasar lista. Por otra parte, también identificamos la necesidad de proponer algún tipo de contrato de aprendizaje para las recuperaciones de los exámenes individuales de los temas, en lugar de tener que repetirlos. Debemos encontrar algún modo de que la nueva propuesta no genere un mayor trabajo que el que tendría la corrección de un nuevo examen escrito. En esta misma línea, para la asignatura ‘Diseño de Sistemas Operativos’ se planteó la posibilidad de utilizar rúbricas para que los alumnos conociesen los criterios exactos de evaluación de sus trabajos (Gómez Hernández, 2010) (grado de elaboración del tema, aplicación práctica, uso de fuentes documentales contrastadas, originalidad del enfoque, extensión y formato) y presentaciones (actitud, expresión oral, orden en la exposición, material audiovisual atractivo, trabajo en grupo, tiempo de exposición, y respuesta a las cuestiones planteadas). Esta medida, junto con el plan de tutorización, debía resultar en una mejora en la calidad de los mismos. Estos aspectos de mejora son los que se describen con detalle en los siguientes apartados. 3. LA ASIGNATURA Y LAS ACCIONES REALIZADAS La experiencia llevada a cabo se ha realizado principalmente en la asignatura ‘Diseño de Sistemas Operativos’, por lo que vamos a describir brevemente su situación previa. Esta asignatura es una optativa de quinto curso de Ingeniería Informática. El temario de la misma está orientado a cubrir aspectos no vistos en una asignatura troncal y otra obligatoria de sistemas operativos, y trata temas como arquitecturas de sistemas, sistemas multiprocesadores y distribuidos, sistemas operativos de tiempo-real y empotrados, y sistemas confiables. Como lo que se pretende es que el alumno adquiera, además de las competencias específicas de la disciplina, competencias trasversales como la capacidad de comunicación oral y escrita en el ámbito académico y profesional, capacidad de análisis y síntesis, etc., las clases presenciales de la asignatura se estructuran en dos partes diferenciadas. En la primera parte se presentan, a través de la clase magistral y para cada tema, los principales problemas que el alumno se encuentra en los sistemas. A continuación, se indican cuáles son las principales soluciones adoptadas en los sistemas operativos actuales, lo que permite ir estableciendo temas de posibles trabajos. En la segunda parte, los alumnos analizan diferentes sistemas a través de dos trabajos en grupo, y deben presentar dos documentos de 20 páginas con los resultados de su trabajo y sus respectivas presentaciones. La estructura de este documento está definida, y es obligatorio como veremos en el Apartado 3.1. La realización de los trabajos permite a los alumnos: 1. 2. 3. 4. Ampliar, consolidar y profundizar en el diseño y construcción de sistemas operativos. Contribuir a mejorar la redacción y presentación de informes extendidos. Sintetizar de manera adecuada las lecturas realizadas. Emitir juicios personales utilizando un apartado de conclusiones. Hasta la fecha, el profesor sólo supervisaba el índice del trabajo y una bibliografía mínima de partida. A partir de aquí, el alumno elaboraba su trabajo y el profesor evaluaba el producto final. En general, los resultados producían trabajos de una calidad intermedia tanto por su contenido como en el formato. En el proyecto de mentorización antes citado, se abordó la posibilidad de introducir mejoras en el proceso anterior para mejorar la calidad de los trabajos y el proceso de realización de los mismos. Para ello, se propusieron dos acciones de mejora y un mecanismo de evaluación del proceso. Las acciones de mejora fueron un plan de tutorización de los trabajos, y la generación de rúbricas tanto para los trabajos como para las presentaciones. En cuanto al mecanismo, se elaboró una encuesta para recabar información de los alumnos sobre las acciones metodológicas propuestas. A continuación pasamos a describir tanto el plan de tutorización como las rúbricas. De la evaluación del proceso hablaremos en el Apartado 4, donde se analizará la valoración de los alumnos. 3.1 Plan de tutorización En muchas ocasiones hemos oído y dicho una frase similar a ‘no hay forma de que los alumnos vayan a tutorías’. Debemos concienciarnos de que si queremos que nuestro alumnos utilicen las tutorías debemos realmente integrar estas dentro de nuestras asignaturas. Como indica O'Neil y McMahon (2005) lo que el alumno haga y su aptitud no dependerá de las orientaciones que establezca el profesor, sino de nuestras demandas, de la tónica de nuestras clases y de las oportunidades de aprendizaje que les aportemos. En definitiva, de lo que les hagamos hacer. Para la realización de los trabajos se dan inicialmente unas pautas de organización y la relación de temas sobre los que pueden versar. Los trabajos se organizan en grupos de 3 ó 4 alumnos para fomentar el aprendizaje cooperativo. En cuanto a los temas, se da una relación no cerrada con al menos una referencia bibliográfica de calidad sobre el tema. El hecho de que la relación sea no cerrada obedece a que los alumnos pueden proponer nuevos temas relacionados con sus áreas de interés, al objeto de fomentar la motivación de los mismos. Dentro de la acción tutorial, se les sugiere las secuencias de acciones que pueden realizar: 1. Localización y primera lectura de documentos para determinar los aspectos principales del tema. Ficha de documentos y toma de notas que se crean pertinentes. 2. A partir de las notas, creación de un índice de contenidos que se desarrollarán en el trabajo. Es obligatoria la consulta al profesor sobre la adecuación de dicho índice y la bibliografía de partida. Esto, en parte, ayuda a controlar la calidad de los contenidos del trabajo. 3. Desarrollo del primer borrador de los apartados del índice: exposición de datos o información de los documentos leídos, argumentación y exposición de los propios puntos de vista, presentación de conclusiones (si es pertinente). Durante el proceso de elaboración del mismo, se pueden consultar al profesor las dudas concretas que vayan surgiendo (al igual que en las presentaciones). 4. Consulta, de forma voluntaria, al profesor sobre el contenido del borrador. Esto debería hacerse un par de semanas antes de la fecha final de entrega. Para ello, sería conveniente entregar el documento en formato electrónico, preferiblemente en .odt de OpenOffice, y así poder utilizar el Control de Modificaciones, facilitando la corrección del trabajo tanto al profesor como a los alumnos, al poder insertar las correcciones en el propio documento. 5. Con las sugerencias que crea oportunas del profesor, confección del documento final. 6. Elaboración de una presentación de 15 minutos sobre el tema elegido a partir del documento final del trabajo. 7. Unos días antes de realizar la presentación, y de forma voluntaria, se puede consultar con el profesor los contenidos de la presentación, formato, etc. para tener en cuenta posibles mejoras. 8. Una vez elaborada la presentación definitiva, es necesario enviar al profesor la misma en formato .pdf para colgarla en la página web de trabajos y presentaciones. Se debe enviar al menos un día antes de la fecha establecida para la misma. 9. Antes de realizar la presentación en clase sería conveniente realizar algún ensayo de la misma con los compañeros del grupo. También se les indican los criterios generales de evaluación de los trabajos y presentaciones que se materializan en las rúbricas. Estos son: 1. Grado de elaboración de la información aportada. 2. Trabajo teórico o con aplicaciones prácticas. 3. Cantidad y actualidad de las fuentes documentales utilizadas. 4. Originalidad en el enfoque. 5. Extensión y formato recomendado. Una vez conocido el procedimiento y su evaluación, se realiza la descripción del tipo y de los momentos de acción tutorial: 1. En clase presencial se establecen las bases de los posibles temas a trabajar: conceptos básicos, trabajos actuales, etc. El único problema aparece en el primer trabajo, donde las clases magistrales están en paralelo con él. No ocurre así para el segundo trabajo, donde se ha cubierto el temario de teoría. 2. Revisión del índice del tema y la bibliografía de partida, y en su caso de la adecuación del tema seleccionado por el grupo. Esta acción es obligatoria para todos los grupos. 3. Revisión del borrador del trabajo. 4. Revisión de la presentación. Esta está encaminada a eliminar deficiencias en el contenido de la presentación, la preparación de la misma por parte del grupo de cara a su exposición y posibles preguntas sobre la misma. La duración de cada sesión de tutorías será como máximo de unos 20 minutos y el calendario y horario de las mimas puede ser el establecido oficialmente, o uno personalizado que se establecerá previo acuerdo con los interesados. En la mayoría de los casos, los alumnos optan por realizar su consulta de forma electrónica. Como indicábamos anteriormente, se establecen unas normas para la realización de trabajos. Estas normas tienen una doble función. Por un lado, homogeneizar los trabajos para que la comparación entre los mismos sea más objetiva. De otro, y dado que estas normas pueden cambiar de un curso para otro, dificultar el plagio de los mismos [Mclnnis y Devlin 2002]. Indicamos a continuación las normas que se les indican a los alumnos sobre el aspecto de los trabajos, la labor del alumno en su realización y la audiencia destinataria de los mismos: 1. Normas formales – afectan al resultado del trabajo que deberá presentarse como documento con las siguientes características: a) La extensión máxima es de 20 páginas, y el formato de las páginas se organiza como sigue: interlineado sencillo, márgenes izquierdo, arriba y abajo de 3 cm., y derecho de 2 cm. b) La estructura del mismo constará de: • Portada (1 página) – contiene al menos el nombre del trabajo (que nos dé una idea lo más exacta posible de su contenido), los nombres, apellidos y correos electrónicos de los autores, y el nombre de la asignatura para la que se hace, • Índice (1 página), • Introducción al tema de estudio (2 páginas como máximo), • Desarrollo del tema elegido (14 páginas), • Conclusiones (2 páginas) – es importante que los alumnos aporten sus propias opiniones de cara a fomentar las competencias propuestas, • Bibliografía (1 página). 2. Labor del alumno – el alumno deberá realizar las siguientes actividades: a) Elegir un tema, bien entre los que aparecen en la lista dada por el profesor, o bien de su propio interés y relacionado con la asignatura (en este caso deberá consultar al profesor para ver si el tema elegido permite un desarrollo acorde a los objetivos previstos). b) Leer diferentes fuentes bibliográficas, lo más actuales posibles, sobre el tema elegido. c) Esbozar un borrador de índice que se consensuará con el profesor. d) Una vez acordada la estructura inicial del documento, comenzará la elaboración del mismo. Si es necesario, puede consultar con el profesor las dudas que le surjan. Los trabajos no son una mera reproducción de información, sino que se trata de manipular, utilizar, y elaborar la información. e) Los trabajos deben entregarse en la fecha que se establecerá al inicio del cuatrimestre. f) Para facilitar la entrega, corrección, y publicación de los trabajos, estos se entregarán en formato .odt o .pdf. g) Para cada trabajo, el estudiante preparará una presentación para realizarla en clase. Esta tendrá una duración de 15 minutos y estará seguida por un turno de 5 minutos de preguntas y/o debate. h) Para intentar obtener trabajos/presentaciones de calidad se establece un plan de tutorización de los mismos. Con este mismo objetivo se hacen públicas las rúbricas de evaluación, o claves de evaluación. 3. Audiencia – el trabajo debe estar dirigido a los compañeros, es decir, se espera que esté dirigido a una audiencia con unos conocimientos avanzados en informática, y más concretamente en sistemas operativos. Esto hace que no sea necesario explicar o repetir en el trabajo los conceptos vistos en los años previos de la carrera. Un aspecto importante es la evaluación formativa, que no únicamente calificación de los trabajos, ya que con las acciones puestas en marcha se pretende: 1. Realizar una corrección analítica de los mismos utilizando rúbricas (que veremos a continuación). 2. Como la utilidad de los trabajos está tanto en el producto final como en el proceso, es decir, tanto en el trabajo/presentación como en el aprendizaje realizado durante la elaboración, es importante utilizar información de retorno (feedback) donde se transmita a los alumnos los puntos fuertes y los aspectos de mejora. Para ello, el plan de tutorización de los trabajos/presentaciones permite la corrección de un borrador inicial. Además, una vez que se realiza el primer trabajo, el profesor lo corrige y lo devuelve indicando los aspectos positivos y los puntos que necesitan mejora. Esto se realiza en paralelo con la elección de tema del segundo trabajo, de forma que en el último trabajo no cometan errores similares al primero y mantengan los elementos de calidad anteriores. La asignatura pretende contribuir, dentro de sus posibilidades, a desarrollar cierta práctica con las presentaciones orales de trabajos, dado que hoy en día se nos exige un dominio del discurso oral en el ámbito profesional (grupo de compañeros de la empresa, presentación de proyectos o productos, etc.). Además, las presentaciones, más exhaustivamente que los trabajos, obligan a sintetizar las ideas, expresándolas de forma clara y concisa, a diferenciar lo que es superfluo de lo que no. En definitiva, a realizar un aprendizaje más profundo. Para la ejecución de las presentaciones también se establecen unas normas, si bien estas son más abiertas, como puede verse a continuación: 1. La duración de la presentación es de 15 minutos, tras los cuales se dejarán 5 minutos para preguntas. En este punto hay que hacer constar que la presentación no es sólo aprendizaje para el ponente, sino que los oyentes tienen la oportunidad de adquirir nuevos conocimientos que pueden serles requeridos en la evaluación final de la asignatura. Por tanto, es parte de los alumnos oyentes seguir las presentaciones como si de una clase del profesor se tratase. 2. El formato de la presentación es libre, si bien hay algunas recomendaciones de sentido común: a) Numerar las transparencias para facilitar las referencias a las mismas en el debate. b) El tamaño de letra debe ser lo suficientemente grande como para que se vea bien desde el fondo del aula (una fuente de un tamaño menor de 24 no suele ser recomendable). c) Como se suelen incluir figuras como apoyo a la compresión de determinados conceptos, es necesario que estas se vean correctamente, tanto los dibujos como su texto. d) Hay que adaptar el número de transparencias al tiempo. Es difícil indicar cuál es el número de transparencias a utilizar pues depende del contenido de las mismas. Como referente, una transparencia ‘normal’ puede llevarnos al menos un minuto de explicación. La forma de conocer el número adecuado nos la darán los ensayos que hagamos de la presentación. También indicar que estas requieren un gran esfuerzo de síntesis, por lo que el contenido de las mismas no tiene por qué reproducir completamente el contenido del trabajo (el lector interesado por el tema puede dirigirse al trabajo escrito para conocer detalles no mostrados en la presentación). Para la evaluación de las presentaciones también se usa una rúbrica que aparece en el Apartado 3.2. Al igual que con los trabajos, se realizará un proceso de realimentación con las presentaciones escritas encaminado a mejorar el aprendizaje de los alumnos y la calidad de las mismas. Respecto a la realimentación de la presentación oral, se les proponen ensayos entre compañeros y atender a las presentaciones de clase. En cuanto a las recomendaciones a la hora de hacer una buena presentación oral, se optó por dar algunos enlaces a material disponible en la red y que hemos seleccionado por ser claros y concisos, haciendo hincapié en que muchas de estas técnicas están basadas en el sentido común. 3.2. Las rúbricas La realización de trabajos/presentaciones junto con el plan de tutorización de los mismos pretenden establecer un sistema que favorezca el aprendizaje de los alumnos usando para ello un esquema de evaluación formativa en lugar de una evaluación sumativa [Smyth, Karem (2004)]. Se entiende por evaluación formativa aquella orientada no sólo a calificar sino a corregir los errores de aprendizaje en el momento en el que se producen, contribuyendo así a un aprendizaje más profundo y duradero. Además, así se evita que estos errores tengan carácter sancionador (calificación negativa) [Casanova 1998]. Las rúbricas o matrices de evaluación se utilizan como forma de evaluación integral y formativa. Además, e igual de importante, sirven como instrumento de orientación y evaluación de la práctica educativa. Su utilización permite al profesor unificar los criterios de evaluación de los trabajos de diferentes estudiantes, y al alumno le permite abordar su aprendizaje conociendo cuáles son los objetivos y metas del mismo. De forma resumida, la rúbrica consiste en tratar de establecer una escala descriptiva de acuerdo a unos criterios establecidos. Se materializa como una tabla de doble entrada. El primer eje, de categorías, recoge los elementos a evaluar, es decir, los considerados más importantes de acuerdo a los objetivos formulados. El segundo eje establece el nivel de calidad con los valores asociados. Como puede verse en las rúbricas que se proponen más adelante, en el eje de categorías se desglosan los criterios establecidos en el ‘Plan de Tutorización de Trabajos’ propuesto para la asignatura. Para cada una de las categorías, se estable un peso en la calificación final de acuerdo a la importancia establecida. En el eje de valoraciones, se establecen cuatro niveles (insuficiente, aceptable, buen nivel, y excelente) y el rango de puntuación que se les asigna. Como se puede observar, en ambos casos, trabajos y presentaciones, se tiene en cuenta que para la asignatura los primeros están valorados sobre 1.75 puntos, y los segundos sobre 0.75 puntos. Unos de los objetivos de utilizar la técnica de rúbricas es tanto mejorar la calidad del proceso de realización de los trabajos y presentaciones, como del resultado final. Además, como se demuestra en Kuisma y Raija (1999), el uso de criterios de evaluación mejora las calificaciones y estas se acercan más a la distribución normal. La Tabla 1 recoge la rúbrica utilizada para los trabajos de la asignatura, y la Tabla 2, la utilizada para las presentaciones orales. 4. RESULTADOS OBTENIDOS Para evaluar objetivamente si las nuevas medidas supusieron o no una mejora en la docencia de la asignatura ‘Diseño de Sistemas Operativos’, se realizaron dos encuestas a los alumnos para conocer su opinión. En ellas se les preguntaba si habían utilizado las tutorías o las rúbricas a la hora de hacer los trabajos o las presentaciones. Si su respuesta era afirmativa, se les pedía que valorasen su utilidad de 0 a 5, justificando su respuesta, e indicando lo más positivo y qué añadirían o cambiarían. En caso contrario, se les pedía que indicaran las razones por las que no las habían utilizado. Estas encuestas fueron realizadas por un total de 19 alumnos. Tabla 1.- Rúbrica para trabajos escritos. Desarrollo Contenido Redacción (50%) Grado de elaboración de la información aportada Valoración Criterio Trabajo teórico con aplicaciones prácticas (20%) Cantidad y actualidad de las fuentes documentales utilizadas (10%) Insuficiente [0-0.5 puntos] Aceptable [0.6-1 puntos] Buen nivel [1.1-1.4 puntos) Excelente [1.5-1.75 puntos] Ninguna consistencia en el fluir del tema, elaboración y profundidad. Muy poca consistencia en el fluir del tema, elaboración y profundidad. Consistencia parcial en el fluir del tema, elaboración, y profundidad. Consistente en el fluir del tema elaboración y profundidad. Organización de ideas deficiente y sin coherencia (confuso, incompleto y sin una dirección clara). Ausencia de conocimiento previo y corrección conceptual. No hay gráficos o estos no ayudan a la comprensión. Información a un nivel muy simplista. El contenido no demuestra que se haya entendido lo que se ha trabajado. Algunos errores en la organización de ideas y párrafos (se han cubierto las diferentes secciones pero no hay conexión ni transición entre ellas). Falta de conocimientos previos y corrección conceptual. Falta algún gráfico que ayude a la comprensión de algún concepto. El contenido demuestra que se ha entendido lo que se ha trabajado. Las ideas están elaboradas y en general los párrafos son coherentes (la organización es adecuada y está relacionada entre sí). Presencia parcial de conocimiento previo y corrección conceptual. Ayudas gráficas para los conceptos, pero algunas no son las mejores. La información es clara y muestra cierta reflexión sobre el tema. Muy buena elaboración de ideas y coherencia del documento (muestra una planificación cuidadosa y una secuenciación lógica y clara). Presencia completa de conocimientos previos y corrección conceptual. Magnifica selección de ayudas gráficas. La información es excelente: se ha entendido el tema, y se ha reflexionado. La redacción no está cuidada. Hay faltas de ortografía. Redacción cuidada pero No hay errores de La redacción es con errores. Algunas redacción, ni faltas de excelente por su frases confusas y de ortografía. claridad y cuidado. difícil comprensión. No existe ningún ejemplo de aplicabilidad o uso de los conceptos teóricos. Establece aplicabilidad o usos prácticos de alguno de los conceptos teóricos estudiados. Parte, pero no todos los elementos teóricos, tienen su ejemplo práctico de uso. Establece un equilibrio perfecto entre la teoría y su aplicación práctica. Aunque el trabajo requiere bibliografía, no hay ni citas ni fuentes de información. No hay citas y la bibliografía se presenta de forma inadecuada y dudosa. No hay equilibrio de recursos. Se citan fuentes pero de forma inadecuada. La bibliografía es corta e incompleta, las fuentes no son del todo aceptadas y no hay equilibro de recursos. Se usan fuentes de información aceptadas, se citan adecuadamente y se incluye bibliografía. Hay equilibrio de recursos. Sigue la estructura marcada por las fuentes utilizadas. No hay conclusiones. Si bien sigue la Enfoque original del estructura de las tema. Aporta sus fuentes, aporta alguna propias conclusiones. novedad en el enfoque. Recoge conclusiones aunque no sean propias. Hay elementos que no siguen el formato, pero el aspecto es casi uniforme, aunque poco atractivo. Sigue casi en su totalidad el formato, y el aspecto está cuidado. Originalidad No hay un enfoque en el enfoque claro y definido. (10%) Extensión y No sigue el formato formato establecido. El aspecto (10%) no es uniforme, y está poco elaborado. Sigue completamente el formato, y el aspecto está muy cuidado. Tabla 2.- Rúbrica para presentaciones. Valoración Insuficiente [0-0.1 puntos] Aceptable [0.2-0.3 puntos] Actitud (15%) Toda la exposición se ha realizado sin dirigirse a la audiencia. Tono de voz inadecuado. Lectura de anotaciones excesiva. En ocasiones no se dirige a la audiencia y baja el tono de voz de forma que no se entiende. Puntualmente lee alguna nota para recordar. La presentación es fluida. Los compañeros la siguen con interés. Siempre se dirige a la audiencia. Los gestos, voz y compostura son correctos. Capta el interés. Expresión oral y estructura de las frases (15%) Incorrecta (uso inadecuado de los términos). Las frases son siempre confusas y no las termina. Correcta, pero con algunas imprecisiones, y en algunos casos emplea frases entrecortadas. Lenguaje claro pero en ocasiones no es conciso o adecuado. Se usa un lenguajes claro, conciso, y adecuado. La construcción de las frases es correcta. Relación de ideas (20%) Exposición desordenada y con muchas dudas. Confunde términos. Difícil de entender. Exposición ordenada, pero se muestran dudas. Secciones aisladas. Exposición ordenada, pero a veces no concreta o precisa. Intenta relacionar elementos. Exposición ordenada, precisa y correcta. Expresa ideas con fluidez. Uniformidad en la presentación. Pocos materiales y Adecuados aunque poco acertados (no se no los sabe ve el texto y/o aprovechar. figuras). Adecuados. Han ayudado a entender los conceptos. Muy interesantes y atractivos. Han sido un excelente apoyo. Demasiado La presentación individualista (cada muestra cierta miembro del grupo planificación. hace su parte pero se desentiende del resto). Todos los miembros del grupo demuestran conocer la presentación global. La presentación muestra planificación y trabajo en grupo en su elaboración. Sobrepasa en más de Sobrepasa el tiempo un 50% el tiempo en un 25%. establecido. Se ajusta al tiempo, Se ajusta al tiempo, pero dedica el grueso dedicando al cuerpo al cuerpo del trabajo. del trabajo la mayor parte del tiempo. No responde bien a las cuestiones planteadas por los compañeros o el profesor. Responde a todas las Responde de forma cuestiones con dudas segura y exacta. en algunos casos. Sugiere donde ampliar. Criterio Material audiovisual (10%) Trabajo en grupo (10%) Tiempo de exposición (15%) Respuesta a las cuestiones planteadas (15%) Responde a la mayoría de las cuestiones pero comete algunos errores. Buen nivel [0.4-0.5 puntos] Excelente [0.6-0.75 puntos] Sobre el plan de tutorización, cabe destacar que 13 de los 19 alumnos lo habían utilizado (como se aprecia en la Figura 1), y para la mayoría de ellos fue bastante útil (Figura 2, con una media de 4.2). Como nota curiosa decir que algunos alumnos no consideraban como tutorías las consultas a través de medios no presenciales como el correo electrónico. Figura 1.- Porcentaje de alumnos que usan las tutorías y rúbricas Figura 2.- Valoración de las tutorías y de las rúbricas Los aspectos destacados del uso de las tutorías (Figura 3a) fueron la mejora en la calidad de los trabajos, la orientación sobre búsqueda de información, la colaboración y disponibilidad del profesor, y el producir un conocimiento más sólido. Sobre los aspectos a mejorar, un alumno propuso una mayor rapidez en la respuesta, aún reconociendo que sus consultas habían sido atendidas en fines de semana o periodo vacacional. Debemos dejar claro que no podemos ser profesores las 24 horas del día. En cuanto a los que no usaron las tutorías, los motivos fueron la falta de tiempo, ya que había que preparar un borrador y enviárselo al profesor, y que no creyeron que fuese necesario. (a) (b) Figura 3.- Aspectos positivos y negativos del uso de (a) las tutorías, y (b) las rúbricas En relación al tema de las rúbricas, sólo la mitad de los alumnos las habían utilizado (Figura 1), aunque para estos fueron de bastante utilidad (Figura 2). En su opinión (Figura 3b), consideraban que el uso de rúbricas era una buena metodología para generar trabajos de calidad, y que servían como guía para saber los aspectos en los que centrarse, lo que permitía realizar una autoevaluación de los trabajos antes de entregarlos. En contra, se debería revisar un poco el documento de rúbrica, ya que a veces la diferencia entre categorías no estaba demasiado clara y algunos elementos podían ser difíciles de evaluar. Algunos alumnos que no utilizaron las rúbricas opinan que el documento se entregó tarde, otros no conocían de su existencia, y el resto o habían utilizado las correcciones del profesor, o se despistaron y no se acordaron de usarlas, o no tenían muy claro cómo utilizarlas. La mayoría de estos inconvenientes surgían del hecho de que la idea del documento de rúbrica apareció una vez iniciado el curso. En la Figura 4 se recogen los resultados de alumnos que utilizaron las tutorías pero no las rúbricas y a la inversa, y las razones por las que se sigue un instrumento y no el otro. Como inconveniente de enviar los borradores cabe destacar lo que ellos indican como ‘falta de tiempo’. Analizando los correos de elección de tema, podemos ver cómo algunos grupos tardan bastante en elegir un tema, y por tanto en ponerse a realizar el trabajo. Esto puede solventarse estableciendo unos plazos más rígidos para la elección de tema y mejorando el plan de tutorización para que los alumnos indecisos seleccionen un tema lo más rápidamente posible. Figura 4.- Resultados cruzados Para concluir el apartado, es necesario reflexionar sobre el coste en tiempo que supone al profesor la aplicación de los elementos propuestos. Respecto a las tutorías para la revisión de borradores de trabajos y presentaciones, indicar que no es excesivamente costoso en tiempo. Podemos indicar que puede llevar una media de unos 10 minutos por trabajo, y la mitad por presentación. Las razones principales es que la corrección de un borrador no se hace en profundidad sino que, tras una lectura rápida del mismo, se le indican al alumno los puntos fuertes y débiles marcando algunos ejemplos de su trabajo. Dado que la corrección de borradores es opcional y no todo el mundo opta por ella, el tiempo empleado es mucho menor que el tiempo semanal de tutorías. Además, si guardamos los borradores con los errores cometidos, facilitamos la corrección final de los mismos. En cuanto a la corrección final de los trabajos/presentaciones, las rúbricas facilitan el proceso de asignar calificaciones, haciéndolo más objetivo y rápido. 5. CONCLUSIONES Y MEJORAS A la vista del apartado anterior, estamos satisfechos por los resultados obtenidos, pues se ha favorecido y mejorado el aprendizaje de nuestros alumnos no sólo en competencias propias de la disciplina sino también en competencias trasversales que les serán muy útiles en el desarrollo de su labor profesional. No obstante, para el próximo curso se pretenden abordar algunas mejoras. Como se indica en Prieto (2008), para próximos cursos prepararemos trabajos de ejemplo para los alumnos: 2 trabajos con un nivel excelente y 2 con un nivel no aceptable. Estos trabajos se elegirán entre los presentados por los alumnos en cursos anteriores, previo consentimiento de los autores y salvando el anonimato. En aquellos casos en que no haya ejemplos de algún tipo, el profesor puede proporcionarlos. Respecto a ejemplos de presentaciones, como en la primera parte de la asignatura el profesor introduce los temas mediante clases magistrales, se pueden preparar algunas clases con la estructura de las presentaciones que ellos van a realizar y mostrar las acciones deseables y evitables cometidas frecuentemente en las presentaciones orales. El sistema de rúbricas permite un mecanismo fácil para aplicar evaluación entre pares y coevaluación (Sivan, 2000; Dochi, Segers, y Sluijsmans 1998, Sluijsmans, Dochy, y Moerkerke 1998). Dado que los alumnos tienen disponibles en una página web los trabajos presentados, se les pueden suministrar las rúbricas para que califiquen los de sus compañeros. Asimismo, los asistentes a las presentaciones orales pueden valorar el resto de presentaciones. Por último, a tenor de los comentarios de los alumnos, se realizará una revisión de las rúbricas para que estas sean perfectamente comprensibles. Además, se dedicarán algunas clases para que los alumnos conozcan cómo utilizarlas. AGRADECIMIENTOS Ambos profesores desean mostrar su agradecimiento al Vicerrectorado para la Garantía de la Calidad de la Universidad de Granada por la oportunidad que nos ha brindado de llevar a cabo tan grata y fructífera experiencia, así como a los alumnos de la asignatura por su colaboración en la realización de las encuestas y comentarios sobre el proceso de tutorización y posibles mejoras de las rúbricas. 6. REFERENCIAS Álvarez Rojo, Víctor B. (2004). La tutoría: elemento clave en el Modelo Europeo de Educación Superior. Salamanca, disponible en http://campus.usal.es/~ofeees/PONENCIAS_TUTORIA/ Victor%20Alvarez%20Rojo.pdf. Álvarez Rojo, Víctor B. (2003). Las tutorías. Otra forma de enseñar en la universidad. Materiales de formación del profesorado universitario. Guía III. Córdoba. UCUA (Unidad para la Calidad de las Universidades Andaluzas). Págs. 447-497. Casanova, Mª Antonia (1998). Evaluación: concepto, tipología y objetivos. Capítulo 3 de Casanova, Mª Antonia, La evaluación educativa, SEP-Muralla, México, páginas 67-102, disponible en http://www.reformasecundaria.sep.gob.mx/espanol/pdf/evaluacion/casanova/casanova3.pdf De Miguel Díaz, Mario (2005). Modalidades de enseñanza centradas en el desarrollo de competencias. Orientaciones para promover el cambio metodológico en el Espacio Europeo de Educación Superior. Ediciones Universidad de Oviedo. Disponible en http://www.ub.es/oce/documents/pdfes/mec/mec_2005_comp.pdf Delgado Sánchez, J. A. (2005). Líneas básicas de intervención en tutoría universitaria. Método Ediciones. Dochy, F., Segers, M. y Sluijsmans, D. (1999), “The use of self-, peer and co-assesment in higher education: A review”, Studies in Higher Education, vol 24 (3), 331-350. Gallego Arrufat, María Jesús; Gámiz Sánchez, Vanesa María; Crisol Moya, Emilio (2009). Audiovisuales para la mejora de la docencia universitaria: grabación y análisis de la actuación docente de profesorado principiante. Publicado en León Guerrero, Mª José; López López, Mª Carmen (Coords.) (2009). Experiencias de Mentorización a Profesorado Principiante en la Educación Superior. Actas Primeras Jornadas de Intercambio de Experiencias de Mentorización en la Educación Superior. Págs. 40-47. Gómez Hernández, José Antonio (2010a). Tutorización de trabajos de la asignatura Diseño de Sistemas Operativos. Disponible en http://lsi.ugr.es/jagomez/disisop_archivos/TrabajosDSO/ Tutorias.html Gómez Hernández, José Antonio (2010b). Los trabajos y presentaciones en la asignatura Diseño de Sistemas Operativos: objetivos, normas y evaluación. Disponible en http://lsi.ugr.es/jagomez/disisop_archivos/TrabajosDSO/Evaluacion.html Kuisma, Raija (1999). Criteria referenced marking of written assignments. Assessment & evaluation in higher education, 24(1): 27-39. López López, Mª del Carmen (2007). Evaluación de los procesos de enseñanza-aprendizaje en la universidad y su adaptación al Espacio Europeo de Educación Superior. Editorial Universidad de Granada. Morales Vallejo, Pedro (2009). La evaluación formativa. Publicado en Morales Vallejo, P. (2009). Ser profesor: una mirada al alumno. Guatemala: Universidad Rafael Landívar, 41-98. Disponible en http://www.upcomillas.es/personal/peter/otrosdocumentos/Evaluacionformativa. pdf Morales Vallejo, Pedro (2007). Los trabajos académicos basados en lecturas. Universidad Pontificia de Comillas. Disponible en http://www.upcomillas.es/personal/peter/otros documentos/Trabajoscasa.pdf Navarro, Juan, y Valero, M., Taller de formación: aprendizaje basado en proyectos (project based learning). Universidad Politécnica de Madrid. Disponible en https://xweb.fi.upm.es/ webfi/docs/estructura/direccion/507_Documentacion/PBL/UPM/2007.pdf. Olmos Miguelañez, Susana (2008), Evaluación formativa y sumativa de estudiantes universitarios: aplicación de las tecnologías a la evaluación educativa. Tesis doctoral, Universidad de Salamanca. Disponible en http://gredos2.usal.es/jspui/bitstream/10366/18453/1/DDOMI_ EvaluacionFormativaySumativa.pdf Prieto Navarro, Leonor (2008). La enseñanza universitaria centrada en el aprendizaje. Octaedro. Rodríguez Espinar, S. (2008). Manual de Tutoría Universitaria. Recursos para la Acción. Octaedro. Sivan, Atara, (2000), The Implementation of Peer Assesment: an action research approach, Assesment in Education, vol 7, nº 2, 193-213. Sluijsmans, D.; Dochy, F. & Moerkerke, G. (1998). Creating a Learning Environment by Using Self, Peerand Co- Assessment. Learning Environments Research, 1(3), 293-319 Smyth, Karem (2004). The benefits of students learning about critical evaluation rather than being summatively judged. Assessment & evaluation in higher education, 29(3): 370-378.
