Una Herramienta de Apoyo a la Auto, co, Hetero y Ecoevaluación Jorge Maturanaa, Pilar Díaza, Cristina Torresb and Guillaume Serandourc a b. Instituto de Informática, Universidad Austral de Chile b Instituto de Salud Pública, Universidad Austral de Chile c Instituto de Diseño y Métodos Industriales, Universidad Austral de Chile Resumen. Este artículo presenta una plataforma de software para la evaluación de a ctividades de trabajo en equipo. Esta herramienta se enfoca en la evaluación de competencias actitudinales, soportando la e valuación desde cuatro perspectivas diferentes. La automatización de la gran parte del trabajo necesario para hacer evalua ciones libera al docente del sobretrabajo que esta actividad usualmente implica. La plataforma presenta resultados tanto al docente como al estudiante con el fin de constituir una herramienta que aporte a la retroalimentación de las competencias actitu dinales. El despliegue de resultados se realiza de manera resumida y mediante gráficos, lo que facilita su interpretación. Los resultados son entregados en tiempo real, lo que permite a los docentes seguir de cerca la actividad del grupo e intervenir oportunamente en caso de necesidad. Esta herramienta se utilizó en 7 asignaturas, obteniendo resultados positivos, los cuales son presentados en este artículo. Keywords: automatización de evaluación, autoevaluación, coevaluaci ón, heteroevaluación, ecoevaluación, oportunidad de info rmación, retroalimentación, trabajo en equipo, competencia actitudi nal INTRODUCCIÓN La era de la información ha provocado un enorme cambio en la fo rma de valorizar los conocimientos profesionales. Si antaño un profesional, y en particular un ingeniero, era valorado principalmente por sus conocimientos, al estar éstos ahora disponibles ampliamente, esta valoración se ha despl azado hacia las competencias que éste puede desplegar en la resolución de problemas. La capacidad de movilizar los conocimientos, contextualizándolos a una situación en particular, así como la gestión de los recursos y el manejo de grupos humanos hacen la diferencia en un mundo cada vez más globalizado y competitivo [1, 2, 3]. Distintos estudios reportan que existe una demanda por profesionales capaces de desplegar habilidades como gestión, comunicaci ón y liderazgo [4, 5, 6, 7]. Dentro de estas competencias se encuentra la capacidad de trabajo en equipo, la cual se compone de una serie de desempeños tales como la capacidad de comunicación, negociación, manejo de conflictos, habilidad intercultural y liderazgo [8, 9, 10]. Con el objetivo de formar profesionales con este perfil, es necesario que las universidades cambien sus paradigmas de enseñanza, en pos de uno más centrado en el prendizaje del estudiante, mediante la exposición a situaciones en las cuales estos desempeños puedan desarrollarse. Estas actividades prácticas, debidamente planificadas y conducidas, brindarán a los estudiantes la oportunidad nosólo de aplicar los conocimientos que vayan adquiriendo, sino también de desarrollar tempranamente habilidades interpersonales [11, 12, 13]. En este contexto, uno de los desafíos principales para las universidades es crear los medios para hacer posible la evaluación de estos desempeños. El esquema tradicional de evaluación, basado en la certificación de conocimientos (a través de exámenes) y la calificación de productos provenientes de actividades prácticas (reportes de actividad, prototipos y maquetas, entre otros) no incluye una forma de certificar que estas competencias se están adquiriendo. No es raro que las universidades definan perfiles de egreso en l os que incluyan características como “compromiso con el medio social” o “capacidad de trabajo en equipo", las cual es muchas veces quedan como una mera declaración de intenciones ante la imposibilidad de poder certificarlas. Una de las razones por las cuales estas competencias no pueden certificarse es porque tradicionalmente la evaluación ha estado a cargo exclusivamente de los docentes, los cuales no tienen una visión amplia del accionar del estudiante. Un estudiante, por ejemplo, puede participar en un equipo de trabajo que desarrolle un buen producto, mostrarse positivamente hacia el profesor, y al mismo tiempo no haber aportado gran cosa al trabajo grupal. Situaciones como éstas tienen la desventaja de formar una mala impresión del trabajo en equipo, particularmente en los buenos estudiantes, que ven la participación en equipos más bien como una instancia de aprovechamiento por parte de los miembros menos comprometidos o capaces. Una forma de subsanar este problema es incluir otras perspectivas en la evaluación de las competencias 215 desplegadas durante un trabajo en equipo. Para esto es necesario incluir a los mismos estudiantes en la evaluación, de tal manera que ellos puedan aportar su apreciación sobre desempeño tanto propio como de sus compañeros [14, 15, 16]. La autoevaluación (sobre el propio desempeño) y coevaluación (sobre el desempeño del resto) son herramientas que permiten avanzar hacia una apreciación más holística de las competencias personales. Adicionalmente, para el estudiante, el ejercicio mismo de realizar una evaluación e s una actividad que desarrolla su espíritu crítico, a la vez que lo hace más consciente de los objetivos de la asignatura.Un aspecto particularmente interesante de la coevaluación es la posibilidad de retroalimentar a los estudiantes con la opinión de sus compañeros. En la medida que ellos tengan acceso a la opinión de sus pares, podrán hacerse una idea de cómo son percibidos en un plano horizontal. A diferencia de la apreciación del profesor (la cual puede ser percibida p or el estudiante como demasiado exigente), la apreciaciones de los pares son más comúnmente recibidas como “realistas". Uno de los principales inconvenientes de la coevaluación es el enorme trabajo operativo que implica. No es raro que un docente, al querer incluir coevaluación, deba lidiar con una serie de dificultades. La primera es usualmente el procesamiento de resultados: si se desea que 4o alumnos de un curso evalúen al resto de sus compañeros, habiendo 8 grupos de 5 estudiantes en cada uno, se deberán procesar 160formularios de respuesta, a partir de los cuales generalmente se deseará obtener una medida global, tal comoun promedio, para hacerlo constar en la calificación. Esto significa un incremento de trabajo considerable para el docente, comparado con el necesario para realizar una heteroevaluación (evaluación directa del docente sobre el estudiante). La segunda dificultad tiene que ver con la confidencialidad de los datos: dado que la coevaluación es un a instancia crítica entre compañeros del mismo equipo, es necesario asegurar reserva para favorecer la objetividad de las evaluaciones. Esto limita las posibilidades de delegar el trabajo de compilación de datos al mismo equipo. La tercera d ificultad está relacionada con el tiempo de procesamiento de los datos: es muy probable que el docente tome mucho tiempo en el procesamiento de los formularios, lo que significará que los resultados de la evaluación llegaráncon retraso, disminuyendo la oportunidad de detectar situaciones anómalas en las cuales el docente pueda interve nir oportunamente. Una cuarta dificultad está relacionada con la calidad de la retroalimentación entregada a los estud iantes: normalmente la coevaluación es vista sólo como un mecanismo para evaluar, por lo que normalmente se agregan todos los criterios y la única retroalimentación que llega de vuelta al estudiante es la nota con la cual sus compañeros lo evaluaron. Sería ideal que el estudiante recibiera un informe detallado por parte del docente indicando en qué criterios fue bien o mal evaluado, y las razones que justifican esa evaluación. Un reporte de este tipo naturalmente requie re un trabajo mucho más extenso de parte del docente. Las dificultades citadas anteriormente producen que muchas veces que el entusiasmo de los docentes por realizar co-evaluación decaiga rápidamente, en particular cuando la ponderación de la coevaluación es baja: una baja ponderación no justifica tanto trabajo. No obstante, es necesario notar q ue gran parte del trabajo es automatizable, por lo que puede pensarse en crear un sistema que apoye este proceso teniendo los siguientes objetivos: • • • Disminuir el trabajo del docente para realizar evaluación, automatizando los procesos de entrega de formularios a los estudiantes, recolección de datos, validación de entr egas y respuestas, procesamiento de resultados y generación de reportes. Disminuir el tiempo de entrega de resultados, de manera tal de detectar a tiempo situaciones que requieran la intervención del docente Incrementar la calidad de la retroalimentación hacia los es tudiantes, entregando un reporte detallado y anónimo respecto a los aspectos considerados en la evaluación. Este artículo describe el sistema de auto, hétero y ecoevaluación creado en la Universidad Austral de Chile (UACh) y se organiza de la siguiente forma: la sección Sistemas de auto y coevaluación reporta los métodos y sistemas existentes en la actualidad, la sección Necesidad en la UACh detalla las necesidades para un sistema como este en la UACh. la sección Solución presenta los detalles de la herramienta generada mientras que la sección Aplicaicón reporta los resultados de aplicarla. Finalmente, se ofrecen conclusiones y perspectivas de trabajo futuro en la secció n Conclusiones. SISTEMAS DE AUTO Y COEVALUACIÓN Después de haber entrevistado a académicos de distintas facultades de la UACh acerca de qué software se utilizan para realizar auto y coevaluación se descubrió que Excel es la her ramienta más nombrada entre docentes y grupos de trabajo que emplean estos métodos [17]. Si bien dista de ser un software adaptado a esta tarea, es ampliamente utilizada debido al desconocimiento de otras, la familiaridad con ésta y la falta de tiempo 216 o disposición para investigar sobre mejores alternativas. En la misma línea se encuentra Dropbox, que permite a los docentes compartir las planillas de auto y coevaluación para ser descargadas por los estudiantes. Una vez respondidas, ellos las suben al repositorio perdiendo el anonimato de sus respuestas, lo que puede influir en la sinc eridad de los evaluadores ante una presión social de sus pares. Otra alternativa similar la constituye Google Drive, que permite además la edición en línea de sus documentos. Dado que ninguna de estas herramientas ha sido diseñada específicamente para responder a las necesidades de la auto y coevaluación, distintos grupos de desarrolladores i ndependientes y de algunas universidades han construido herramientas con este fin en mente. Existen varias alternativas de herramientas para realizar auto y coevaluación, algunas de ellas están disponibles en sitios web y en otras es necesario conectarse a un servidor y descargar archivos. También existen versiones comerciales por las que hay que pagar un monto para poder utilizarlas. Dejando de lado las opciones comerciales, una de las herramientas es WebPA1, que permite la creación de pautas de auto y coevaluación, cl onar los formularios y editarlos, mediante la creación de una cuenta de usuario (a dministrador o estudiante) en el sitio web. iPeer2 es otra herramienta que además permite la revisión y liberación de comentarios de los estudiantes además del análisis de progreso y resultados en línea. Posee una interfaz amable que no requiere conocimientos especiales. La lista de estudiantes se puede importar desde un archivo de texto. Provee distintos tipos de preguntas: puntaje en escala 1 a 100, escala de Likert y mezcla de ambas. CATME Team Maker3 es otra opción semejante a iPEER pero que además proporciona retroalimentación a los equipos de trabajo, información que puede además ser reenviada a nivel de dirección de escuela o facultad según se considere necesario. Siendo la retroalimentación una parte esencial del proceso de auto y coevaluación, otra de las herramientas que destacan es STEAM4, que además de dar a conocer a los estudiantes las fortalezas o debilidades encontradas por sus pares, proporciona retroalimentación al docente sob re el proceso y permite realizarlo de forma anónima. Otra carac terística interesante de STEAM es que tiene módulos personalizables que permiten tomar una evaluación desde va rias perspectivas, una de ellas por ejemplo es la forma en que un miembro del equipo aportó, evaluando ciertas carac terísticas que se pueden definir, así como también la asignación de ponderaciones. Otro módulo permite hacer pre guntas de texto acerca del desempeño de los miembros del equipo. Aunque esta herramienta permite una evaluación muy completa, la gran cantidad de opciones puede comprometer su usabilidad, ralentizando el proceso de elaboración de pautas y promoviendo el uso de únicamente el módulo obligatorio que es el mínimo necesario para realizar la evaluación. PEAR Beta 5 proporciona básicamente lo mismi que las anteriors, permitiendo organizar las evaluaciones por etapas, personalizar fechas de lanzamiento, hacer seguimiento de los envíos de documentos (planillas, encuestas), y asignar y distribuir encuestas de forma anónima, tanto para estudiantes como profesores a través de notificaciones por email. Al momento de la revisión sólo estaba disponible para usuarios de la universidad de Guelph. Otra herramienta interesante es TEAMMATES 6, desarrollada en la Universidad Nacional de Singapur, la cual se puede acceder libremente en línea. En ella las evaluaciones pueden ajustar el despliegue de las respuestas (públicas o sólo para el instructor). Permite al instructor compartir su s comentarios con los alumnos, reforzando la calidad de la retroalimentación. Inlcuye preguntas de desarrollo, selecci ón múltiple y numéricas de escala. Se puede Permite generar reportes y estadísticas sobre las evaluaciones y reutilizar preguntas que se hayan hecho anteriormente. 4 Si bien las herramientas citadas cumplen con un amplio espectro de funcionalidades, ninguna de ellas satisface la totalidad de los requisitos de la UACh (ver sección siguient e). Tampoco ninguna de ellas despliega gráficamente de los resultados, ni permite contrastar en gráficos las diferentes perspectivas. Algunas de las herramientas evaluadas presentaban potenciales problemas de usabilidad debido a la multiplicidad de funcionalidades, lo que se estimó podría representar una barrera para la adopción de la herramienta, en particular por parte de los profesores de mayor edad. El hecho que muchas herramientas estuvieran disponible únicamente en Inglés representaba algunos problemas también. Aparte de lo anterior, varias de ellas carecen de soporte o no se encuentran actualizadas. NECESIDAD EN LA UACh Con el objeto de establecer las funcionalidades necesarias en la UACh se realizaron entrevistas con académicos de distintas unidades, quienes aportaron con una gran diversidad de perspectivas [17]. Una vez combinadas estas necesidades se priorizaron y se definió cuáles deberían ser c onsideradas para la construcción del prototipo, en vistas a no comprometer la usabilidad de la herramienta y mantenerse dentro del presupuesto de 1 http://webpaproject.lboro.ac.uk/ http://ipeer.ctlt.ubc.ca/ 2 http://www.catme.org/ 3 http://peereval.okstate.edu/ 4 http://www.uoguelph.ca/peartool/ 5https://teammatesv4.appspot.com/ 2 217 los proyectos que financiaban esta actividad. Este estudio arrojó los aspectos más importantes para la mayor parte de los académicos, tales como la oportunidad de la información (i.e., obtener rápidamente los resultados de las evaluaciones) y la facilidad de aplicarla, dado que muchos de ellos realizaban las evaluaciones de forma manual. Otro grupo de docentes que no realizaba coevaluación se mostró interesado en hacerla si se les prove ía con una herramienta adecuada. Otro aspecto que suscitó interés fue contar con un procesamiento automatizado de losresultados. Como se esperaba, existía una preocupación por la carga extra de trabajo de realizar coevaluación, lo cu al podría distraer al docente de aspectos más fundamentales de la asignatura. Un requerimiento específico consistió en la inclusión de pre guntas de texto en los formularios. Esto debido a que las rúbricas raramente son lo suficientemente específica s para indicar exactamente las fortalezas o debilidades de un estudiantes. Considere por ejemplo que un estudiante haya obtenido una calificación mediocre en el ítem comunicación. Esto puede deberse a diferentes causas: ¿El estudiante se expresa mal oralmente o por escrito?, ¿es un problema de pronunciación, ortografía o bien que no es cap az de ordenar bien sus ideas?, ¿Es un problema de personalidad que produce que se cohíba al hablar, o es que da por supuesto elementos que el resto no conoce?, ¿Cuáles de esas actividades hace bien y cuáles no? Si se considera que en una coevaluación de trabajo en equipo el aspecto comunicacional es sólo uno más de los diversos aspectos a evaluar, es imposible entrar en detalles menores sin producir largos formularios, los cuales además deben ser contestado para varios integrantes. La respuesta de texto, además de complementar una respuesta y proveer una mejor retroalimentación al receptor, obliga de alguna manera al emisor a calificar de manera justa dado que debe explicar la razón de su evaluación. Otro aspecto importante es que las respuestas expresadas en escalas numéricas o apreciativas deben ser contextual-izadas respecto del universo de estudiantes, dado que por ejemplo, no es lo mismo tener una calificación de 60 % si el promedio del equipo ha obtenido 40 % ó 90 %. Un punto interesante es que, adicionalmente a la auto y coevaluación, se consideró necesario incluir heteroevalu-ación (entendida como la evaluación de un estudiante efectu ada por un profesor) y un cuarto tipo, bautizado ecoevalu-ación, entendida como la evaluación por parte del estudiante acer ca del ambiente en el cual se desarrolla la actividad. Efectivamente, el ambiente juega un rol importante en el desempeño de los estudiantes. Por ejemplo, una agenda de-masiado ajustada o no tener acceso a algún recurso puede determinar el éxito o fracaso de una actividad. Desde esta perspectiva, la ecoevaluación puede ser utilizada asimism o para realizar una evaluación acerca del profesor. El tener estas cuatro formas de evaluación (auto, co, hétero y eco) permite realizar la evaluación holística de una actividad. Se considera necesario poder configurar distintos aspectos de la evaluación, tal como ponderaciones de preguntas para el cálculo de un puntaje general aún cuando la coevaluación no tenga por objeto realizar una calificación. Debe poder plantearse distintos tipos de pregunta, específicame nte: preguntas de alternativa, selección múltiple, numéricas y texto. Las de alternativa y numéricas pueden ser tanto ordinales como nominales, mientras que las de selección múltiple serán sólo nominales. Debe ser posible realizar una evaluación compuesta, entend iendo ésta por la aplicación de hasta cuatro formularios de una vez, correspondientes a los cuatro tipos de evaluació n (auto, co, hétero y eco). Los estudiantes deben ser notificados por correo electrónico de la existencia de una nu eva evaluación al momento de comenzar ésta, y recibir un mensaje de recuerdo un poco antes de que se cumpla el plazo de cierre. La herramienta debe estar basada en web. Los formularios creados por los docentes deben estar disponibles para ser vistos, utilizados, copiados y modificados (en versiones derivadas) por otros docentes con acceso al sistema. Para esto, los formularios serán liberados con licencia Creative Commons (CC BY-SA). La visualización de los resultados debe estar bien pensada p ara que sea simple interpretarlos, a la vez que pueda desplegar información compleja como comparaciones entre p ersonas y grupos, y debidamente organizada para dis-tinguir las distintas categorías de evaluación (auto, co, h étero y eco) así como los distintos tipos de preguntas (texto, numéricas, alternativa, opción múltiple). Asimismo, debe presentarse ordenadamente para gestionar sin problemas las evaluaciones de distintos cursos. Todas las consideraciones anteriores deben observarse tanto para los usuarios estudiantes como docentes. En caso de aplicar el mismo formulario para auto, hétero y/o coevaluación, las preguntas ordinales deben ser desplegadas sobre un mismo gráfico para contrastar las perspectivas propias, de los pares y del docente en un mismo aspecto. El despliegue de tal cantidad de información en un formato fácil de entender por un espectro amplio de usuarios constituye un desafío no menor para el diseño de la interfaz del sistema. La figura 1 muestra el impacto en el flujo de trabajo producto de la incorporación de la plataforma de evaluación, en donde se puede apreciar que gran parte del trabajo realizado por el docente es absorbido por la herramienta. 218 FIGURA 1. Flujos de trabajo antes y después de incorporar la plataforma de evaluación SOLUCION La plataforma se programó utilizando el framework de desarr ollo Django7, sobre una base de datos MySQL y fue instalada en los servidores del Instituto de Informática dela UACh. Esta reconoce tres perfiles de usuario: docentes, estudiantes y administradores. Las tareas posibles de ejecutar por cada uno de estos perfiles son las siguientes. El administrador está encargado de crear los cursos y asignarlos a los profesores. En pleno régimen esta inscripción debería estar solicitada desde las unidades responsables de ofrecer las asignaturas y asignar los profesores a ellas. El administrador también tiene la posibilidad de modificar algunos datos tales como los correos electrónicos de los usuarios. El docente crea los formularios en línea y las evaluaciones. La evaluaciones se crean asociando uno o más formularios a un curso, definiendo las fechas de evaluación y conformando los grupos. También se encarga de ingresar los estudiantes de sus cursos al sistema a través de un archivo de texto, lo cual podría evitarse integrando esta plataforma a los sistemas de registro académico universitario. 7 http://http://www.djangoproject.com/ El estudiante responde las evaluaciones que le son dirigidas. Dado que el sistema conoce la conformación de los grupos, el estudiante responde la evaluación sólo respecto de sus compañeros. El estudiante inicia una sesión y puede responder una evaluación de manera parcial, grabar su s respuestas y continuar posteriormente. A continuación se muestra una serie de capturas de pantalla q ue permiten apreciar la organización de la interfaz así como las funcionalidades provistas. Los rectángulos decolor rojo son agregados en este artículo con el objeto de clarificar la exposición. 219 La figura 2 muestra la pantalla de ingreso de un usuario de perfi l docente, en la cual se aprecian las evaluaciones en curso. En la parte superior de la interfaz se ubica el menú que da acceso a las principales funcionalidades, concretamente la creación de formularios, evaluaciones y l a gestión los cursos. A la derecha de cada evaluación se despliegan una serie de botones para editar, eliminar, lanzar, ver, contestar (en el caso de haberse planteado una heteroevaluación) y visualizar los resultados. A B FIGURA 2. Pantalla de inicio de la plataforma desde la perspectiva del docente, en donde se aprecia el menú principal de funcionalidades (A) y las posibilidades de acción para cada evaluación ( B): editar, eliminar, lanzar, ver, contestar (heteroevaluación) y ver resultados La figura 3 muestra el resultado de una evaluación. Hacia abaj o aparecen las respuestas a los distintos tipos de preguntas (ordinales, nominales y texto). En la parte superior aparecen las distintas perspectivas desde las cuales se muestran los resultados (A). La primera, mostrada en la figur a, despliega los resultados para cada estudiante. Además de esta vista es posible ver los resultados agregados por grupo y comparados entre ellos (figura 4, izquierda). Los estudiantes tienen acceso a dos pantallas similares, correspondientes a sus propios resultados y a los grupales, pero ocultando los nombres de autores de las opiniones. Además, ysólo para los docentes, se entrega información referente a las ecoevaluaciones. Los autores de las opiniones pueden estar ocultos o no, dependiendo de cómo se haya diseñado la evaluación. Los estudiantes son notificados del anonimato o no de sus respuestas al momento de emitirlas. Finalmente, la figura 4 (derecha) muestra una opción que despliega el grad o de avance en la contestación de las preguntas por cada estudiante. 220 Figura 3. Pantalla de revisión de resultados de un estudiante en particular. Se aprec ia el menú de agrupamiento de revisión de los resultados (A), la comparación de perspectivas (auto/co/heteroevalu ación y promedio de grupo, B), las respuestas de texto (C) y la posibilidad de exportar los resultados a una planilla de cálculo (D) La figura 5 muestra dos aspectos de la creación de evaluacione s. En la primera aparece el resultado de una búsqueda de formulario y la asociación de uno de ellos como formulario de heteroevaluación. En la segunda, se despliega la asignación de grupos, moviendo los estudiantes desde el lis tado general hacia el grupo correspondiente. Otras pantallas no son mostradas en este artículo por tratarse de interfaces más evidentes, como son la edición de formularios en línea, la revisión de ecoevaluaciones (simi lar a la de la figura 3), pantallas de administración y conexió n al sistema, búsqueda de formularios y de ingreso de listado de estudiantes. APLICACIÓN La plataforma de evaluación fue aplicada en 7 asignaturas, u n total de 37 veces. 4 docentes y cerca de 400 estudiantes participaron en evaluaciones de distinto tipo. Para la validación de la herramienta se procedió a realizar una serie. 221 FIGURA 4. Izquierda: Despliegue de promedio de respuestas, agrupadas por grupo (A) y detalle para un grupo específico (B), comparando los resultados obtenidos por sus integrantes (C). Derecha: Estado de avance en respuestas, por estudiante B A A C B FIGURA 5. Iquierda: Resultado de búsqueda de formulario (A) y asignación de formulario a evaluación en uno de las cuatro posibilidades. auto, co, hétero o ecoevalaución(B). Derecha: Distribución de estudiantes (A) en grupos (B) y funcionalidad para seleccionar una de las distribuciones usadas anteriormente (C). de entrevistas con los docentes que utilizaron la herramienta, recogiendo su experiencia sobre cómo ésta impactó la carga de trabajo y su parecer respecto a la misma. Se consideraron aspectos relativos al impacto en la carga de trabajo, accesibilidad de la herramienta, beneficios pro ducto de la oportunidad de la información, calidad de la retroalimentación, uso que se le da a ese feedback, usabilid ad de la herramienta, consultas sobre funcionalidades requeridas y observaciones en general. Los objetivos planteados en este desarrollo fueron tres, a saber:1.disminuir el trabajo extra producto de la realización de evaluaciones, en particular de coevaluaciones, 2. disminuir los tiempos de entrega de los resultados y 3. Aumentar la calidad de la retroalimentación hacia los estudiantes. H abiendo implementado un sistema que cumple con el flujo de trabajo especificado en la figura 1, en el cual gran parte del tr abajo es ejecutado por el software, es simple asegurar que el primer objetivo se cumplió. Por otra parte, dado que los re sultados son liberados a los estudiantes apenas se cierra la evaluación, y a los docentes aún antes, es posible asegurar que el segundo 222 objetivo ha sido cumplido también. En lo que respecta al tercero, el reporte pormenorizado de cada aspecto de los formularios, la entrega de los comentarios anónimos y la comparación de los resultados obtenidos con lo s del resto del grupo, así como las distintas perspectivas de despliegue de resultados, permite asegurar que también se ha cumplido, debido a que a nuestro conocimiento un reporte con tal grado de detalle no se había realizado anteriormente. Durante la fase de diseño se puso cuidado en no sobrecargar la interfaz para no entorpecer la interacción con usuarios (particularmente docentes) no habituados al uso de tecnologías de información. No obstante lo anterior, es necesario instruir a los docentes en que las evaluaciones se hacen en dos etapas diferentes (la primera destinada a definir los formularios de evaluación y la segunda a armar la e valuación) y no haciendo todo al mismo tiempo, cual es la suposición de varios docentes que enfrentaron la herrami enta por primera vez. Una vez incorporado este supuesto al modelo mental del usuario no se encontraron mayores problemas de usabilidad. la simplicidad fue bien recibida, e incluso algunos docentes sugirieron la inclusión de funcio nalidades adicionales, lo que deberá evaluarse en el futuro. Se recopilaron observaciones acerca de funcionalidades adicionales que podrían ser incluidas en el sistema, las cuales presentamos en las perspectivas de trabajo futuro de la siguiente sección. CONCLUSIONES En este artículo se ha presentado una herramienta que facilita la auto y coevaluación en actividades de trabajo en equipo, incorporando adicionalmente y en forma integrada, heteroevaluación y la evaluación de las condiciones en las cuales se realizan las actividades, denominada ecoevaluación. La herramienta es lo suficientemente genérica como para poder ser aplicada en otros contextos, tales como evaluación docente, o fuera del ámbito educativo, por ejemplo en empresas. Esta herramienta resuelve distintos problemas que muchas veces constituyen un inconveniente para una práctica sustentable de la evaluación, debido a la enorme cantidad de sobretrabajo que ésta significa para el docente. En particular, simplifica la recolección de datos y la validaci ón de éstos, así como la generación y distribución de reportes de resultados que comparan distintas perspectivas en aspectos comunes. La evaluación se realiza de manera automática, permitiendo obtener resultados en tiempo real, lo que permite al docente caracterizar tempranamente las dinámicas de los grupos. Adicionalmente, produce reportespersonalizados tanto para docentes como para estudiantes con información detallada en un formato gráfico, lo cual supo ndría un esfuerzo virtualmente imposible de absorber de otra manera por el docente. La posibilidad de proveer de retroalimentación detallada a los estudiantes es de especial interés por cuanto le permite visibilizar sus fortalezas y debilidades de forma contextualizada, lo que enriquece el proceso de coevaluació n llevándolo desde una instancia de simple evaluación hacia una actividad de aprendizaje acerca de competencias que normalmente es difícil evaluar. La realización de la coevaluación mediante un sistema infor matizado basado en web tiene la ventaja adicional de ser accesible en cualquier momento, permitiendo a estudiantes que falten a alguna clase participar de la evaluación de todas formas. Los errores de tipeo en la transcripción de dat os (innecesaria al recolectar directamente las respuestas) se elimina. Diversas perspectivas de trabajo futuro se visualizan, considerando tanto los requisitos no incluidos en este diseño como algunos detectados durante las pruebas del sistema. Esta aplicación fue concebida pensando en realizar evaluac iones durante un periodo contado en días, por lo que el inicio de ésta se hace de manera manual y el cierre se efectúa a la medianoche de una fecha específica. Un profesor solicitó incorporar un cierre manual, con el objet o de hacer evaluaciones cortas durante la clase. Esta pequeña modificación permitiría utilizar esta herramienta como un s istema de evaluación rápido. Otra posible mejora tiene que ver con la incorporación de otr as formas de ingreso de respuestas, tales como establecer un ranking entre estudiantes respecto de su capacidad en alguna competencia, el ingreso de valores mediante una interfaz visual (mediante un slider), buscando diminuir el efecto de los prejuicios que existen respecto de algunos valores numéricos. En orden a integrar los resultados de este sistema en un ámbito mayor, se podría integrar a un repositorio de portafolios. Este desarrollo podría ser tan simple como incorporar una exportación a PDF del reporte de la evaluación. Otra forma de enriquecer la información contenida en este si stema podría ser el incorporar la posibilidad de incluir comentarios del docente al reporte emitido por la herramienta, los cuales podrían ser exportados hacia el sistema de portafolios también. En la misma línea, sería deseable incorporar una forma de comparar los resultados de 223 evaluaciones que usen el mismo formulario en diferentes instantes de tiempo, con el fin de apreciar la evolución en el desarrollo de competencias de los estudiantes. Dado el espíritu abierto de la publicación de los formulario s de evaluación a través de una licencia Creative Commons, podría pensarse en enriquecer este aspecto extendiendo los metadatos de los formularios (que actualmente incluyen sólo el autor, la descripción, palabras clave y tex to con detalles) para facilitar la identificación de los más útiles o populares. Una funcionalidad más ambiciosa sería la automatización del análisis de las dinámicas de trabajo en equipo en base a los resultados recopilados. En efecto, en un trabajo de equipo se espera que surja algún grado de especialización entre los integrantes. El caracterizar la naturaleza de estas interacciones en base a los datos de coevaluación podría ayudar a comprender las mecánicas internas del grupo, así como a comparar las interacciones entre distintos equipos. AGRADECIMIENTOS La construcción de la plataforma descrita en este artículo f ue financiada por los proyectos MECESUP AUS 0701 de la Facultad de Ciencias de la Ingeniería y el proyecto DEP201101 de la Dirección de Estudios de Pregrado, ambos ejecutados en la Universidad Austral de Chile. Los autores desean agradecer a todos los docentes que participaron en este desarrollo, tanto en las entrevistas previas como en la fase de evaluación, así como a los revisores de este artículo por sus valiosos aportes. REFERENCIAS 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. R. LeBoeuf, M. Pizarro, and R. Espinoza, Identification of Non-Technical Competency Gaps of Engineering Grad uates in Chile, International Journal of Engineering Education 29, 426–438 (2013). R. L. Meier, M. R. Williams, and M. A. Humphreys, Refocusing Our Efforts: Assessing Non-Technical Competency Gaps, Journal of Engineering Education 89 (2000). J. Walther, N. Kellam, N. Sochacka, and D. Radcliffe, Engineering Competence? An Interpretive Investigation of Engineering Students' Professional Formation, Journal of Engineering Education 100, 703–740 (2011). D. Q. Nguyen, The Essential Skills and Attributes of an Engineer: A Comparative Study of Academics, Industry Personnel and Engineering Students, Global Journal of Engineering Education 2 (1998). P. Sageev, and C. Romanowski, A Message from Recent Engineering Graduates in the Workplace: Results of a Survey on Technical Communication Skills, Journal of Engineering Education 90 (2001). O. Rompelman, Assessment of student learning: Evolution of objectives in engineering education and the consequences for assessment, European Journal of Engineering Education 25, 339–350 (2000). H. J. Passow, Which ABET Competencies Do Engineering Graduates Find Most Important in their Work?, Journal of Engineering Education 101, 95–118 (2012). D. Davis, S. Beyerlein, P. Thompson, J. McCormack, O. Harrison, M. Trevisan, R. Gerlick, and S. Howe, “Assessing Design and Reflective Practice in Capstone Engineering Design Courses,” in Proceedings of ASEE Conference, 2009. L. D. Mcnair, C. Newswander, D. Boden, and M. Borrego, Student and Faculty Interdisciplinary Identities in SelfManaged Teams, Journal of Engineering Education 100, 374–396 (2011). M. Garmendia, X. Garikano, E. Sierra, and A. Perez, Developing Teamwork Efficacy Factors: An Experience in a Project Based Learning Context, International Journal of Engineering Education 29, 752–762 (2013). Criteria for Accrediting Engineering Programs, ABET (2012–2013), http://abet.org/DisplayTemplates/DocsHandbook.aspx?id=3143. U. E. Council, The accreditation of higher education Programmes (2013), http://www.engc.org.uk/aboutus/publications. Criterios de Evaluación para Carreras de Ingeniería , Comisión Nacional de Acreditación (2010), http://www.cnachile.cl/wpcontent/uploads/2010/07/ingenieria.pdf. J. E. Mills, and D. F. Treagust, Engineering Education – Is problem based or project-based learning the answer?, Australasian Journal of Engineering Education 4 (2003). A. McHenry, D. Depew, M. Dyrenfurth, D. Dunlap, D. Keating, T. Stanford, P. Lee, and G. Deloatch, “Constructivism: The Learning Theory That Supports Competency Development of Engineers For Engineering Practice and Technology Leadership Through Graduate Education,” in Proceedings of the 2005 American Society for Engineering Education Annual Conference & Exposition, 2005. E. D. Graaff, and A. Kolmos, Characteristics of Problem-Based Learning, International Journal of Engineering Education 19, 657–662 (2003). P. Díaz, Estandarización y planificación de automatización de auto/coe valuación en la UACh, memoria de título Ingeniería Civil en Informática, Universidad Austral de Chile (2013). 224