Una Herramienta de Apoyo a la Auto, co, Hetero y

Una Herramienta de Apoyo a la Auto, co, Hetero y
Ecoevaluación
Jorge Maturanaa, Pilar Díaza, Cristina Torresb and Guillaume Serandourc
a
b.
Instituto de Informática, Universidad Austral de Chile
b
Instituto de Salud Pública, Universidad Austral de Chile
c
Instituto de Diseño y Métodos Industriales, Universidad Austral de Chile
Resumen. Este artículo presenta una plataforma de software para la evaluación de a ctividades de trabajo en equipo. Esta
herramienta se enfoca en la evaluación de competencias actitudinales, soportando la e valuación desde cuatro perspectivas
diferentes. La automatización de la gran parte del trabajo necesario para hacer evalua ciones libera al docente del
sobretrabajo que esta actividad usualmente implica. La plataforma presenta resultados tanto al docente como al estudiante
con el fin de constituir una herramienta que aporte a la retroalimentación de las competencias actitu dinales. El despliegue
de resultados se realiza de manera resumida y mediante gráficos, lo que facilita su interpretación. Los resultados son
entregados en tiempo real, lo que permite a los docentes seguir de cerca la actividad del grupo e intervenir oportunamente
en caso de necesidad. Esta herramienta se utilizó en 7 asignaturas, obteniendo resultados positivos, los cuales son
presentados en este artículo.
Keywords: automatización de evaluación, autoevaluación, coevaluaci ón, heteroevaluación, ecoevaluación,
oportunidad de info rmación, retroalimentación, trabajo en equipo, competencia actitudi nal
INTRODUCCIÓN
La era de la información ha provocado un enorme cambio en la fo rma de valorizar los conocimientos
profesionales. Si antaño un profesional, y en particular un ingeniero, era valorado principalmente por sus
conocimientos, al estar éstos ahora disponibles ampliamente, esta valoración se ha despl azado hacia las
competencias que éste puede desplegar en la resolución de problemas. La capacidad de movilizar los
conocimientos, contextualizándolos a una situación en particular, así como la gestión de los recursos y el
manejo de grupos humanos hacen la diferencia en un mundo cada vez más globalizado y competitivo [1, 2, 3].
Distintos estudios reportan que existe una demanda por profesionales capaces de desplegar habilidades como
gestión, comunicaci ón y liderazgo [4, 5, 6, 7].
Dentro de estas competencias se encuentra la capacidad de trabajo en equipo, la cual se compone de una serie de
desempeños tales como la capacidad de comunicación, negociación, manejo de conflictos, habilidad intercultural y
liderazgo [8, 9, 10]. Con el objetivo de formar profesionales con este perfil, es necesario que las universidades
cambien sus paradigmas de enseñanza, en pos de uno más centrado en el prendizaje del estudiante, mediante la
exposición a situaciones en las cuales estos desempeños puedan desarrollarse. Estas actividades prácticas,
debidamente planificadas y conducidas, brindarán a los estudiantes la oportunidad nosólo de aplicar los
conocimientos que vayan adquiriendo, sino también de desarrollar tempranamente habilidades interpersonales [11,
12, 13].
En este contexto, uno de los desafíos principales para las universidades es crear los medios para hacer posible
la evaluación de estos desempeños. El esquema tradicional de evaluación, basado en la certificación de
conocimientos (a través de exámenes) y la calificación de productos provenientes de actividades prácticas
(reportes de actividad, prototipos y maquetas, entre otros) no incluye una forma de certificar que estas
competencias se están adquiriendo. No es raro que las universidades definan perfiles de egreso en l os que
incluyan características como “compromiso con el medio social” o “capacidad de trabajo en equipo", las cual es
muchas veces quedan como una mera declaración de intenciones ante la imposibilidad de poder certificarlas.
Una de las razones por las cuales estas competencias no pueden certificarse es porque tradicionalmente la
evaluación ha estado a cargo exclusivamente de los docentes, los cuales no tienen una visión amplia del accionar del
estudiante. Un estudiante, por ejemplo, puede participar en un equipo de trabajo que desarrolle un buen producto,
mostrarse positivamente hacia el profesor, y al mismo tiempo no haber aportado gran cosa al trabajo grupal.
Situaciones como éstas tienen la desventaja de formar una mala impresión del trabajo en equipo, particularmente en
los buenos estudiantes, que ven la participación en equipos más bien como una instancia de aprovechamiento
por parte de los miembros menos comprometidos o capaces.
Una forma de subsanar este problema es incluir otras perspectivas en la evaluación de las competencias
215
desplegadas durante un trabajo en equipo. Para esto es necesario incluir a los mismos estudiantes en la
evaluación, de tal manera que ellos puedan aportar su apreciación sobre desempeño tanto propio como de sus
compañeros [14, 15, 16]. La autoevaluación (sobre el propio desempeño) y coevaluación (sobre el desempeño
del resto) son herramientas que permiten avanzar hacia una apreciación más holística de las competencias
personales. Adicionalmente, para el estudiante, el ejercicio mismo de realizar una evaluación e s una actividad
que desarrolla su espíritu crítico, a la vez que lo hace más consciente de los objetivos de la asignatura.Un
aspecto particularmente interesante de la coevaluación es la posibilidad de retroalimentar a los estudiantes con
la opinión de sus compañeros. En la medida que ellos tengan acceso a la opinión de sus pares, podrán hacerse
una idea de cómo son percibidos en un plano horizontal. A diferencia de la apreciación del profesor (la cual
puede ser percibida p or el estudiante como demasiado exigente), la apreciaciones de los pares son más
comúnmente recibidas como “realistas".
Uno de los principales inconvenientes de la coevaluación es el enorme trabajo operativo que implica. No es raro
que un docente, al querer incluir coevaluación, deba lidiar con una serie de dificultades. La primera es usualmente el
procesamiento de resultados: si se desea que 4o alumnos de un curso evalúen al resto de sus compañeros, habiendo 8
grupos de 5 estudiantes en cada uno, se deberán procesar 160formularios de respuesta, a partir de los cuales
generalmente se deseará obtener una medida global, tal comoun promedio, para hacerlo constar en la calificación.
Esto significa un incremento de trabajo considerable para el docente, comparado con el necesario para realizar una
heteroevaluación (evaluación directa del docente sobre el estudiante). La segunda dificultad tiene que ver con la
confidencialidad de los datos: dado que la coevaluación es un a instancia crítica entre compañeros del mismo equipo,
es necesario asegurar reserva para favorecer la objetividad de las evaluaciones. Esto limita las posibilidades de delegar
el trabajo de compilación de datos al mismo equipo. La tercera d ificultad está relacionada con el tiempo de
procesamiento de los datos: es muy probable que el docente tome mucho tiempo en el procesamiento de los
formularios, lo que significará que los resultados de la evaluación llegaráncon retraso, disminuyendo la oportunidad
de detectar situaciones anómalas en las cuales el docente pueda interve nir oportunamente. Una cuarta dificultad está
relacionada con la calidad de la retroalimentación entregada a los estud iantes: normalmente la coevaluación es vista
sólo como un mecanismo para evaluar, por lo que normalmente se agregan todos los criterios y la única
retroalimentación que llega de vuelta al estudiante es la nota con la cual sus compañeros lo evaluaron. Sería ideal que
el estudiante recibiera un informe detallado por parte del docente indicando en qué criterios fue bien o mal evaluado, y
las razones que justifican esa evaluación. Un reporte de este tipo naturalmente requie re un trabajo mucho más extenso
de parte del docente.
Las dificultades citadas anteriormente producen que muchas veces que el entusiasmo de los docentes por
realizar co-evaluación decaiga rápidamente, en particular cuando la ponderación de la coevaluación es baja:
una baja ponderación no justifica tanto trabajo. No obstante, es necesario notar q ue gran parte del trabajo es
automatizable, por lo que puede pensarse en crear un sistema que apoye este proceso teniendo los siguientes
objetivos:
•
•
•
Disminuir el trabajo del docente para realizar evaluación, automatizando los procesos de entrega de
formularios a los estudiantes, recolección de datos, validación de entr egas y respuestas,
procesamiento de resultados y generación de reportes.
Disminuir el tiempo de entrega de resultados, de manera tal de detectar a tiempo situaciones que
requieran la intervención del docente
Incrementar la calidad de la retroalimentación hacia los es tudiantes, entregando un reporte detallado y
anónimo respecto a los aspectos considerados en la evaluación.
Este artículo describe el sistema de auto, hétero y ecoevaluación creado en la Universidad Austral de Chile (UACh)
y se organiza de la siguiente forma: la sección Sistemas de auto y coevaluación reporta los métodos y sistemas
existentes en la actualidad, la sección Necesidad en la UACh detalla las necesidades para un sistema como este en la
UACh. la sección Solución presenta los detalles de la herramienta generada mientras que la sección Aplicaicón
reporta los resultados de aplicarla. Finalmente, se ofrecen conclusiones y perspectivas de trabajo futuro en la secció n
Conclusiones.
SISTEMAS DE AUTO Y COEVALUACIÓN
Después de haber entrevistado a académicos de distintas facultades de la UACh acerca de qué software se
utilizan para realizar auto y coevaluación se descubrió que Excel es la her ramienta más nombrada entre
docentes y grupos de trabajo que emplean estos métodos [17]. Si bien dista de ser un software adaptado a esta
tarea, es ampliamente utilizada debido al desconocimiento de otras, la familiaridad con ésta y la falta de tiempo
216
o disposición para investigar sobre mejores alternativas. En la misma línea se encuentra Dropbox, que permite
a los docentes compartir las planillas de auto y coevaluación para ser descargadas por los estudiantes. Una vez
respondidas, ellos las suben al repositorio perdiendo el anonimato de sus respuestas, lo que puede influir en la
sinc eridad de los evaluadores ante una presión social de sus pares. Otra alternativa similar la constituye
Google Drive, que permite además la edición en línea de sus documentos. Dado que ninguna de estas
herramientas ha sido diseñada específicamente para responder a las necesidades de la auto y coevaluación,
distintos grupos de desarrolladores i ndependientes y de algunas universidades han construido herramientas
con este fin en mente.
Existen varias alternativas de herramientas para realizar auto y coevaluación, algunas de ellas están disponibles
en sitios web y en otras es necesario conectarse a un servidor y descargar archivos. También existen versiones
comerciales por las que hay que pagar un monto para poder utilizarlas. Dejando de lado las opciones
comerciales, una de las herramientas es WebPA1, que permite la creación de pautas de auto y coevaluación, cl
onar los formularios y editarlos, mediante la creación de una cuenta de usuario (a dministrador o estudiante) en
el sitio web. iPeer2 es otra herramienta que además permite la revisión y liberación de comentarios de los
estudiantes además del análisis de progreso y resultados en línea. Posee una interfaz amable que no requiere
conocimientos especiales. La lista de estudiantes se puede importar desde un archivo de texto. Provee distintos
tipos de preguntas: puntaje en escala 1 a 100, escala de Likert y mezcla de ambas. CATME Team Maker3 es otra
opción semejante a iPEER pero que además proporciona retroalimentación a los equipos de trabajo, información
que puede además ser reenviada a nivel de dirección de escuela o facultad según se considere necesario. Siendo
la retroalimentación una parte esencial del proceso de auto y coevaluación, otra de las herramientas que destacan
es STEAM4, que además de dar a conocer a los estudiantes las fortalezas o debilidades encontradas por sus
pares, proporciona retroalimentación al docente sob re el proceso y permite realizarlo de forma anónima. Otra
carac terística interesante de STEAM es que tiene módulos personalizables que permiten tomar una evaluación
desde va rias perspectivas, una de ellas por ejemplo es la forma en que un miembro del equipo aportó,
evaluando ciertas carac terísticas que se pueden definir, así como también la asignación de ponderaciones. Otro
módulo permite hacer pre guntas de texto acerca del desempeño de los miembros del equipo. Aunque esta
herramienta permite una evaluación muy completa, la gran cantidad de opciones puede comprometer su
usabilidad, ralentizando el proceso de elaboración de pautas y promoviendo el uso de únicamente el módulo
obligatorio que es el mínimo necesario para realizar la evaluación. PEAR Beta 5 proporciona básicamente lo
mismi que las anteriors, permitiendo organizar las evaluaciones por etapas, personalizar fechas de lanzamiento,
hacer seguimiento de los envíos de documentos (planillas, encuestas), y asignar y distribuir encuestas de forma
anónima, tanto para estudiantes como profesores a través de notificaciones por email. Al momento de la revisión
sólo estaba disponible para usuarios de la universidad de Guelph. Otra herramienta interesante es
TEAMMATES 6, desarrollada en la Universidad Nacional de Singapur, la cual se puede acceder libremente en
línea. En ella las evaluaciones pueden ajustar el despliegue de las respuestas (públicas o sólo para el instructor).
Permite al instructor compartir su s comentarios con los alumnos, reforzando la calidad de la retroalimentación.
Inlcuye preguntas de desarrollo, selecci ón múltiple y numéricas de escala. Se puede Permite generar reportes y
estadísticas sobre las evaluaciones y reutilizar preguntas que se hayan hecho anteriormente. 4
Si bien las herramientas citadas cumplen con un amplio espectro de funcionalidades, ninguna de ellas satisface la
totalidad de los requisitos de la UACh (ver sección siguient e). Tampoco ninguna de ellas despliega gráficamente de
los resultados, ni permite contrastar en gráficos las diferentes perspectivas. Algunas de las herramientas evaluadas
presentaban potenciales problemas de usabilidad debido a la multiplicidad de funcionalidades, lo que se estimó
podría representar una barrera para la adopción de la herramienta, en particular por parte de los profesores de mayor
edad. El hecho que muchas herramientas estuvieran disponible únicamente en Inglés representaba algunos
problemas también. Aparte de lo anterior, varias de ellas carecen de soporte o no se encuentran actualizadas.
NECESIDAD EN LA UACh
Con el objeto de establecer las funcionalidades necesarias en la UACh se realizaron entrevistas con académicos
de distintas unidades, quienes aportaron con una gran diversidad de perspectivas [17]. Una vez combinadas
estas necesidades se priorizaron y se definió cuáles deberían ser c onsideradas para la construcción del
prototipo, en vistas a no comprometer la usabilidad de la herramienta y mantenerse dentro del presupuesto de
1
http://webpaproject.lboro.ac.uk/
http://ipeer.ctlt.ubc.ca/
2
http://www.catme.org/
3 http://peereval.okstate.edu/
4 http://www.uoguelph.ca/peartool/
5https://teammatesv4.appspot.com/
2
217
los proyectos que financiaban esta actividad. Este estudio arrojó los aspectos más importantes para la mayor
parte de los académicos, tales como la oportunidad de la información (i.e., obtener rápidamente los resultados
de las evaluaciones) y la facilidad de aplicarla, dado que muchos de ellos realizaban las evaluaciones de forma
manual. Otro grupo de docentes que no realizaba coevaluación se mostró interesado en hacerla si se les prove ía
con una herramienta adecuada. Otro aspecto que suscitó interés fue contar con un procesamiento automatizado
de losresultados. Como se esperaba, existía una preocupación por la carga extra de trabajo de realizar
coevaluación, lo cu al podría distraer al docente de aspectos más fundamentales de la asignatura.
Un requerimiento específico consistió en la inclusión de pre guntas de texto en los formularios. Esto debido a
que las rúbricas raramente son lo suficientemente específica s para indicar exactamente las fortalezas o
debilidades de un estudiantes. Considere por ejemplo que un estudiante haya obtenido una calificación
mediocre en el ítem comunicación. Esto puede deberse a diferentes causas: ¿El estudiante se expresa mal
oralmente o por escrito?, ¿es un problema de pronunciación, ortografía o bien que no es cap az de ordenar bien
sus ideas?, ¿Es un problema de personalidad que produce que se cohíba al hablar, o es que da por supuesto
elementos que el resto no conoce?, ¿Cuáles de esas actividades hace bien y cuáles no? Si se considera que en
una coevaluación de trabajo en equipo el aspecto comunicacional es sólo uno más de los diversos aspectos a
evaluar, es imposible entrar en detalles menores sin producir largos formularios, los cuales además deben ser
contestado para varios integrantes. La respuesta de texto, además de complementar una respuesta y proveer una
mejor retroalimentación al receptor, obliga de alguna manera al emisor a calificar de manera justa dado que
debe explicar la razón de su evaluación.
Otro aspecto importante es que las respuestas expresadas en escalas numéricas o apreciativas deben ser
contextual-izadas respecto del universo de estudiantes, dado que por ejemplo, no es lo mismo tener una
calificación de 60 % si el promedio del equipo ha obtenido 40 % ó 90 %.
Un punto interesante es que, adicionalmente a la auto y coevaluación, se consideró necesario incluir
heteroevalu-ación (entendida como la evaluación de un estudiante efectu ada por un profesor) y un cuarto tipo,
bautizado ecoevalu-ación, entendida como la evaluación por parte del estudiante acer ca del ambiente en el cual
se desarrolla la actividad. Efectivamente, el ambiente juega un rol importante en el desempeño de los
estudiantes. Por ejemplo, una agenda de-masiado ajustada o no tener acceso a algún recurso puede determinar
el éxito o fracaso de una actividad. Desde esta perspectiva, la ecoevaluación puede ser utilizada asimism o para
realizar una evaluación acerca del profesor. El tener estas cuatro formas de evaluación (auto, co, hétero y eco)
permite realizar la evaluación holística de una actividad.
Se considera necesario poder configurar distintos aspectos de la evaluación, tal como ponderaciones de
preguntas para el cálculo de un puntaje general aún cuando la coevaluación no tenga por objeto realizar una
calificación. Debe poder plantearse distintos tipos de pregunta, específicame nte: preguntas de alternativa,
selección múltiple, numéricas y texto. Las de alternativa y numéricas pueden ser tanto ordinales como
nominales, mientras que las de selección múltiple serán sólo nominales.
Debe ser posible realizar una evaluación compuesta, entend iendo ésta por la aplicación de hasta cuatro
formularios de una vez, correspondientes a los cuatro tipos de evaluació n (auto, co, hétero y eco). Los estudiantes
deben ser notificados por correo electrónico de la existencia de una nu eva evaluación al momento de comenzar ésta,
y recibir un mensaje de recuerdo un poco antes de que se cumpla el plazo de cierre. La herramienta debe estar basada
en web.
Los formularios creados por los docentes deben estar disponibles para ser vistos, utilizados, copiados y
modificados (en versiones derivadas) por otros docentes con acceso al sistema. Para esto, los formularios serán
liberados con licencia Creative Commons (CC BY-SA).
La visualización de los resultados debe estar bien pensada p ara que sea simple interpretarlos, a la vez que
pueda desplegar información compleja como comparaciones entre p ersonas y grupos, y debidamente
organizada para dis-tinguir las distintas categorías de evaluación (auto, co, h étero y eco) así como los distintos
tipos de preguntas (texto, numéricas, alternativa, opción múltiple). Asimismo, debe presentarse ordenadamente
para gestionar sin problemas las evaluaciones de distintos cursos. Todas las consideraciones anteriores deben
observarse tanto para los usuarios estudiantes como docentes. En caso de aplicar el mismo formulario para
auto, hétero y/o coevaluación, las preguntas ordinales deben ser desplegadas sobre un mismo gráfico para
contrastar las perspectivas propias, de los pares y del docente en un mismo aspecto. El despliegue de tal
cantidad de información en un formato fácil de entender por un espectro amplio de usuarios constituye un
desafío no menor para el diseño de la interfaz del sistema.
La figura 1 muestra el impacto en el flujo de trabajo producto de la incorporación de la plataforma de evaluación,
en donde se puede apreciar que gran parte del trabajo realizado por el docente es absorbido por la herramienta.
218
FIGURA 1. Flujos de trabajo antes y después de incorporar la plataforma de evaluación
SOLUCION
La plataforma se programó utilizando el framework de desarr ollo Django7, sobre una base de datos MySQL y
fue instalada en los servidores del Instituto de Informática dela UACh. Esta reconoce tres perfiles de usuario:
docentes, estudiantes y administradores. Las tareas posibles de ejecutar por cada uno de estos perfiles son las
siguientes.
El administrador está encargado de crear los cursos y asignarlos a los profesores. En pleno régimen esta
inscripción debería estar solicitada desde las unidades responsables de ofrecer las asignaturas y asignar los
profesores a ellas. El administrador también tiene la posibilidad de modificar algunos datos tales como los
correos electrónicos de los usuarios.
El docente crea los formularios en línea y las evaluaciones. La evaluaciones se crean asociando uno o más
formularios a un curso, definiendo las fechas de evaluación y conformando los grupos. También se encarga
de ingresar los estudiantes de sus cursos al sistema a través de un archivo de texto, lo cual podría evitarse
integrando esta plataforma a los sistemas de registro académico universitario.
7
http://http://www.djangoproject.com/
El estudiante responde las evaluaciones que le son dirigidas. Dado que el sistema conoce la conformación de
los grupos, el estudiante responde la evaluación sólo respecto de sus compañeros. El estudiante inicia una
sesión y puede responder una evaluación de manera parcial, grabar su s respuestas y continuar
posteriormente.
A continuación se muestra una serie de capturas de pantalla q ue permiten apreciar la organización de la
interfaz así como las funcionalidades provistas. Los rectángulos decolor rojo son agregados en este artículo con
el objeto de clarificar la exposición.
219
La figura 2 muestra la pantalla de ingreso de un usuario de perfi l docente, en la cual se aprecian las
evaluaciones en curso. En la parte superior de la interfaz se ubica el menú que da acceso a las principales
funcionalidades, concretamente la creación de formularios, evaluaciones y l a gestión los cursos. A la derecha
de cada evaluación se despliegan una serie de botones para editar, eliminar, lanzar, ver, contestar (en el caso de
haberse planteado una heteroevaluación) y visualizar los resultados.
A
B
FIGURA 2. Pantalla de inicio de la plataforma desde la perspectiva del docente, en donde se aprecia el menú principal de
funcionalidades (A) y las posibilidades de acción para cada evaluación ( B): editar, eliminar, lanzar, ver, contestar
(heteroevaluación) y ver resultados
La figura 3 muestra el resultado de una evaluación. Hacia abaj o aparecen las respuestas a los distintos tipos de
preguntas (ordinales, nominales y texto). En la parte superior aparecen las distintas perspectivas desde las cuales se
muestran los resultados (A). La primera, mostrada en la figur a, despliega los resultados para cada estudiante. Además
de esta vista es posible ver los resultados agregados por grupo y comparados entre ellos (figura 4, izquierda). Los
estudiantes tienen acceso a dos pantallas similares, correspondientes a sus propios resultados y a los grupales, pero
ocultando los nombres de autores de las opiniones. Además, ysólo para los docentes, se entrega información referente
a las ecoevaluaciones. Los autores de las opiniones pueden estar ocultos o no, dependiendo de cómo se haya
diseñado la evaluación. Los estudiantes son notificados del anonimato o no de sus respuestas al momento de
emitirlas. Finalmente,
la figura 4 (derecha) muestra una opción que despliega el grad o de avance en la contestación de las preguntas
por cada estudiante.
220
Figura 3. Pantalla de revisión de resultados de un estudiante en particular. Se aprec ia el menú de agrupamiento de revisión
de los resultados (A), la comparación de perspectivas (auto/co/heteroevalu ación y promedio de grupo, B), las respuestas de
texto (C) y la posibilidad de exportar los resultados a una planilla de cálculo (D)
La figura 5 muestra dos aspectos de la creación de evaluacione s. En la primera aparece el resultado de una
búsqueda de formulario y la asociación de uno de ellos como formulario de heteroevaluación. En la segunda, se
despliega la asignación de grupos, moviendo los estudiantes desde el lis tado general hacia el grupo
correspondiente.
Otras pantallas no son mostradas en este artículo por tratarse de interfaces más evidentes, como son la edición
de formularios en línea, la revisión de ecoevaluaciones (simi lar a la de la figura 3), pantallas de administración
y conexió n al sistema, búsqueda de formularios y de ingreso de listado de estudiantes.
APLICACIÓN
La plataforma de evaluación fue aplicada en 7 asignaturas, u n total de 37 veces. 4 docentes y cerca de 400
estudiantes participaron en evaluaciones de distinto tipo. Para la validación de la herramienta se procedió a realizar
una serie.
221
FIGURA 4. Izquierda: Despliegue de promedio de respuestas, agrupadas por grupo (A) y detalle para un grupo específico
(B), comparando los resultados obtenidos por sus integrantes (C). Derecha: Estado de avance en respuestas, por estudiante
B
A
A
C
B
FIGURA 5. Iquierda: Resultado de búsqueda de formulario (A) y asignación de formulario a evaluación en uno de las
cuatro posibilidades. auto, co, hétero o ecoevalaución(B). Derecha: Distribución de estudiantes (A) en grupos (B) y
funcionalidad para seleccionar una de las distribuciones usadas anteriormente (C).
de entrevistas con los docentes que utilizaron la herramienta, recogiendo su experiencia sobre cómo ésta
impactó la carga de trabajo y su parecer respecto a la misma. Se consideraron aspectos relativos al impacto en la
carga de trabajo, accesibilidad de la herramienta, beneficios pro ducto de la oportunidad de la información,
calidad de la retroalimentación, uso que se le da a ese feedback, usabilid ad de la herramienta, consultas sobre
funcionalidades requeridas y observaciones en general.
Los objetivos planteados en este desarrollo fueron tres, a saber:1.disminuir el trabajo extra producto de la
realización de evaluaciones, en particular de coevaluaciones, 2. disminuir los tiempos de entrega de los resultados y 3.
Aumentar la calidad de la retroalimentación hacia los estudiantes. H abiendo implementado un sistema que cumple
con el flujo de trabajo especificado en la figura 1, en el cual gran parte del tr abajo es ejecutado por el software,
es simple asegurar que el primer objetivo se cumplió. Por otra parte, dado que los re sultados son liberados a los
estudiantes apenas se cierra la evaluación, y a los docentes aún antes, es posible asegurar que el segundo
222
objetivo ha sido cumplido también. En lo que respecta al tercero, el reporte pormenorizado de cada aspecto de
los formularios, la entrega de los comentarios anónimos y la comparación de los resultados obtenidos con lo s
del resto del grupo, así como las distintas perspectivas de despliegue de resultados, permite asegurar que
también se ha cumplido, debido a que a nuestro conocimiento un reporte con tal grado de detalle no se había
realizado anteriormente.
Durante la fase de diseño se puso cuidado en no sobrecargar la interfaz para no entorpecer la interacción con
usuarios (particularmente docentes) no habituados al uso de tecnologías de información. No obstante lo anterior, es
necesario instruir a los docentes en que las evaluaciones se hacen en dos etapas diferentes (la primera destinada a
definir los formularios de evaluación y la segunda a armar la e valuación) y no haciendo todo al mismo tiempo, cual
es la suposición de varios docentes que enfrentaron la herrami enta por primera vez. Una vez incorporado este
supuesto al modelo mental del usuario no se encontraron mayores problemas de usabilidad. la simplicidad fue bien
recibida, e incluso algunos docentes sugirieron la inclusión de funcio nalidades adicionales, lo que deberá evaluarse
en el futuro.
Se recopilaron observaciones acerca de funcionalidades adicionales que podrían ser incluidas en el sistema,
las cuales presentamos en las perspectivas de trabajo futuro de la siguiente sección.
CONCLUSIONES
En este artículo se ha presentado una herramienta que facilita la auto y coevaluación en actividades de trabajo
en equipo, incorporando adicionalmente y en forma integrada, heteroevaluación y la evaluación de las
condiciones en las cuales se realizan las actividades, denominada ecoevaluación. La herramienta es lo
suficientemente genérica como para poder ser aplicada en otros contextos, tales como evaluación docente, o
fuera del ámbito educativo, por ejemplo en empresas.
Esta herramienta resuelve distintos problemas que muchas veces constituyen un inconveniente para una
práctica sustentable de la evaluación, debido a la enorme cantidad de sobretrabajo que ésta significa para el
docente. En particular, simplifica la recolección de datos y la validaci ón de éstos, así como la generación y
distribución de reportes de resultados que comparan distintas perspectivas en aspectos comunes. La evaluación
se realiza de manera automática, permitiendo obtener resultados en tiempo real, lo que permite al docente
caracterizar tempranamente las dinámicas de los grupos. Adicionalmente, produce reportespersonalizados tanto
para docentes como para estudiantes con información detallada en un formato gráfico, lo cual supo ndría un
esfuerzo virtualmente imposible de absorber de otra manera por el docente.
La posibilidad de proveer de retroalimentación detallada a los estudiantes es de especial interés por cuanto le
permite visibilizar sus fortalezas y debilidades de forma contextualizada, lo que enriquece el proceso de
coevaluació n llevándolo desde una instancia de simple evaluación hacia una actividad de aprendizaje acerca de
competencias que normalmente es difícil evaluar.
La realización de la coevaluación mediante un sistema infor matizado basado en web tiene la ventaja
adicional de ser accesible en cualquier momento, permitiendo a estudiantes que falten a alguna clase participar
de la evaluación de todas formas. Los errores de tipeo en la transcripción de dat os (innecesaria al recolectar
directamente las respuestas) se elimina.
Diversas perspectivas de trabajo futuro se visualizan, considerando tanto los requisitos no incluidos en este
diseño como algunos detectados durante las pruebas del sistema.
Esta aplicación fue concebida pensando en realizar evaluac iones durante un periodo contado en días, por lo
que el inicio de ésta se hace de manera manual y el cierre se efectúa a la medianoche de una fecha específica.
Un profesor solicitó incorporar un cierre manual, con el objet o de hacer evaluaciones cortas durante la clase.
Esta pequeña modificación permitiría utilizar esta herramienta como un s istema de evaluación rápido.
Otra posible mejora tiene que ver con la incorporación de otr as formas de ingreso de respuestas, tales como
establecer un ranking entre estudiantes respecto de su capacidad en alguna competencia, el ingreso de valores
mediante una interfaz visual (mediante un slider), buscando diminuir el efecto de los prejuicios que existen
respecto de algunos valores numéricos.
En orden a integrar los resultados de este sistema en un ámbito mayor, se podría integrar a un repositorio de
portafolios. Este desarrollo podría ser tan simple como incorporar una exportación a PDF del reporte de la
evaluación. Otra forma de enriquecer la información contenida en este si stema podría ser el incorporar la posibilidad
de incluir comentarios del docente al reporte emitido por la herramienta, los cuales podrían ser exportados hacia el
sistema de
portafolios también. En la misma línea, sería deseable incorporar una forma de comparar los resultados de
223
evaluaciones que usen el mismo formulario en diferentes instantes de tiempo, con el fin de apreciar la
evolución en el desarrollo de competencias de los estudiantes.
Dado el espíritu abierto de la publicación de los formulario s de evaluación a través de una licencia
Creative Commons, podría pensarse en enriquecer este aspecto extendiendo los metadatos de los formularios
(que actualmente incluyen sólo el autor, la descripción, palabras clave y tex to con detalles) para facilitar la
identificación de los más útiles o populares.
Una funcionalidad más ambiciosa sería la automatización del análisis de las dinámicas de trabajo en equipo
en base a los resultados recopilados. En efecto, en un trabajo de equipo se espera que surja algún grado de
especialización entre los integrantes. El caracterizar la naturaleza de estas interacciones en base a los datos de
coevaluación podría ayudar a comprender las mecánicas internas del grupo, así como a comparar las
interacciones entre distintos equipos.
AGRADECIMIENTOS
La construcción de la plataforma descrita en este artículo f ue financiada por los proyectos MECESUP AUS
0701 de la Facultad de Ciencias de la Ingeniería y el proyecto DEP201101 de la Dirección de Estudios de
Pregrado, ambos ejecutados en la Universidad Austral de Chile. Los autores desean agradecer a todos los
docentes que participaron en este desarrollo, tanto en las entrevistas previas como en la fase de evaluación, así
como a los revisores de este artículo por sus valiosos aportes.
REFERENCIAS
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
R. LeBoeuf, M. Pizarro, and R. Espinoza, Identification of Non-Technical Competency Gaps of Engineering Grad
uates in Chile, International Journal of Engineering Education 29, 426–438 (2013).
R. L. Meier, M. R. Williams, and M. A. Humphreys, Refocusing Our Efforts: Assessing Non-Technical
Competency Gaps, Journal of Engineering Education 89 (2000).
J. Walther, N. Kellam, N. Sochacka, and D. Radcliffe, Engineering Competence? An Interpretive Investigation of
Engineering Students' Professional Formation, Journal of Engineering Education 100, 703–740 (2011).
D. Q. Nguyen, The Essential Skills and Attributes of an Engineer: A Comparative Study of Academics, Industry
Personnel and Engineering Students, Global Journal of Engineering Education 2 (1998).
P. Sageev, and C. Romanowski, A Message from Recent Engineering Graduates in the Workplace: Results of a
Survey on Technical Communication Skills, Journal of Engineering Education 90 (2001).
O. Rompelman, Assessment of student learning: Evolution of objectives in engineering education and the
consequences for assessment, European Journal of Engineering Education 25, 339–350 (2000).
H. J. Passow, Which ABET Competencies Do Engineering Graduates Find Most Important in their Work?,
Journal of Engineering Education 101, 95–118 (2012).
D. Davis, S. Beyerlein, P. Thompson, J. McCormack, O. Harrison, M. Trevisan, R. Gerlick, and S. Howe, “Assessing
Design
and Reflective Practice in Capstone Engineering Design Courses,” in Proceedings of ASEE Conference, 2009.
L. D. Mcnair, C. Newswander, D. Boden, and M. Borrego, Student and Faculty Interdisciplinary Identities in SelfManaged Teams, Journal of Engineering Education 100, 374–396 (2011).
M. Garmendia, X. Garikano, E. Sierra, and A. Perez, Developing Teamwork Efficacy Factors: An Experience in a
Project Based Learning Context, International Journal of Engineering Education 29, 752–762 (2013).
Criteria for Accrediting Engineering Programs, ABET (2012–2013),
http://abet.org/DisplayTemplates/DocsHandbook.aspx?id=3143.
U. E. Council, The accreditation of higher education Programmes (2013), http://www.engc.org.uk/aboutus/publications.
Criterios de Evaluación para Carreras de Ingeniería , Comisión Nacional de Acreditación (2010),
http://www.cnachile.cl/wpcontent/uploads/2010/07/ingenieria.pdf.
J. E. Mills, and D. F. Treagust, Engineering Education – Is problem based or project-based learning the answer?,
Australasian Journal of Engineering Education 4 (2003).
A. McHenry, D. Depew, M. Dyrenfurth, D. Dunlap, D. Keating, T. Stanford, P. Lee, and G. Deloatch,
“Constructivism: The Learning Theory That Supports Competency Development of Engineers For Engineering
Practice and Technology Leadership Through Graduate Education,” in Proceedings of the 2005 American Society for
Engineering Education Annual Conference & Exposition, 2005.
E. D. Graaff, and A. Kolmos, Characteristics of Problem-Based Learning, International Journal of Engineering
Education
19, 657–662 (2003).
P. Díaz, Estandarización y planificación de automatización de auto/coe valuación en la UACh, memoria de título
Ingeniería Civil en Informática, Universidad Austral de Chile (2013).
224