http: rd.unir.net sisi SIIE14-Actas.pdf

Actas del XVI Simposio Internacional de
Informática Educativa (SIIE’14)
Acceso masivo y universal para un aprendizaje a lo largo de
la vida
Logroño, La Rioja
12-14 de Noviembre de 2014
001010010010000100100100001001001000010010010
001010010010000100100100001001001000010010010
001010010010000100100100001001001000010010010
010100011100000111000001110000011100000111000
01110000001111111111111001111111100000011111
0010100100100001001001000010010010000100100100001
01110000001111111111111001111111100000011111110001101
José Luis Sierra Rodríguez
0101000111000001110000011100000111000001110000011100
Juan Manuel Dodero Beardo
010100011100000111000001110000011100000111000
010100011100000111000001110000011100000111000
Daniel Burgos (Eds.)
Actas del XVI Simposio Internacional
de Informática Educativa (SIIE'14)
Acceso masivo y universal
para un aprendizaje a lo largo de la vida
Logroño, La Rioja
12-14 de noviembre, 2014
Organización
Patrocionios y Colaboraciones
José Luis Sierra Rodríguez
Juan Manuel Dodero Beardo
Daniel Burgos (Eds.)
Maquetación: ADIE
Editorial: Universidad Internacional de La Rioja (UNIR)
http://www.unir.net/
© de cada artículo: los autores del mismo
© del resto del material (excluidos logos): los editores de la presente obra
© logo SIIE 2014: UNIR
© logos asociaciones: las respectivas asociaciones
ISBN: 978-84-16125-41-8
XVI Simposio Internacional de Informática Educativa (SIIE 2014)
Comités
Comité directivo de ADIE





Martín Llamas Nistal – Universidad de Vigo, España (Presidente del Comité Directivo)
Ángel Velázquez Iturbide – Universidad Rey Juan Carlos, España
António José Mendes – Universidad de Coimbra, Portugal
Cristina Azevedo Gomes - Escola Superior de Educação Instituto Politécnico de Viseu, Portugal
Francisco José García Peñalvo – Universidad de Salamanca, España
Comité del Congreso




Daniel Burgos, Presidente del Congreso (Universidad Internacional de La Rioja (UNIR), UNIR
Research)
Pablo Moreno, Director de Talleres y Sesiones Temáticas (Universidad Complutense de Madrid)
Lluís Vicent, Director de Pósteres y Demostraciones (Open University La Salle, UoLs)
Francesc Noguera, Director de Industria y Relaciones (Universitat Oberta de Catalunya (UOC),
TELspain)
Comité de Programa - Coordinación







José Luis Sierra Rodríguez – Universidad Complutense de Madrid, España (Presidente del
Comité de Programa, Coordinador de las líneas temáticas en Informática Educativa y en
Métodos y Casos en Educación en Informática)
Antonio Sarasa-Cabezuelo – Universidad Complutense de Madrid, España (Coordinador de la
línea temática en Ingeniería del Software en eLearning)
Juan Manuel Dodero Beardo – Universidad de Cádiz, España (Coordinador de las líneas
temáticas en Diseño y Evaluación de Contenidos Digitales Educativos y en Métodos y Casos en
Educación en Informática)
Manuel Ortega Cantero – Universidad de Castilla la Mancha, España (Coordinador de la línea
temática en Informática Educativa)
Manuel Prieto Méndez, Universidad de Castilla La Mancha (Coordinador de la línea temática en
Diseño y Evaluación de Contenidos Digitales Educativos)
Miguel Ángel Conde González – Universidad de León, España (Coordinador de la línea temática
en Ingeniería del Software en eLearning)
Pilar Rodríguez Marín – Universidad Autónoma de Madrid, España (Coordinadora de la línea
temática en Informática Educativa)
Comité de Programa – Miembros








Abelardo Pardo, The University of Sydney, Australia
Alberto Cañas, Florida Institute for Human & Machine Cognition, Estados Unidos
Alberto Pedrero Esteban, Universidad Pontificia de Salamanca, España
Alvaro Figueira, Universidade do Porto, Portugal
Ana María Fermoso García, Universidad Pontificia de Salamanca, España
Ana María Fernández-Pampillón Cesteros, Universidad Complutense de Madrid, España
Ángel Fidalgo, Universidad Politécnica de Madrid, España
Ángel Hernández García, Universidad Politécnica de Madrid, España
i
XVI Simposio Internacional de Informática Educativa (SIIE 2014)









































Anke Berns, Universidad de Cadiz, España
Antonio Balderas, Universidad de Cádiz, España
Antonio Figueiredo, Universidad de Coimbra, Portugal
António José Mendes, Universidad de Coimbra, Portugal
Antonio Miguel Seoane Pardo, Universidad de Salamanca, España
Antonio Moreira, Universidade de Aveiro, Portugal
Antonio Navarro Martín, Universidad Complutense de Madrid, España
Antonio Sarasa Cabezuelo, Universidad Complutense de Madrid, España
August Climent Ferrer, Universitat Oberta La Salle, Andorra
Baltasar Fernández Manjón, Universidad Complutense de Madrid, España
Camino Fernández,
Universidad de León, España
Carina González, Universidad de La Laguna, España
Carlos Delgado Kloos, Universidad Carlos III de Madrid, España
César Córcoles, Universitat Oberta de Catalunya, España
Christophe
Choquet, Université du Maine, Francia
Christos Bouras, University of Patras and RACTI, Grecia
Covadonga
Rodrigo, Universidad Nacional de Educación a Distancia, España
Cristina Azevedo Gomes, Instituto Politécnico de Viseu, Portugal
David Griffiths, University of Bolton, Reino Unido
Davinia Hernández Leo, Universitat Pompeu Fabra, España
Edmundo Tovar, Universidad Politécnica de Madrid, España
Eduardo Guzmán, Universidad de Málaga, España
Elena García Barriocanal, Universidad de Alcalá, España
Elliot Soloway, University of Michigan, Estados Unidos
Emilio Julio
Lorenzo, Universidad Nacional de Educación a Distancia, España
Erla Mariela Morales Morgado, Universidad de Salamanca, España
Faraón Llorens, Universidad de Alicante, España
Felisa Verdejo Maillo, Universidad Nacional de Educación a Distancia, España
Félix Buendía, Universidad Politécnica de Valencia, España
Francisco José García Peñalvo, Universidad de Salamanca, España
German Ruiperez, Universidad Nacional de Educación a Distancia, España
Gregorio Robles, Universidad Rey Juan Carlos, España
Gregorio Rodríguez Gómez, Universidad de Cádiz, España
Gustavo Alves, Instituto Politecnico do Porto, Portugal
Gustavo Rossi, Universidad Nacional de La Plata, Argentina
Ignacio Aedo, Universidad Carlos III de Madrid, España
Ignacio Traverso-Ribón, FZI Research Center for Information Technology, Alemania
Isabel Chagas, Universidade de Lisboa, Portugal
Isabel Fernández de Castro, Universidad del País Vasco / Euskal Herriko Unibertsitatea, España,
Ivan Luković, University of Novi Sad, Serbia
Iván Martínez Ortiz, Universidad Complutense de Madrid, España
ii
XVI Simposio Internacional de Informática Educativa (SIIE 2014)









































Iván Ruiz Rube, Universidad de Cádiz, España
Jaime Urquiza Fuentes, Universidad Rey Juan Carlos, España
Javier Sanz, Universidad Carlos III de Madrid, España
Jesus G. Boticario, Universidad Nacional de Educación a Distancia, España
José Ángel Olivas, Universidad de Castilla La Mancha, España
Jose Emilio Labra Gayo, Universidad de Oviedo, España
Jose Luis Delgado Leal, Universidad Nacional de Educación a Distancia, España
José Luis Pires Ramos, Universidade de Evora, Portugal
José Luis Sierra Rodríguez, Universidad Complutense de Madrid, España
José Ramón Hilera,
Universidad de Alcalá, España
Juan I. Asensio Pérez, Universidad de Valladolid, España
Juan Manuel Dodero Beardo, Universidad de Cádiz, España
Lilia Cheniti, University of Sousse, Túnez
Lluís Vicent, Universitat Oberta La Salle, Andorra
Lourdes Guardia, Universitat Oberta de Catalunya, España
Lucila Santarosa, Conselho Nacional de Desenvolvimento Científico e Tecnológico, Brasil
Luis Anido Rifón, Universidad de Vigo, España
Luis Panizo, Universidad de León, España
Maha Khemaja, ISSATSo - University of Sousse, Túnez
Manuel Benito, Universidad del País Vasco / Euskal Herriko Unibertsitatea, España
Manuel Caeiro Rodríguez, Universidad de Vigo, España
Manuel Castro Gil, Universidad Nacional de Educación a Distancia, España
Manuel Gertrudix, Universidad Rey Juan Carlos, España
Manuel José Fernández Iglesias, Universidade de Vigo, España
Manuel Lama Penin, Universidad de Santiago de Compostela, España
Manuel Ortega Cantero, Universidad de Castilla la Mancha, España
Manuel Palomo Duarte, Universidad de Cádiz, España
Manuel Pérez Cota, Universidad de Vigo, España
Manuel Prieto Méndez, Universidad de Castilla La Mancha, España
Maria João Loureiro, Universidade de Aveiro, Portugal
Maria José Marcelino, Universidade de Coimbra, Portugal
Maria Jose Rodríguez Conde, Universidad de Salamanca, España
María Luisa Sein-Echaluce, Universidad de Zaragoza, España
María Soledad Ibarra Sáiz, Universidad de Cádiz, España
María Visitación Hurtado, Universidad de Granada, España
Martín Llamas Nistal, Universidad de Vigo, España
Maximiliano Paredes, Universidad Rey Juan Carlos, España
Mercedes Gómez Albarrán - Universidad Complutense de Madrid, España
Mercedes Ruiz, Universidad de Cádiz, España
Miguel Ángel Conde González, Universidad de León, España
Miguel Ángel Sicilia, Universidad de Alcalá, España
iii
XVI Simposio Internacional de Informática Educativa (SIIE 2014)





























Miguel Ángel Redondo, Universidad de Castilla La Mancha, España
Miguel Rodríguez Artacho, Universidad Nacional de Educación a Distancia, España
Miguel Zapata Ros, Universidad de Alcalá, España
Miroslav Minović, University of Belgrade, Serbia
Octavio Henao, Universidad de Antioquia, Colombia
Oskar Casquero, Universidad del País Vasco / Euskal Herriko Unibertsitatea, España
Pablo Lara Navarra, Universitat Oberta de Catalunya, España
Pablo Moreno Ger, Universidad Complutense de Madrid, España
Paulo Gileno Cysneiros, Universidade Federal de Pernambuco, Brasil
Pilar Rodríguez Marín, Universidad Autónoma de Madrid, España
Ralf Klamma, RWTH Aachen University, Alemania
Ramón Ángel Fernández Díaz, Universidad de León, España
Ramon Fabregat Gesa, Universitat de Girona, España
Ramón Ovelar, Universidad del País Vasco / Euskal Herriko Unibertsitatea, España
Raquel Hijón Neira,
Universidad Rey Juan Carlos, España
Raul Sidnei Wazlawick, Universidade Federal de Santa Catarina, Brasil
Ricardo Conejo, Universidad de Málaga, España
Roberto Moriyón Salomón, Universidad Autónoma de Madrid, España
Roberto Theron, Universidad de Salamanca, España
Roberto Willrich, Universidade Federal de Santa Catarina, Brasil
Rosa M. Carro Salas, Universidad Autónoma de Madrid, España
Rubén Fuentes Fernández, Universidad Complutense de Madrid, España
Salvador Sánchez Alonso, Universidad de Alcalá, España
Santi Caballé, Universitat Oberta de Catalunya, España
Telmo Zarraonandia, Universidad Carlos III de Madrid, España
Vytautas Stuikys, Kaunas University of Technology, Lithuania
Weidong Qiu, Shanghai Jiaotong University, China
Xavier Ochoa, Escuela Superior Politécnica del Litoral, Ecuador
Yannis Dimitriadis, Universidad de Valladolid, España
iv
Contenidos
José Luis Sierra. Prefacio ................................................................................................................................................................ ix
Métodos y casos de estudio en Educación en Informática (MCCE)
Juan Manuel Dodero, José Luis Sierra. Prefacio a la Línea Temática ........................................................................................... 13
MCCE 1 – Currícula y Métodos
Francisca Quintana-Domínguez, Carmelo Cuenca-Hernández. Diseño curricular del desarrollo de aplicaciones para la nube
siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC ................................................................................... 15
Patricia Compañ Rosique, Rafael Molina Carmona, Rosana Satorre Cuerda, Faraón Llorens Largo. ¿Podemos considerar la
docencia como un fractal? .............................................................................................................................................................. 23
Ouafae Debdi, Maximiliano Paredes-Velasco, J. Ángel Velázquez-Iturbide. Relación entre estilos de aprendizaje, motivación
y eficiencia en alumnos de Informática.......................................................................................................................................... 31
MCCE 2 – Casos de Estudio I
J. Ángel Velázquez-Iturbide. Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización .......... 37
Daniel Rodriguez-Cerezo, Pedro Rangel Henriques, José-Luis Sierra. Attribute grammars made easier:
EvDebugger – A visual debugger for attribute grammars .............................................................................................................. 45
Carina Soledad González González, Alberto Mora Carreño. Propuesta metodológica de gamificación en la enseñanza
técnica superior .............................................................................................................................................................................. 51
MCCE 3 – Evaluación
Carlos López, Jesús M. Alonso, Raúl Marticorena, Jesús M. Maudes. Diseño de e-actividades para el aprendizaje de tareas
de refactorización de código ........................................................................................................................................................... 57
Davinia Hernández-Leo , Verónica Moreno Oliver. Fine-tuning formative and summative assessment in bachelors’ final
projects ............................................................................................................................................................................................ 67
Luis Castillo. The use of SCRUM for laboratory sessions monitoring and evaluation in a university course. Enforcing
transverse competencies ................................................................................................................................................................. 73
MCCE 4 – Casos de estudio II
Ana-Isabel Molina-Díaz, Maximiliano Paredes-Velasco, Miguel Ángel Redondo Duque, J. Ángel Velázquez-Iturbide.
Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx ...................................... 79
Jose-Norberto Mazón, Elena Lloret, Eva Gómez-Ballester, Antonia Aguilar, Iván Mingot, Ernesto Pérez, Luisa Quereda.
Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos ........................................... 89
Juan J. Olarte Larrea, Cesar Dominguez Pérez, Arturo Jaime Elizondo, Francisco J. Garcia-Izquierdo. TFG GII UR: Una
herramienta para la gestión y desarrollo de Trabajos Fin de Grado en Ingeniería Informática ................................................... 97
v
Ingeniería del Software en e-Learning (ISELEAR)
Miguel Ángel Conde, Antonio Sarasa. Prefacio a la Línea Temática .......................................................................................... 105
ISELEAR 1 - Casos de estudio
Emilio Antonio Martínez Ramírez , Carlos Enrique Montenegro-Marin. Desarrollo de un módulo para la gestión
bibliográfica en Moodle ................................................................................................................................................................ 107
Felix José Pascual-Miguel, Miguel Ángel Conde, Rafael Álvarez-Pedroviejo , Emiliano Acquila-Natale. Desarrollo de un
simulador empresarial orientado a la economía digital y de servicios ........................................................................................ 115
Gonzalo Esteban, Camino Fernández, Miguel Ángel Conde, Francisco J. R. Lera. Implementación de un entorno de
simulación háptico para sistemas de aprendizaje de cirugía ....................................................................................................... 123
ISELEAR 2 - Patrones y arquitecturas
Francisco Jurado, Miguel Ángel Redondo Duque. Learning tools interoperability for enhancing a distributed personal
learning environment with support for programming assignment ................................................................................................ 131
Alicia García-Holgado, Francisco José García-Peñalvo. Patrón arquitectónico para la definición de ecosistemas de
eLearning basados en desarrollos open source ............................................................................................................................ 137
Roberto Pérez-Rodríguez, Luis Anido-Rifón, Miguel Gómez-Carballa, Marcos Mouriño-García. Architecture of a
concept-based information retrieval system for educational resources ....................................................................................... 143
ISELEAR 3 - Desarrollo de Sistemas Adaptativos e Interactivos
Ángel Fidalgo Blanco, María Luisa Sein-Echaluce Lacleta, Francisco José García-Peñalvo, Miguel Ángel Conde. Sistema de
gestión del conocimiento para la definición de entornos de aprendizaje adaptativos .................................................................. 151
David Fonseca, Sergi Villagrasa, Ernest Redondo, Francesc Valls, Lluís Vicent, August Climent. Motivation assessment
in engineering students using hybrid technologies for 3D visualization....................................................................................... 157
Juan Cruz-Benito, Francisco José García-Peñalvo, Roberto Theron, Cristina Maderuelo, Jonás Samuel Pérez-Blanco,
Hinojal Zazo, Ana Martín-Suárez. Uso de arquitecturas software para recolectar información de interacción en entornos
eLearning ...................................................................................................................................................................................... 165
ISELEAR 4 - Desarrollo de Sistemas de Evaluación
Antonio Balderas, Álvaro Galán-Piñero, Juan Antonio Caballero-Hernández, Gregorio Rodríguez Gómez,
Juan Manuel Dodero, Manuel Palomo-Duarte. Domain-driven competence assessment in virtual learning
environments. Application to planning and time management skills ............................................................................................ 171
Mario Manso Vázquez, Manuel Caeiro Rodríguez, Martin Llamas-Nistal. Cuestionario de evaluación del soporte al
aprendizaje autorregulado en software ........................................................................................................................................ 179
Milagros Huerta, José María Portela, Andrés Pastor, Nestor Mora. Optimización de prácticas de laboratorio utilizando
videojuegos serios ......................................................................................................................................................................... 187
ISELEAR 5 - Learning Objects & Learning Designs (Session in English)
Renata Burbaitė, Kristina Bespalova. Model-driven processes and tools to design GLO for CS education................................. 193
Maha Khemaja. Using semantic web services technology for simulating collaborative learning activities: An approach
based on ITSs’ and e-Learning standards extension..................................................................................................................... 201
Ana Faria, André Malho, Andreas Meiszner, Kelwyn Looi, Pascale Hardy. Supporting technology-enhanced learning
innovations – Lessons from three cases of the ELIG Learning@Work Exploratorium Lab ......................................................... 209
Diseño y Evaluación de Materiales Educativos (SPDECE)
Manuel Prieto, Juan Manuel Dodero. Prefacio a la Línea Temática ............................................................................................ 217
SPDECE 1 - MOOCs y juegos serios
Jordán Pascual Espada, Cristina Castillo Rodríguez, Vicente García Díaz, Rubén González Crespo. Method for analysing
the user experience in MOOC platforms...................................................................................................................................... 219
Natalia Padilla-Zea, Nuria Medina Medina, Francisco L. Gutiérrez Vela, Patricia Paderewski Rodríguez, José R. López-Arcos,
María P. Núñez Delgado, José Rienda Polo. Implementación de la evaluación continua en videojuegos educativos: Qué,
cómo y dónde evaluar ................................................................................................................................................................... 227
Francisco Iniesto, Covadonga Rodrigo. Evaluación de la accesibilidad en las plataformas MOOC en español: UNED COMA,
COLMENIA y Miriada X .............................................................................................................................................................. 233
SPDECE 2. Diseño y Evaluación
Óscar Navarro, Ana-Isabel Molina-Díaz, Miguel Lacruz. Una experiencia de evaluación de diseños de materiales educativos
multimedia en Educación Primaria .............................................................................................................................................. 239
Sérgio Gonçalves, Davide Carneiro, Javier Alfonso-Cedón, Florentino Fdez-Riverola, Paulo Novais. Inferring the Student’s State
in the absence of the Teacher ........................................................................................................................................................ 247
Wilme Rodríguez. La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables. Experiencia de la
puesta en valor y el estímulo a las capacidades creativas y de innovación entre dos centros educativos.................................... 253
Informática Educativa (IE)
Manuel Ortega, Pilar Rodríguez, José Luis Sierra. Prefacio a la Línea Temática ........................................................................ 263
IE 1. Juegos serios y Cultura digital
Mariluz Guenaga, Andoni Eguíluz, Alex Rayon, Asier Núñez, Elena Quevedo,. Serious game to develop and assess
teamwork competency ................................................................................................................................................................... 265
Hendrys Tobar-Muñoz, Ramon Fabregat, Silvia Baldiris. Using a videogame with augmented
reality for an inclusive logical skills learning session .................................................................................................................. 271
Fernando Silvio Cavalcante Pimentel. Outras formas de aprender: inserção de crianças na cultura digital .............................. 279
IE 2. Evaluación
Abel Rionda, Xabiel García Pañeda, Roberto García, David Melendi, Alejandro García Pañeda,
Gabriel Díaz Orueta, Laura Pozueco. Evaluación del aprendizaje de conducción eficiente en un entorno profesional .............. 285
Pablo Molins-Ruano, Francisco Borrego-Gallardo, Covadonga Sevilla, Francisco Jurado, Pilar Rodriguez, G.M. Sacha.
Construcción de cuestionarios de calidad con e-valUAM ............................................................................................................ 291
Jaime Cifuentes Rodríguez, Ramón A. Fernández Díaz, Miguel V. Carriegos. Generación automática de cuestionarios
Moodle para mejorar el aprendizaje de la Geometría Descriptiva............................................................................................... 299
IE 3. Calidad y Movilidad
Laura Briz Ponce, Juan Antonio Juanes Méndez, Francisco José García Peñalvo. A systematic review of using mobile
devices in medical education ........................................................................................................................................................ 305
Joao Vagarinho, Martin Llamas-Nistal. Adicionando a perspetiva dos processos à norma Espanhola de qualidade sobre
os materiais educativos digitais .................................................................................................................................................... 313
vii
Antonio Sarasa Cabezuelo, José Luis Sierra. Una app para la gestión de actividades docentes no regladas.............................. 321
Carmen Hernández, Jesús Vegas, César Llamas, Manuel Á. González. A survey on mobile devices use by university
students ......................................................................................................................................................................................... 329
Talleres
Pablo Moreno Ger. Prefacio a los Talleres................................................................................................................................... 337
Susana Romero, Mariluz Guenaga, Javier García-Zubía, Pablo Orduña. Nuevo reto del proceso Bolonia. Uso de
Laboratorios Remotos y Learning Analytics como Ayuda al Docente en la Evaluación Continua .............................................. 339
Pablo Moreno Ger. eAdventure: Serious games, assessment and interoperability ....................................................................... 341
Prefacio
El Simposio Internacional de Informática Educativa (SIIE) es uno de los eventos de referencia en la aplicación de las Tecnologías
de la Información y de las Comunicaciones a la Educación en el ámbito Iberoamericano. La decimosexta edición de este Simposio
está organizada por la Universidad Internacional de La Rioja (UNIR), y se celebra en Logroño (La Rioja, España) entre el 12 y el 14
de Noviembre de 2014.
Como las anteriores ediciones, la edición 2014 del Simposio ofrece un foro internacional para la presentación y debate de los
últimos avances en investigación sobre las tecnologías para el aprendizaje y su aplicación práctica en los procesos educativos.
También pretende poner en contacto a investigadores, desarrolladores, representantes institucionales y profesores para compartir
puntos de vista, conocimientos y experiencias.
Esta decimosexta edición del Simposio tiene como tema central el acceso masivo y universal a recursos educativos como soporte
al aprendizaje a lo largo de la vida. Con ello el simposio pretende hacerse eco del enorme auge adquirido en los últimos años por
enfoques que, como los representados por los cursos masivos en abierto (MOOC), suponen una democratización real y de ámbito
mundial al acceso a materiales educativos de calidad en abierto. Sin duda esta nueva edición del simposio permitirá avanzar en la
forma en la que los métodos, técnicas y herramientas de la informática educativa contribuyen a promover el acceso inclusivo,
personalizado y a lo largo de la vida a un patrimonio cultural universal.
Como novedad en esta edición 2014 cabe destacar que, además de las tradicionales líneas de “informática educativa” y de
“educación en informática”, el simposio desarrolla los eventos ISELEAR (Ingeniería del Software en eLearning) y SPDECE
(Simposio Pluridisciplinar sobre Diseño y Evaluación de Contenidos Digitales Educativos) como líneas adicionales e integradas en el
mismo. Así mismo, junto con las presentaciones de artículos científicos, el Simposio ofrece un conjunto de talleres y sesiones
temáticas.
En esta edición se recibieron un total de 60 contribuciones. Tras un exhaustive proceso de revision por pares, en el que cada
contribución fue revisada por, al menos, tres miembros del comité de programa, 34 fueron aceptadas como “artículo largo”, otras 9
fueron aceptadas como “artículo corto”, y 2 fueron aceptadas como propuesta de taller. Los trabajos aceptados ofrecen una completa y
actualida perspectiva del estado actual y las tendencias en Informática Educativa en cada una de las dimensiones abordadas en el
Simposio.
Este volumen no habría sido posible sin el trabajo y esfuerzo realizado por los distintos participantes en SIIE’14, tanto por los
autores de las contribuciones, como por los miembros del comité de programa, como por la organización orquestada por la UNIR. A
todos ellos nos gustaría expresar nuestro más sincero agradecimiento. También nos gustaría agradecer a las distintas entidades que, de
una u otra forma, han patrocinado o han colaborado con el Simposio: ADIE (la Asociación para la Informática Educativa), promotora
oficial de las ediciones en España del Simposio, de nuevo la UNIR, entidad que ha acogido esta decimosexta edición, la IEEE
Education Society, que alojará los post-proceedings de la conferencia, así como el Capítulo Español de esta sociedad, el Capítulo
Español de ACM SIGSE, la Asociación de Técnicos en Informática (ATI), la Cátedra UNESCO en eLearning de la UNIR, y
TELSpain (la Asociación Española de eLearning).
José Luis Sierra
Presidente del Comité de Programa
ix
Métodos y casos de estudio en Educación en
Informática (MCCE)
Prefacio a la línea temática sobre Métodos y Casos en
Educación en Informática
La línea temática de Métodos y Casos en Educación en Informática agrupa todos los temas relativos a la Educación en
Informática, incluyendo métodos y herramientas para la educación en campos específicos de la Informática, y estrategias de
enseñanza y aprendizaje del pensamiento computacional más allá de las disciplinas específicas de Informática. Los temas
originalmente contemplados por esta línea incluyen, entre otros, los siguientes:
• Diseño y evaluación de herramientas para la enseñanza-aprendizaje en materias específicas de informática
• Visualizaciones y animaciones para educación en informática
• Simulaciones y juegos serios para educación en informática
• Diseño curricular en Informática. Métodos y casos de implementación del ACM/IEEE CSC 2013
• Informática en enseñanzas secundarias. Pensamiento computacional.
• Enseñanza-aprendizaje de materias propias de la informática (programación, bases de datos, sistemas operativos,
arquitectura de computadores, lenguajes de programación y construcción de compiladores, …)
• Informática en ciencias experimentales, sociales y humanas. Métodos y casos de enseñanza en Ciencia Computacional
• Métodos y casos en Platform-Based Development (web, móviles, etc.)
• Estrategias de aprendizaje en informática
• Cursos masivos en abierto en informática
Esta línea agrupa 12 trabajos (8 artículos largos y 4 artículos cortos) organizados en 4 sesiones temáticas: curricula y métodos,
casos de estudio I, evaluación y casos de estudio II.
Juan Manuel Dodero
José Luis Sierra
Coordinadores de la Línea Temática sobre Métodos
y Casos en Educación en Informática
13
Diseño curricular del desarrollo de aplicaciones para la
nube siguiendo las pautas ACM/IEEE CS2013: Un
caso práctico en la ULPGC
Francisca Quintana-Domínguez; Carmelo Cuenca-Hernández
Departamento de Informática y Sistemas
Universidad de Las Palmas de Gran Canaria
Las Palmas de Gran Canaria, España
{fquintana, ccuenca}@dis.ulpgc.es
Resumen—Este artículo describe la puesta en marcha de la
asignatura “Desarrollo de aplicaciones para la nube” en el contexto
del Experto Universitario de Virtualización y Computación en la
nube impartido en la Universidad de Las Palmas de Gran Canaria.
La asignatura, cuyos contenidos han sido diseñados siguiendo la
guía curricular de la ACM/IEEE (CS2013), posee 6 créditos ECTS
y está planificada según las pautas del EEES, donde el proceso de
enseñanza-aprendizaje está centrado en el estudiante y sigue al
máximo la directriz de aprender haciendo. Para ello, los estudiantes
utilizan desde el primer día los laboratorios virtuales construidos
con servicios en la nube proporcionados por proveedores públicos.
Palabras claves—computación en la nube, planificación de
enseñanza, IaaS, PaaS, SaaS
I. INTRODUCCIÓN
La Universidad de Las Palmas de Gran Canaria (ULPGC) en
España imparte desde el año 2009 la titulación oficial de Grado
en Ingeniería Informática (GII). Una titulación oficial está
caracterizada por el ámbito nacional y la homogeneidad de la
misma, con independencia del centro universitario donde sea
impartida. Esta homogeneidad, necesaria por una parte para el
reconocimiento nacional del título, también implica falta de
flexibilidad para adaptar las materias impartidas a las nuevas
demandas de la sociedad. La ULPGC ofrece una oferta
complementaria de títulos propios de Experto Universitario cuyo
objetivo es facilitar la especialización de los recién titulados y la
adecuación a las nuevas tecnologías de los titulados que ya
ejercen la profesión.
La computación en la nube (Cloud Computing) [1], y dentro
de ésta la infraestructura como un servicio (Infraestructure as a
Service o IaaS) y la plataforma como un servicio (Platform as a
Service o PaaS) [2], constituyen temas de interés de la guía
curricular de la ACM/IEEE CS2013 [3], además de ser bloques
temáticos cada vez más demandados por los estudiantes y
profesionales de las Tecnologías de la Información y de las
Comunicaciones (TIC). Más concretamente, el término
computación en la nube aparece en la guía curricular de la
ACM/IEEE CS2013 en el área de conocimiento de computación
paralela y distribuida (Parallel and Distributed Computing)
como una unidad de conocimiento opcional que posee cinco
resultados del aprendizaje.
Dado el carácter novedoso y opcional de estas materias, que
poca cabida tuvieron en la titulación de GII, la ULPGC empezó
a impartir en el curso 2013/14 el título propio de Experto
Universitario en Virtualización y Computación en la Nube
(EUVCN1). Este título propio, de 24 créditos ECTS, está
estructurado en 4 asignaturas de 6 créditos: “Virtualización”,
“Clústeres de computadores y almacenamiento distribuido”,
“Desarrollo de aplicaciones para la nube” e “Infraestructuras
tecnológicas para la computación en la nube”, y se cursa durante
un año académico.
La asignatura de “Desarrollo de aplicaciones para la nube”
(DAN), objeto de este artículo, incluye dos bloques temáticos: el
primero dedicado a las IaaS públicas, y el segundo centrado en
el desarrollo de aplicaciones que aprovechen las IaaS públicas
utilizando PaaS. Este carácter de distribuido (“o en la nube”) de
las materias a tratar en la asignatura hace que la utilización de
laboratorios virtuales (LVs) [4] sea una necesidad implícita,
dejando a los laboratorios convencionales (LCs) la función de
proveer a los estudiantes de un puesto de trabajo ofimático que
permita la conexión a los laboratorios virtuales.
En el resto de secciones se describe la planificación y puesta
en marcha de la asignatura DAN del EUVCN. En la sección II
se describen los contenidos educativos desarrollados, los cuales
motivan la necesidad de la utilización de un LV para la
formación práctica. En la sección III se trata el uso de los
servicios de Amazon Web Services [5] y de Heroku [6] para
conformar el laboratorio virtual de la asignatura. A
continuación, en la sección IV se describe el procedimiento de
eEvaluación [7] como una acción más para facilitar el proceso
1
Experto
Universitario
http://eii.ulpgc.es/experto_cloud
15
en
Computación
en
la
Nube,
F. Quintana; C. Cuenca - Diseño curricular del desarrollo de aplicaciones para la nube siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC
de enseñanza aprendizaje. Finalmente, en la sección V se
establecen las conclusiones de este caso de uso de educación en
Informática basado en la guía curricular de ACM/IEEE.
II. CONTENIDOS EDUCATIVOS
La asignatura “Desarrollo de aplicaciones para la nube”
(DAN) tiene 6 créditos ECTS y sus objetivos generales son
aprender a desplegar y migrar aplicaciones a la nube y a
desarrollar aplicaciones para la nube.
Siguiendo la guía curricular de ACM/IEEE, esta asignatura
contiene los resultados de aprendizaje #1 y #4 de la propuesta
curricular para la unidad de conocimiento de computación en la
nube del área de conocimiento de computación paralela y
distribuida: #1 Analizar la importancia de la elasticidad y el
manejo de recursos en la computación en la nube y #4 Desplegar
una aplicación que use infraestructura en la nube para recursos
de cómputo y datos. Además de los resultados de aprendizaje
propios de la computación en la nube, la asignatura también
cubre de manera colateral otras áreas o unidades de
conocimiento de los planes de estudio (como pueden ser los
sistemas de control de versiones, la tolerancia a fallos o la alta
disponibilidad), aunque no se entrará en ellos en detalles pues el
objetivo es analizar en profundidad los tópicos relacionados con
la computación en la nube.
Para poder alcanzar los objetivos de la asignatura es
imprescindible manejar las infraestructuras tecnológicas de los
proveedores públicos de servicios en la nube. Dado que el
estudiante de un curso de experto universitario demanda
“aprender haciendo” desde las primeras horas de docencia, es
necesario seleccionar tempranamente un proveedor de servicios
en la nube para ejemplificar los contenidos a presentar. Internet
está llena de enlaces y anuncios de proveedores de
infraestructuras públicas como un servicio, anuncios de los más
grandes y populares como Amazon Web Service (AWS), Google
Cloud Platform o Windows Azure (por citar sólo a algunos) y
también anuncios de proveedores locales geográficamente. La
elección realizada para DAN fue AWS, por los siguientes
motivos:
• se trata de una plataforma consolidada,
• posee una excelente documentación, lo que incluye
algunos libros de texto dedicados a su estudio,
• es el proveedor de servicios que aglutina una mayor
variedad de servicios bajo un mismo entorno,
• proporciona servicios a otros proveedores de
infraestructura, y posee un programa educativo que dota
con becas para el uso de sus infraestructuras a los
estudiantes de cursos universitarios que utilicen AWS
como plataforma tecnológica de servicios en la nube.
Los servicios de AWS seleccionados como contenidos
educativos están relacionados con diferentes temáticas: servicios
de computación (Elastic Cloud Computing o EC2) [8], servicios
de almacenamiento (Simple Storage Service o S3), red de
16
entrega de contenidos de alta disponibilidad (Cloudfront), colas
de desacoplo (Simple Queue Services o SQS), balanceo elástico
de carga (Elastic Load Balancer o ELB), bases de datos
relacionales (RDS) y bases de datos no relaciones (SimpleDB
[9]).
La interacción de los estudiantes con los servicios remotos
proporcionados con AWS tiene lugar desde equipos locales
utilizando un Application Programming Interface (API). Esta
API está desarrollada para los lenguajes más comunes (PHP,
Java, Javascript…), y también para otros menos populares
(como Python o Ruby [10]). La elección de uno u otro podría no
ser relevante de no considerarse el requisito de unificar el
lenguaje de programación a usar tanto en este primer bloque
temático de uso de servicios de infraestructura como en el
segundo bloque temático. Con este objetivo en mente, el
lenguaje de programación seleccionado fue Ruby.
Uno de los escenarios laborales más usuales consistirá en
migrar un servicio a la nube, ya que las pequeñas y medianas
empresas están demandando migrar aplicaciones locales a la
nube. Ya no solamente servicios tradicionales, como el correo
electrónico, sino también sus propias aplicaciones. Por este
motivo, y para cubrir el resultado de aprendizaje #1, se diseñó
una primera parte práctica de utilización de los servicios de
computación EC2 que consistió en migrar una aplicación local
ya desarrollada a la nube, teniendo en cuenta las particularidades
de la aplicación [11], [12]. Una vez movida la aplicación, la
modificamos para que sea escalable horizontalmente y poder
usar los servicios de autoescalado de AWS, balanceo de carga
ELB y RDS. El escalado horizontal (o scale-out), que puede
verse en la Fig.1, consiste en el despliegue de máquinas
adicionales con las mismas características, como respuesta al
aumento de la demanda en la aplicación. La otra opción para
responder a cambios en la demanda es el escalado vertical (o
scale-up) donde se sigue manteniendo una única máquina, pero
ésta se reemplaza por una de mayores prestaciones.
Figura 1. Escalado vertical frente escalado horizontal.
Para comprobar el correcto funcionamiento de la aplicación
cuando aumenta y disminuye la demanda, la infraestructura
virtual desplegada es sometida a una carga con un patrón de alta
y baja intensidad definida con JMeter [13]. De este modo
comprobamos la elasticidad de los servidores del sitio, que debe
comportarse provisionando servidores cuando aumenta la
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Quintana; C. Cuenca - Diseño curricular del desarrollo de aplicaciones para la nube siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC
demanda y reduciendo el número de servidores cuando ésta
disminuye.
Un componente básico de la nube lo forman los sistemas de
almacenamiento basados en la nube, que forman parte de los
contenidos que la guía curricular de la ACM/IEEE incluye
dentro de la unidad de conocimiento de la computación en la
nube del área de conocimiento de computación paralela y
distribuida. En este tema los estudiantes realizan programas para
subir y descargar archivos al S3 de AWS utilizando credenciales
de seguridad. También estudian y practican con la alta
disponibilidad de los datos utilizando Cloudfront.
El desacoplo de tareas con colas permite adaptar el flujo de
un proceso a los recursos disponibles. El desarrollo de una
aplicación de scrapping de imágenes de una dirección de web
sirve de motivación para desacoplar las tareas (almacenamiento
de la URL, análisis de su contenido, descarga de las imágenes al
S3, escalado y construcción de un mosaico de imágenes). Los
datos, o referencias a datos, para cada una de las tareas son
encolados y desencolados en el SQS de AWS. En este punto los
estudiantes utilizan el servicio de base de datos no relacional
SimpleDB de AWS para almacenar los datos persistentes de la
aplicación.
El segundo bloque temático de la asignatura trata sobre el
desarrollo de aplicaciones para la nube. El primer tema presenta
las diferencias entre el desarrollo de una aplicación web y el
desarrollo de una aplicación para la nube [6], [14]. La elección
de un PasS para “aprender haciendo” (y “enseñar haciendo”) fija
la selección concreta de los LVs. En el momento de la
confección de los contenidos, dos PaaS’s (Google App Engine
[15] y Heroku [6]) lideraban el mercado de las plataformas como
servicio. Google App Eng utilizaba como único lenguaje de
programación Python. Heroku, que es un PaaS construido sobre
el IaaS de Amazon, estaba orientado inicialmente a facilitar el
despliegue de aplicaciones escritas en el framework de
aplicaciones Ruby on Rails (RoR) [16] (ahora Heroku es
políglota y permite el despliegue de aplicaciones en PHP, Java,
y otros lenguajes). RoR es un framework consolidado de
desarrollo, utilizado en aplicaciones tan populares como Twitter
y GitHub. Todo esto, más la existencia de gemas (bibliotecas de
funciones y comandos de consola) para facilitar el uso del
manejo de las infraestructuras de AWS en RoR, y la
disponibilidad de una capa gratuita en Heroku para el despliegue
de las aplicaciones, condicionó la elección de Heroku como
PaaS y RoR como framework de programación.
Los contenidos de este segundo bloque están centrados en el
desarrollo de aplicaciones escalables horizontalmente, con alta
disponibilidad y de alto rendimiento. Los temas a tratar
incluyen:
• Las aplicaciones sin estado, como forma de desarrollar
aplicaciones que puedan ser escaladas de forma
XVI Simposio Internacional de Informática Educativa (SIIE’14)
automática sin que se produzcan pérdidas de
información.
• El desarrollo de aplicaciones siguiendo el modelo de
procesos en background, que permite realizar el
procesamiento y trasiego de información de forma
transparente al servidor, las subidas asíncronas de
archivos a la nube, que permiten al servidor estar
disponible para servir las peticiones de los usuarios.
• El manejo eficiente de cache y de servidores de cache,
que permitirán obtener un mejor rendimiento y tiempo de
respuesta en las aplicaciones, desde el punto de vista del
usuario y del sistema.
• La gestión de ficheros de logs, que facilitará la tarea de
análisis de información relevante del comportamiento del
sistema.
• La utilización de paneles profesionales de gestión de
aplicaciones, como forma de agilizar las tareas de
administración de las mismas.
El éxito de una aplicación para la nube depende de muchos
factores, que muchas veces no tienen que ver con el diseño
tecnológico. Uno de ellos es la experiencia del usuario y más
concretamente el tiempo de respuesta. En aplicaciones con el
requisito de alta disponibilidad y alto rendimiento, el uso
efectivo de un mecanismo de cache resulta imprescindible para
proporcionar la experiencia de “tiempo real” a los usuarios. La
utilización de cache implica tener en cuenta la seguridad de los
datos ya almacenados de manera que no puedan ser accedidos
por usuarios no autorizados. Los estudiantes tratan estos tópicos
configurando inicialmente un servidor local de MemCached [17]
y luego optimizan partes de una aplicación ya desarrollada
mediante las técnicas que proporciona Ruby on Rails de page
caching, action caching y fragment caching. En una segunda
parte, mueven la aplicación y el servidor de MemCached a la
plataforma Heroku.
Una aplicación para la nube casi con toda seguridad utilizará
procesos en background. El trabajo concreto desarrollado por los
estudiantes fue la creación de las imágenes miniatura
(thumbnails) de imágenes subidas con anterioridad. Para ello fue
necesario proveer a la aplicación de un servidor de Redis [18]
para guardar los datos específicos del trabajo en background.
Los dos casos de provisionamiento planteados son la instalación
y configuración de un servidor local de Redis y la utilización de
un add-on de Heroku. La gestión de procesos en background
implica la utilización de recursos virtuales en la plataforma
donde está desplegada la aplicación para la nube, así que el
estudiante debe configurar el número mínimo y máximo de
procesos en background y calcular el coste económico de los
mismos.
Los ficheros de logs proporcionan información de la
utilización de la aplicación. En una aplicación no escalable la
17
F. Quintana; C. Cuenca - Diseño curricular del desarrollo de aplicaciones para la nube siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC
información de logs está en ficheros generalmente locales al
servidor. Las configuraciones autoescalables requieren del
patrón de stateless y ello implica establecer una gestión externa
de la información de logs. Utilizamos el add-on “papertrail2” de
Heroku que proporciona el servicio de externalización de logs, y
los estudiantes emplean la consola para clasificar la información,
realizar búsquedas, establecer reglas; también calculan el coste a
pagar al proveedor del servicio y aprenden el establecimiento de
alarmas.
Por otro lado, el uso de los servicios ofertados por los
proveedores públicos implica ser capaz de realizar una previsión
del coste de utilización de dichos servicios. Por este motivo en la
asignatura también trabajamos en la realización de presupuestos
para uso de los servicios públicos, como forma también de
decidir cuál de los proveedores ofrece una mejor relación
precio/servicios en determinados escenarios.
estudiantes no consumió el total de la beca, y el 20% restante
que lo consumió fue por causas ajenas al curso (descuidos a la
hora de apagar las máquinas o publicar las claves privadas para
el acceso a los recursos). El requisito solicitado por Amazon
para disponer de las becas para los alumnos es tan simple como
rellenar un formulario con los datos del curso (universidad,
contenidos, fechas de impartición). Estas becas no incluyen
todos los servicios, por ejemplo, es posible utilizar con la beca
de manera gratuita instancias Small de EC2, pero no en cambio
lanzar instancias Large de EC2.
III. LABORATORIOS VIRTUALES
En ciencias de la computación, el término “virtual” significa
que no es “real”. En el caso de la computación en la nube, y más
concretamente con las IaaS y PaaS, la virtualidad y la realidad
son indistinguibles. No existe la opción de un laboratorio real
(LR) diferente al virtual. En cualquier caso, la utilización de un
LR o LV no excluye de la necesidad de un computador personal
para realizar la conexión al mismo.
El diseño del laboratorio para el estudio de la IaaS puede
realizarse o bien dotándose de los servidores físicos y del
software necesario tipo OpenStack [19] u Open Nebula3 o bien
utilizando infraestructuras externas. El primer caso requiere un
desembolso económico difícilmente abordable en estos días para
un centro universitario. La alternativa de construir el IaaS con
máquinas virtuales en un computador personal compromete el
estudio de la escalabilidad horizontal, además de alejar al
estudiante de la materia de la asignatura dedicándole a tareas
avanzadas de administración de sistemas. Es por ello que el uso
de las infraestructuras públicas, con su sistema de “pago por
uso”, constituyó la única alternativa real viable.
La mejor opción para los laboratorios la constituyó AWS por
diversos motivos. AWS proporciona una cantidad ingente de
material libre: vídeos, tutoriales, documentación, cursos que
cubren temas básicos y también avanzados. AWS permite el uso
de sus servicios a través de una consola web (ver Fig. 2), lo que
proporciona una manera sencilla de presentar los servicios antes
de empezar con temas más avanzados de administración con
líneas de comando o programación.
Además AWS dispone de un programa educativo de becas
orientadas a la promoción de cursos realizados dentro del
entorno universitario con unas cuantías más que suficientes para
la realización de las prácticas planteadas. El 80% de los
2
3
18
Figura 2. Consola web para acceder a los servicios de Amazon.
En cuanto al bloque temático de desarrollo de aplicaciones,
los estudiantes contaron con computadores personales y
software libre de desarrollo. La parte más relevante de este
bloque es el despliegue continuo de las aplicaciones a la nube.
En este sentido, Heroku, la plataforma elegida para conformar el
LV, proporciona el sistema de integración continuo entre los
entornos de desarrollo y producción necesarios en las
metodologías iterativas de desarrollo. Una sofisticada consola
web (ver Fig. 3) permite añadir recursos a nuestra aplicación, sin
necesidad de desplegar las infraestructuras reales que los
proporcionen.
Figura 3. Consola web para el acceso al PaaS Heroku.
Otra vez, al igual que con AWS, la capa gratuita
proporcionada por Heroku es suficiente para el desarrollo de los
objetivos de la asignatura, lo que implica un ahorro en costes
que repercute directamente en el estudiante.
papertrail, https://papertrailapp.com
Open Nebula, http://opennebula.org
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Quintana; C. Cuenca - Diseño curricular del desarrollo de aplicaciones para la nube siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC
IV. EEVALUACIÓN
La asignatura presentada está contextualizada en un curso de
experto universitario cuyos contenidos versan acerca de la
“nube”. Las características de la materia hacen que la manera
adecuada de evaluación sean las evidencias obtenidas con la
realización de los trabajos de cursos y proyectos propuestos.
Además de la utilización de una plataforma basada en
Moodle para la distribución del material, la comunicación vía
correos electrónicos y foros, y la entrega de documentación al
profesor, los LVs posibilitan la corrección remota de estos
trabajos. Por ejemplo, el manejo de identidades de AWS permite
que un estudiante habilite el acceso a los profesores a las
infraestructuras a su cargo, con lo cual estos pueden evaluar de
manera remota los proyectos realizados. Un estudiante puede
planificar un aumento de demanda de un sitio web desplegado y
configurar una alarma automática para este evento, de manera
que avise por correo electrónico o SMS al profesor de que puede
ingresar para comprobar el correcto funcionamiento de las
infraestructuras.
Por otro lado, se fomenta la utilización de repositorios en la
nube para el código desarrollado y la definición de grupos de
colaboración, lo que junto con el uso de PaaS, permite a los
profesores la evaluación remota de las aplicaciones realizadas.
Los repositorios remotos permiten a los profesores clonar las
aplicaciones para inspeccionar la calidad del código
desarrollado, y la ejecución de una batería de pruebas sobre el
código permite la comprobación de la corrección del mismo.
En este contexto, entendemos por trabajos de curso las
modificaciones propuestas por los profesores de los ejemplos
prácticos desarrollados durante las sesiones presenciales y que
no requieren de una gran dedicación temporal. Estos trabajos de
curso fomentan la autonomía profesional ya que el estudiante
busca individualmente la solución a los trabajos planteados,
acostumbrándose a manejar y valorar la información
proporcionada por los proveedores y a enfrentarse a las nuevas
circunstancias que aparezcan.
Así, para la temática de autoescalado de las máquinas
virtuales, el trabajo de curso consistió en cambiar las alarmas del
servicio CloudWatch de AWS para que la provisión de
infraestructura no ocurriera tal y como los profesores la
presentaron mediante un pico de la utilización de la CPU, sino a
una hora determinada (simulando un inicio de un jornada
laboral, un comienzo de un evento concreto…). Los estudiantes,
en el caso del S3, tuvieron que escribir una versión simplificada
de la orden rsync de Linux para sincronizar un repositorio
local con un bucket en el S3 de AWS.
Dos fueron los proyectos planteados, uno para cada temática
de la asignatura. El primero aglutina en un único trabajo todos
los servicios de AWS estudiados. La aplicación, dada una URL
(en la práctica utilizamos las direcciones de diarios digitales),
XVI Simposio Internacional de Informática Educativa (SIIE’14)
determinaba qué palabras (excluidas preposiciones y artículos) y
con qué frecuencia se utilizaban en los titulares de las noticias.
La Fig. 4 ayuda a entender el proyecto. Hay cuatro colas y cinco
procesos. Un primer proceso que simplemente añade la URL de
partida a la cola de URLs. Un proceso que recoge los mensajes
en esta cola y descarga la página html al S3 y genera dos
mensajes con la información de la localización de la página: una
para la cola de títulos y otro para la cola de crawler. Otro
proceso recoge los mensajes en la cola de títulos y crea otro
fichero en el S3 con texto plano con el contenido de los títulos y
añade un mensaje a la cola de contar palabras. Otro proceso más,
paralelamente al anterior, coge los datos la cola de crawler y
busca URLs relativas al sitio y las añade a la cola de URLs. Un
último proceso toma el texto plano del fichero en el S3 indicado
en el mensaje de la cola de contar palabras y registra en
simpleDB la utilización de las palabras.
Figura 4. Propuesta de proyecto fin de curso.
En el segundo proyecto, los estudiantes desarrollaron una
aplicación web (la propuesta fue una aplicación de muestrario de
zapatos) a desplegar en Heroku. Tenían que utilizar procesos en
background y técnicas de cache a la vez que el servicio de
almacenamiento del S3 para la gestión de la subida de ficheros.
La elección de Ruby como lenguaje de programación y Ruby
on Rails como framework de desarrollo tiene una ventaja
añadida de cara a realizar la eEvaluación de los trabajos y
proyectos del curso. Ruby y Ruby on Rails incluyen frameworks
de prueba (TestUnit, RSpec, Cucumber… [20]) que permiten
fácilmente realizar el diseño de pruebas por parte del
profesorado para comprobar la corrección de los desarrollos, y
llegado el caso, incluso a la automatización de los mismos [21].
V. CONCLUSIONES
El éxito de una propuesta de un título de Experto
Universitario puede medirse en primera aproximación por el
19
F. Quintana; C. Cuenca - Diseño curricular del desarrollo de aplicaciones para la nube siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC
baremo de tener un número suficiente de estudiantes
matriculados que posibiliten su impartición. En el caso
presentado de EUVCN, el número de estudiantes matriculados
durante el curso 2013/2014 (primer año de impartición) ha sido
de 19 (el número mínimo necesario para comenzar la
impartición fue definido en 10 y el número máximo de plazas
ofertadas eran 20) de los cuales finalizaron 18. Otra segunda
medida y también importante, lo constituyen las encuestas de
satisfacción al estudiante. Estas son organizadas por la ULPGC
para cada uno de los cursos que imparte y los resultados son
publicados en el siguiente curso académico.
Un factor que también concluimos como determinante para
el éxito de la propuesta realizada es haber mantenido las tasas de
matrícula lo más bajas posibles. Sin duda alguna, la utilización
de recursos virtuales, más allá incluso de los laboratorios
virtuales, con uso de infraestructuras como un servicio en la
nube, supuso un ahorro económico sustancial que tuvo su reflejo
en la tasas de matrícula. También la adecuación de las
tecnologías a desarrollar en la asignatura a las infraestructuras o
plataformas para las que se disponía, o bien de una capa gratuita
de servicio o de becas, contribuyó a ello.
El perfil de los estudiantes matriculados estuvo repartido
entre un 50% de egresados con más de 15 años transcurridos
desde la obtención de la titulación y un 50% de recién titulados.
El primer grupo necesitó apoyo específico para actualizarse en
los fundamentos de la materia a cursar, ya que éstos no habían
sido objeto de estudio durante su formación ni durante su
ejercicio profesional (fundamentos como lenguajes dinámicos,
tecnologías de desarrollo web y metodologías recientes de
ingeniería del software). Este apoyo durante la impartición de
las horas presenciales consistió en la presencia de otro profesor
(además del ponente) para resolver las dificultades del estudiante
para seguir la docencia, además de apoyos con tutorías y
diálogos virtuales a través de una plataforma digital
proporcionada por el centro basada en Moodle.
Todos los estudiantes apreciaron la metodología de
enseñanza “aprender haciendo”, donde los contenidos fueron
desarrollados principalmente mediante supuestos prácticos y
prácticas en laboratorios virtuales. El uso de los laboratorios
virtuales (provisionados por Amazon) desde la primera sesión de
la asignatura confirió a ésta una cercanía al mundo real de lo que
es el modelo comercial actual de pago por uso. Los estudiantes
tenían responsabilidad real de gestión, al tener que autogestionar
un presupuesto (en nuestro caso limitado a 100$), donde ellos
son los únicos responsables del uso indebido de las
infraestructuras y del pago de los sobrecostes. Este pago por uso
propició desde el comienzo que el estudiante cuantificara el
coste de los servicios más allá de saber de manera genérica que
costaban dinero.
La facilidad con la que se realizó el despliegue de un sitio
web escalable horizontalmente utilizando infraestructuras
públicas que hacían el papel de LV despertó mucho interés entre
20
los estudiantes, incluso entre aquellos que eran profesionales de
las tecnologías webs. La realización de este supuesto práctico
utilizando laboratorios propios, reales o virtuales, además del
gasto económico de dotarlos, hubiera requerido muchas más
horas de dedicación del profesorado, por las tareas de
administración de los sistemas informáticos involucrados.
A pesar de las ventajas señaladas, el movimiento de un
centro de proceso de datos (CPD) a la nube produce todavía
desconfianza entre los estudiantes (e informáticos en general).
La lectura de las licencias de software ayuda a mitigar un poco
la situación, sin llegar a aplacarla por completo.
La utilización de un lenguaje dinámico como Ruby supuso
una dificultad extra a resolver in situ con los estudiantes. La no
declaración de tipos, la metaprogramación y otras características
propias del lenguaje requirió de clases exclusivas para presentar
este lenguaje de programación aún sin ser un objetivo del curso.
Los otros contenidos educativos tales como la utilización de
espacio de almacenamiento distribuido (S3), colas de mensajes
(SQS) y base de datos relacionales (RDS ) y no relaciones
(simpleDB), tuvieron también una presentación de “aprender
haciendo”. Nuevamente, la utilización de LV en la nube eliminó
el coste inicial de dotar una infraestructura mínima para
practicar estos tópicos y el tiempo de administración de los
laboratorios. La temática de las prácticas, de utilizar los
servicios estudiados para realizar scrapping de la web, despertó
también gran interés entre los estudiantes.
El desarrollo profesional de aplicaciones para la nube no es
un tema sencillo, implica la integración de muchas herramientas
profesionales que tienen una curva de aprendizaje alta. Por poner
dos ejemplos, RoR abraza la metodología de software
“desarrollo basado en pruebas” (Test Driven Development o
TDD) [20] desde el comienzo del desarrollo y Heroku utiliza el
gestor de versiones Git [22]. Esto supone que la puesta al día
requiere de un trabajo extra personal, que debe ser planificado y
tenido en cuenta en las horas de dedicación del estudiante a la
asignatura.
La utilización de un PaaS para el despliegue continuo de las
aplicaciones y el uso de los recursos de la nube resultó novedoso
y fue apreciado por los alumnos, pero llevó tiempo que los
estudiantes descubrieran la ventaja de la utilización de pruebas
desde el comienzo del desarrollo y de un PaaS para el
despliegue.
Los resultados de aprendizaje están en consonancia con las
directrices de la ACM/IEEE CS2013 que prima el manejo de
recursos en la computación en la nube y el despliegue de
aplicaciones que usan infraestructuras en la nube para
provisionar recursos de cómputo y de datos.
La eEvaluación fue utilizada por la mayoría de los
estudiantes ya que proporciona un mecanismo que facilita la no
presencialidad, lo que permite compaginar vida laboral y
estudios. No obstante, algunos estudiantes prefirieron la
evaluación tradicional, dado que la metodología de enseñanza de
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Quintana; C. Cuenca - Diseño curricular del desarrollo de aplicaciones para la nube siguiendo las pautas ACM/IEEE CS2013: Un caso práctico en la ULPGC
“aprender haciendo” estrecha una relación entre los docentes y
el estudiante que este último no quiere romper en el momento de
la evaluación. El estudiante desea poder contar sus avances a los
profesores y prefiere concertar una cita a través de la plataforma
virtual con el profesorado para la corrección y defensa de los
trabajos prácticos. El sistema de eEvaluación confirmó ser una
alternativa válida.
Para el curso 2014/20015 la Escuela Universitaria de
Informática (EII) de la ULPGC ofrece, además del EUVCN, un
máster universitario con una intensificación con materias
similares a las aquí presentadas, donde podrá mejorarse el caso
descrito en este artículo con un mayor número de estudiantes.
VI. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
R. Buyya, C. Vecchiola and S. T Selvi, Mastering Cloud Computing:
Foundations and Applications Programming, 1st ed. USA: Morgan
Kaufmann, 2013.J.
L. Carlson, Programming for PaaS, 1st ed. USA: O’Reilly Media, 2013.
Computer Science Curricula 2013, http://www.acm.org/education/CS2013final-report.pdf
Y. Zhang, G. Song and X Chen, Virtual and Remote Laboratory
Development: A Review, Earth and Space, 2010, 3843–3852, available at
http://ascelibrary.org/doi/abs/10.1061/41096%28366%29368
J. van Vliet and F. Paganelli, Programming Amazon EC2, 1st ed. USA:
O’Reilly Media, 2011.
C. Kemp and B. Gyger, Professional Heroku Programming, 1st ed. USA:
Wrox, 2013.
Ma. E. del Moral Pérez and L.Villalustre Martínez, e-Evaluación en
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
[21]
[22]
entornos virtuales: Herramientas y estrategias, IV Jornadas de Campus
Virtuales 2013, España
J. van Vliet and F. Paganelli, Programming Amazon EC2, 1st ed. USA:
O’REILLY, 2011.
P. Chaganti and R. Helms, Amazon SimpleDB Developer Guide. Scale
your application’s database on the cloud using Amazon SimpleDB , 1st ed.
UK: Pack Publishing Ltd., 2010.
D. Thomas, A. Hunt and C. Fowler, Programming Ruby 1.9 & 2.0: The
Pragmatic Programmers’ Guide (The Facets of Ruby), 4th ed. USA:
Pragmatic Bookshelf, 2013.
G. Reese, Cloud Application Architectures. Building Applications and
Infrastructure in the Cloud, 1st ed. USA: O’REILLY, 2009.
J. Barr, Host Your Web Site in the Cloud: Amazon Web Services Made
Easy, 1st ed. USA: SitePoint Pty Ltd, 2010.
B. Erinle, Perfomance Testing with JMeter 2.9, 1st ed. UK: Pack
Publishing Ltd., 2013.
B. Wilder, Cloud Architecture Patterns , 1st ed. USA: O’REILLY, 2012.
C. Severance, Google App Engine, 1st ed. USA: O’REILLY, 2009.
M. Hartl, Ruby on Rails Tutorial: Learn Web Development with Rails, 1st
ed. USA: Addison-Wesley Professional Ruby Series, 2012.
A. Soliman, Getting Started with Memcached, 1st ed. USA: Packt
Publishing (November 25, 2013)
J. L. Carlson, Redis in Action, 1st ed. USA: Manning Publications; 1
edition (June 28, 2013)
K. Pepple, Deploying OpenStack, 1st ed. USA: O’REILLY, 2011.
N. Rappin, Rails Test Prescriptions, 1st ed. USA: Pragmatic Bookshelf,
2010.
J. F. Smart, Jenkins: The Definitive Guide, 1st ed. USA: O’REILLY, 2011.
S. Chacon, Pro Git, 1st ed. USA: Apress, 2009.
21
¿Podemos considerar la docencia como un fractal?
Patricia Compañ Rosique; Rafael Molina Carmona; Rosana Satorre Cuerda; Faraón Llorens Largo
Dpto. Ciencia de la Computación e Inteligencia Artificial
Universidad de Alicante
Alicante, España
[email protected], [email protected], [email protected], [email protected]
se han llevado a cabo a lo largo de distintos cursos académicos.
El apartado 5 presenta un modelo general de docencia y el
apartado 6 concreta este modelo al ámbito particular de esta
asignatura. Por último, el apartado final describe las
conclusiones derivadas de la reflexión presentada.
Resumen— Este trabajo surge de una reflexión de las tantas
que se plantea el profesor cada curso académico. Estas reflexiones
nos han llevado a analizar los distintos puntos de vista del
estudiante y del profesor frente a la realidad que se desarrolla en el
aula, tratando aspectos como la motivación y el trabajo del
estudiante, la masificación de las aulas y el diseño de las actividades
formativas. Resultado de este estudio, se propone un modelo
docente basado en los principios de la geometría fractal, en el
sentido de que se plantean diferentes niveles de abstracción para
las diversas actividades formativas y éstas son auto similares, es
decir, se descomponen una y otra vez. En cada nivel una actividad
se descompone en tareas de un nivel inferior junto con su
evaluación correspondiente. Con este modelo se fomenta la
retroalimentación y la motivación del estudiante. El modelo
presentado se contextualiza en una asignatura de introducción a la
programación pero es totalmente generalizable a otra materia.
II.
En cualquier escenario de la vida cotidiana, los actores
tienen diferentes apreciaciones según el papel que desempeñan;
sólo hay que pensar en cualquier situación que ocurra entre
padre-hijo, jefe-empleado, incluso amigo-amigo. La relación
profesor-estudiante no está al margen de esta realidad y se
refleja en las diversas dificultades con las que se encuentra el
profesor en su labor docente día a día. En muchas ocasiones,
situaciones que el docente considera como problemáticas,
carecen de importancia para el estudiante, y viceversa. Es
importante, a nuestro parecer, tratar de encontrar una
explicación a estas discrepancias.
Para comparar la opinión de los estudiantes con la de los
docentes en algunos aspectos clave del desarrollo de las clases,
les hemos pasado unos cuestionarios. Aunque el estudio se
centra en la asignatura Programación 1 del Grado en Ingeniería
Multimedia, los cuestionarios se han llevado en cabo en todos
los grupos de esta asignatura, y también en 3 grupos de
Programación 1 del Grado en Ingeniería Informática, para poder
comparar con grupos heterogéneos. En los próximos apartados
se analizan los resultados y se presentan nuestras conclusiones.
Palabras clave— motivación; evaluación; fractal.
I.
EL COLOR DEL CRISTAL CON QUE SE MIRA
INTRODUCCIÓN
Al inicio de cada curso académico, el docente se plantea el
modelo que debe seguir para impartir su asignatura, esperando
que funcione adecuadamente. Al final del curso, sin embargo, se
cuestiona mucho de lo que inicialmente estaba convencido. Esto
que puede parecer negativo, en realidad no lo es, puesto que
curso a curso provoca modificaciones, avances y mejoras en la
impartición de la materia, ¿por qué repetir los errores pasados
habiendo tantos errores nuevos por cometer? Fruto de estas
inquietudes, surge este trabajo.
La propuesta presentada en este documento, se enmarca en
una asignatura de introducción a la programación en el Grado de
Ingeniería Multimedia, aunque estas reflexiones no son
exclusivas ni particulares de la asignatura, sino que se pueden
producir en cualquier ámbito en el que se desarrolle un proceso
de enseñanza-aprendizaje.
El trabajo se organiza de la siguiente manera. En el apartado
2 se muestra la distinta percepción de estudiantes y docentes
frente a las mismas situaciones. El apartado 3 presenta otros
aspectos de carácter más general, fundamentales en el proceso
docente. En el apartado 4 se describen distintas experiencias que
A. La cuantificación del trabajo del estudiante
Los profesores consideramos frecuentemente que los
estudiantes no dedican el tiempo suficiente fuera del aula para
trabajar la materia. En nuestro caso, dado que se trata de una
asignatura de 6 créditos, teniendo en cuenta la correspondencia
de las horas presenciales (en aula) y las no presenciales (fuera
del aula) de trabajo del estudiante, deberían dedicarle
aproximadamente unas 6 horas semanales de trabajo no
presencial. Para medir el trabajo fuera del aula, hicimos dos
preguntas. La primera de tipo valorativo, preguntando si dedican
tiempo suficiente a la asignatura, y la segunda de tipo
23
P. Compañ; R. Molina; R. Satorre; F. Llorens - ¿Podemos considerar la docencia como un fractal?
cuantitativo, sobre el tiempo dedicado, dando tres posibles
respuestas: menos de 3 horas semanales, entre 3 y 6 horas y más
de 6 horas. Revisando los resultados de las encuestas vemos que
no le dedican el tiempo previsto y sin embargo no perciben de
manera radical que el tiempo destinado es claramente
insuficiente. Si observamos el gráfico de la figura 1,
prácticamente casi la mitad de los estudiantes creen que le
dedican el tiempo necesario a la asignatura, y sin embargo, se
detecta que una inmensa mayoría de los estudiantes le dedican
menos de las horas consideradas como necesarias por el
profesorado para asimilar la materia. Es más, muy pocos
estudiantes se han aproximado a las 6 horas de dedicación
recomendadas según créditos ECTS. Estos datos corroboran la
percepción que tenemos los profesores sobre el trabajo de los
estudiantes fuera del aula, especialmente si tenemos en cuenta
las calificaciones finales. No obstante, ¿debemos deducir que los
malos resultados vienen de la poca dedicación o son otras las
causas de las malas calificaciones?, ¿sabemos los profesores
estimar el tiempo que necesitan para realizar las distintas
actividades?, ¿tenemos algún método realmente fiable para
saber el tiempo que utilizan? Todas estas preguntas nos llevan a
diferentes reflexiones y propuestas que presentamos más
adelante.
Fig. 1. Izquierda: ¿Crees que dedicas el tiempo necesario a la asignatura?
Derecha: ¿Cuánto tiempo le dedicas a la asignatura fuera del aula?
B. El objetivo del aprendizaje
Otra cuestión interesante es averiguar qué percepción tienen
los estudiantes de los objetivos de aprendizaje de la asignatura.
Seguramente nos llevaremos muchas sorpresas, porque los
objetivos que los profesores planteamos y los que perciben los
estudiantes son a menudo muy distintos. En nuestro caso, nos
interesa conocer la idea que tiene el estudiante de primer curso
de lo que es diseñar un programa. Según nuestra experiencia,
para un estudiante lo fundamental es que el programa realice la
tarea solicitada sin tener en cuenta si es un diseño adecuado,
simple, eficiente, etc., es decir, que funcione sea como sea.
Teniendo en cuenta esta perspectiva se entiende perfectamente
que consideren que la asignatura debería impartirse
íntegramente en un aula de ordenadores. Para ello hemos
preguntado si consideran interesante que la asignatura se
imparta íntegramente en un aula de ordenadores. En la figura 2
presentamos los resultados: una abrumadora mayoría defienden
este tipo de aulas como las más adecuadas para la materia. Esto
no se corresponde exactamente con la opinión del profesor.
Desde nuestro punto de vista, frente al ordenador, los estudiante
24
tienden a centrarse en escribir código sin analizar de antemano
el diseño de la solución en su conjunto. Previsiblemente no
funcionará como esperan y entonces se dedicarán a parchearla
incorporando nuevas instrucciones, copiando y pegando código
hasta ensamblar un programa que medio funciona pero que
resulta totalmente incomprensible. Si hubieran dedicado un
tiempo a pensar en el diseño, no sucedería esto, pero a ellos les
parece un tiempo perdido los minutos en los que no escriben
código. Evidentemente se hace necesario el uso de un ordenador
para poder implementar el programa pero las actividades
formativas deben estar diseñadas de forma que no se premie este
tipo de “programación que funcione a toda costa”.
Fig. 2. ¿Piensas que sería mejor impartir la asignatura íntegramente en un aula
de ordenadores?
Fig. 3. ¿Crees que es adecuado el número de estudiantes del aula de teoría?
Grupo de referencia de tamaño 125.
Fig. 4. ¿Crees que es adecuado el número de estudiantes del aula de teoría?
Comparación entre grupos de diferente tamaño.
C. El tamaño de los grupos y el método docente
El número de estudiantes que hay en las clases denominadas
de teoría es percibido por el docente como un gran
contratiempo. Consideramos absurdo intentar explicar una
materia eminentemente práctica en una clase con 100
estudiantes. Los únicos que prestan o pueden prestar atención
son los que están en las primeras filas. Además, cuando el
tamaño del grupo es pequeño, el profesor puede interactuar con
XVI Simposio Internacional de Informática Educativa (SIIE’14)
P. Compañ; R. Molina; R. Satorre; F. Llorens - ¿Podemos considerar la docencia como un fractal?
los estudiantes de forma cercana con lo que se podría plantear
una evaluación menos enfocada en la realización de exámenes.
El hecho de tener pocos estudiantes hace que el profesor
conozca el trabajo/esfuerzo que cada uno dedica a la asignatura.
Para recabar la opinión de los estudiantes, les preguntamos si
creían que el número de estudiantes del aula de teoría es
adecuado. Como intuíamos, los estudiantes piensan que el
tamaño es superior al adecuado en una inmensa mayoría, como
se observa en la figura 3. No obstante, nos pareció interesante
conocer la opinión de los estudiantes en grupos de tamaño más
reducido. Aprovechando que los profesores también imparten
docencia en una asignatura de idénticos contenidos en el Grado
de Ingeniería Informática donde la casuística de tamaños de
grupo es mayor, se les hizo la misma pregunta. Los resultados se
muestran en la figura 4 para cuatro tamaños de grupo distintos.
En ella se observa que el número de estudiantes que consideran
que el tamaño es adecuado va descendiendo conforme aumenta
el tamaño del grupo a la vez que aumenta los que perciben que
el tamaño es excesivo.
A pesar de que los estudiantes corroboran nuestra impresión,
los datos no son tan concluyentes como se esperaba del estudio.
Se ha paliado en parte la problemática de la masificación porque
el profesor se ha adaptado para impartir su clase no de la forma
que le gustaría, con una participación activa del estudiante, sino
de la única forma posible, en modo lección magistral. De este
modo, el estudiante no sufre tanto el hecho de que el exceso de
compañeros le afecte a la hora de atender a la clase, sin
embargo, si durante la lección ejerciera una participación más
activa, inmediatamente se daría cuenta de que en los grupos
grandes es imposible.
III.
AÑADIENDO MÁS PIEZAS AL PUZLE
Además de los aspectos tratados en el apartado anterior,
existen otras cuestiones que subyacen en el pensamiento común
de los docentes pero que no son fácilmente medibles.
A. La motivación
Toda actividad humana se realiza en función de la
recompensa que se obtiene al llevarla a cabo. Esta recompensa
puede ser muy variada. Por poner algunos ejemplos, el trabajo
nos proporciona, entre otras, una recompensa económica pero
también puede proporcionarnos satisfacciones de índole más
personal; ayudar a los demás de forma altruista proporciona
recompensas emocionales; el ocio nos satisface como diversión,
etc. Esto puede llevarse a la educación y en este sentido, los
estudiantes trabajan para conseguir su propia recompensa: en
muchos casos la recompensa que persiguen es superar la
materia, pero en otros, la satisfacción la proporciona el propio
placer de aprender. Es lo que se suele llamar motivación
extrínseca (conseguida por medio de recompensas externas) y
XVI Simposio Internacional de Informática Educativa (SIIE’14)
motivación intrínseca (la que depende de nosotros mismos y que
viene dada por los intereses de cada uno) [5,7].
El estudiante motivado intrínsecamente selecciona y realiza
actividades por el interés, curiosidad y desafío que éstas le
provocan, y está más dispuesto a aplicar un esfuerzo mental
significativo durante la realización de la tarea, a comprometerse
en procesamientos más ricos y elaborados y en el empleo de
estrategias de aprendizaje más profundas y efectivas. Por
ejemplo, los estudiantes que tienen un interés real por aprender a
programar intentan hacer cosas distintas de las que se explican,
hacen preguntas relativas a “cómo se haría esto”, preguntan por
temas que no se ven en la asignatura, o se interesan por
cuestiones que se ven en asignaturas más avanzadas.
En cambio, un estudiante motivado extrínsecamente se
compromete en ciertas actividades solo cuando éstas ofrecen la
posibilidad de obtener recompensas externas; además, es posible
que tales estudiantes opten por tareas más fáciles, cuya solución
les asegure la recompensa. En el campo educativo, estas
recompensas suelen ser obtener buenas notas, lograr el
reconocimiento por parte de los demás, evitar el fracaso, etc.
Generalmente la motivación extrínseca es más fácil de
inducir que la motivación intrínseca. Por eso los docentes
trabajamos, principalmente, la motivación extrínseca, y por eso
repetimos muy a menudo frases como las siguientes: “para
aprobar debes trabajar más”, “si hacéis este ejercicio, tendréis
un punto más en la nota final”,… En definitiva, hacemos
hincapié en la recompensa para conseguir un fin. Por supuesto,
la capacidad del docente para transmitir su entusiasmo por la
materia impartida consigue en muchos casos que la motivación
intrínseca de los estudiantes se despierte, pero medir el interés
intrínseco por una materia es extraordinariamente complejo.
B. La evaluación
Otra situación complicada a la que se enfrenta el docente es
cómo hacer un seguimiento lo más cercano posible del trabajo
del estudiante. Llevados por este objetivo, al final nos cargamos
de trabajo y no siempre conseguimos la meta propuesta.
Estos aspectos relacionados con la motivación y la forma de
despertarla los hemos detectado todos los docentes en nuestra
tarea diaria, posiblemente de una forma más informal: estamos
convencidos de que nuestros estudiantes no demuestran
demasiado interés por la materia, que no trabajan lo suficiente,
que estudian lo justo para aprobar y, que si no obtienen algo
tangible de una actividad (un incremento en la nota) no la hacen.
Nos empeñamos en repetirles que trabajen y lleven al día la
materia con escasos resultados habitualmente. ¿En qué nos
estamos equivocando? Probablemente, en varias cosas, pero
quizás uno de los aspectos clave es la evaluación. Queremos que
trabajen día a día, que tengan iniciativa propia y muestren
interés en ir un poco más allá de los contenidos establecidos en
la ficha de la asignatura, pero sólo les evaluamos el examen, o
25
P. Compañ; R. Molina; R. Satorre; F. Llorens - ¿Podemos considerar la docencia como un fractal?
en el mejor de los casos, varios exámenes y trabajos a lo largo
del curso. Muchas de las actividades que les proponemos o que,
incluso, nos gustaría que ellos realizaran por iniciativa propia,
no son evaluadas, es decir, no llevan asociada ninguna
recompensa. En definitiva, estamos dejando buena parte de su
aprendizaje (tal vez la parte más interesante) a su propia
motivación intrínseca. La cuestión es ¿podemos conseguir que
todas estas tareas lleven asociada su recompensa? Quizás así, la
recompensa externa les lleve a interiorizar el interés por esta
materia.
Como punto de partida de nuestro modelo docente,
proponemos la máxima siguiente: “no debe haber actividad sin
evaluación”, es decir, todas y cada una de las actividades que el
estudiante realiza en la asignatura (todas, incluyendo la
asistencia a clase, la participación, cualquier ejercicio y hasta el
estudio en casa) deben ser evaluadas. El reto es, por lo tanto,
identificar qué actividades son necesarias para que el estudiante
adquiera las competencias y los conocimientos que nos hemos
planteado, y de qué forma podemos evaluarlas.
Por supuesto, evaluar no significa examinar. La evaluación
puede suponer una actividad en sí misma cuando se realiza un
examen o una presentación en clase, pero también puede ser
cualquier elemento casi imperceptible dentro de una actividad:
validar si se ha buscado determinado contenido, comprobar el
tiempo empleado en realizar una actividad, responder a una
pregunta en un foro o incluso comprobar si simplemente se ha
leído, ver si los materiales se han descargado del Campus
Virtual, etc. En definitiva, habría que diseñar las asignaturas a
partir de actividades, cada una diseñada para conseguir una o
varias competencias, y cada una con su propia evaluación.
IV.
HAY QUE TROPEZAR PARA APRENDER A LEVANTARSE
Durante los distintos cursos académicos en los que hemos
impartido la asignatura hemos ido realizando actividades de
distinto tipo con la intención de acercarnos más al estudiante, a
su modo de aprender para conseguir mayor involucración. A
continuación vamos a mostrar algunas de estas actividades.
A. Corrección entre compañeros
Este tipo de ejercicios no sólo es útil en el mundo
académico, también en el empresarial y ha sido presentado en
numerosas ocasiones en congresos de educación [2, 3, 6]. Para
realizar este ejercicio no sólo deben utilizar los conocimientos
que poseen de la asignatura sino que además deben saber
aprovecharlos para analizar y valorar el trabajo de sus
compañeras y compañeros. Una persona es consciente de lo que
sabe o no sabe cuando intenta explicar un determinado problema
a alguien. Aplicando este “conocimiento popular” a la
corrección de ejercicios de compañeros, los estudiantes ponen a
prueba su nivel de conocimiento y surgen las dudas. Es buen
momento para resolver esas dudas, pues seguro van a estar más
26
receptivos. Para que el proceso de corrección consiga el fin
perseguido por nosotros y no llene de confusión y agobio a
nuestros estudiantes, les indicamos previamente qué deben
valorar. Además, en la corrección no sólo deben indicar lo
incorrecto o inadecuado, sino cómo lo escribirían ellos para que
la solución fuese correcta. Después de la corrección entre
compañeros el profesor resuelve el problema insistiendo en lo
que realmente es importante y lo que no lo es; no olvidemos que
se trata de una asignatura de Programación y no existe una
solución única. Por ejemplo, el uso de la estructura adecuada es
fundamental y no lo es el que se dejen algún ‘;’ por escribir. En
la corrección del profesor el objetivo es que el alumno
identifique lo importante y relevante para el diseño de una
solución.
Los estudiantes han visto útil esta actividad y los docentes en
esta ocasión coincidimos con ellos. En esta actividad han tenido
que poner a prueba sus conocimientos para resolver y para
corregir, a la vez que veían en otras soluciones otros puntos de
vista.
B. Avance por entregas
Otra actividad desarrollada en este curso ha sido la de forzar
la entrega de un ejercicio concreto de cada práctica para poder
avanzar en la resolución de las siguientes prácticas. Cada
enunciado de prácticas contiene ejercicios resueltos a modo de
ejemplos y ejercicios por resolver, y es aconsejable su
realización. Para poder acceder a la siguiente práctica se les ha
obligado a entregar uno de los ejercicios propuestos. A ellos no
les ha parecido mal pero los profesores consideramos que no ha
cumplido nuestro objetivo a la vez que ha incrementado
notablemente nuestra carga de trabajo. La idea es aplicar algo
similar a las estrategias que se emplean en gamificación, pero a
un nivel muy básico. Es algo similar a la superación de los
distintos niveles de un juego, de tal forma que ellos valoran sus
avances. El objetivo de este ejercicio era el de motivarles a
terminar para avanzar y al mismo tiempo con la corrección del
profesor proporcionar una retroalimentación permitiendo
entregar de nuevo, revisar lo presentado, etc. Hemos visto con
cierta decepción que se han centrado en realizar únicamente ese
ejercicio para su entrega e incluso en copiar de otros
compañeros la solución. Es cierto que en algunos casos les ha
sido útil, pero también es cierto, que esos mismos estudiantes
hubiesen avanzado de igual modo si no existiese la obligación
de entregar un ejercicio.
C. Aprendizaje autónomo
Una actividad interesante que hemos puesto en práctica al
inicio de la asignatura ha sido la de que ellos se preparen un
determinado tema y sin explicación del profesor respondan a
unas cuestiones. Tras la cumplimentación del cuestionario, el
profesor explica cada una de las cuestiones formuladas. De
nuevo estudiantes y docentes coincidimos en la utilidad de esta
XVI Simposio Internacional de Informática Educativa (SIIE’14)
P. Compañ; R. Molina; R. Satorre; F. Llorens - ¿Podemos considerar la docencia como un fractal?
actividad. El objetivo no es el de conseguir una nota más a
sumar a la evaluación final, sino el de que los estudiantes se
anticipen a la explicación del profesor. De ese modo cuando el
docente explique el tema, los estudiantes poseen unos
conocimientos previos que les hacen estar más perceptivos y les
permiten seguir perfectamente la clase.
D. Presentaciones entre compañeros
En algunos grupos de teoría, es decir, en aula sin
ordenadores, con un número reducido de estudiantes hemos
podido realizar otro tipo de actividad porque son grupos
pequeños. La actividad consistía en que determinados
estudiantes se debían preparar pequeñas partes del tema que se
iba a dar en la siguiente sesión con la intención de explicarlo a
sus compañeros. De nuevo ponemos en práctica la idea de que
cuando uno tiene que explicar un concepto a otra persona debe
conocer lo que explica y por tanto se debe obligar a prepararlo
con más detalle y por tanto se refuerza su aprendizaje, tal y
como se constata en [1]. Además, con este tipo de ejercicios
trabajamos la competencia transversal de exposición oral.
Tanto los estudiantes como los docentes consideramos que
esta actividad es útil no sólo para el que la prepara, sino para los
que reciben la explicación, porque todos hablan el mismo
idioma. Con esto el profesor puede corregir errores o
interpretaciones que de otro modo no sabría que se dan.
V.
LA TEORÍA DEBE SER PRODUCTO DE LA REFLEXIÓN
Considerando las argumentaciones descritas y apoyándonos
en las teorías de otros autores como la Instructional Theory de
Reigeluth [4], se plantea el modelo de diseño fractal.
Un fractal es un objeto geométrico cuya estructura básica se
repite a varias escalas. Los conceptos matemáticos relacionados
con los fractales pueden inspirarnos a la hora de proponer un
modelo docente. Proponemos definir un elemento primitivo que
se repita a diferentes escalas, de forma autosimilar, al estilo de
los fractales, es decir cada elemento primitivo está formado a su
vez por elementos de un nivel inferior pero con el mismo
esquema, dotando a la propuesta del carácter fractal del que
hablamos.
Actividad formativa
Objetivos
Activida
Activida
Evaluaci
ón
+
Activida
Evaluaci
Evaluaci
+
ón
+
+
ón
+
+
Fig. 5. Elementos de una actividad formativa
Los elementos primitivos que conforman el modelo docente
son las actividades formativas. De esta forma, cada nivel está
formado por un conjunto de actividades formativas, todas con
una estructura común: objetivos de aprendizaje, conjunto de
actividades de un nivel inferior en las que se descompone, y
evaluación, basada en la de los niveles inferiores (figura 5).
Nótese que cada actividad, independientemente de sus
características (compleja o simple, instantánea o de larga
duración, abstracta o concreta, teórica o aplicada), lleva
aparejada algún tipo de evaluación.
Para seguir el esquema fractal, las actividades formativas
están integradas a su vez, por actividades de un nivel inferior
pero con el mismo esquema. El nivel mínimo lo marca el
carácter de la actividad y el tipo de asignatura, permitiendo al
docente diseñar su asignatura conforme a sus criterios.
Como resultado de este modelo, el aprendizaje emerge de
forma natural del propio dise ño: la suma de actividades de
diferente tipo y diferente nivel prepara al estudiante para
enfrentarse a problemas de diferente índole y facilita los
procesos de análisis, síntesis y generalización; la evaluación de
cada actividad propicia que el estudiante sea consciente de la
importancia de la actividad y de su repercusión final en los
resultados del aprendizaje.
En el modelo planteado, el último nivel, o nivel atómico,
debe ser lo suficientemente simple como para que las acciones
de evaluación sean fácilmente automatizables. Para ello, es
necesario incorporar herramientas tecnológicas que faciliten esa
Fig. 6. Actividad formativa de primer nivel, correspondiente a toda la asignatura
XVI Simposio Internacional de Informática Educativa (SIIE’14)
27
P. Compañ; R. Molina; R. Satorre; F. Llorens - ¿Podemos considerar la docencia como un fractal?
Fig. 7. Actividades formativas de penúltimo y último nivel
labor y proporcionen al estudiante retroalimentación inmediata
sobre sus avances.
La relación entre el modelo propuesto y los fractales no es
meramente anecdótica. Algunas de las características de los
fractales se pueden relacionar con el modelo dando lugar a una
formalización y a nuevas conclusiones. Veamos algunas de las
características interesantes.
1) Los objetos fractales son demasiado complejos e
irregulares como para ser descritos a través de los
conceptos geométricos tradicionales. El proceso
docente es, desde luego, muy complejo e irregular.
Cada materia, cada actividad, cada profesor e, incluso,
cada estudiante puede requerir un diseño docente
distinto.
2) Los objetos fractales son autosimilares, es decir, su
forma se define a partir de copias más pequeñas de la
misma figura. De esta manera, las copias son similares
al todo, con la misma forma pero distinto tamaño. Este
concepto es clave en nuestro diseño docente: pese a la
irregularidad del proceso, podemos encontrar una
forma común y repetirla a diferentes escalas: titulación,
curso, asignatura, tema, actividad…
3) Para los objetos fractales se definen nuevas formas de
dimensión: por ejemplo, podemos encontrar curvas
fractales (cuya dimensión topológica es uno) que llenan
todo el plano. Surgen nuevas formulaciones para la
dimensión (por ejemplo, la dimensión fractal o la
dimensión de Hausdorff-Besicovitch) que nos informa
mejor sobre la forma en que el fractal ocupa el espacio.
De alguna manera este concepto se puede asimilar con
el proceso de aprendizaje: frente a una docencia lineal
28
de dimensión 1 (los conceptos uno detrás de otro, lo
que difícilmente va a abarcar todo el espacio docente)
planteamos una docencia fractal con una dimensión
mayor que 1 (esto permite bajar a diferentes niveles y
rellenar todo el espacio docente a través de actividades
formativas).
4) Los fractales no sólo nos permiten representar objetos
geométricos, sino que se han utilizado para modelar la
dinámica evolutiva de los sistemas complejos. Esta
dinámica consta de ciclos (en los que partiendo de una
realidad establecida simple acaban en la creación de
una nueva realidad más compleja) que a su vez forman
parte de ciclos más complejos que forman parte del
desarrollo de la dinámica de otro gran ciclo. El proceso
docente puede verse como un sistema complejo
sometido a una dinámica evolutiva.
VI.
DE LA TEORÍA A LA PRÁCTICA
Para completar el modelo propuesto, presentamos una
propuesta concreta de diseño fractal de la asignatura a la que
hemos hecho mención. Puesto que el diseño completo de la
asignatura es demasiado extenso, presentamos aquí sólo algunos
niveles y actividades que consideramos significativas y
proporcionan una idea global del modelo completo.
En primer lugar presentamos el nivel superior, de diseño de
la asignatura en su conjunto. La actividad definida es el
conjunto de toda la asignatura y sus objetivos son generales y
abarcan toda la materia (figura 6). Cada una de las actividades
del nivel inferior trata un gran bloque temático de la asignatura,
y a su vez se dividirán en otras actividades (no descritas aquí por
cuestiones de espacio). Es importante destacar que cada una de
XVI Simposio Internacional de Informática Educativa (SIIE’14)
P. Compañ; R. Molina; R. Satorre; F. Llorens - ¿Podemos considerar la docencia como un fractal?
esas actividades de segundo nivel lleva aparejada una
evaluación, descrita en este caso en forma de porcentajes,
aunque el profesor puede definirlas según su criterio.
En la figura 7 presentamos una actividad de penúltimo nivel
que se desglosa a su vez en dos actividades atómicas, es decir,
de último nivel. Estas actividades nos permiten concretar la
forma en que se realiza la evaluación. Como se puede observar,
las acciones de evaluación son en este nivel muy concretas y
muy sencillas. Muchas de ellas serán fácilmente automatizables
(están indicadas con *) mientras que en otros casos se requerirá
la participación activa del profesor. Como ya se ha destacado, el
aspecto clave de este modelo es la evaluación. Por ejemplo, y
siguiendo con las actividades de la figura 7, si queremos que los
estudiantes comprendan la idea de solución iterativa y el
concepto de bucle, es importante que entiendan que las
soluciones iterativas a un problema se dan en la vida real. Por
eso se propone una actividad consistente en describir un
problema real cuya solución sea iterativa. Puesto que toda
actividad debe llevar asociada algún tipo de evaluación, es
necesario encontrar una forma de evaluar este aspecto.
Simplemente proponemos cuantificar el número de problemas
descritos. Desde luego esta medida no es en sí misma muy
indicativa del nivel de comprensión del alumno, pero sí valora el
esfuerzo realizado y, debemos tener en cuenta, que es sólo un
valor atómico en un conjunto muy grande de indicadores que,
todos en conjunto serán mucho más valiosos. Además, en la
actividad “Formalizar la solución como un algoritmo”,
evaluaremos habilidades de mayor nivel cognitivo.
Esto es sólo un ejemplo simple, pero ilustra lo que se ha
descrito en el apartado anterior: si se desciende a suficiente
nivel, se puede evaluar prácticamente cada una de las acciones
que hacen los estudiantes, permitiendo una retroalimentación del
proceso. Para que el modelo sea implementable, debemos
conseguir que la mayoría de acciones de evaluación sean
automáticas. De esta forma, liberaremos al profesor de tareas
repetitivas y conseguiremos que el estudiante pueda tener una
retroalimentación inmediata, motivándolo y destacando el valor
de esa actividad en el resultado final del aprendizaje.
El modelo se centra en la evaluación de todas las actividades
realizadas por el estudiante con un doble objetivo: por una parte
proporcionar una retroalimentación al estudiante para fomentar
su motivación e informarle de sus avances y por otra parte
facilitar al docente más elementos de juicio que harán la
evaluación más objetiva. Si además se introducen elementos de
automatización, se facilita la labor del docente y la inmediatez
de la retroalimentación. Por lo tanto, el apoyo de herramientas
tecnológicas es fundamental es una propuesta como esta.
En cuanto a la dedicación del estudiante estamos
convencidos de que una mayor motivación supondrá un
aumento en el tiempo de trabajo. Por otro lado, las herramientas
tecnológicas nos permitirán monitorizar mejor ese tiempo y
llevar el aprendizaje centrado en el estudiante a grupos más
numerosos.
Las actividades atómicas funcionan como piezas de
construcción por lo que se facilita su reutilización en otra parte
de la asignatura así como su incorporación en cualquier otra.
Suele suceder que el profesorado tenga muchas ideas
interesantes, pero se debe adaptar a la realidad con la que se
encuentra en su labor diaria, es decir, grupos masificados y cada
vez menos recursos. Mientras tanto, podrá aplicar sólo algunas
de estas ideas y dejar las menos automatizables a los grupos en
los que por su tamaño y características sea posible.
VIII. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
VII. CONCLUSIONES
En este trabajo hemos presentado un modelo docente basado
en diseño fractal. Este modelo es consecuencia de analizar los
distintos puntos de vista del estudiante y del profesor ante las
circunstancias que se producen en el aula y de intentar
solucionar algunas de las carencias detectadas.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[7]
J. Biggs. Calidad del aprendizaje universitario. Madrid: Narcea. 2005.
M. Marqués, J.M. Badía, y E. Martínez. Una experiencia de
autoevaluación y evaluación por compañeros. Actas XIX JENUI.
Castellón, julio 2013
J. Oliver y V. Canivell (2009). Evaluación entre compañeros: estudio de su
correlación con la evaluación del profesor. Actas XV JENUI. Barcelona,
julio 2009.
C. Reigeluth (2012). Instructional Theory and Technology for the New
Paradigm of Education. RED, Revista de Educación a Distancia. Número
32. septiembre 2012.
M. C. Rinaudo, A. Chiecher y D. Donolo. Motivación y uso de estrategias
en estudiantes universitarios. Su evaluación a partir del Motivated
Strategies Learning Questionnaire. En Anales de psicología 2003, vol. 19,
no 1 (junio), 107-119.
P. Sánchez y C. Blanco. Una metodología para fomentar el aprendizaje
mediante sistemas de evaluación entre pares. Actas XIX JENUI. Castellón,
julio 2013.
J. A. Tapia. Motivación y aprendizaje en el aula. Cómo enseñar a pensar.
Madrid: Santillana. 1995.
29
Relación entre estilos de aprendizaje, motivación y
eficiencia en alumnos de Informática
Ouafae Debdi; Maximiliano Paredes-Velasco; J. Ángel Velázquez-Iturbide
Depto. Informática y Estadística
Universidad Rey Juan Carlos
Móstoles, Madrid, España
{ouafae.debdi, maximiliano.paredes, angel.velazquez}@urjc.es
Resumen— Cuando la metodología docente es acorde con el
estilo de aprendizaje del alumno, el proceso de aprendizaje es más
eficaz. Hay diferentes modelos que describen los estilos de
aprendizaje de los alumnos. En este artículo presentamos una
experiencia con alumnos de un grado de ingeniería de informática
en la que estudiamos la relación que puede existir en aplicar dos
metodologías docentes diferentes (una tradicional y otra de
aprendizaje activo) respecto al rendimiento y motivación de los
alumnos en el aprendizaje de algoritmos voraces usando el modelo
de Felder-Silverman.
• Activo/reflexivo. Los alumnos cuyo estilo de aprendizaje
es activo no aprenden mucho de las conferencias o clases
tradicionales, sino que aprenden mejor experimentando y
trabajando en grupo. Los alumnos cuyo estilo es
reflexivo requieren situaciones que dan la oportunidad de
pensar sobre la información presentada.
• Visual/verbal. Los alumnos visuales recuerdan mejor lo
que ven (imágenes, diagramas, películas, etc.) y se les
puede olvidar la información que se les comunica
verbalmente. Los alumnos verbales recuerdan mucho de
lo que oyen y aún más de lo que se ve y se oye.
• Sensorial/intuitivo. Los alumnos cuyo estilo es sensorial
son buenos para memorizar hechos y tienden a ser
cuidadosos y lentos en la realización de su trabajo,
mientras que los intuitivos prefieren principios, teorías e
innovación, y la repetición no les gusta. A los alumnos
intuitivos les aburren los detalles, son buenos en captar
nuevos conceptos y tienden a completar las tareas
rápidamente.
• Global/Secuencial. Los alumnos de estilo global tienden
a aprender de forma fragmentada: se pueden sentir
perdidos por días o semanas sin poder resolver
problemas simples o mostrar la comprensión más
elemental, hasta que de pronto “hacen las cosas”. Los
alumnos secuenciales se sienten cómodos con el material
presentado en el dominio de una progresión ordenada
lógicamente, siguiendo los procesos de razonamiento
lineal en la resolución de problemas. Pueden ser fuertes
en el pensamiento y en el análisis convergente y
aprenden mejor cuando los profesores presentan material
en una progresión constante de dificultad.
Para cada categoría de una dimensión se identifican tres
niveles de preferencia: equilibrado (el alumno puede aprender
con ambas categorías), moderado (aprende más fácil con una
categoría que con la otra) y fuerte (tendrá dificultades para
aprender en un medio que no proporcione un entorno basado en
esa categoría). Según De Bello [12], para elegir el modelo
correcto o instrumento para la investigación o aplicación, éste
debe ser evaluado con respecto a su fiabilidad y validez.
Nosotros hemos usado el modelo de Filder-Silverman ya que ha
Palabras Clave— Estilos de aprendizaje; modelo de FelderSilverman; eficiencia educativa; motivación
I.
INTRODUCCIÓN
El concepto de estilos de aprendizaje describe nuestras
preferencias para percibir y adquirir la información, cómo la
mente procesa la información y cómo es influida por nuestras
percepciones. Keef [1] define los estilos de aprendizaje como
los rasgos cognitivos, afectivos y fisiológicos que sirven como
indicadores relativamente estables de cómo los alumnos
perciben interacciones y responden a sus ambientes de
aprendizaje. Kolb [2] los describe como “algunas capacidades
de aprender, que se destacan por encima de otras, como
resultado del aparato hereditario de las experiencias vitales
propias y de las exigencias del medio ambiente actual”.
Según Alonso y sus colegas [3], cuando el tipo de enseñanza
es acorde al estilo de aprendizaje del alumno, éste aprende con
mayor eficacia. Además, la manera en que los individuos
afrontan el aprendizaje tiene impacto en su rendimiento [4]. Hay
varios modelos que describen los diferentes estilos de
aprendizaje que podemos encontrar, como Modelo de Kolb [5],
extendido por Honey y Mumford
[6], Modelo de la
Programación Neurolingüística [7], Modelo de Inteligencias
Múltiples de Gardner [8], Modelo de Hemisferios Cerebrales
[9], Modelo de Cuadrantes Cerebrales [10] o el Modelo de
Felder & Silverman [11]. Nuestro trabajo se basa en éste ultimo
modelo. El modelo de Felder-Silverman pretende captar los
diferentes estilos de aprendizaje entre los alumnos de ingeniería.
Consta de cuatro dimensiones:
31
O. Debdi; M. Paredes; J. Á. Velázquez-Iturbide - Relación entre estilos de aprendizaje, motivación y eficiencia en alumnos de Informática
sido validado y se ha demostrado su fiabilidad [13]. Además es
muy conocido y está reconocido entre los educadores de
ingeniería.
Los objetivos de esta comunicación son analizar los estilos
de aprendizaje de los alumnos de Informática y averiguar si
existe una relación entre estos y su rendimiento y/o motivación,
así como si hay alguna relación con la metodología de
aprendizaje aplicada en particular. Esta comunicación supone
una gran aportación para que los docentes de Informática
conozcan el esquema de aprendizaje que deben aplicar para
mejorar el rendimiento y la motivación de sus alumnos. El
apartado II del artículo describe el protocolo, instrumentos y
resultados de la evaluación de los estilos de aprendizaje. En los
apartados III y IV se presentan, respectivamente, los resultados
del análisis de correlación de estilos de aprendizaje con la
eficiencia educativa y con la motivación. En la sección V se
comentan los resultados del experimento. Finalmente, en la
sección VI se describen las conclusiones del trabajo.
II.
EVALUACIÓN DE ESTILOS DE APRENDIZAJE
En esta sección se analizan los estilos de aprendizaje para los
alumnos de informática y las correlaciones entre ésta y
motivación /eficiencia educativa de los alumnos. Primero, se
presenta el protocolo usado y después se recogen los resultados
obtenidos.
A. Protocolo
Las evaluaciones de estilos de aprendizaje, motivación de los
alumnos y eficiencia educativa se realizaron en abril de 2013 en
la asignatura troncal “Diseño y Análisis de Algoritmos” del
Grado de Ingeniería del Software de la Universidad Rey Juan
Carlos. En las evaluaciones han participado dos grupos: (1)
grupo experimental, al que se le aplicó una metodología
didáctica activa basada en la experimentación usando
GreedExCol [14] (herramienta interactiva de aprendizaje
colaborativo para el estudio de los algoritmos voraces que
muestra animaciones y gráficas sobre el comportamiento de los
mismos), y (2) grupo de control, basado en un método didáctico
tradicional (con clases magistrales y desarrollo y programación
de algoritmos voraces). En el grupo de control participaron 44
alumnos y en el experimental, 49. El análisis se realizó con el
programa SPSS 20.
Ambos grupos recibieron cinco sesiones de clases teóricas y
prácticas. Las sesiones teóricas fueron las mismas en los dos
grupos y se centraron en presentar el esquema voraz y
algoritmos voraces clásicos. Las clases prácticas consistieron en
que los alumnos debían determinar cuál es la función de
selección óptima para el problema de la mochila. El grupo
experimental disponía de la herramienta GreedExCol para
experimentar colaborativamente (en grupos de hasta cuatro
alumnos) con diferentes funciones de selección. El grupo de
control disponía de la implementación parcial de una clase Java
que resolvía el problema a falta de que el alumno implementase
32
las funciones de selección que creyese apropiadas. A ambos
grupos se les pidió que determinasen la función de selección
óptima con los recursos que tenían (GreedExCol o la clase
Java). La participación en las evaluaciones fue incentivada
aumentando ligeramente la nota de la práctica sólo por
participar. Las evaluaciones se completaron de forma anónima.
B. Instrumentos
De acuerdo con los objetivos planteados se utilizaron varios
instrumentos de medición en la experiencia. El instrumento
usado para medir los estilos de aprendizaje fue el cuestionario
de Felder-Silverman. Para evaluar la eficiencia educativa se
realizaron pretest de conocimiento sobre algoritmos voraces
(antes de recibir las clases teóricas) y posttest (al finalizar la
experiencia). La prueba de conocimiento constaba de seis
preguntas sobre fundamentos de optimización y algoritmos
voraces, incluyendo teoría y problemas sencillos. Cada examen
se puntuó en una escala de 0 (el grado más bajo) a 10 (el más
alto). Para conseguir la medición de motivación se ha utilizado
el instrumento EMSI (Escala de Motivación Situacional) [15],
realizando una primera medida de motivación de los alumnos
antes de realizar al experiencia práctica y una segunda medición
al finalizar. Esta escala es un instrumento adecuado para evaluar
la motivación situacional en el entorno educativo que consta de
14 ítems agrupados en 4 dimensiones: motivación intrínseca,
regulación identificada, regulación externa y desmotivación.
Todos los ítems responden a la misma pregunta: “¿Por qué
crees que debías realizar esta actividad para estudiar los
algoritmos voraces?”
C. Resultados de análisis de estilos de aprendizaje
La Tabla 1 muestra los ocho estilos de aprendizaje de cada
grupo y en conjunto. En resumen, los alumnos de ambos grupos
se inclinan a un estilo de aprendizaje activo, visual, sensorial y
secuencial (Tabla 1, columnas % de control y experimental). Por
tanto los dos grupos analizados prefieren aprender ensayando y
trabajando con otros (estilo activo), prefieren representaciones
visuales para la obtención de información (visual), les gusta
resolver problemas siguiendo procedimientos muy bien
establecidos
(sensorial)
y
aprenden en pequeños pasos incrementales y
relacionados
lógicamente (secuencial). Según Felder y sus colegas [16], la
enseñanza tradicional en los cursos de ingeniería favorece
aprendices reflexivos, verbales, intuitivos y secuenciales. En
otras palabras, son alumnos que aprenden a pensar las cosas y
prefieren trabajar solos (reflexivo), prefieren las explicaciones
escritas y habladas (verbal), prefieren principios, teorías e
innovación (intuitivo) y aprenden en pasos incrementales
(secuencial).
El único estilo común entre los estilos de aprendizaje de los
alumnos analizados y los estilos que les favorece un aprendizaje
tradicional [16] es el estilo secuencial. Con eso, podemos
XVI Simposio Internacional de Informática Educativa (SIIE’14)
O. Debdi; M. Paredes; J. Á. Velázquez-Iturbide - Relación entre estilos de aprendizaje, motivación y eficiencia en alumnos de Informática
presuntamente concluir que los dos grupos aprenden mejor con
una metodología de aprendizaje no tradicional.
TABLA 1. ESTILOS DE APRENDIZAJE DE TODOS LOS ALUMNOS.
Control Cont. % Experim.
Exp. % Total
Total %
Activo
33
75%
37
76%
70
75’27%
Reflexivo
11
25%
12
24%
23
24’73%
Visual
38
86%
43
88%
81
87’10%
Verbal
6
14%
6
12%
12
12’90%
Sensorial
36
82%
39
80%
75
80’65%
Intuitivo
8
18%
10
20%
18
19’35%
Global
12
27%
16
33%
28
30’11%
Secuencial
32
73%
33
67%
65
69’89%
La Tabla 2 muestra el resultado de las tendencias de los
alumnos analizados. Las preferencias más frecuentes en orden
descendente son: equilibrado (es decir, preferencias neutras),
moderado y fuerte. Por ejemplo, la mitad de los alumnos del
grupo de control pueden aprender con una dimension u otra. Sin
embargo, el 41’33% de los alumnos del grupo experimental
aprenderán fácilmente en una metodología de aprendizaje que
favorezca una dimensión, por ejemplo sea activo o reflexivo,
etc.
TABLA 2. PREFERENCIAS
Preferencia
Control
Experimental
Total
Equilibrado
51’14%
45’40%
48’27%
Moderado
35’23%
41’33%
38’28%
Fuerte
13’63%
13’27%
13’45%
III.
RESULTADOS DE CORRELACIÓN ENTRE ESTILOS DE
APRENDIZAJE Y EFICIENCIA EDUCATIVA
Presentamos los resultados de la correlación entre los estilos
de aprendizaje (en grupos separados y conjutamente) y la
eficacia educativa (medida como la resta posttest-pretest de las
medias obtenidas antes y después de recibir clases sobre
algoritmos voraces). Para analizar la correlación, se comprobó
primero la normalidad de las muestras, usando la correlación de
Pearson en el caso de normalidad de las muestras o la
correlación de Spearman en el caso contrario. El análisis se
realizó con el programa paquete estadístico SPSS 20.
Analizamos los resultados de los alumnos que contestaron las
dos pruebas. Las variables analizadas en a la correlación fueron
por un lado los ocho estilos de aprendizaje (activo, reflexivo,
visual, etc.) y por otro lado el aumento de las notas de la
eficiencia (posttest –pretest).
Con respecto al grupo de control, las muestras visual,
sensorial, activo y eficiencia siguen una distribución normal
(obtención de sig>0’05 de significación). Después se realiza la
XVI Simposio Internacional de Informática Educativa (SIIE’14)
correlación de Pearson entre estas muestras de estilos y
eficiencia e interpretando los resultados de ésta, no existe
ninguna correlación entre las muestras analizadas (obtención de
sig>0’05 de significación). A continuación, calculamos la
correlación de Spearman entre el resto de estilos que no siguen
una distribución normal y la eficiencia que según éste, no existe
ninguna correlación entre estos estilos de aprendizaje y
eficiencia (obtención de sig>0’05 de significación).
Con respecto al grupo experimental, las muestras activo,
sensorial, visual, secuencial y eficiencia siguen una distribución
normal (obtención de sig>0’05 de significación). A
continuación, calculamos la correlación de Pearson entre estas
muestras que según ésta, no existe ninguna correlación entre las
muestras de estilos y la eficiencia (obtención de sig> 0’05 de
significación). Por otro lado, interpretando el resultado de la
correlación de Spearman para el resto de muestras que no siguen
una distribución normal, existe una correlación negativa de 0’392 entre la eficiencia y el estilo de aprendizaje verbal
(obtención de sig=0’016 de significación).
Con respecto a la suma de los dos grupos, las muestras
activo, visual y eficiencia siguen una distribución normal
(obtención de sig>0’05 de significación). Según la prueba de
Pearson, no existe ninguna correlación entre las muestras
analizadas (obtención de sig>0’05 de significación). A
continuación, realizamos la prueba de Spearman entre el resto
de muestras que no siguen una distribución normal y eficiencia.
Según esta prueba, no existe ninguna correlación entre
eficiencia y las muestras analizadas (obtención de sig>0’05 de
significación).
IV.
RESULTADOS DE CORRELACIÓN ENTRE ESTILOS DE
APRENDIZAJE Y MOTIVACIÓN
Presentamos los resultados de la correlación entre los estilos
de aprendizaje (en grupos separados y conjuntamente) y el
aumento de motivación (posttest- pretest) calculado a partir de
la resta de la motivación (tanto de la media global como de cada
dimensión) obtenida antes y después de las clases. Para analizar
la correlación, se comprobó primero la normalidad de las
muestras, usando la correlación de Pearson en el caso de
normalidad de las muestras o la correlación de Spearman en el
caso contrario. El análisis se realizó con el programa paquete
estadístico SPSS 20. Analizamos los resultados de los alumnos
que contestaron las dos pruebas. Las variables analizadas en la
correlación fueron por un lado los ocho estilos de aprendizaje y
por otro lado el aumento de la motivación y sus cuatro
dimensiones (posttest-pretest).
Con respecto al grupo de control, las muestras que siguen
una distribución normal son activo, sensorial, visual, el aumento
de motivación global (diferencia posttest-pretest en la
dimensión de motivación global), el aumento de motivación
intrínseca (diferencia posttest-pretest en la dimensión de
motivación intrínseca), el aumento de regulación identificada
(diferencia posttest-pretest en la dimensión de regulación
33
O. Debdi; M. Paredes; J. Á. Velázquez-Iturbide - Relación entre estilos de aprendizaje, motivación y eficiencia en alumnos de Informática
identificada) y el aumento de regulación externa (diferencia
posttest-pretest en la dimensión de regulación externa)
(obtención de sig>0’05 de significación). A continuación
presentamos la correlación de Pearson entre estas muestras, que
según ésta, no existe ninguna correlación entre las muestras
analizadas (obtención de sig>0’05 de significación). A
continuación realizamos la correlación de Spearman entre el
resto de muestras que no siguen una distribución normal, que
nos afirma que no existe ninguna correlación entre las muestras
analizadas (obtención de sig>0’05 de significación).
Con respecto al grupo experimental, las muestras reflexivo,
intuitivo, verbal, secuencial, global, aumento de desmotivación
(diferencia posttest-pretest en la dimensión de desmotivación) y
aumento de motivación intrínseca (diferencia posttest-pretest en
la dimensión de motivación intrínseca) no siguen una
distribución normal (obtención de sig<0’05 de significación). A
continuación realizamos la prueba de Spearman para estas
muestras que según ésta, existe una correlación negativa de
0’321 entre el aumento de motivación intrínseca y el estilo
intuitivo (obtención de sig=0’036 de significación). Por otro
lado, realizamos la correlación de Pearson entre el resto de
muestras que siguen una distribución normal y nos indica que no
existe ninguna correlación entre las muestras analizadas
(obtención de sig>0’05 de significación).
Con respecto a los dos grupos juntos, las muestras de
aumento de regulación externa (diferencia posttest-pretest en la
dimensión regulación externa) y estilo visual siguen una
distribución normal (obtención de sig>0’05 de significación).
Por tanto, realizamos la prueba de Pearson, que según éste, no
existe una correlación entre el estilo visual y el aumento de la
regulación externa. A continuación realizamos la correlación de
Spearman entre el resto de muestras que no siguen una
distribución normal, según esta prueba, existe una correlación
negativa de -0’253 (obtención de sig=0’023 de significación)
entre el estilo de aprendizaje global y el aumento de motivación
intrínseca (diferencia posttest-pretest en la dimensión de
motivación intrínseca) y otra correlación negativa de -0’267
(obtención de sig=0’015 de significación) entre el estilo de
aprendizaje Intuitivo y el aumento de la regulación identificada
(diferencia posttest-pretest en la dimensión de regulación
identificada).
V.
VI.
CONCLUSIONES
El análisis de los estilos de aprendizaje de los alumnos de
Grado de Ingeniería de Software resultó interesante. Hemos
identificado que la mayoría de ellos se inclinan por un estilo
activo, visual, sensorial y secuencial, es decir, los grupos
analizados pueden aprender mejor con un esquema no
tradicional. También se hizo un análisis de correlación entre
motivación, eficiencia educativa y estilos de aprendizaje que nos
confirmó que al aplicar una metodología experimental a
alumnos cuyo estilo es intuitivo se disminuye su motivación, y
al aplicar esta misma metodología experimental a alumnos cuyo
estilo es verbal el nivel de adquisición de conocimiento se
disminuye. En general los alumnos intuitivos y verbales trabajan
mejor con un esquema tradicional.
En resumen, si aplicamos estrategias de enseñanza de tipo
visual a los alumnos verbales puede que no tengan los mejores
resultados académicos pero no necesariamente menos
motivación. Y si aplicamos estrategias de enseñanza de tipo
Sensorial a los alumnos intuitivos puede que tengan menos
motivación pero no necesariamente menos rendimiento
académico.
DISCUSIÓN
La mayoría de los alumnos analizados tienen un estilo de
aprendizaje activo, visual, sensorial y secuencial. Con respecto a
los resultados del análisis de correlación entre estilos de
aprendizaje y eficiencia, hemos encontrado que los alumnos que
aprenden menos son los que tienen un estilo de aprendizaje
verbal y recibieron una instrucción experimental. Esta
conclusión es lógica dado que los alumnos verbales son alumnos
que requieren explicaciones escritas y verbales en lugar de
diagramas o imágenes (estilo visual), mientras que en el
ambiente experimental se sigue más un estilo visual.
34
También hemos obtenido resultados de correlación entre
estilos de aprendizaje y motivación. En primer lugar, la
correlación inversa entre motivación intrínseca-estilo intuitivo
detectada en el grupo experimental parece indicar que los
alumnos que prefieren contenidos de teoría, principios, etc. se
motivan menos con la realización de la actividad en un entorno
colaborativo y de trabajo en grupo para el aprendizaje de
algoritmos voraces. Estos no realizan la actividad de aprendizaje
por el hecho de disfrutar haciéndola o parecerle interesante. En
segundo lugar, la correlación inversa entre motivación
intrínseca-estilos global e intuitivo detectada juntando los dos
grupos parece indicar que los alumnos que aprenden en grandes
saltos y de forma fragmentada (estilo global) no realizan la
actividad de aprendizaje por el hecho de disfrutar haciéndola.
Además, los alumnos que prefieren principios, teorías e
innovación, pero la repetición no les gusta (estilo intuitivo) no
perciben el beneficio de hacer la tarea de aprendizaje, ni si
quiera creen que los demás lo consideran importante la tarea
(correlación inversa entre estilo intuitivo y regulación
identificada.
VII. AGRADECIMIENTOS
Este trabajo se ha financiado con el proyecto TIN201129542-C02-01 del Ministerio de Economía y Competitividad.
VIII. REFERENCIAS
[1]
[2]
[3]
J. W. Keefe, “Learning style: an overview,” In NASSP's Student learning
styles: diagnosing and prescribing programs, pp. 1-17, 1979.
D. A. Kolb, Experiental Learning: Experience as the Source of Learning
and Development, Englewood Cliffs: NJ: Prentice-Hall, 1984.
C. M. Alonso, D. J. Gallego and P. Honey, Los estilos de aprendizaje:
procedimientos de diagnósticos y mejora, Bilbao: Mensajero, 1994.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
O. Debdi; M. Paredes; J. Á. Velázquez-Iturbide - Relación entre estilos de aprendizaje, motivación y eficiencia en alumnos de Informática
[4]
S. Cassidy, “Learning styles: an overview of theories, models and
measures,” Educational Psychology, vol. 24, no. 4, pp. 419-444, 2004.
[5] D. A. Kolb, “Learning styles and disciplinary differences,” The modern
American college, pp. 233-255, 1981.
[6] P. Honey and A. Mumford, Manual of Learning Styles, London: UK:
Berkshire, 1982.
[7] BECTA, “Learning styles : an introduction to the research literature,”
2005. [Online]. Available: http://dera.ioe.ac.uk/id/eprint/14118. [Accessed
20 5 2014].
[8] H. Gardner, Multiple Intelligences: Gardner's Theory, New York: Basic
Books, 1993.
[9] R.
W.
Sperry,
“Cerebral organization and behavior,”
The American Association for the Advancement of Science, vol. Vol. 133,
no. No. 3466, p. 1749 – 1757, 1961.
[10] N. Herrmann, “The creative brain,” Training and Development Journal ,
vol. 35, no. 10, pp. 10-16, 1981.
[11] R. M. Felder and L. K. Silverman, “Learning and teaching styles in
engineering education,” Engineering Education, vol. 78, no. 7, pp. 674681, 1988.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[12] T. C. De Bello, “Comparison of eleven major learning styles models:
variables; appropriate populations; validity of instrumentation; and the
research behind them,” Journal of Reading, Writing, and Learning
Disabilities International, vol. 6, no. 3, pp. 203-222, 2006.
[13] S. Zywno, “A contribution to validation of score meaning for FelderSoloman’s index of learning styles,” in Proceedings of the 2003 Annual
ASEE Conference, Washington, 2003.
[14] J. Á. Velázquez-Iturbide, M. Paredes-Velasco and O. Debdi,
“GreedExCol: una herramienta educativa basada en CSCL para el
aprendizaje de algoritmos voraces,” XIV Simposio Nacional de
Tecnologías de la Información y las Comunicaciones en la Educación
(SINTICE 2013), pp. 96-103, 2013.
[15] J. Martín-Albo, J. L. Núñez and J.G.Navarro, “Validation of the spanish
version of the situational motivation scale (EMSI) in the educational
context,” The Spanish Journal of Psychology, vol. 12, no. 2, pp. 799-807,
2009.
[16] R. Felder and J. Spurlin, “Applications, reliability and validity of the index
of learning styles,” International Journal of Engineering, vol. 21, no. 1,
pp. 103-112, 2005.
35
Errores, actitudes y malentendidos en la
experimentación con algoritmos de optimización
J. Ángel Velázquez-Iturbide
Departamento de Informática y Estadística
Universidad Rey Juan Carlos
Móstoles, Madrid
[email protected]
diseñar un algoritmo voraz. El alumno debe experimentar para
comparar sus resultados y deducir qué funciones de selección
pueden ser óptimas. La experimentación se realiza con el apoyo
de un sistema interactivo denominado GreedEx [5]. Es un
sistema sencillo y potente pero limitado a un conjunto finito
(aunque extensible) de problemas.
Posteriormente hemos desarrollado un sistema similar pero
genérico, llamado OptimEx (acrónimo de “OPTIMization
EXperimentation”) [6]. El objetivo de OptimEx es permitir al
alumno experimentar con distintos algoritmos para cualquier
problema de optimización. El alumno puede comparar
algoritmos y determinar su posible optimalidad o su
suboptimalidad.
En este informe se presenta una evaluación cualitativa de los
informes presentados por alumnos tras realizar una práctica con
OptimEx. La estructura de la comunicación es la siguiente. El
apartado 2 describe OptimEx brevemente. Los tres apartados
siguientes describen respectivamente el protocolo, el método de
análisis y los resultados obtenidos. En el apartado 6 se comentan
dichos resultados y en el apartado 7 se resumen nuestras
conclusiones.
Resumen—OptimEx es un sistema para la experimentación con
algoritmos de optimización. Este informe presenta una evaluación
cualitativa de la comprensión de conceptos de optimización por los
alumnos mediante el análisis de una práctica de experimentación
con OptimEx. La evaluación ha permitido identificar hallazgos
interesantes sobre errores, actitudes y malentendidos de los
alumnos. Asimismo, los hallazgos nos permiten tomar algunas
medidas correctoras. Algunas son fáciles de incorporar en la
práctica o en la asignatura; otras exigen más investigación o una
acción a medio plazo.
Palabras clave— Algoritmos de optimización, experimentación
interactiva, investigación cualitativa, errores, malentendidos,
actitudes
I.
INTRODUCTION
Los algoritmos forman parte del núcleo de la informática,
como queda reflejado en las principales recomendaciones de
planes de estudio [1]. Su conocimiento conlleva aspectos
teóricos y prácticos [2]. En particular, es importante que el
alumno experimente con las diversas propiedades de los
algoritmos [3]: corrección, eficiencia y optimalidad. Existe
cierta tradición docente en la experimentación con la corrección
y la eficiencia, no así con la optimalidad.
La optimalidad puede considerarse una variante de la
propiedad de corrección. Parte de la especificación de un
problema de optimización declara que la solución no sólo debe
ser válida, sino también óptima (con respecto a alguna medida).
La optimalidad no es en general una propiedad tan importante
como la corrección o la eficiencia, pero está omnipresente en la
algoritmia. Muchos de los algoritmos más interesantes son de
optimización. Muchos resultados teóricos sobre complejidad
computacional involucran a problemas de optimización.
Muchas de las técnicas de diseño de algoritmos más conocidas
permiten resolver problemas de optimización, sea de forma
exacta o aproximada.
No hemos encontrado apenas propuestas didácticas sobre
experimentación con la optimalidad, pudiendo destacar un
método didáctico nuestro basado en las funciones de selección
de los algoritmos voraces [4]. En esencia, al alumno se le
proporciona un problema de optimización a resolver mediante
algoritmos voraces y varias funciones de selección de base para
Este trabajo se ha financiado con el proyecto TIN2011-29542-C02-01 del
Ministerio de Economía y Competitividad.
II.
EL SISTEMA OPTIMEX
La Figura 1 muestra una captura de pantalla de OptimEx.
Puede observarse que consta de dos paneles: código y tablas. El
panel de código está situado a la izquierda e incluye un editor
que permite cargar, editar y almacenar el código de los
algoritmos a ejecutar. En la figura se ha cargado un fichero con
cuatro algoritmos para resolver el problema de la selección de
actividades ponderadas [7]: tres algoritmos voraces y otro de
vuelta atrás. Las tablas permiten almacenar y comparar los
resultados de los algoritmos ejecutados. Puede observarse que
los algoritmos voraces no son óptimos, mientras que el de vuelta
atrás sí lo es (todas las celdas de su columna aparecen en color
gris).
OptimEx permite experimentar con cualquier algoritmo
codificado en Java, siempre que los algoritmos a comparar estén
codificados en una sola clase y que su cabecera sólo contenga
tipos de datos predefinidos.
37
J. Á. Velázquez - Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización
Fig. 1. Interfaz de usuario de OptimEx tras experimentar con cuatro algoritmos para el problema de la selección de actividades ponderada
Los pasos que el usuario debe seguir son:
1. Editar una clase nueva de Java o cargarla de fichero, así
como compilarla.
2. Seleccionar el problema al que corresponden los
algoritmos a comparar. OptimEx impone una restricción
para comparar varios algoritmos entre sí: dado que
resuelven el mismo problema, la signatura (tipos de datos
de sus parámetros y de su resultado) del método principal
de dichos algoritmos debe ser igual.
El diálogo de selección de problema permite seleccionar
la signatura e indicar si la función objetivo del problema
busca maximizar (un beneficio) o minimizar (un coste).
3. Introducir los datos de entrada, bien por teclado,
generados aleatoriamente o leídos de un fichero.
Los juegos de datos de entrada no sólo pueden manejarse
de uno en uno, sino en grupos. El usuario puede guardar
en un fichero todos los datos usados en una sesión para
usarlos en otra posterior. También pueden generarse
múltiples juegos de datos de entrada.
4. Ejecutar los algoritmos sobre los datos de entrada.
OptimEx es muy flexible, permitiendo que la ejecución
sea de uno o varios algoritmos, y sobre uno o múltiples
juegos de datos. También permite al usuario marcar un
algoritmo como óptimo, en cuyo caso los resultados de
los demás algoritmos se compararán con los de éste.
5. Los resultados se presentan en tres tablas: de resultados,
histórica y de resumen. La primera muestra el resultado
38
de ejecutar los algoritmos sobre el último juego de datos
de entrada. La tabla histórica (véase Fig. 1) muestra el
resultado obtenido por cada algoritmo para cada juego de
datos de entrada. Por último, la tabla de resumen da
ciertos estadísticos descriptivos que resumen el resultado
obtenido para cada algoritmo.
La Fig. 2. muestra la tabla de resumen correspondiente a la
ejecución mostrada (incompleta) en la Fig. 1. Explicamos su
contenido para poder comprender mejor algunos errores
cometidos por los alumnos. Cada columna corresponde a un
algoritmo. Las siete filas contienen la siguiente información para
cada algoritmo:
i. Número de ejecuciones realizadas.
ii. Porcentaje de soluciones subóptimas. Para problemas de
maximización, es el porcentaje de valores obtenidos por
el algoritmo que son menores que el valor
correspondiente calculado por algún otro algoritmo. Para
problemas de minimización es a la inversa, es decir
porcentaje de valores mayores.
iii. Porcentaje de soluciones óptimas. Para los algoritmos
óptimos debería ser 100%, independientemente de que el
usuario haya marcado algún otro algoritmo como óptimo.
Si un algoritmo óptimo no obtiene este porcentaje, es una
señal de que los datos no cumplen la precondición del
problema o de que algún otro algoritmo produce valores
excesivamente altos (y por tanto, incorrectos).
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. Á. Velázquez - Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización
Fig 2. Tabla de resumen tras experimentar con 4 algoritmos y 100 datos de entrada para el problema de la selección de actividades ponderada
iv.
v.
vi.
Porcentaje de soluciones “superóptimas”. Esta
terminología forzada hace referencia a casos que no
deberían darse: valores mayores que los de un algoritmo
óptimo para un problema de maximización, o menores
para un problema de minimización.
Porcentaje de desviación media. Expresa la desviación
media del algoritmo respecto a un algoritmo óptimo en
los casos en que da un resultado subóptimo.
Porcentajes de desviación máxima subóptima y
superóptima. Expresan porcentualmente la máxima
desviación del algoritmo detectada en ambos sentidos. De
nuevo, el último caso no debería darse.
III.
EVALUACIÓN
La evaluación se realizó en la asignatura optativa
“Algoritmos Avanzados”, de cuarto curso del Grado en
Ingeniería Informática durante el primer cuatrimestre del curso
académico 2013-14. En la asignatura se habían estudiado
diversos aspectos de varias técnicas de diseño de algoritmos de
optimización: técnica voraz, vuelta atrás, ramificación y poda,
programación dinámica y algoritmos aproximados.
Los alumnos habían realizado cuatro prácticas, de las que
tres tienen relevancia para este estudio:
• Práctica 1, técnica voraz. Dado el problema de selección
de actividades [7][8] y un esqueleto de algoritmo voraz
que lo resolvía, se identificaron dos funciones de
selección óptima: orden creciente de instantes de fin y
orden decreciente de inicio. Se pedía recodificar el
algoritmo para que calculara el resultado óptimo aunque
las actividades no estuvieran ordenadas.
• Práctica 2, técnicas de búsqueda en espacios de estados.
Dado el enunciado del problema de selección de
actividades ponderadas [7], se pide desarrollar un
algoritmo de vuelta atrás y otro de ramificación y poda.
• Práctica 4, técnica de programación dinámica. Se da una
solución recursiva para el problema de selección de
actividades ponderadas y se pide convertirlo en un
algoritmo de programación dinámica.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
La evaluación que presentamos se realizó durante la quinta
práctica. Su objetivo era que los alumnos experimentaran con
algoritmos exactos y aproximados. Participaron alumnos de dos
grupos, presencial y online, más dos alumnos que asistían
informalmente (“de oyentes”) al grupo presencial durante toda la
asignatura. Se permitió realizar la práctica tanto en parejas como
individualmente. La sesión presencial duró 2 horas.
Los alumnos se podían descargar del campus virtual el
material necesario: enunciado de la práctica, clase Java con un
algoritmo y fichero con datos de entrada. También tenían
disponible OptimEx y una pequeña guía de usuario. Debían
entregar el informe de la práctica en el plazo de una semana.
El enunciado de la práctica repetía la especificación del
problema de selección de actividades ponderadas, aunque ya era
conocido por los alumnos. A los alumnos se les exigía que
compararan la optimalidad de al menos 3 algoritmos. Se les
proporcionaba un algoritmo voraz basado en orden creciente de
duración (que representaremos D↑). Los otros algoritmos debían
tomarlos los propios alumnos de sus prácticas 1 y 2 (y 4 si
querían). El algoritmo de la práctica 1 debía adaptarse al nuevo
enunciado. Los datos debían contener actividades con instantes
de fin mayores que sus instantes de inicio. Dadas las
limitaciones de OptimEx para generación aleatoria de datos con
restricciones, se les proporcionaron 100 juegos válidos de datos
de entrada.
El informe debía incluir:
1. Identificación de los algoritmos utilizados y su código.
2. Resultados, en forma de tabla, de la experimentación.
3. Conclusiones.
Se recogieron un total de 30 informes. Dos informes
(correspondientes a dos individuos del grupo presencial)
aclaraban que habían tenido dificultades graves con OptimEx,
por lo que no pudieron contestar a lo pedido en la práctica. Los
28 grupos restantes se distribuyen de la siguiente forma: 22 del
grupo presencial (12 individuales y 10 parejas), 5 del grupo online (4 individuales y 1 pareja) y 1 de alumnos de asistencia
informal (1 pareja).
39
J. Á. Velázquez - Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización
Puede encontrarse la evaluación completa en [9].
IV.
ANÁLISIS
Los datos se analizaron utilizando los principios de la teoría
fundamentada [10]. Se realizaron tres rondas de análisis:
1. Ronda exploratoria. Se analizaron solamente los cinco
informes del grupo on-line para identificar los elementos
destacados de cada práctica.
2. A partir de los elementos identificados en la ronda
preliminar se diseñó una tabla donde registrar los
elementos que se consideraron importantes para el
análisis. Aunque el análisis procedió de forma
básicamente secuencial, de vez en cuando se retrocedía a
informes anteriores para comprobar que un elemento
nuevo o importante se había tenido en cuenta, o para
consultar en qué columna de la tabla se había anotado
algún elemento.
3. A partir de la información contenida en la tabla, se
elaboró una lista de preguntas que podían tener
respuesta. También se reestructuró la tabla. Por último,
se hizo una última ronda de análisis. Al igual que en la
segunda ronda, el proceso de análisis fue secuencial pero
con frecuentes retrocesos.
Un detalle menor es que los alumnos debían usar 100 juegos
de datos y el algoritmo voraz D↑, ambos dados por el profesor.
En la Fig 2 aparecen sus resultados en la columna
selecActividades3. Dichos resultados se utilizaron durante el
análisis para comprobar si cada grupo había utilizado los datos
de entrada y si algún algoritmo era óptimo.
V.
RESULTADOS
Presentamos los resultados obtenidos desglosados en tres
apartados: errores y dificultades, actitudes y autoeficacia, y
malentendidos.
Utilizamos la notación Gn para identificar al grupo de
prácticas con número n. Denominamos “algoritmos exactos” a
algoritmos que, si están correctamente implementados, deben ser
óptimos y que están basados en alguna de las siguientes técnicas
de diseño: vuelta atrás, ramificación y poda, o programación
dinámica. Obsérvese que un algoritmo voraz puede ser óptimo
(y por tanto exacto) o subóptimo (en cuyo caso hablamos de un
algoritmo aproximado o heurística).
TABLA I. RESULTADOS GLOBALES DE LA PRÁCTICA
Resultado
Correcto
Parcial
# (%) grupos
8 (28'6%)
2 (7'1%)
Incorrecto
18 (64'3%)
40
Grupos
G2, G3, G8, G11, G13, G15, G16, G24
G22, G28
G1, G4, G5, G6, G7, G9, G10, G12, G14, G18,
G19, G20, G21, G23, G25, G27, G29, G30
A. Errores y Dificultades
La primera cuestión a analizar es si los grupos realizaron la
experimentación de forma satisfactoria. La TABLA I. muestra
los resultados globales de la práctica, distinguiendo entre
quienes identificaron correctamente los algoritmos óptimos,
quienes lo hicieron parcialmente y quienes no lo consiguieron.
Puede observarse que la mayoría de los grupos realizaron
incorrectamente la experimentación. Incluso grupos que
realizaron su práctica correctamente de forma completa o parcial
revelan un conocimiento frágil. Así, los dos grupos de la
categoría "parcial" identificaron como óptimo un algoritmo de
vuelta atrás, pero como subóptimo un algoritmo de ramificación
y poda (G22) o de programación dinámica (G28).
Veamos qué hicieron mal los grupos de la categoría
“incorrecto”:
• Un grupo (G9) realizó bien la experimentación pero no
identificó como óptimo a ningún algoritmo, ni siquiera el
algoritmo que resultó mejor en el 100% de los casos.
Claramente, es un malentendido conceptual.
• Cuatro grupos marcaron como óptimo un algoritmo que
es subóptimo (G1, G12, G14, G19). Como consecuencia,
otros algoritmos produjeron resultados mayores
(“superóptimos”) para algunos juegos de datos. No
advierten que estos resultados son inadmisibles o no
saben cómo corregirlos. En 3 casos (G1, G14, G19) se ha
marcado como óptimo un algoritmo exacto y resulta
mejor algún algoritmo voraz. Deberían haber revisado los
algoritmos para analizar dónde está el error: si el
algoritmo exacto no es óptimo o si el algoritmo voraz
devuelve valores inválidos. En el cuarto caso (G12),
seleccionaron un algoritmo voraz como óptimo.
• Trece grupos han realizado una experimentación abierta
en la que ningún algoritmo ha producido resultados
óptimos (G4, G5, G6, G7, G10, G18, G20, G21, G23,
G25, G27, G29, G30). Ningún grupo revisó porqué los
algoritmos exactos no eran óptimos. En algunos casos, la
evidencia de que el resultado no es correcto era aún más
rotunda: un algoritmo exacto es subóptimo siempre (G4,
G25), un algoritmo exacto se queda cerca de un 100% de
casos mejores (G5), o un algoritmo exacto obtiene
resultados peores que uno o varios algoritmos voraces
(G10, G20, G24).
Analizando las condiciones de experimentación utilizadas
por algunos grupos, identificamos dos factores que influyeron en
algunos resultados negativos:
• Seis grupos no usaron exclusivamente los datos de
entrada suministrados (G1, G6, G7, G10, G12, G18).
• Dos grupos (G14, G21) no marcaron la casilla de
maximizar pero no se dieron cuenta de lo sorprendente de
sus resultados.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. Á. Velázquez - Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización
B. Actitudes y Autoeficacia
Si analizamos las actitudes de los grupos ante las dificultades
encontradas, hay que señalar primero que no ha sido frecuente
encontrar grupos que hayan advertido problemas. Entre estos,
sólo estamos seguros de un grupo que haya corregido los
problemas. En efecto, G3 advirtió que OptimEx estaba
minimizando y cambió el análisis para maximizar.
Otros dos grupos informan de que han realizado mejoras tras
detectar problemas, pero no hay constancia de estas mejoras en
sus informes:
• (G25) “El mayor problema encontrado fue quizás con el
algoritmo de backtracking, pues en un primer instante no
devolvía un 100% de éxito en cuanto a la devolución de
resultados, y hemos tenido que modificarlo con el fin de
conseguir que dé lo que tiene que dar.” Sin embargo, en
su tabla de resumen, el algoritmo de vuelta atrás da un
100% de resultados subóptimos.
• (G30) “Hemos agregado una condición en el algoritmo
de ramificación y poda para el cálculo de la cota y esto
ha hecho que suba el porcentaje de soluciones óptimas de
esta función.” Sin embargo, sólo se calcula el resultado
máximo en el 37% de los casos.
Otros 4 grupos (G10, G19, G22, G23) detectan resultados
erróneos pero los atribuyen a un algoritmo suyo (G10, G22), al
del profesor (G19) o incluso adaptan lo aprendido al nuevo
hallazgo: “El algoritmo que encuentra menos veces la solución
óptima es el de búsqueda (backtracking), para mi sorpresa, ya
que teóricamente pensaba que sería el mejor de todos. Esto
demuestra que para hallar una solución óptima no es
recomendable un algoritmo por fuerza bruta ya que ‘pensando
un poco’ podemos encontrar algoritmos rápidos e inteligentes”
(G23).
El enunciado de la práctica sugería a los alumnos que
realizaran comentarios de valoración de la práctica. La TABLA
II. muestra los grupos que expresaron su satisfacción por realizar
esta práctica como colofón de la asignatura (al englobar todas las
técnicas de diseño anteriores), su conciencia de algunas
dificultades con la práctica o que la práctica era fácil.
TABLA II.
Resultado
Correcto
Parcial
Incorrecto
Práctica fácil
G11, G15
G6, G10, G21,
G30
VALORACIÓN DE LA PRÁCTICA
Conciencia de
dificultades
G24
G10, G23
Satisfacción por la
práctica
G3, G15, G24
G22
G4, G5, G19, G20,
G25
Cinco grupos de los 18 que hicieron mal la práctica (28%)
declaran que era fácil, revelando un escaso autoconocimiento.
Una tercera parte de los grupos (8 de 28), aproximadamente,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
manifiestan su satisfacción por realizar una práctica que permite
relacionar casi todo lo estudiado en la asignatura.
Tres grupos identificaron algunas dificultades de la práctica.
El grupo G10 era consciente de que quizá tenía mal su algoritmo
de vuelta atrás. G23 declara su falta de tiempo para corregir los
algoritmos de prácticas anteriores y que por esta razón incluyó el
algoritmo de programación dinámica en lugar de un algoritmo
voraz, como indicaba el enunciado. G24 expresa que la
dificultad de la práctica reside en que depende de tener bien
realizadas las prácticas anteriores.
C. Malentendidos
Encontramos el malentendido principal en el propio
concepto de "óptimo". Conviene distinguir entre dos usos:
• “Resultado óptimo” significa el máximo valor que puede
obtenerse para unos datos dados (o valor mínimo si el
problema es de minimización).
• “Algoritmo óptimo” es un algoritmo que devuelve el
resultado máximo (“óptimo”) siempre, es decir, para
unos datos de entrada válidos cualesquiera.
Ambos usos los han realizado correctamente diversos grupos
de las tres categorías. Otros grupos no comentan sus hallazgos o
los describen de manera trivial, de forma que no es posible
conocer su uso del lenguaje.
Sin embargo, hay algunos grupos que utilizan el término
“algoritmo óptimo” para referirse al algoritmo que calcula un
resultado óptimo en un porcentaje mayor de casos. Este uso
suele encontrarse en grupos que hicieron la práctica mal (G5 G6,
G14, G20, G27, G30), pero también en algunos grupos que la
hicieron bien (G11, G15). Por ejemplo, G5 dice: “Según se
puede ver en la tabla, el algoritmo recursivo (con poda) es un
94% óptimo en comparación con los otros dos algoritmos, (...)”.
Este uso de la palabra “óptimo” suele venir expresado como
“más óptimo” o “menos óptimo”. Por ejemplo: “También
podemos ver que el algoritmo ‘selectActividades1’, que se
corresponde con el algoritmo desarrollado en la práctica 1 (...)
resulta el menos óptimo de los 3” (G20).
Algunos grupos usan el término correcta o incorrectamente,
según la frase (G06, G20, G27). Quizá esta imprecisión sea la
razón de algunas de las propuestas erróneas detectadas: que un
algoritmo voraz obtenga resultados mejores que un algoritmo
exacto para el mismo problema o que ningún algoritmo obtenga
resultados mejores en el 100% de los casos.
D. Resumen de Resultados
Podemos resumir los hallazgos realizados:
1. Son mayoría los grupos que han realizado mal la
experimentación, aunque la frontera entre prácticas bien
y mal realizadas es difusa. Algunos grupos que la
hicieron bien utilizan un lenguaje equívoco o algoritmos
que no son correctos del todo, otros grupos han
41
J. Á. Velázquez - Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización
2.
3.
4.
5.
encontrado un algoritmo óptimo pero no otro que
también lo es, y algunos grupos cuyos resultados son
erróneos tienen soluciones cercanas a la correcta.
Algunos grupos realizaron mal la experimentación por
no utilizar los juegos de datos suministrados.
La mayor parte de las prácticas mal realizadas no han
interpretado bien los resultados mostrados en las tablas o
han partido de algoritmos subóptimos. Puede deberse al
propio formato de las tablas o a un conocimiento
superficial y frágil de la materia.
Está bastante extendida la no percepción de resultados
incorrectos. Cuando se detectan, no se corrigen, e
incluso se hacen propuestas contradictorias con lo
explicado en la asignatura.
Hay un uso impreciso del término “óptimo”.
VI.
DISCUSIÓN
Comentamos sucesivamente los resultados relacionados con
dificultades, niveles de aprendizaje y malentendidos.
A. Errores y Dificultades
Algunas
dificultades
pueden
corregirse
mediante
intervenciones en la asignatura. La práctica podría tener un
formato menos abierto. Además, los hallazgos 2-4 pueden
corregirse siendo más específicos sobre algunas cuestiones:
• Materiales. El enunciado podría dar, junto al algoritmo
D↑, sus resultados esperados (tabla de resumen), de
forma que sirvan a los alumnos de control de sus
resultados.
• Método. La guía de usuario de OptimEx podría
identificar diversas situaciones inaceptables en una
experimentación donde hay algoritmos exactos (p.ej.
resultados superóptimos o todos subóptimos), señalando
las posibles razones en cada caso.
• Respuesta. El enunciado debería pedir explícitamente que
se identificaran los algoritmos óptimos y que se
incluyeran las tablas histórica y de resumen obtenidas.
El hallazgo 1 puede deberse a diversas razones. Por un lado,
algunos grupos han podido realizar mal la práctica por ser
relativamente abierta. En este caso, las intervenciones anteriores
pueden reducir su número. Por otro lado, también puede deberse
a malentendidos sobre optimización. De ello tratamos en la
subsección C.
B. Niveles de Aprendizaje
Las dificultades encontradas en muchos grupos corresponden
a dos categorías distintas: análisis o evaluación de resultados, y
autoconocimiento. Una mayoría de grupos han sido incapaces de
distinguir los datos relevantes de la tabla de resumen, así como
inconsistencias dentro de la propia tabla o entre la tabla y lo
explicado en la asignatura. En términos de la taxonomía revisada
de Bloom [11], la primera actividad se sitúa en el nivel de
42
análisis mientras que la segunda se sitúa en el nivel de
evaluación.
Puede mejorarse el análisis de la tabla de resumen
explicando su formato en la guía de OptimEx. En cuanto a las
inconsistencias, ya hemos comentado en la subsección anterior
cómo mejorar los materiales didácticos.
El autoconocimiento es la categoría más alta de
conocimiento que puede alcanzar un alumno según la taxonomía
revisada de Bloom [11]. Su mejora no es sencilla y debe tratarse
a lo largo de toda la asignatura. En todo caso, podría ampliarse
el tiempo dedicado a realizar la práctica, quizá permitiendo que
eliminen los errores que detecte el profesor y que realicen una
segunda entrega.
En todo caso, todas estas dificultades son coherentes con
hallazgos de la psicología de la programación. Winslow [12]
afirma que se tardan diez años en pasar de aprendiz a experto en
cualquier materia. Aunque nuestros alumnos ya están en cuarto
curso, se aprecia esta falta de madurez.
C. Malentendidos
Los malentendidos (misconceptions o “concepciones
erróneas”) son algo conocido y útil para el profesor según el
constructivismo. Se han estudiado intensivamente en relación
con el aprendizaje de programación [13]. Los malentendidos
relacionados con algoritmos de optimización se han estudiado
mucho menos. En un trabajo anterior [4] describíamos algunos
malentendidos detectados con algoritmos voraces. En concreto,
algunos alumnos consideran que sólo puede haber un algoritmo
óptimo para un problema dado, o que puede alcanzarse una
solución óptima usando un algoritmo distinto para cada conjunto
de datos de entrada (sin concretar quién ni cómo determina el
algoritmo a usar en cada caso).
En el estudio presentado no parecen presentarse estos
malentendidos pero se mantiene una comprensión superficial de
la optimalidad. Esta situación parece acentuada por un uso
polisémico de la palabra “óptimo”. A corto plazo, puede
realizarse una intervención similar a la realizada en [4]: elaborar
unos apuntes que aclaren los conceptos problemáticos. Sin
embargo, también parece necesario realizar alguna acción más
ambiciosa, como elaborar un inventario de conceptos [14]
relacionados con optimización y diseñar su enseñanza integral.
VII. CONCLUSIONES
Hemos presentado de forma detallada una evaluación de la
comprensión de conceptos de optimización utilizando el sistema
OptimEx. Se han descrito las distintas partes del estudio, el
método de análisis y los resultados obtenidos. Los resultados son
valiosos porque comprenden dificultades, actitudes y
malentendidos de los alumnos. Como consecuencia, se han
identificado medidas correctoras a corto plazo para paliar en el
futuro estos resultados negativos. Por último, sería conveniente
realizar a medio plazo un estudio más amplio sobre la enseñanza
de la optimización.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. Á. Velázquez - Errores, actitudes y malentendidos en la experimentación con algoritmos de optimización
VIII. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
ACM, and IEEE Computer Society, The Joint Task Force on Computing
Curricula: Computer Science Curricula 2013. http://www.acm.org/
education/CS2013-final-report.pdf, 2013.
P.J. Denning, D.E. Comer, D. Gries, M.C. Mulder, A.B. Tucker, A.J.
Turner y P.R. Young, "Computing as a discipline." Communications of the
ACM, vol. 32, no. 1, pp. 9-23, January 1989.
J.Á. Velázquez-Iturbide, C. Pareja-Flores, O. Debdi y M. Paredes-Velasco,
"Interactive experimentation with algorithms," en Computers in Education
– Vol. 2, S. Abramovich, Ed. Nova Science, 2012, pp. 47-70.
J.Á. Velázquez-Iturbide, "An experimental method for the active learning
of greedy algorithms," ACM Transactions on Computing Education, vol.
13, no. 4, article 18, 2013.
J.Á. Velázquez-Iturbide, O. Debdi, N. Esteban-Sánchez y C. Pizarro,
"GreedEx: A visualization tool for experimentation and discovery learning
of greedy algorithms," IEEE Transactions on Learning Technologies, vol.
6, no. 2, pp. 130-143, Abril-Junio 2013.
J.Á. Velázquez-Iturbide, R. Martín-Torres y N. González-Rabanal,
"OptimEx: un sistema para la experimentación con algoritmos de
optimización," SIIE13 XV International Symposium on Computers in
Education – Proceedings, pp. 30-35.
J. Kleinberg y É. Tardos, Algorithm Design. Cambridge, MA: AddisonWesley, 2006.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[8]
[9]
[10]
[11]
[12]
[13]
[14]
T.H. Cormen, C.E. Leiserson, R.L. Rivest y C. Stein, Introduction to
Algorithms (3rd ed.). Massachusetts, MA: The MIT Press, 2009.
J.Á. Velázquez-Iturbide, Una evaluación cualitativa de la comprensión de
la optimalidad. Serie de Informes Técnicos DLSI1-URJC, no. 2014-03,
Departamento de Lenguajes y Sistemas Informáticos I, Universidad Rey
Juan Carlos, 2014.
B. Glaser y A. Strauss, The Discovery of Grounded Theory: Strategies for
Qualitative Research. Chicago, IL, USA: Aldine, 1967.
L.W. Anderson, D.R. Krathwohl, P.W. Airasian, K.A. Cruikshank, P.R.
Pintrich, J. Raths y M.C. Wittrock, A Taxonomy for Learning, Teaching
and Assessing: A Revision of Bloom’s Taxonomy of Educational
Objectives. New York, NY: Addison Wesley Longman, 2001.
L.E. Winslow, "Programming pedagogy − A psychological overview,"
ACM SIGCSE Bulletin, vol. 28, no. 3, pp. 17-22 y 25, 1996.
M. Clancy, "Misconceptions and attitudes that interfere with learning to
program," en Computer Science Education Research, S. Fincher and M.
Petre, Eds. London, UK: Routledge, 2004, pp. 85-100.
V.L. Almstrum, P.B. Henderson, V. Harvey, C. Heeren, W. Marion, C.
Riedesel, L.-K. Soh y A.E. Tew, "Concept inventories in computer science
for the topic discrete mathematics," Proc. 11th Annual Conference on
Innovation and Technology in Computer Science Education, ITiCSE'06,
pp.132-145.
43
Attribute grammars made easier: EvDebugger
A visual debugger for attribute grammars
Daniel Rodríguez-Cerezo1; Pedro Rangel Henriques2; José-Luis Sierra1
1
Fac. Informática, Universidad Complutense de Madrid.
C/ Prof. José García Santesmases 9, 28040, Madrid (Spain)
{drcerezo,jlsierra}@fdi.ucm.es
2
Departamento de Informática, Escola de Engenharia, Universidade do Minho.
Campus de Gualtar, 4710-057, Braga (Portugal)
[email protected]
In a course on Compiler Construction, different techniques
and formalisms for the design and specification of language
processors are taught. Traditionally, attribute grammars (AGs)
are used to describe the semantic processing carried out by
language processors [14]. Ideally, the students should to design
their own compilers using AGs, and validate those through
formal methods. However, the students usually do not check the
validity of their AG-based specifications, which leads to
different problems in the development of the final
implementation. When students have to create an AG design, the
first and main problem they find is to decide what attributes
(inherited or synthesized) they have to define. But after this step,
the next problem is the definition of the correct semantic
equations because they have a big difficulty to understand the
dependencies among attributes, in particular their evaluation
order. Thus, this paper focuses on this problem.
In order to help students to validate their AG based designs,
we have developed a software tool for language specification
based on AGs, called EvDebugger. EvDebugger includes a
visual debugger that helps students to understand the evaluation
process derived from their specifications and to identify the
potential design errors, in an attractive and intuitive way. The
functionality of this tool is based on our previous experiences
developing simulators for teaching formalism of attribute
grammars as Evaluators [20], Evaluators 2.0 [19], and EvLib
[18].
The rest of the paper is organized as follows. Section II
provides the related work. Section III introduces the software
tool EvDebugger describing its features and its operation.
Section IV presents the results obtained from an assessment
experience carried out with students of a Compiler Construction
course. Finally, section V provides the conclusions and some
lines of future work.
Abstract—Compiler construction courses are usually considered
by the students as a difficult subject of the Computer Science
degree. The main problem found by the students is to fully
understand the theoretical concepts taught during the course and
its practical application to build a compiler. In this paper, we
present a platform for the development and debugging of language
processors based on attribute grammar-oriented specifications. The
main aim of this tool is to help students to design their own
language processors, supported by the visual debugger included.
The animations provided by EvDebugger show, in an attractive
way, how the attribute evaluation process is performed. In this way,
students are able to solve design problems, improve the
effectiveness and efficiency of their language processors and
understand their operation through experimentation and
debugging provided with the software tool. Besides, we performed
an assessment study with students of a Compiler Construction
course whose results are presented and discussed in this paper.
Keywords— Education in Compiler Construction; Attribute
Grammars; Debugger; Compiler Generator
I.
INTRODUCTION
The mainstream Computer Science (CS) curricula
recommendations highlight language processor construction as
an important aspect to be taught to students in CS [1]. Therefore,
many CS education syllabi include a subject related to Compiler
Construction. In these Compiler Construction courses, there is a
balance between theoretical concepts and their practical
application for building language processors [2]. Students are
usually asked to design and develop a language processor as a
final project. However the students usually face many problems
to complete this project mainly because they are not able to
properly orchestrate the theoretical and practical parts of the
course to build the compiler. From our experience, we have
observed that students usually do not pay much attention to the
design details of the compiler, focusing directly on its
implementation. When evaluating such practices, we found
deficiencies that could easily be solved with a better design.
45
D. Rodríguez; P. R. Henriques; J. L. Sierra - Attribute grammars made easier: EvDebugger - A visual debugger for attribute grammars
II.
RELATED WORK
The software tool proposed in this paper is oriented to assists
the students in the first steps of the process of understanding
AGs, as well as in the development of the final project of the
Compiler Construction course. The instructors of this subject use
different strategies to propose a compiler to develop as final
project of the course:
• Projects focused on a conventional programming
language. This is the approach most commonly chosen
by instructors of Compiler Construction courses. The
selected language is a reduced programming language
that included, for instance, a couple of basic data types,
basic operations on these data types, control structures
(such as loops and conditionals) and an abstraction
mechanism (functions or procedures). Some prototypical
languages used to support this approach are COOL [3] or
MINIML [4].
• Small language processing projects. In this strategy
students undertake the implementation of small
compilers (or even concrete parts of a compiler) in order
to focus them on the concepts recently taught in class.
The works in [11] and [22] provide an in-depth
discussion of this strategy.
• Domain-specific languages. The authors in [16] propose
a strategy based on Domain Specific Languages (DSLs)
where students have to develop a language processor for
a DSL for a specific domain. In this case, the instructors
propose a specific and attractive domain to the students,
and plan different processing that students must develop.
Thus, students will develop incrementally a complete
language processor step by step. Other examples of this
approach are given by DSLs for graph representation
[24], simple figure drawing [21] or robot action
programming [26].
• Analysis and debugging of processors of real
programming languages. This approach is oriented to
illustrate how a real compiler works, and it is represented
by works like the described in [25], where the authors
explain that the traditional project approach is not enough
to teach all the concepts needed for the students to get a
realistic assessment in the course.
However, it is worthwhile to notice how most of these
strategies are focused on the implementation part, downgrading
to a secondary concern the design part, or even taking this for
granted. Due to these flaws in the different strategies presented,
EvDebugger arises to support students in the design phase of the
compilers, which will empower an implementation strategy
more faithful to the language selected by the instructor.
To assist students in the completion of their course project,
there are different software tools:
46
•
Compiler -Compilers such as JavaCC [8], CUP [10],
ANTLR [15], BISON [9], etc. These platforms are
capable of generating language processors directly from
the specification, provided as a translation scheme: a
context free grammar augmented with semantic actions.
• Platforms that provide visual and interactive aids for the
user. These platforms can be used to have a better
understanding of the processing performed by the
specified compiler. For instance, ANTLRWorks [6] is an
environment for the ANTLR language. It provides a
complete editor enriched with tools to detect different
problems in the specification introduced by the user (e.g.,
non-determinism). The environment is able to offer
different visual representations of the components of the
compiler or the syntax tree of a sentence under
processing, in order to enrich the debugging utility of the
tool. In a similar way, VCOCO [17] is an extension of
the COCO parser generator that generates a processor
that presents visual simulation of the different parts of the
generated compiler.
The main problem of Compiler-Compiler tools, from an
educational point of view, is that they are aimed at the
development phases of the compiler. Therefore, students need a
solid design to obtain the proper translation schemes for the
language processor that they want to develop. Enrichment of
these tools with visual capabilities, in their turn, could be
considered as specialized debuggers for the evaluation process
associated with the kind of patterns corresponding to each
translation tool. However, they do not provide facilities to work
directly with the processor's design language.
On the other hand, there are tools for generating language
processors from their AG-based specifications. As representative
examples we consider LISA and PAG:
• LISA [12] is a platform that can generate language
processors directly from an attribute grammar
specification. The system also provides visual
representations for each processing stage of the compiler,
in order to provide to the students a rich feedback and a
powerful debugger.
• PAG (Prototyping with Attribute Grammars) [23] is a
tool to generate language processors from an AG
specification. The generated processors make it posible
to browse the attributed syntax trees in order to figure out
how the semantic evaluation process proceeded.
While there is no doubt that this kind of tools could be useful
to the students to refine the design of their compilers, the visual
representations provided are static ones, and therefore they are
not focused on the semantic evaluation process itself.
Finally, considering that EvDebugger is a visual debugger,
various tools of this kind can be found in the field of other
declarative frameworks. For instance:
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Rodríguez; P. R. Henriques; J. L. Sierra - Attribute grammars made easier: EvDebugger - A visual debugger for attribute grammars
• ViMer [7] a visual debugger for Mercury, a logic
programming language, is able to show the evaluation
process using a special kind of trees that adequately
represents the non-deterministic character of this kind of
languages.
• On other hand, JI.FI [5] is a visual debugger for Java
applications specially designed to test concurrent Java
programs. Among its features it can be highlighted the
ability to debug the behavior of the concurrent programs
in real-time, and a query processing engine able to
interpret temporal queries.
• Finally, PM/IDE [13], a complete IDE in the field of
planning domain models, includes features to debug and
test automatic plans inside the models. The platform
provides different visual debug features that help
developers to understand the executions of the plans and
induced changes in the modeled environment.
A. Grammar Manager
The grammar manager is the initial view offered by the tool.
As can be seen in Fig. 1, it offers a GUI divided into 3 areas.
From left to right in Fig. 1:
• The first area shows the different language processors
registered in the system.
• The second area shows an informal description of the
language (that must be provided by the language
developer during creation) which is displayed when a
language is selected in order to facilitate its
identification.
• The third area provides access to the tool functionality,
such as creating a new language, editing, deleting and
compiling a previously created processor, and accessing
the visual debugger using the Simulate button.
B. Grammar Editor
The grammar editor view is accessible from the grammar
manager view after selecting the creation of a new language
processor or opening a previously created one. Fig 2 shows a
screenshot of this grammar editor. This view offers different
areas to specify the different parts of a language processor: the
attribute grammar specification (Fig 2a), the informal
description of the processor (Fig 2b), and the semantic class (Fig
2c):
(a)
Fig 1 Snapshot of EvDebugger Grammar Manager.
(
The different visual debugging tools presented above make
apparent how the main recurrent feature of this kind of tools is
that they are able to improve the understanding of the
implementation, or the evaluation process, of their respective
languages by using visualizations and animations that allow the
developer to comprehend at a glance their own programs.
III.
c)
(b)
EVDEBUGGER
EvDebugger is a software tool for the specification of
language processors. The tool is able to process AG
specifications, described using a suitable specification language,
and to generate a language processor for the language described.
Also, the tool provides a visual debugger for the debugging of
the language processor defined.
The next subsections describe the main components of
EvDebugger: the grammar manager, the grammar editor and
the debugger.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig 2 Snapshot of EvDebugger's Grammar Editor.
•
The attribute grammar specification of the language
processor must be written in a specification language that
we created for this purpose. This specification language is
very close to the notation usually used in Compiler
Construction course lectures and books. In this way the
specification of the language processor using an AG can
be produced by students in a natural and easy way. The
47
D. Rodríguez; P. R. Henriques; J. L. Sierra - Attribute grammars made easier: EvDebugger - A visual debugger for attribute grammars
(d)
(a)
(e)
(b)
(c)
Fig 3 Screenshot of the visual debugger of the tool.
specification has three different sections: non-terminal
symbols declaration, terminal symbols declaration, and
the specification of the grammar rules.
• The informal description of the processor is a description
of the language processor in a natural language to help the
user to identify it in the grammar manager view.
• The semantic class is the name of a Java class that must
implement the semantic functions used in the attribute
grammar specification.
With these three components, the tool is able to automatically
generate the language processor from the specification, which
will be used by the debugger.
C. Debugger
To access the visual debugger, it is necessary to compile the
(edited) grammar successfully in order to obtain a correct
language processor. After selecting a compiled language
processor, the developer can use the debugger clicking the
Simulate button, available in the Grammar Manager GUI. Then,
the debugger asks for a sentence of the language to process. If
the sentence is accepted by the language processor, a debugger
customized for the selected language and the sentence provided
is displayed. Fig 3 shows the visual debugger fully customized.
The debugger will display: (i) the syntax tree view (Fig 3a),
(ii) the node attributes view (Fig 3b), (iii) the attribute grammar
(Fig 3c), (iv) a table displaying the semantic values of the
attributes computed (Fig 3d) and (v) the toolbox of the debugger
48
(Fig 3e). In their turn, the different functionality of the toolbox's
buttons are (from left to right): step-back debug button,
play/stop debug button, step-forward debug button, node
exploration button, and the syntax tree view modification button:
• The first three buttons are conceived to control the flow
of the debug process.
• The node exploration button activates the node selection
mode inside the syntax tree representation. When the user
selects a tree node, the tool will draw the attribute
instances associated with the node, below the syntax tree.
These attributes can be selected, in order to check their
value, when available.
• Finally, the syntax tree view modification button
activates the visual exploration of the syntax tree. In this
mode, the user can zoom in and out, in order to focus the
view in the desired part of the syntax tree.
The visual debugger is able to display the evaluation process
carried out by the AG specified and a sentence of the language.
The debugger contemplates two different evaluation actions:
• Movements on the syntax tree. The movements through
the tree nodes are shown to the user by the animation of a
pointer that indicates which the node that is being
currently visiting in the evaluation process is. When the
evaluation process requires going to another node, the
debugger animates the transition of the pointer to the
destination node.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Rodríguez; P. R. Henriques; J. L. Sierra - Attribute grammars made easier: EvDebugger - A visual debugger for attribute grammars
• Assignment of semantic values to instances of a semantic
attribute.
In their turn, the assignment of semantic values in the
debugger triggers the following animation sequence:
• In the syntax tree view, the nodes where the attribute
instances involved in the semantic assignment are colored
with different colors, and green arrows are used to
indicate the flow of data associated with the assignment of
this new semantic value in the syntax tree.
• In the attribute instance exchange view, the attribute
instances involved in the evaluation action appears as
boxes with different colors, corresponding with the color
of the respective node, in the syntax tree. Also, in the
attribute grammar specification, the syntax rule and the
semantic equation involved are highlighted.
• Then, in the attribute instance exchange view, the
different boxes converge on the box that represents the
attribute instance whose value will be computed.
• Finally, when all the boxes have ended the animation, a
new entry corresponding to the new semantic value
calculated pops up in the table of the semantic values
computed. The entry will register the attribute name, the
semantic equation involved, and the semantic value
computed.
The three main features described above compose
EvDebugger, turning it into a platform for the development of
language processors from its specification in terms of the
attribute grammar formalism. In addition, the visual debugger
provided by EvDebugger is capable of displaying in an attractive
way the semantic evaluation process for a sentence of the
language processor selected. Thus, the developer is able to
validate his/her design and identify potential errors and
malfunctions in an easy and intuitive way.
IV.
ASSESSMENT STUDY
During the 2013-2014 academic year, an experience with
students of the subject Compilers at Universidade do Minho in
the Master degree in Computer Engineering involving
EvDebugger was carried out. In the experience participated 10
students who were asked to use the tool. The experiment was
divided into the following phases.
• Presentation of the tool. EvDebugger functionality was
showed through a live tutorial to the students.
• Use of the EvDebugger. At this point, we presented to the
students different problems on language processing. The
problems were designed to exploit all the semantic power
of the attribute grammars. The language processing task
proposed asked for students to design attribute grammars
that required different degrees of inheritance.
• Collecting the opinions of students through a
questionnaire. We designed a short survey containing nine
XVI Simposio Internacional de Informática Educativa (SIIE’14)
questions with answers based on a four-point Likert-like
scale (Disagree, Partially Disagree, Partially Agree,
Agree). The questions are registered in the first column of
Table 1, the second column shows the percentage of
students that chose Agree and Partly Agree as an answer.
We also provide a space for students to write freely their
personal opinions about EvDebugger.
The results presented in Table 1 show that EvDebugger
success has garnered the group of students surveyed. The
assessment results obtained point that the functionalities
provided by the editor and the debugger have been useful for
students. The students consider both the grammar editor
provided and the visual debugger for the creation and refinement
of their language processor. Moreover, we have analyzed the
different viewpoints expressed in the free questionnaire. Among
the different opinions expressed, students pointed to various
problems encountered during the experience. Most frequent
suggestions have been the speed of the animations and the need
for a mechanism for the rapid access to specific points during
the evaluation process.
Table 1
Results obtained from the opinion survey.
%
Agreement
Survey Items
Grammar Editor
I found the attribute grammars editor easy to use
The visual aids of the editor (highlighting of
reserved words and symbols) seemed useful to me
I think the implementation of semantic functions in
a Java class is appropriate
The error messages provided by the compiler
proved appropriate
90
90
90
30
Visual Debugger
The visual debugger has helped me to improve the
design of grammars posed
The animations presented by the debugger has
helped me understand the data flow of my design
During animation, highlighting the rule syntactic
and calculation involved in every step of
debugging was helpful to understand my design
The arrows decorating the syntax tree during
animations have helped me to understand the
difference between inherited and synthesized
attribute
The table where the calculated semantic attributes
are stacked has helped me visualize the progress of
the calculation process
V.
100
90
90
80
90
CONCLUSIONS AND FUTURE WORK
Throughout this paper EvDebugger has been presented, a
tool for the specification and debugging of language processors.
The tool provides an editor for designing language processors
49
D. Rodríguez; P. R. Henriques; J. L. Sierra - Attribute grammars made easier: EvDebugger - A visual debugger for attribute grammars
based on the formalism of attribute grammars. Also, the
platform contains a powerful visual debugger showing the
evaluation process derived from the design. The educational
power of this software lies mainly in its visual debugger and the
animations provided that accurately illustrate the attribute
evaluation process enhancing the dependencies among
attributes. It allows students to better understand both the
formalism and the operation of their own designs. Thus, students
are able to refine the designs of their language processors and
validate those before moving to the final deployment. The
results of assessment included in this paper reveal that the
perceived usefulness by students is high, since EvDebugger is
considered as a complementary tool in the Compilers course,
which is useful for understanding attribute grammars and their
application to the design of language processors.
Finally, as lines of future work it is firstly mentioned the
need to fill the gaps found in EvDebugger by students during the
assessment study: improving the error messages, and providing
quick access to specific points in the evaluation process. Then,
we would like to organize another experience with students to
measure the educational effectiveness of the tool, and its impact
on the design and development of the final project of the course.
VI.
ACKNOWLEDGMENT
This research was partially supported by grants TIN201021288-C02-01, EDU/3445/2011 and National Funds through the
FCT – Fundação para a Ciência e a Tecnologia (Portuguese
Foundation for Science and Technology) within project PEstOE/EEI/UI0752/2014.
VII. REFERENCES
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
50
ACM/IEEE. Computer Science Curriculum 2008: An Interim Revision of
CS 2001. 2008.
Aho, A.V., Lam, M.S., Sethi, R., Ullman, J.D.: Compilers: principles,
techniques and tools (second edition), Addison-Wesley, 2007.
Aiken, A. (1996). Cool: A portable project for teaching compiler
construction. ACM SIGPLAN Notices, 31(7): 19-24, 1996.
Baldwin, D. (2003). A compiler for teaching about compilers. In
SIGCSE’03: Proceedings of the 34th SIGCSE technical symposium on
Computer science education, pages 220-223, New York, NY, USA. ACM.
Blanton, E., Lessa, D., Arora, P., Ziarek, L., & Jayaraman, B. (2013). JI.
FI: Visual test and debug queries for hard real-time. Concurrency and
Computation: Practice and Experience.
Bovet, J. and Parr, T. 2008. ANTLRWorks: an ANTLR grammar
development environment. Softw: Pract. Exper., 38: 1305–1332. doi:
10.1002/spe.872.
Cameron, M., Garcia De La Banda, M., Marriott, K., & Moulder, P. (2003,
August). Vimer: a visual debugger for mercury. In Proceedings of the 5th
ACM SIGPLAN international conference on Principles and practice of
declaritive programming (pp. 56-66). ACM.
Copeland, T. (2007). Generating parsers with JavaCC. Alexandria:
Centennial Books.
Donnelly, C., & Stallman, R. (2004). Bison. The YACC-compatible Parser
Generator.
[10] Hudson, S. E., Flannery, F., Ananian, C. S., Wang, D., & Appel, A. W.
(1999). Cup parser generator for java. Princeton University.
[11] Ledgard, H.F. 1971. Ten mini-languages: A study of topical issues in
programming languages. ACM Computing Surveys, 3(3).115-146.
[12] Mernik, M. & Zumer, V. 2003.An educational tool for teaching compiler
construction. IEEE Transactions on Education, vol.46. 61-68.
[13] Ong, J. C., Remolina, E., Smith, D. E., & Boddy, M. S. (2013). A Visual
Integrated Development Environment for Automated Planning Domain
Models.
[14] Paakki, J. 1995. Attribute Grammar Paradigms – A High-Level
Methodology in Language Implementation. ACM Computer Surveys, 27, 2,
196-255.
[15] Parr, T. (2009). ANTLR parser generator. Online Stand Dezember.
[16] Pereira, M. J., Oliveira, N., Cruz, D., & Henriques, P. (2013). Choosing
grammars to support language processing courses. Proceedings of the 2nd
Symposium on Languages, Applications and Technologies. OpenAccess
Series in Informatics (OASIcs).
[17] Resler, D. & Deaver, D. 1998. VCOCO: A visualization tool for teaching
compilers. Proceedings of the 6th annual Conference on the Teaching of
Computing and the 3rd annual Conference on Integrating Technology into
Computer Science Education (ITiCSE’98), ACM, New York, NY, USA.
199-202.
[18] Rodríguez-Cerezo, D. & Sierra, J-L. 2013. Introducing a DesignPreserving Implementation Strategy in a Compiler Construction Course.
XV Simposio Internacional de Informática Educativa (SIIE'13). ACM.
Pags 24-29.
[19] Rodríguez-Cerezo, D., Gómez-Albarrán, M. & Sierra, J.L. (2013).
Interactive educational simulations for promoting the comprehension of
basic compiler construction concepts. In Proceedings of the 18th ACM
conference on Innovation and technology in computer science
education (ITiCSE '13). ACM, New York, NY, USA, 28-33.
[20] Rodríguez-Cerezo, D., Sarasa-Cabezuelo, A., Gómez-Albarrán, M. &
Sierra, J.L. (2014). Serious games in tertiary education: A case study
concerning the comprehension of basic concepts in computer language
implementation courses, Computers in Human Behavior, Volume 31,
February 2014, Pages 558-570, ISSN 0747-5632.
[21] Ruckert, M. 2007. Teaching compiler construction and language design:
making the case for unusual compiler projects with postscript as the target
language. Proceedings of the 29th SIGCSE Technical symposium on
Computer science education, ACM, New York, NY, USA.232-236.
[22] Shapiro, H.D. & Mickunas, M.D. 1976. A new approach to teaching a first
course in compiler construction. Proceedings of the ACM SIGCSESIGCUE technical symposium on Computer science and education, ACM,
New York, NY, USA.158-166.
[23] Sierra, J.L., Fernández-Pampillón, A.M. & Fernández- Valmayor. A.
2008.An environment for supporting active learning in courses on language
processing. Proceedings of the 13th annual conference on Innovation and
technology in computer science education (ITiCSE '08) 128-132.
[24] Werner, M. 2003.A parser project in a programming languages course.
Journal of Computing in Small Colleges, 18(5).184-192.
[25] White, E., Sen, R. & Stewart, N. 2005. Hide and show: using real compiler
code for teaching. Proceedings of the 36th SIGCSE technical symposium on
Computer science education, ACM, New York, NY, USA.12-16.
[26] Xu, L. & Fred, G. 2006. Chirp on crickets: teaching compilers using an
embedded robot controller. Proceedings of the 37th SIGCSE technical
symposium on Computer science education, ACM, New York, NY,
USA.82-86.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Propuesta metodológica de gamificación en la
enseñanza técnica superior
Carina Soledad González González; Alberto Mora Carreño
Departamento de Ingeniería Informática y de Sistemas
Universidad de La Laguna, Tenerife, España
[email protected]
lo denominamos “gamificación” aplicada a la Educación, y con
ella se busca promover la motivación, el compromiso y ciertos
comportamientos en las personas [5].
En la actualidad no existe un consenso general sobre la
definición del término “gamificación”, sin embargo la idea
principal de utilizar elementos del diseño de juegos en entornos
no lúdicos con el fin de que las personas puedan adquirir
conocimientos y destrezas propias de su entorno de manera
divertida, está ganando cada vez más adeptos y según Gartner
[6] es una de las tecnologías emergentes.
En la educación superior existen trabajos relacionados [7, 8]
con la gamificación que indican algunos beneficios de introducir
estas mecánicas en las aulas universitarias [9, 10]. En este
sentido, Merquis (2013) [11] indica que la gamificación en la
educación superior puede aportar a los estudiantes mejores
oportunidades para, el compromiso con las tareas, el desarrollo
de una mayor flexibilidad mental y habilidades de resolución de
problemas, la competición y colaboración. Además, el
aprendizaje basado en juegos y las técnicas de gamificación [12]
han sido aplicados en diferentes asignaturas de Ingeniería
Informática con excelentes resultados en la motivación de los
estudiantes, aumento de la participación y el aprendizaje de
competencias específicas de las asignaturas, como por ejemplo,
construcción de compiladores o distintas metodologías de
desarrollo de software [13, 14].
Apoyándonos en las investigaciones anteriores, en este
trabajo nos hemos realizado las siguientes preguntas de
investigación: ¿qué elementos de juego o mecánicas se pueden
utilizar para mejorar la participación de los estudiantes de
ingeniería en un modelo de enseñanza-aprendizaje b-learning o
también denominada semi-presencial? y ¿la gamificación de las
actividades educativas puede mejorar los resultados de los
estudiantes en la asignatura?. Para dar respuesta a estas
preguntas, primero veremos algunas de las mecánicas de
videojuegos más utilizadas en la educación, y luego cómo
podemos introducirlas en las actividades educativas que forman
parte de la propuesta metodológica que aquí se presenta y se
pretende desarrollar en el aula de clases, así como fuera de ella,
siguiendo el modelo b-learning. Posteriormente, se presentará un
ejemplo práctico para ser tomado como caso de estudio en la
Resumen— En este trabajo, se presenta una propuesta
metodológica basada en la introducción de las técnicas de
gamificación o mecánicas de juego, en el proceso de enseñanzaaprendizaje de la Ingeniería Informática. Además, se presentará
una guía de técnicas y estrategias en forma de buenas prácticas de
gamificación en la educación, basada en trabajos relacionados.
Asimismo, se presentará un caso práctico como ejemplo de
aplicación de esta propuesta, en el marco de un Proyecto de
Innovación Educativa de la Universidad de La Laguna.
Palabras clave— gamificación, pensamiento lúdico, técnicas de
juego, motivación.
I.
INTRODUCCIÓN
¿Por qué en los estudios de Ingeniería, las asignaturas,
intensificaciones, especialidades, etc. más próximas al hardware
suelen ser menos demandadas por los estudiantes? [1]. Si los
estudiantes consideran los contenidos de estas asignaturas
asequibles y útiles para su formación como ingenieros es más
probable que escojan los itinerarios relacionados a la
Arquitectura y Tecnología de Computadores. Por ello, en este
artículo realizaremos una propuesta metodológica con
estrategias que pueden ayudar a motivar el estudio de las
asignaturas de tecnología, estructura y arquitectura de
computadores.
Actualmente, de forma muy rápida y en constante
crecimiento, los videojuegos se están convirtiendo en una de las
formas más populares de entretenimiento para todas las edades y
géneros. Muchos videojuegos requieren que los jugadores
aprendan y adquieran habilidades complejas, por ello implican el
desarrollo de habilidades y procesos cognitivos superiores,
siendo la motivación y el compromiso dos pre-requisitos
necesarios para el logro de las tareas en el juego [2]. Asimismo,
la investigación constata que los videojuegos poseen numerosos
efectos positivos, entre los que encontramos los de tipo
instructivo [3]. Por ello, creemos que la incorporación de
elementos y mecánicas de los juegos en la educación podría
disminuir los abandonos, la falta de motivación, el desgano y la
falta de compromiso con el proceso de enseñanza, al mismo
tiempo que se potenciaría el aprendizaje de competencias dentro
del Espacio Europeo de Educación Superior [4]. A este proceso
51
C. González; A. Mora - Propuesta metodológica de gamificación en la enseñanza técnica superior
enseñanza de la Ingeniería Informática. Finalmente,
presentaremos las principales conclusiones y las líneas abiertas
por este trabajo.
II.
D
FUNDAMENTOS DE LA PROPUESTA DE GAMIFICACIÓN EN
Dinámicas
LA EDUCACIÓN
Tal como vimos en la sección introductoria, esencialmente,
la gamificación intenta aplicar la mecánica de los juegos en
otros entornos, como el educativo. Aunque muy relacionados, el
concepto de gamificación no está directamente relacionado con
el diseño de videojuegos, sino con el componente adictivo de los
videojuegos, que aplicado en entornos diferentes pretende atraer
al usuario y lograr que realice ciertas acciones de forma
satisfactoria. Podemos decir entonces que para gamificar una
actividad hay que pensar como un diseñador de juegos. Según
Cook (2013) [15] , cualquier proceso que cumpla las siguientes
premisas puede ser transformado en un juego o ser gamificado:
a) la actividad puede ser aprendida; b) las acciones del usuario
pueden ser medidas y c) los feedbaks pueden ser entregados de
forma oportuna al usuario. Por tanto, vemos factible que las
actividades formativas pueden ser gamificadas. Básicamente, la
gamificación intenta satisfacer algunos de los deseos o
necesidades humanas fundamentales que la gente necesita, tanto
en el mundo real como en el virtual, tales como: el
reconocimiento, la recompensa, el logro, la competencia, la
colaboración, la autoexpresión y el altruismo. Para ello, utiliza
distintos elementos que junto a la estética del juego, crearan la
experiencia del jugador o jugadora.
Según Kevin Werbach (2012)[16], los tres elementos son las
dinámicas, las mecánicas y los componentes, y podemos verlos
en una estructura piramidal, dependiendo de si el elemento es
táctico o conceptual (Figura 1). Las dinámicas son el concepto,
la estructura implícita del juego. Las mecánicas son los procesos
que provocan el desarrollo del juego y pueden ser de distintos
tipos, tales como: a) Mecánicas sobre el comportamiento
(centrado en el comportamiento humano y la psique humana), b)
Mecánicas de retroalimentación (en relación con el ciclo de
retroalimentación en la mecánica de juego) y c) Mecánicas de
progresión (acumulación de habilidades significativas). Los
componentes son las implementaciones específicas de las
dinámicas y mecánicas: avatares, insignias, puntos, colecciones,
rankings, niveles, equipos, bienes virtuales, etc. Hay unos
componentes más populares que otros, siendo los principales los
puntos, las insignias y las tablas de clasificación ó PBLs (Points,
achievement Badges & Leader boards) [16] . Cabe destacar que
los elementos no son el juego, lo que hace el juego es cómo
estos elementos se entrelazan para conseguir que el jugador o
jugadora se divierta.
52
Limitaciones,
emociones,
narración,
progresión,…
M
Mecánicas
C
Componentes
Retos, recompensas,
feedbacks,
competición,
cooperación…
Logros,
puntos,
rankings,
niveles…
Figura 1. Pirámide de los Elementos de Gamificación. adaptado de Kevin
Werbach (2012) [18].
A nivel individual, para gamificar una actividad es necesario
encontrar la forma correcta de motivar a la persona adecuada en
el momento adecuado. Por ello, es importante conocer las
diferentes motivaciones, que pueden ser de dos tipos: a)
intrínsecas: inherente a la persona, lo realiza por su propio bien
o interés (por ejemplo: estatus, poder, acceso a ciertas aptitudes)
o para contribuir a un bien común y b) extrínsecas: exterior a la
persona, lo realiza por la recompensa o feedback. También es
importante el componente social, o lo que es lo mismo, el contar
con otras personas con las que competir, colaborar y comparar
logros. En el juego social, los objetivos pueden ser competitivos
o colaborativos. Por ello, en juegos de equipo deben ser
consideradas por separado las mecánicas que influyen en el
equipo (proyectos, puntuaciones de grupo, etc.), de las
mecánicas que solo se aplican al individuo (motivación, el
refuerzo positivo, etc.).
Por otra parte, es bueno seguir algunas pautas para la
gamificación de actividades educativas, tales como las
siguientes [17]: experimentación repetida, inclusión de ciclos de
retroalimentación rápida, adaptación de las tareas a los niveles
de habilidad, intensificación progresiva de la dificultad de las
tareas: ayuda a los estudiantes a mejorar sus habilidades y
suponen nuevos retos, división de tareas complejas en subtareas
más cortas y simples, diseño de diferentes rutas hacia el éxito,
incorporación de recompensas y actividades de reconocimiento
social (por ejemplo, profesores y compañeros.
Hemos visto en esta sección que muchas de las técnicas
utilizadas en la gamificación de procesos pueden convertirse en
estrategias útiles para ser aplicadas en las actividades de
aprendizaje, tanto dentro del aula como fuera de ella,
potenciando la motivación de los estudiantes hacia el
aprendizaje. A continuación presentaremos un ejemplo práctico
de cómo pueden aplicarse estas técnicas en una asignatura de
Ingeniería Informática.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
C. González; A. Mora - Propuesta metodológica de gamificación en la enseñanza técnica superior
III.
PROPUESTA METODOLÓGICA: GAMIFULL
El objetivo fundamental de esta propuesta es el potenciar la
motivación de los estudiantes de ingeniería a través de enfoques
metodológicos basados en juegos y TIC. La muestra que
tenemos para el desarrollo del trabajo, serán los estudiantes del
3er curso de la carrera en el caso del Grado de Ingeniería
Informática. Asimismo, se proponen distintas técnicas e
instrumentos para la evaluación de la eficacia del marco
metodológico y tecnológico que aquí se propone. De este modo,
se utilizarán distintas técnicas tales como: a) observación, b)
entrevistas y c) cuestionarios.
En la observación, utilizaremos un instrumento basado en el
IPA de Bales (1999) [18] y MTS (Momentary Time Sampling)
[19] (Tieghi-Benet et al., 2003), que permite organizar en
fragmentos de tiempo (minutos) la sesión a evaluar, y observar y
apuntar la dinámica e interacciones de grupo específicas durante
un intervalo de tiempo. Algunas categorías que se observarán en
los laboratorios y aulas de clase serán: comportamiento en la
tarea, realización de la tarea (por ejemplo, diseño, planificación,
programación, pruebas, depuración, etc.), manipulación,
comportamiento en el grupo, agrupamiento (si hay
subagrupamientos por ejemplo por parejas o trabajan solos, de
forma independiente), exclusión (si un estudiante es excluido
por su grupo o se excluye a sí mismo), interacción (cualquier
comunicación u otras interacciones entre estudiantes y otros,
como su propio grupo, otros estudiantes fuera del grupo, o
instructores, etc.).
Los cuestionarios se utilizarán en distintas fases del curso
académico (pre y post). Especialmente, utilizaremos el
cuestionario MSLQ [20] como pre y pos-test para evaluar la
motivación y estrategias de aprendizaje, un cuestionario sobre
competencias tecnológicas, hábitos y motivaciones hacia la
asignatura.
Asimismo, se realizarán evaluaciones continuas sobre las
tareas a través de rúbricas y un examen final. Además, se deben
registrar las observaciones sobre el trabajo grupal en las sesiones
presenciales y las exposiciones orales, y para ello se utilizará
una ficha de observación. Por otra parte, se utilizará como una
entrevista a los líderes de los grupos.
A. Plan de actividades, estrategias y ecosistema tecnológico
Se ha visto en la sección introductoria los diferentes
elementos que han sido considerados para gamificar una
actividad de forma satisfactoria, y específicamente, pautas para
hacerlo en la educación. En concreto, vamos a aplicar un método
que consta de 5 pasos fundamentales:
• Paso 1. Análisis de usuarios y contexto: Es importante
conocer qué tipo de estudiante tenemos, con el fin de
diseñar actividades educativas que permitan la
consecución de los objetivos del curso. El análisis de los
usuarios nos dará información sobre su edad, género,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
conocimientos previos, preferencias, etc., mientras que el
análisis del contexto nos permitirá conocer el entorno,
tamaño del grupo de clase, dónde trabaja, franja horaria,
etc. y nos permitirá ajustar las actividades, entre otras
cosas, a las motivaciones de los estudiantes. Por ejemplo,
si sabemos que nuestra clase se da antes de almorzar, los
estudiantes durante la clase pueden estar más atentos al
almuerzo que a nuestra asignatura debido a un factor
físico.
• Paso 2: Definición de los objetivos de aprendizaje: Se
deben definir qué competencias son necesarias para dar
por alcanzados los objetivos del tema o la asignatura. Se
deben identificar así mismo, cómo serán alcanzados: qué
tareas o actividades necesitan resolver satisfactoriamente
los estudiantes para dar por superado un determinado
objetivo de aprendizaje.
• Paso 3: Diseño de la experiencia: la experiencia tiene
que estar organizada en etapas e hitos, en donde cada
etapa se corresponde determinadas secuencias de
aprendizaje que deben ser superadas para lograr el
objetivo. Estas secuencias pueden ser lineales y/ó
adaptativas (diferentes caminos para alcanzar un
objetivo). Asimismo, se debe indicar cuando se da por
superada o completa la lección del tema o asignatura.
• Paso 4: Identificación de los recursos: Una vez que
están definidas las etapas e hitos que el estudiante debe
superar, se deben identificar cuáles estarán gamificadas y
cómo lo estará. Para ello, se deben considerar los
siguientes recursos de gamificación: a) Mecanismo de
tracking: herramienta que ayudará a medir el progreso
del estudiante en el aprendizaje; b) Unidad de medida:
que determina el logro (puntos, tiempo, etc.); c) Nivel:
cantidad de unidad de medida necesaria para lograr el
nivel; d) Reglas: sobre lo que los estudiantes pueden
hacer o no hacer en la actividad; e) Feedback: o refuerzos
que el profesor o el resto de compañeros darán al
estudiante para que aprenda y vea su progreso.
• Paso 5: Aplicación de los elementos de gamificación:
Como se mencionó anteriormente, la gamificación es la
incorporación de elementos de juego, llamados
mecánicas, en otros contextos distintos. Las mecánicas
pueden ser individuales (puntos, insignias, niveles,
restricciones, etc.) o sociales (competición o
colaboración, por ejemplo, una tabla de clasificaciones u
objetos, entre otras mecánicas).
Veamos ahora cómo podemos gamificar una actividad
educativa. Por ejemplo, vamos a gamificar una actividad de la
asignatura de 3er curso de Sistemas de Interacción PersonaComputador del Grado en Ingeniería Informática, paso a paso,
siguiendo el método anteriormente descrito:
53
C. González; A. Mora - Propuesta metodológica de gamificación en la enseñanza técnica superior
B. Paso 1. Análisis de usuarios y contexto
En nuestro caso, el 3er curso del Grado en Ingeniería
Informática, puede tener una muestra de 100 estudiantes con
edades comprendidas entre 19 y 30 años, una distribución del
70% de hombres y el 30% de mujeres, dividida en dos grupos de
teoría y problemas (mañana y tarde). Sobre el contexto de la
actividad, dependiendo del tipo de tarea, la misma puede ser
realizada en el aula de clases, en las salas de ordenadores para el
trabajo grupal y en las casas de los estudiantes para trabajo
individual y grupal. Sobre la franja horaria de las clases
presenciales, estas se dan de mañana (9:30-11:30 horas) y de
tarde (18:00:20:00 horas) y las prácticas en las salas de
ordenadores se organizan en las franjas de mañana (12:0014:00) y de tarde (14:30-16:30). Para conocer los hábitos de
conexión de los estudiantes se debe realizar un cuestionario
previo, en donde se les preguntan sobre estos hábitos, así como
se les preguntaran los conocimientos previos y las motivaciones.
TABLA I. COMPETENCIAS GENERALES, ESPECÍFICAS Y TRANSVERSALES QUE SE
TRABAJARÁN EN ESTA ACTIVIDAD GAMIFICADA.
C. Paso 2: Definición de los objetivos de aprendizaje
En nuestro caso de ejemplo, vamos a gamificar el tema
“Diseño de interfaces interactivas”. Una vez que hemos visto los
perfiles de los estudiantes que tenemos, sus conocimientos
previos y sus principales motivaciones (a través del cuestionario
inicial), se debe proponer un tema de actual relevancia y
emergente, que les interese aprender y que les sea útil para sus
futuros proyectos profesionales. Asimismo, en lo posible, habrá
que relacionarlo con el contexto real. A través de esta actividad
se pretende que los estudiantes adquieran las competencias
mostradas en la Tabla I.
La evaluación de estas competencias debe estar recogida en
la guía docente dentro del sistema de evaluación, que en nuestro
caso, se recoge como un trabajo dentro de la asignatura valorado
en trabajos y proyectos (40%) y realización de trabajos y su
defensa (20%). Ello introduce un elemento más de motivación
extrínseca del estudiante, ya que la actividad debe contar en la
nota final del estudiante (en este ejemplo, dentro del 60% de la
nota de la asignatura)
En nuestro caso práctico, para trabajar estas competencias, se
define como objetivo de la actividad la realización del diseño y
prototipado de una aplicación para móviles aplicando
correctamente los patrones de diseño. Asimismo, se definen
distintas subtareas para superar esta actividad: a) Analizar los
patrones de diseño para aplicaciones móviles; b) Realizar el
diseño conceptual con la estructura de la aplicación interactiva
para móviles (contenido, componentes y áreas funcionales); c)
Definir la estructura de navegación de la APP para Android; d)
Definir la estructura de navegación de la APP para IOS; e)
Definir la estructura de navegación siguiendo un diseño
adaptativo (Responsive Design), f) Prototipar la aplicación
siguiendo los patrones de diseño según las decisiones de diseño
tomadas en el grupo; g) Presentar y justificar las decisiones de
diseño en clase y h) Realizar un informe escrito del trabajo
realizado.
E19 Conocimiento de las principales tecnologías de interacción e
identificación de métodos aplicables al uso de dichas tecnologías.
54
Competencias
Generales
C23. Capacidad para diseñar y evaluar interfaces persona computador que
garanticen la accesibilidad y usabilidad a los sistemas, servicios y aplicaciones
informáticas.
Específicas
E2 Capacidad de proponer diferentes soluciones software a problemas
básicos
E3
escala
Capacidad para analizar, diseñar y desarrollar software a pequeña
E4 Capacidad para depurar software a pequeña escala
E21 Diseñar interfaces teniendo en cuenta a usuarios con discapacidades.
E22 Conocer las técnicas y métodos de la ingeniería de la usabilidad (test
de usuarios, evaluación heurística, inspección de estándares, etc.).
E25 Conocer el diseño centrado en el usuario con sus principales técnicas y
saberlo aplicar en el diseño, desarrollo y evaluación de sistemas interactivos.
E27 Saber diseñar la interacción y las interfaces de un sistema (personajes,
escenarios, prototipado, diseño de la interacción, estilos de interacción, etc.).
E28 Desarrollar aplicaciones prácticas en temas actuales sobre IPO:
interfaces móviles, sistemas interactivos web, entornos y dispositivos
inteligentes y adaptativos, entornos domóticos e industriales.
Transversales
T3. Tener iniciativa para aportar y/o evaluar soluciones alternativas o
novedosas a los problemas, demostrando flexibilidad y profesionalidad a la hora
de considerar distintos criterios de evaluación.
T7. Capacidad de comunicación efectiva (en expresión y comprensión) oral
y escrita, con especial énfasis en la redacción de documentación técnica.
T8. Capacidad de comunicación efectiva con el usuario en un lenguaje no
técnico y de comprender sus necesidades.
T9. Capacidad para argumentar y justificar lógicamente las decisiones
tomadas y las opiniones.
T10. Capacidad de integrarse rápidamente y trabajar eficientemente en
equipos unidisciplinares y de colaborar en un entorno multidisciplinar.
T20. Capacidad de trabajar en situaciones de falta de información y/o con
restricciones temporales y/o de recursos.
T24. Capacidad de diseñar y realizar experimentos sencillos y analizar e
interpretar sus resultados.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
C. González; A. Mora - Propuesta metodológica de gamificación en la enseñanza técnica superior
También se deben establecer distintos requisitos funcionales
que la aplicación debía tener. Por ejemplo, se debe incluir en la
aplicación determinadas opciones y características e información
sobre: login y registro, mapa interactivo, lista de ofertas,
búsqueda de ofertas, calendario de eventos, más popular, votado
y visitado, así como compartir enlaces y eventos.
D. Paso 3: Diseño de la experiencia
En nuestro caso práctico de ejemplo, para lograr el objetivo
del tema, se deben superar 8 subtareas, divididas en 4 fases. Las
secuencias entre fases son lineales, sin embargo, la fase 3 es
adaptativa. Así, las fases pueden ser superadas realizando al
menos una de las tareas de la misma (por ejemplo, realizando la
aplicación móvil multiplataforma), realizando dos tareas (por
ejemplo, realizando las APPs para Android e IOS, o una de ésta
más la aplicación web adaptativa) o realizado todas las posibles
tareas (Android, IOS y Web adaptativo).
En cuanto a la planificación temporal, se debe proponer la
secuencia en tiempos. En el caso práctico, la actividad se
organiza en 4 semanas (desde la 6 a la semana 10), teniendo en
cuenta la planificación realizada en la guía docente de la
asignatura (la parte correspondiente al tema de diseño de
interfaces interactivas). La actividad se da por superada cuando
se completan todas las fases de la misma.
E. Paso 4: Identificación de los recursos
En nuestro caso práctico, se propone como mecanismo de
tracking las entregas parciales realizadas por los estudiantes en
los plazos de tiempo (unidad de medida) establecidos para cada
una de ellas. Asimismo, se asocia cada tarea al logro de puntos
(unidad de medida), así como cada nivel a un máximo de
puntuación (también, este mecanismo puede ser utilizado en
otras actividades de la asignatura en forma de rúbricas, de modo
que los estudiantes puedan valorar sus propios trabajos de
acuerdo a las mismas). Las reglas se establecen en las mismas
instrucciones de la actividad. Asimismo, se establece un sistema
de votación grupal, donde cada grupo debía valorar al resto de
grupos (excepto el propio) dándole valores de 1 a 10, por
ejemplo en cada uno de los ítems correspondientes a Diseño (D),
Estructura (E) y Presentación (P). Finalmente cada grupo debe
justificar los resultados de su propia votación en clase
(feedback), apoyados por la profesora, quien analizará los pros y
contras de cada diseño (feedback).
F. Paso 5: Aplicación de los elementos de gamificación
En nuestro caso práctico de ejemplo, podemos utilizar
mecánicas individuales (puntos por participación en la
comunidad de Google+, recompensas en forma de golosinas en
clase de distinto valor según puntuación obtenida, etc.) y
mecánicas sociales de competición entre grupos y colaboración
grupal (tabla de clasificaciones, recompensas grupales en forma
de objeto virtual). La aplicación de estas mecánicas pueden
XVI Simposio Internacional de Informática Educativa (SIIE’14)
realizarse en diferentes momentos (por ejemplo, durante la
actividad y al finalizar la asignatura) y los puntos pueden ser
otorgados tanto por la profesora como por los propios
estudiantes (comunidad virtual, valoración de criterios
satisfechos en la rúbrica de la actividad, etc.).
Para poder implementar la propuesta metodológica se
requieren diferentes herramientas tecnológicas, las cuales
conformarán el ecosistema tecnológico de soporte. Además,
debemos dotar a este ecosistema de los elementos de
gamificación, esto es, las mecánicas y dinámicas propias de los
juegos, pero adaptadas a las actividades de aprendizaje. Por ello,
nos proponemos conectar los diferentes sistemas que se
utilizarán en durante el curso con una plataforma de
gamificación. En nuestro caso, especialmente nos interesa
conectarlo con el LMS (Moodle), las redes sociales Twitter,
Linkedin, Google+, Siena Social para la autoevaluación, Google
Drive para el portafolio digital, Trello para la gestión de
proyectos, un editor de código online y colaborativo (Scrapfy)
y una aplicación propia de registro del trabajo en los laboratorios
virtuales y reales así como la actividad de clases que llevaremos
a través de rúbricas.
Para gamificar todas las actividades de aprendizaje, virtuales
y presenciales, y poder llevar su registro y monitorización,
necesitaremos conectarla a alguna plataforma de gamificación
existente o desarrollar una plataforma propia. Actualmente
existen distintas plataformas de gamificación que permiten
aplicar mecánicas de juegos y dinámicas de juegos así como
monitorizar de forma automática los procesos gamificados en
diferentes entornos, tales como los empresariales y educativos.
Destacaremos algunas de ellas, tales como: Badgeville, Bigdoor,
Cloud Captive, CRMGamified, Gamify.ws, Gamisfaction,
Gigya, Hoopla, Jugo, Punto Extra, SAP Gamification Platform,
Venture Spirit o Wooboard, entre otras plataformas. Sin
embargo, las plataformas de teleformación actuales de éxito y
más extendidas en la comunidad, tales como Moodle, Sakai,
Blackboard, etc., no implementan este tipo de mecánicas de
juego como elementos propios para el diseño de actividades
gamificadas.
Por ello, la presente propuesta metodológica pretende
analizar, diseñar y desarrollar una plataforma tecnológica que
permita aplicar técnicas de gamificación en todo el proceso de
enseñanza-aprendizaje de las ingeniería informática, lo que
supone un valor añadido a las prácticas y tecnología educativas
no gamificadas y en un contexto de aprendizaje actualmente
soportado por plataformas de eLearning (b-Learning). Además,
en el diseño de este ecosistema tendremos en cuenta los
enfoques de diseño como el centrado en la función, el diseño
centrado en el usuario y el diseño centrado en el entorno.
55
C. González; A. Mora - Propuesta metodológica de gamificación en la enseñanza técnica superior
IV.
CONCLUSIONES
Estamos viviendo un momento de crisis de la educación
tradicional, reflejada en las aulas universitarias. Además de los
cambios introducidos por el EEES, un cambio al que podríamos
definir como el paso de la universidad tradicional basada en
“tecnologías de papel” a una universidad basada en tecnologías
digitales, en donde los nativos digitales encuentran naturales a
los medios digitales, mientras que el profesorado se enfrenta
ante el desafío de poner en práctica la educación centrada en el
estudiante-nativo-digital.
Asimismo, Internet ofrece un sin número de herramientas 2.0
que pueden ser aprovechadas por su potencial educativo. En este
contexto, también los videojuegos educativos aparecen como
herramientas para el aprendizaje, idóneas para este tipo de
alumnado, permitiendo desarrollar competencias más adecuadas
a los estudiantes del siglo XXI. Sin embargo, las actividades
tradicionales del aula también siguen siendo importantes para el
desarrollo del aprendizaje y deben coexistir con los medios
digitales en un ambiente híbrido de enseñanza-aprendizaje, tanto
formal como informal. Por ello, en este proyecto, hemos
presentado una propuesta de cómo podemos aprovechar el
potencial de las mecánicas de juego para introducirlas no solo en
un software (el tipo “videojuego”), sino en las actividades
educativas que se desarrollan en el aula así como fuera de ella,
dentro de un ecosistema tecnológico. A este proceso lo
denominamos “gamificación” de los materiales y actividades
educativas. Esencialmente, la gamificación intenta aplicar la
mecánica de los juegos en otros entornos, tal y como el entorno
educativo. Es importante distinguir que el concepto de
gamificación de otros conceptos que parecen relacionados, pero
que son diferentes y muchas veces confundidos. Gamificación
no es un “serious game” o “juego serio”, aunque estemos usando
mecánicas de juego aplicadas a entornos “serios” (como el
trabajo o el aula) y no solo como elemento de ocio. Tampoco
gamificación es un videojuego, ya que aunque usemos las
mecánicas de juego, podemos gamificar sin utilizar ningún
videojuego, y ni siquiera un entorno digital ni en línea. Por lo
tanto, podemos decir que el concepto de gamificación no está
directamente relacionada con el diseño del videojuego, sino con
el componente adictivo de los videojuegos aplicado en entornos
diferentes para lograr que el usuario realice ciertas acciones de
forma satisfactoria. La gamificación se basa en poder satisfacer
algunos de los deseos o necesidades humanas fundamentales: el
reconocimiento, la recompensa, el logro, la competencia, la
colaboración, la autoexpresión y el altruismo. La gente necesita
de estas cosas, tanto en su mundo real como en el virtual.
También es importante el componente social, o lo que es lo
mismo, el contar con otras personas con las que competir,
colaborar y comparar logros. En el juego social, los objetivos
pueden ser competitivos o colaborativos. En juegos de equipo
deben ser considerados por separado las mecánicas que influyen
en el equipo (proyectos, puntuaciones de grupo, etc.), de las
56
mecánicas que solo se aplican al individuo (motivación, el
refuerzo positivo, etc.).
Como hemos visto, muchas de las mecánicas de juego
comentadas anteriormente pueden convertirse en estrategias
útiles para ser aplicadas en las actividades de aprendizaje, tanto
dentro del aula como fuera de ella. Creemos además, que este
tipo de enfoque potencia la motivación de los estudiantes tanto
para el aprendizaje formal como el informal a través de
introducir el componente “adictivo” de los videojuegos en el
diseño instruccional. Vemos entonces, que nuestra propuesta se
enmarca dentro de paradigmas constructivistas y de aprendizaje
experiencial, en donde encontramos al aprendizaje basado en
juegos (GBL). Por lo tanto, este proyecto busca analizar las
características que hacen “adictivos” a los videojuegos para de
esta forma, poder incorporar estas características en el diseño de
las actividades y recursos educativos. Como podemos observar,
muchas de estas características pueden ser utilizadas para el
aprendizaje de competencias transversales y para el trabajo
profesional.
V.
AGRADECIMIENTOS
Este trabajo se ha realizado en el marco de un proyecto de
innovación educativa “GAMIFULL: Gamificación de la
educación superior“, aprobado por el Vicerrectorado de Calidad
Institucional e Innovación Educativa de la Universidad de La
Laguna en la Convocatoria 2014-2015.
VI.
REFERENCIAS
[1]
Ortega J., Anguita M., Damas M., González J. (2013). Motivación para la
Ingeniería de Computadores. En Revista “Enseñanza y Aprendizaje de
Ingeniería de Computadores”. Número 3, 2013.
[2] Gee, J. P. (2003). What Digital Games Have to Teach Us. About Learning
and Literacy. New York & Basingstoke: Palgrave Macmillan
[3] McFarlane, A., Sparrowhawk, A.& Heald, Y. (2002). Report on the
educational use of games: An exploration by TEEM of the contribution
which games can make to the education process
[4] Mérida, R., Angulo, J., Jurado, M., Diaz, J. (2011). Student Training in
Transversal Competences at the University of Cordoba. European
Educational Research Journal, 10 (1), 34-52.
[5] Lee, J. & Hammer, J. (2011). Gamification in Education: What, How, Why
Bother? Academic Exchange Quarterly, 15(2)
[6] Gartner R. (2014). Hype Cycle for Emerging Technologies. Accesible
online: http://www.gartner.com/technology/research/hype-cycles/
[7] Fitz-Walter Z. & Tjondronegoro D, Wyeth P. (2011). Orientation Passport:
using gamification to engage university students.
[8] Decker A. & Lawley L. (2011). Life's a game and the game of life: how
making a game out of it can change student behavior.
[9] Barata, G. , Gama, S. , Jorge, J. , Gonçalves, D. (2013). So Fun It Hurts –
Gamifying an Engineering Course. Foundations of Augmented CognitionLecture Notes in Computer Science Volume 8027, 2013, pp 639-648.
[10] Sheth, S., Bell, J., Kaiser, G. (2011): Halo (highly addictive, socially
optimized) software engineering. In: Proceeding of the 1st international
workshop on Games and software engineering. Volume 11 of GAS. (2011)
29–32.
[11] Merquis J. (2013). 5 Easy Steps to Gamifying Higher Education. Accesible
en:
http://classroom-aid.com/2013/08/16/5-easy-steps-to-gamifyinghighereed/
XVI Simposio Internacional de Informática Educativa (SIIE’14)
C. González; A. Mora - Propuesta metodológica de gamificación en la enseñanza técnica superior
[12] Deterding, S., Dixon, D., Khaled, R., Nacke, L. (2011). From game design
elements to gamefulness: defining “gamification”. In: Proc. 15th
International Academic MindTrek Conf. Envisioning Future Media
Environments. ACM (2011) 9–15.
[13] Rodríguez-Cerezo, D., Sarasa-Cabezuelo, A., Gómez-Albarrán, M., and
Sierra, J.L. (2013). Serious games in tertiary education: A case study
concerning the comprehension of basic concepts in computer language
implementation courses. Computers in Human Behavior, 31, 558–570.
[14] Zhijiang Dong C.L., Untch R., & Chasteen M. (2013). Engaging
Computer Science Students through Gamification in an Online Social
Network Based Collaborative Learning Environment. International Journal
of Information and Education Technolog vol. 3, no. 1, pp. 72-77, 2013.
[15] Cook, W. (2013) Training Today: 5 Gamification Pitfalls. Training
Magazine. Retrieved from: http://www.trainingmag.com/content/trainingtoday-5-gamification-pitfall.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[16] Werbach, K. (2012) For the Win: How Game Thinking Can Revolutionize
Your Business. Wharton: Wharton Digital Press, 2012.
[17] Linehan C., Kirman B., Lawson S., Chan G. (2011). Practical, appropriate,
empirically-validated guidelines for designing educational games.
Proceedings of the SIGCHI Conference on Human Factors in Computing
Systems.
[18] Bales, R.F. (1999). Social interaction systems: Theory and measurement.
Transaction Publishers.
[19] Tieghi-Benet, M. C., Miller, K., Reiners, J., Robinett, B. E. Freeman, R. L.,
Smith, C. L., Baer, D., Palmer, A. (2003). Encouraging Student Progress
(ESP), Student/ team book. Lawrence, KS: University of Kansas.
[20] Pintrich, P.R., Smith, D.A., García, T. y Mckeachie, W.J. (1991). A
manual for the use of the motivational strategies for learning questionnaire
(MSLQ). AnnArbor, MI: NCRIPTAL, the University of Michigan.
57
Diseño de e-actividades para el aprendizaje de tareas de
refactorización de código
Carlos López, Jesús M. Alonso, Raúl Marticorena, Jesús M. Maudes
Área de Lenguajes y Sistemas Informáticos
Universidad de Burgos
Burgos, España
{clopezno, rmartico, jmaudes}@ubu.es, [email protected]
definir actividades de aprendizaje que tengan en cuenta esta
relación.
Actualmente las tareas de refactorización son utilizadas en
los equipos de desarrollo empresarial y gozan de una gran
popularidad entre los desarrolladores, especialmente en los
principales países exportadores de desarrollos software. Además
tienen una multitud de documentación tanto online y libre
(catálogo de M. Fowler en refactoring.com), como bibliográfica
[1] [2] [3][4].
El problema planteado es que ninguna de la bibliografía
mencionada tiene un enfoque puramente pedagógico donde se
pueda guiar el proceso de enseñanza y aprendizaje utilizando en
menor medida las metodologías centradas en el profesor
(caracterizadas como expositivas y pasivas) para ir
evolucionando hacia metodologías y actividades centradas en el
estudiante (activas, dinámicas y participativas) [5]. Según
Cabero y Román [6] las actividades para el aprendizaje se
refieren a las diferentes acciones que los estudiantes llevan a
cabo en completa relación con los contenidos e informaciones
que les han sido ofrecidos. Si estas actividades son presentadas,
realizadas o transferidas a través de la red, entonces se pueden
considerar como e-actividades.
En concreto en este trabajo se definirán un conjunto de eactividades que persiguen cubrir los niveles de la taxonomía de
Bloom: conocimiento, comprensión, aplicación, análisis, síntesis
y evaluación [7]. Cada e-actividad utilizará plantillas
pedagógicas para su descripción: tipo de actividad, roles del
docente y el alumno, recursos TIC necesarios, resultados o
salida esperada y criterios de evaluación.
El resto de artículo se estructura de la siguiente forma. En la
Sec. II, se enumeran los tipos de e-actividades y se planifican en
el contexto de la asignatura objetivo. En la Sec. III, se detalla el
diseño pormenorizado de las e-actividades, para en la Sec. IV,
describir su aplicación. Finalmente en la Sec. V, se presentan las
conclusiones obtenidas del presente trabajo así como las líneas
de trabajo abiertas.
Resumen— En este trabajo se presenta un conjunto de eactividades online para el proceso de enseñanza y aprendizaje de
tareas de refactorización de código. El diseño pedagógico del
conjunto de las actividades es progresivo, según los niveles de
conocimiento de la taxonomía de Bloom. Primero se proponen
actividades que ayuden a conocer y comprender el concepto, luego
actividades para aplicar refactorizaciones en el contexto de
desarrollos de software reducidos, para llegar hasta análisis y
síntesis del uso de refactorizaciones en tareas de mantenimiento del
software en proyectos de código abierto. Los recursos utilizados
para resolver las actividades están relacionados con los que el
estudiante podrá encontrarse al ejercer su carrera profesional
orientada al desarrollo del software: entornos de desarrollo
integrados, sistemas de control de tareas y sistemas de control de
versiones. Además se describe la utilización de las e-actividades en
el contexto de una asignatura de Ingeniería del Software del Grado
en Ingeniería Informática de la Universidad de Burgos y se
analizan algunas consecuencias de la experiencia.
Palabras clave — refactorización; proceso enseñanza aprendizaje
online; e-actividades, evaluación;taxonomía de Bloom; defectos de
código
I.
INTRODUCCIÓN
En el área de conocimiento de la ingeniería del software las
tareas de refactorización de código se encuentran dentro del sub
área de mantenimiento del software. La refactorización es un
tipo de tarea de corrección que se define como: una
transformación del programa aplicada en fase de mantenimiento
y que no cambia su comportamiento externo [1]. Los motivos
para refactorizar son la mejora de algún atributo de calidad. En
el contexto de refactorización también se describe y categoriza
el concepto de defecto de código (bad smell). Es decir, el
proceso de refactorización se inicia para eliminar una instancia
concreta de un defecto de código y mejorar así algún atributo de
calidad.
El resultado de una tarea de refactorización es un cambio en
el código. Desde un punto de vista de ingeniería del software la
gestión de cambio está definida en el área de conocimiento de
gestión y configuración del software. Parece interesante poder
59
C. López, J. M. Alonso, R. Marticorena, J. M. Maudes - Diseño de e-actividades para el aprendizaje de tareas de refactorización de código
II.
PLANIFICACIÓN DE E-ACTIVIDADES
Antes de abordar su planificación, es necesario tener claro el
conjunto de e-actividades a utilizar en la asignatura. A
continuación se realiza la propuesta de las mismas, para
posteriormente
encuadrarlas
en
el
proceso
de
enseñanza/aprendizaje.
A. Tipo de e-actividades utilizadas
El tipo de e-actividades que se proponen son:
• Lectura. Las lecturas son los textos y la documentación
escrita, tanto de obras completas como fragmentos que se
han recogido y editado como fuente de profundización en
los contenidos trabajados.
• Ejemplos. Se trata de la exposición de ciertos elementos
que, por analogía, pueden transferirse a otros contenidos
o situaciones. Los ejemplos facilitan la comprensión de
las informaciones y de los contenidos de aprendizaje,
conocimientos, ideas o procedimientos. El abanico de
objetivos que permiten trabajar es muy amplio, pero
normalmente por sí solos los ejemplos no aseguran la
consecución de ninguno de ellos. En este sentido, se
caracterizan porque actúan como complementos de otros
recursos.
• Pruebas objetivas. Son instrumentos de medida,
elaborados rigurosamente, que permite evaluar
conocimientos, capacidades, destrezas, rendimiento,
aptitudes, actitudes, inteligencia, etc. Suelen ser un
recurso utilizado para la evaluación diagnóstica,
formativa y sumativa. Podemos encontrarlas de
naturaleza variada como por ejemplo: de respuesta breve,
de completar, de discriminación, de ordenación, de
localización o identificación.
• Aprendizaje basado en problemas. Es una técnica en la
cual el estudiante debe resolver una situación
problemática concreta (que puede tener más de una
posible solución), a partir de los contenidos que se han
trabajado.
• Estudio de caso (Case-Based Learning). El estudio de
caso se basa en la presentación de una situación
problemática, real o ficticia, que el estudiante tiene que
resolver. Las competencias sobre las que se trabaja son:
identificación y análisis de factores externos e internos,
planificación de procesos y toma de decisiones
argumentada.
• Seminario virtual. Es una técnica de grupo que promueve
el estudio intensivo de un tema. Se caracteriza por la
discusión, la participación, la elaboración de documentos
y las conclusiones compartidas por todos los
componentes del seminario. Su objetivo es explorar sobre
un tema concreto, reflexionar sobre un tema específico,
transmitir informaciones.
60
B. Planificación del proceso de enseñanza y aprendizaje
En el diseño del proceso de enseñanza y aprendizaje
mediante e-actividades es interesante diversificar para trabajar
diferentes habilidades y niveles de conocimiento. Se debe tener
en cuenta que previamente es recomendable haber cursado una
asignatura de diseño del software donde se haya tratado
conceptos de patrones arquitéctónicos y de diseño que permitan
dirigir el proceso de refactorización.
Bajo esta premisa en la TABLA I. se muestra nuestra
propuesta de planificación para formar a alumnos del Grado de
Ingeniería Informática de la mención de Ingeniería del Software
de 8º semestre en las tareas de mantenimiento del software
relacionadas con refactorización de código.
TABLA I.
Bloom a
E-ACTIVIDADES DE REFACTORIZACIÓN
Planificación enseñanza/aprendizaje de refactoring
Descripción
Tipo
Duración
Lectura,
Ejemplos,
Pruebas
objetivas
Aprendizaje
basado
en
problemas
C, Com
Lectura y comprensión de
bibliográfia sobre defectos de
código
Com,Ap
Identificación de defectos de
código
Ap, An
Detección de defectos de
código en sistemas opensource
C, Com
Lectura y comprensión de
bibliográfia sobre catálogo de
refactorizaciones
Com,Ap
Aplicación refactorizaciones
aisladas en IDE
Ap, An
Proceso de refactorización
mediante una secuencia de
refactorizaciones
Estudio
casos
de
6h
Com,Ap
Ejercicios de secuencia de
refactorizaciones relacionadas
Aprendizaje
basado
en
problemas
4h
Sin
Visita virtual a una empresa
de desarrollo para relacionar
las revisiones de código con
defectos y refactorizaciones
Seminario
Virtual
2h
a.
Estudio
casos
de
Lectura,
Ejemplos,
Pruebas
objetivas
Aprendizaje
basado
en
problemas
2h
2h
4h
4h
2h
C=Conocimiento, Com=Compresión, Ap=Aplicación, An=Análisis y Sin=Síntesis
III.
DISEÑO DE E-ACTIVIDADES DE REFACTORIZACIÓN
Cada descripción de e-actividad debería contener la siguiente
información [5]:
• Recursos asociados bien de elaboración propia, o en
abierto, o de la biblioteca, u otros.
• Cómo se puede presentar en el entorno virtual, con qué
tecnología o aplicación y con qué formato.
• Rol del docente y del alumno, o grupo de alumnos, si se
plantean dinámicas colaborativas.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
C. López, J. M. Alonso, R. Marticorena, J. M. Maudes - Diseño de e-actividades para el aprendizaje de tareas de refactorización de código
• Resultado u output esperado, cómo se evaluará y con qué
criterios.
A. Compresión de conceptos: lecturas, ejemplos y pruebas
objetivas
Como recursos para este nivel de conocimiento, además de la
bibliografía [1] [2], catálogo de refactorizaciones y defectos de
código
disponibles
en
online
(http://refactoring.com,
http://sourcemaking.com/refactoring),
se
proporcionan
videotutoriales de uso de herramientas propios de los autores
que permiten contextualizar el entorno tecnológico para
refactorizar: lenguaje de programación, herramientas de
detección de defectos y refactorización.
Todas las actividades de comprensión de conceptos llevan
asociado un cuestionario formativo con posibilidad de dos
intentos. Las preguntas que se incluyen son de tipo relación de
conceptos (match) y de selección múltiple (quiz) con valoración
negativa en las respuestas incorrectas y distintos pesos en
función de las respuestas. Las calificaciones positivas son
proporcionales al número de respuestas correctas y las negativas
proporcionales al número de respuestas incorrectas. En el texto
de las preguntas se incluyen referencias de lectura a los recursos
y a ejemplos. Se propone utilizar los cuestionarios de Moodle.
Esta tarea es individual. Sirve de autoevaluación al alumno y
al profesor le permite realizar un seguimiento del aprendizaje del
alumno.
B. Aprendizaje basado en problemas
Para poder realizar esta actividad es necesario haber superado
las pruebas del nivel de comprensión. Los recursos utilizados son
esqueletos de código compilados que recogen de manera
sintetizada entre uno y tres defectos de códigos. Los códigos son
de pequeño tamaño, máximo 200 LOC (Lines Of Code). El
recurso de código se suele presentar al alumno a través de una
referencia a un repositorio de ejercicios de código públicos cuyo
autor es algún docente de la materia.
Respecto a la dinámica, el docente es el encargado de
seleccionar los problemas de acuerdo con el resto de eactividades. Especialmente relevante es elegir códigos con
defectos y refactorizaciones que se vayan a utilizar en las eactividades de estudio de casos. La actividad para los alumnos
sigue siendo individual.
Las salidas de la actividad son dos. Por un lado, la
identificación del tipo de defecto de diseño indicando su
localización en el código. Por otro lado, el nuevo código
resultado de aplicar la refactorización para eliminar el defecto. La
evaluación está en función de la calidad de las respuestas y uso
correcto de los conocimientos adquiridos.
Se plantean tres alternativas para presentar esta actividad en
el entorno virtual. La primera es realizar un cuestionario cuyas
preguntas sean de texto abierto. La segunda es definir una
XVI Simposio Internacional de Informática Educativa (SIIE’14)
pregunta de texto incrustado (cloze) donde el texto de la pregunta
se incluye una descripción del problema de refactorización sobre
un código y el código resultante después de aplicar la
refactorización. Sobre éste se seleccionan identificadores y
palabras clave en partes de código afectadas por la
refactorización. La tercera es un tipo de foros especial conocido
como foros de preguntas respuesta. La dinámica en estos foros es
la siguiente, el profesor plantea cada problema con un enunciado
en un hilo de conversación y los alumnos contestan. En este tipo
especial de foros los alumnos no ven las respuestas de sus
compañeros si no han contestado. En ambas alternativas la escala
de calificación de las respuestas será de tres niveles (Mal,
Regular, Correcto).
C. Estudio de casos
Para poder realizar esta actividad es necesario haber superado
las pruebas del nivel de comprensión y aconsejable un nivel
básico de aplicación.
En esta actividad se pretende aproximar al alumno a un
contexto más real de desarrollo software. Se utilizan como
recursos software entornos de desarrollo integrados con
funcionalidad que automaticen operaciones de refactorización y
operaciones de detección de defectos de código presentados en
las e-actividades de conocimiento y comprensión.
Los códigos de programas utilizados pertenecen a proyectos
software reales o de carácter formativo. Los proyectos reales son
seleccionados de algún repositorio de proyectos de código
abierto (e.g.; SourceForge, GitHub, GoogleCode, Bitbucket).
Los proyectos de formación suelen seleccionarse de fuentes
bibliográficas concretas: Video club de Fowler et al. [1],
Refactoring Lab de Bourque et al.[7] [8].
Esta actividad se realiza en grupo de dos participantes. El
profesor proporciona una dirección web de un repositorio de
proyectos de código abierto. También añade un enunciado donde
se propone una nueva tarea de desarrollo, bien correctiva o
adaptativa. Los alumnos, para realizar sus tareas, generan su
propia versión, en el repositorio central, a partir de la
proporcionada por el profesor (fork). Por cada operación de
refactorización se realizan entregas en su rama del repositorio
(commit) indicando en el texto descriptivo la refactorización
realizada. El caso de estudio suele durar como mínimo un par de
jornadas de dos horas.
El producto entregable está compuesto de dos componentes.
En primer lugar, una dirección web del repositorio de código,
con ella el profesor puede ver la historia de creación de la nueva
versión. Además obtiene el producto final, es decir la nueva
versión del código fuente. El segundo componente es una
reflexión sobre la relación de los conceptos de refactorización
con el desarrollo del software y el uso de esta funcionalidad
mediante herramientas de desarrollo. La reflexión se puede
61
C. López, J. M. Alonso, R. Marticorena, J. M. Maudes - Diseño de e-actividades para el aprendizaje de tareas de refactorización de código
obtener con foros de tipo pregunta respuesta o con un
documento/memoria con un tamaño máximo de dos folios.
La evaluación considera tres aspectos. El primero es el
proceso seguido para obtener la solución, observando las
entregas junto con sus textos descriptivos (commits) en el
sistema de control de versiones centralizado. El segundo es la
calidad de la solución basada en el conjunto de refactorizaciones
o tipo de defectos aplicados. El tercero es la calidad de las
reflexiones a las preguntas de texto abierto basadas en la
experiencia adquirida en el caso de estudio concreto.
D. Seminario virtual
Como colofón del aprendizaje se propone un seminario con
una empresa de desarrollo del software que utilice
refactorización y detección de defectos de código en su flujo de
trabajo diario.
El profesor contacta con la empresa para fijar la temática del
seminario y negocia la duración dedicada al tema de
refactorización, fechas y horas, ponentes que trabajen en tareas
de desarrollo de código y los sistemas de video conferencia
(webmeeting o webminar) a utilizar en la presentación.
En la dinámica de trabajo el profesor actúa de moderador.
Toma el control los cinco primeros minutos para dar una
introducción de la empresa junto con sus productos software
desarrollados, posteriormente presenta brevemente a los
ponentes junto con sus funciones dentro de la empresa. Además
comenta brevemente a los ponentes los conocimientos
adquiridos y e-actividades realizadas por los alumnos durante su
formación en refactorización. Los ponentes de la empresa toman
el control de la exposición pudiendo ser interrumpidos con
preguntas de los estudiantes durante la exposición.
La dinámica para el alumno en esta actividad se basa
únicamente en la asistencia, sin considerar la participación en la
evaluación.
IV.
APLICACIÓN EN UN CONTEXTO DOCENTE
Una aplicación del diseño de las e-actividades se ha
implementado en una asignatura optativa de la mención de
Ingeniería del Software de 8º semestre del Grado de Ingeniería
Informática de la Universidad de Burgos. Este ha sido el primer
año que se imparte. En la asignatura estaban matriculados 12
alumnos y la imparte un solo profesor. Actualmente el Grado en
Informática sólo se imparte de manera presencial pero dispone
institucionalmente de una plataforma de aprendizaje para definir
e-actividades basada en Moodle, llamada UBUVirtual.
En esta asignatura, la carga docente dedicada a enseñar los
conceptos de refactorización es aproximadamente el 50%. Como
prerrequisitos de conocimiento previos para cursar la asignatura
se necesitan conocimientos medios de programación, de
entornos de desarrollo integrados, y de otras actividades de
desarrollo del software. Analizando la base curricular de los
62
alumnos en la Universidad de Burgos se eligió el siguiente
entorno tecnológico:
• Lenguaje de programación Java
• Entorno de desarrollo integrado Eclipse (distribución
Eclipse IDE for Java Developers). Además se incorporan
tres extensiones adicionales. La primera para analizar
cobertura de pruebas (EclEmma), la segunda para ayudar
a localizar defectos de código (InCode) y la tercera para
obtener medidas estáticas de código (RefactorIt).
• Repositorio de proyectos de código abierto (GitHub)
Dada la complejidad tecnológica de la asignatura el profesor
ha creado como recurso docente una lista de reproducción en un
canal de Youtube que contiene cuatro videos para facilitar el uso
concreto
de
las
herramientas
(disponible
en
http://goo.gl/abH1Oz). Los video tutoriales de herramientas son
enlazados como recursos en UBUVirtual, próximos en tiempo y
con formato apropiado para la e-actividad que se esté realizando.
Fig. 1. Análitica de uso de UBUVirtual
Como evidencia de interacción con las e-actividades
implementadas en el entorno virtual de aprendizaje, en la Fig. 1
se muestra la historia de uso de UBUVirtual durante el periodo
de tiempo en el que se enseñaron los conceptos de
refactorización. A modo de resumen se ha utilizado el informe
estadístico que proporciona Moodle por defecto. Los valles de la
gráfica se corresponden con periodos vacacionales.
Las siguientes secciones describen con más detalle algunas
de las e-actividades definidas.
A. Aprendizaje basado en problemas de refactoring
Una de las estrategias formativas para aplicar el
conocimiento de refactorización en las etapas iniciales es
fomentar la interacción controlada del estudiante. Con este
objetivo se han seleccionado las preguntas incrustadas. En la
Fig. 2 se muestra una la visualización desde la visión del
estudiante de una pregunta incrustada (cloze) para enseñar como
funciona la refactorización Move Method. Tanto el código
origen como la descripción de la refactorización se distribuyen
con un enlace a una funcionalidad especial de GitHub llamada
Gists (ver https://gist.github.com/clopezno/10018544 ). El
objetivo de un Gist es compartir de manera simple fragmentos
de código con otros pudiendo ser éstos versionados. Además del
XVI Simposio Internacional de Informática Educativa (SIIE’14)
C. López, J. M. Alonso, R. Marticorena, J. M. Maudes - Diseño de e-actividades para el aprendizaje de tareas de refactorización de código
código, en el enunciado se proporciona como recurso el enlace a
la descripción de la refactorización Move Method en el catálogo
de Fowler (http://refactoring.com/catalog/moveMethod.html )
La elección de huecos o palabras clave en el código se
corresponden con cambios que sufre el código original después
de realizar la refactorización.
A medida que el alumno va aprendiendo, estas preguntas
evolucionan en preguntas de texto libre o ensayo. La evolución
consiste en ir eliminando del enunciado toda información
relacionada con el código final después de refactorizar, para que
la genere completamente el alumno. Como último paso
evolutivo en el diseño de problemas sólo se proporciona el
código fuente original para que identifique algún defecto
asociado y la secuencia de refactorizaciones que puede ayudar a
eliminarlo. En el caso particular de la Fig. 2 la refactorización
Move Method esta motivada por existir el defecto de código
denominado envidia de características (Feature Envy).
B. Estudio de casos basado en proceso de refactorización
En la asignatura se han seleccionado dos casos de estudio,
ambos son referencia básica en el campo de refactorización
orientadas a diseño. El primero es guiado por el profesor y con
una documentación detallada paso a paso y basada en el ejemplo
del capítulo 1 del libro de Fowler [1]. El segundo caso de
estudio es el propuesto por Bourque et.al Refactoring Lab
Session en [7] y basado en el libro [8]. Este caso de estudio es
guiado mediante conjunto de tareas en su enunciado y se realiza
un seguimiento de las preguntas sobre la resolución de cada
tarea con un foro de tipo pregunta respuesta.
La actividad se realiza en grupos de dos participantes que
realizan su clonación del repositorio proporcionado por el
profesor1. Los productos a entregar resultado del caso de estudio
son dos. Un histórico de refactorizaciones realizadas con Eclipse
obtenido mediante la funcionalidad disponible en el menú
refactor → history y un documento memoria con la dirección
web al repositorio de control de versiones, junto con las
respuestas a las preguntas de reflexión:
• ¿Se puede automatizar completamente el proceso de
refactorización a través de herramientas?
• ¿Qué relación encuentras entre el proceso de
refactorización y la utilización de sistemas de control de
tareas y versiones?
En la Fig. 3 se describe la rúbrica utilizada en UBUVirtual
para evaluar esta actividad. En ella se consideran tres
dimensiones del trabajo: el producto software, el proceso para
obtener el producto y las reflexiones obtenidas.
Fig. 3. Rúbrica de evaluación del caso de estudio
En la Fig. 4 se muestra las evidencias de seguimiento de las
reflexiones realizadas por los grupos de alumnos. El profesor
comenzaba indicando unas preguntas procedentes del enunciado
indicando un duración en minutos por respuesta. Los grupos de
alumnos después de realizar la tarea solicitada contestaban las
Fig. 2. Problemas de refactoring con preguntas cloze
XVI Simposio Internacional de Informática Educativa (SIIE’14)
1
Disponible en https://github.com/clopezno/reafactoring_lab_session.git
63
C. López, J. M. Alonso, R. Marticorena, J. M. Maudes - Diseño de e-actividades para el aprendizaje de tareas de refactorización de código
preguntas planteadas en el foro. El profesor sólo intervenía para
corregir reflexiones erróneas que pudieran llevar a confusiones a
otros compañeros. La participación de los grupos fue casi
completa y el profesor sólo tuvo que aportar dos correcciones.
del contenido del seminario está orientado a reflexionar cómo
utilizan en la empresa los conocimientos adquiridos.
La historia del desarrollo de la actividad fue la siguiente.
Primero se anunció la actividad en abierto en varias asignaturas
y a profesores de asignaturas relacionadas. La publicidad del
evento se realizó a través de la página de Escuela Politécnica
Superior de la Universidad Burgos y se utilizó un cartel
interactivo (disponible en el enlace http://goo.gl/n6LbdP). A la
actividad asistieron presencialmente el 91% (11 de 12) de los
estudiantes de la asignatura y dos profesores. El seminario de
impartió sincronizadamente por dos ponentes, uno presencial
desde la Universidad de Burgos y otro desde la empresa ubicada
en Valladolid. El sistema de videoconferencia utilizado fue
GoToMeeting. A pesar de ser público el enlace a la
videoconferencia no se unió nadie desde Internet. El seminario
se
grabó
y
está
publicado
en
Youtube
(ver
http://goo.gl/aW5vhh).
V.
Fig. 4. Foro pregunta respuesta para realizar un seguimiento de las reflexiones
La Fig. 5, disponible en el repositorio de GitHub, se presenta
un resumen gráfico del versionado del proceso de todos los
grupos de prácticas.
Fig. 5. Síntesis del versionado del proceso de todos los grupos de práctica
Cada línea se corresponde con la evolución temporal de una
determinada versión del sistema software de un grupo de
prácticas. Todos los grupos parten de una versión inicial que es
la proporcionada por el profesor, en este caso se corresponde
con la primera línea. Se observa que a principios de mayo todos
los grupos de prácticas hicieron su clonación. Cada punto dentro
de la línea representa un cambio en el código ocasionado por
una tarea de refactorización. Por cada cambio se puede tener
acceso al autor del cambio y su texto descriptivo. En el gráfico
también se observa como la descripción textual del cambio
utiliza correctamente la terminología de refactorización.
C. Seminario virtual
Después de adquirir un nivel de conocimiento analítico,
como última actividad, se propone a los estudiantes la asistencia
no obligatoria a un seminario impartido por una empresa. Parte
64
CONCLUSIONES Y TRABAJOS FUTUROS
El presente trabajo propone y describe e-actividades para la
enseñanza de las tareas de refactorización a alumnos de último
curso de un grado de Ingeniería Informática. La propuesta sigue
la metodología Bloom y busca una profundización gradual, lo
que se plasma en un plan en el que el primer mes, el esfuerzo del
profesor (e.g.; exposición de conceptos, secuenciamiento,
creación y corrección de actividades de problemas) es muy alto.
Después, ese esfuerzo disminuye, siendo los alumnos los que
realizan el mayor desempeño al enfrentarse a los casos de
estudio (ver Fig. 1).
Analizar las consecuencias de aplicar esta propuesta queda
como trabajo futuro, en tanto sólo se han aplicado en el curso
2013-14; si bien se pueden adelantar
(i) que las funciones del profesor son quizás más dinámicas
de lo que serían con una metodología tradicional pues seguirá
creando nuevas e-actividades en los siguientes cursos. A todo
ello se suma la renovación de las herramientas software,
búsqueda de empresas implicadas en los seminarios virtuales, y
su papel de moderador y guía de las actividades más
interactivas. Esto último viene refrendado por la elevada
asistencia a clase.
(ii) que los resultados de aprendizaje son buenos (100% tasa
de rendimiento en primera convocatoria, pese a existir notas de
corte). Cuestiones como que la propuesta permite homogeneizar
conocimientos y habilidades en las primeras semanas, o motivar
a los alumnos mediante la competitividad en la realización de
los casos de estudio y la utilización de software profesional,
apuntan como factores de éxito.
VI.
AGRADECIMIENTOS
Este trabajo ha sido realizado por el Grupo de Innovación
Docente de la Universidad de Burgos DIGIT. Y financiada con
cargo a la Convocatoria de Apoyo a Proyectos de Innovación y
XVI Simposio Internacional de Informática Educativa (SIIE’14)
C. López, J. M. Alonso, R. Marticorena, J. M. Maudes - Diseño de e-actividades para el aprendizaje de tareas de refactorización de código
Mejora Docente, convocada por el Vicerrectorado de
Profesorado y Personal de Administración y Servicios de la
UBU. Clave orgánica [30.18.10.A2]
A la Empresa Códice Software por su colaboración y
disponibilidad en la organización del seminario. A los alumnos
que han participado en la experiencia por dar autorización
escrita a presentar parte de su información personal con fines de
divulgación educativa.
VII. REFERENCIAS
[1]
[2]
[3]
Fowler, Martin, Kent Beck, John Brant, William Opdyke, y Don Roberts.
Refactoring: Improving the Design of Existing Code. Object Technology
Series. Addison-Wesley, 1999.
Wake, William C. Refactoring Workbook. Boston: Addison-Wesley, 2004.
Lippert, Martin, y Stephen Roock. Refactoring in Large Software Projects:
Performing Complex Restructurings Successfully. John Wiley & Sons,
2006.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[4]
[5]
[6]
[7]
[8]
[9]
Brown, William J. AntiPatterns: Refactoring Software, Architectures, and
Projects in Crisis. New York: Wiley, 1998.
Eloy López Meneses, Guillermo Domínguez Fernández, Cristóbal
Ballesteros-Regaña .E-actividades: elementos constitutivos para la calidad
de la praxis educativa digital. Revista La práctica educativa en la Sociedad
de la Información: Innovación a través de la investigación, 2011, ISBN
978-84-268-1563-7, págs. 267-282
Julio Cabero Almenara, y Pedro Román Graván. E-actividades: un
referente básico para la formación en Internet. Madrid: Eduforma Editores.,
2005.
Bourque, Pierre, Luigi Buglione, Alain Abran, y Alain April. «Bloom’s
Taxonomy Levels for Three Software Engineer Profiles». En STEP, 12329, 2003.
Nierstrasz, Oscar, Stéphane Ducasse, y Serge Demeyer. Object-Oriented
Reengineering Patterns. Square Bracket Associates, 2009.
Rompaey, Serge Demeyer and Bart Du Bois and Matthias Rieger and Bart
Van. «The LAN-simulation: A Refactoring Lab Session». En WRT, 52-53,
2007.
65
Fine-tuning formative and summative assessment in
bachelors' final projects
Davinia Hernández-Leo; Verónica Moreno Oliver
Teaching Quality and Innovation Support Unit,
Polytechnic School. Universitat Pompeu Fabra
Barcelona, Spain
{davinia.hernandez,veronica.moreno}@upf.edu
(ESUP-UPF) has worked on the design of the formative and
summative assessment used in Bachelor’s Final Project (BFP).
BFP is a mandatory subject for all the Bachelor’s degrees (all
disciplines) offered by the Spanish universities. It has specific
characteristics that make it significantly different from the rest
of subjects, for example: the topic of the project is different for
each student and this topic is agreed between the student and a
professor acting as the advisor of the student). The BFP is
planned and developed by the student autonomously but with a
progressive formative assessment of the teacher. It is worth
noticing that the BFP at the ESUP-UPF involves a significant
number of ECTS (European Credits Transfer System), namely
20 credits that represent 500 hours of student work. In their BFP
students are expected to apply both specific and transversal (or
generic) competences that they have developed along the degree,
this includes special attention to innovation and creative skills.
The high dedication to the BFP enables the elaboration of
projects considerably ambitious and in most cases connected to
the professional careers the students want to follow after
finishing their Bachelor’s Degree.
All these properties make the BFP a good opportunity to
contribute to the achievement of the new missions, roles and
expectations of Higher Education as pointed out by the
European Commission. European universities have formulated
their approaches to the BFP [1], designing a complete syllabus
for that special subject [2] or a specific regulation shaping the
BFP elaboration process [3]. Specific studies also analyze the
learning effects of education actions designed to support the
development of BFPs [4]. The Teaching Quality and Innovation
Support Unit (USQUID) of ESUP-UPF has worked for the last 3
years in a Teacher's Guide to Monitoring and Assessment of
BFP. The efforts have included the design of the Guide based on
related international initiatives, its evaluation in pilots and the
iterative revision of the Guide. In parallel a Web application
implementation of the Guide has been developed to facilitate its
Abstract— The role of Bachelors' Final Projects (BFP) in
Engineering Education is critical since it offers the opportunity for
students to integrate the application of specific and transversal
competences they have developed along the degree. However, given
the special characteristics of this curriculum component
(personalized according to the student's interests, multiple teachers
involved, assessment by changing boards, etc.), the systematization
of its formative and summative assessment has been extensively
recognized as problematic but highly necessary. To face this
problem, there are several recent initiatives reported in the
literature that propose a set of rubrics as tools for project advisors
and board members to structure the assessment. In this paper, we
report the experience in the Engineering School at Universitat
Pompeu Fabra (Barcelona) applying this approach based on
rubrics as part of an assessment guide for BFP (Teacher's Guide to
Monitoring and Assessment for BFP, designed by the support unit
for teaching quality and innovation of the engineering school USQUID-ESUP). A quantitative and qualitative evaluation of the
experience provides insights about the utility, pertinence, userfriendliness, preciseness and actual use of the proposed guide. The
findings indicate that several aspects of the approach applied
should be revised considering the characteristics of the context of
use. These aspects include the need of providing a tool for the
integrated assessment of transversal and specific competences and
the interest of providing a summarized version of the rubrics that
can be used using mobile devices (tablets, smart phones) during
board meetings. The design of this summarized version considers
an aggregation of the assessment indicators associated to
competences. The paper presents these findings and the designs
decisions applied towards a revised version of the assessment guide
for BFP.
Keywords— formative assessment, summative assessment, final
projects, engineering education, tool
I. INTRODUCTION
As one of the critical aspects defined in the European Higher
Education Area (EHEA) and its particularization to the Spanish
system, the Polytechnic School of Universitat Pompeu Fabra
67
D. Hernández; V. Moreno - Fine-tuning formative and summative assessment in bachelors' final projects
use and foster its adoption by ESUP-UPF professors. This paper
summarizes this process and focused on the last iteration, which
emphasizes the adaptations done to the assessment tools
(assessment instrument and Web tool implementing the
instrument) based on findings derived from context in which the
tools are used.
The remainder of the document is organized as follows.
Section II describes the methodology followed to propose,
evaluate and iterate the formulation of the Guide. Section III
explains the most relevant actions done in the last iteration
considering the results obtained in the evaluation of the initial
version of the Guide. Both sections compare the approach
followed with related work. Section IV summarizes the main
conclusions of this work.
II. DESIGN OF THE GUIDE FOR THE ASSESSMENT OF BFPS
A. First phase: Formulation of the Guide
In this section we present the phases considered in the whole
process towards the design of the Teacher's Guide to Monitoring
and Assessment for BFP. The academic implications are also
discussed.
In the 2010-2011 academic course the USQUID-ESUP
coordinated an internal project (UPF Program) focused on the
identification of requirements for the monitoring and assessment
of BFP [5]. This project built on the experiences acquired in the
so-called PFCs (Proyecto Final de Carrera, in Spanish, i.e.
Final Degree Project in English) in the Bachelors’ Programs
previous to EHEA. That means that for most Engineering
Education degrees in Spain it was not new the idea that students
have to complete an individual project before finalizing their
degree. However, its characteristics were not the same as in BFP
(e.g., less number of ECTS.). This project was complemented
with a multidisciplinary workshop [6] (pedagogues and
Engineering Education professors from several Catalan
universities) in which ideas and approaches to the management
and assessment of TFGs were shared and discussed [7-9]. Both
actions were mostly reflective: brainstorming, matching the
ESUP-UPF ideas with related approaches, evaluation of the
relevance of existing approaches to our school, and elaboration
of a Draft Guide for the monitoring and assessment of BFPs.
The results from these actions were preparatory for the
second phase of the process. In the following academic course
(2011-2012) the USQUID-ESUP completed a national project
funded by the Spanish Ministry of Education (Estudios y
Análisis program) [10]. As a result of the project (with the title
"Practices towards the excellence of the Bachelors Final
Projects: Elaboration of a catalogue of practices based on
matching the national and international frameworks and
experience in the field of Engineering Education and analysis of
the transfer to other contexts") diverse elements of the Draft
Guide [11] was tested at the ESUP-UPF and other Engineering
68
Schools of 6 Spanish universities. Each School adopted the
elements of the guide more appropriate for their needs. The
pilots involved both a selection of professors in each School and
the BFP students they were supervising.
The Draft Guide and the related approaches are mostly based
on rubrics, both for the formative assessment (monitoring) and
for the summative assessment by a board composed of several
professors in addition to the advisor [12-13]. The rubrics are
focused on the transversal competences. Since the topics for
each BFP vary, the formulation of assessment indicators for
specific competences is left open for the definition by the
professors advising the particular BFPs. See a screenshot of the
Web application implementing the Guide with the (incomplete)
content of the rubric associated to the assessment indicator T1.1
“Quantity and Quality of Sources” (Figure 1).
Fig. 1.
Screenshot of the Web application implementing the Guide, available
at http://www.usquidesup.upf.edu/tfg/valoracio.en.php
The formulation and pertinence of the indicators and the
rubrics were evaluated based on the quantitative and qualitative
opinion of the professors using the Guide [14]. The conclusions
are discussed in next section.
B. Results from the first pilots using the Guide
The opinion of the stakeholders about the Guide was
collected using a questionnaire. A total of 15 teachers
(representing a 48,4% of the professors supervising BFP) and 19
students (67,8% of the students completing a BFP) participated
in the study. The main results from the analysis of the data are:
• 92,3% of professors completing the questionnaire
consider that the Guide could be an useful tool to
improve the assessment process of BFP taking into
account that it considers the evaluator functions (e.g.
assessment criteria and competences to be evaluated).
• 100% of students completing the questionnaire consider
the formative assessment as an important way to take into
a count the work done during the whole process.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Hernández; V. Moreno - Fine-tuning formative and summative assessment in bachelors' final projects
• 68,4% of students perceived the positive impact of
knowing in advance the assessment criteria on their work
(specially during the process) to, for example: balance
the efforts and improve their work.
• 53,9% of professors agree/totally agree about how the
Guide developed could be helpful to standardize the BFP
quality and assessment criteria in both monitoring and
assessment processes and 100% of them recognize the
worth of the Guide to decrease the evaluator's
subjectivity.
• 94,7% of students consider advisor's feedback as a
quality key element during the BFP development.
• 100% of teachers consider the importance of both
monitoring and assessment processes to increase the
quality of BFP and 84,7% also consider the importance
of establishing a continuous contact with students to
assure a good work routine.
III. IMPLEMENTATION OF THE GUIDE
A. Second phase: Improvement considerations for the
Teacher's guide to monitoring and assessment of BFP
More meetings were done to reflect about the results [15],
professors' proposals and other actions focused on testing the
Guide improvements [16-17]. These actions included the
revision of the Web application [18], this Web format enables:
• A more dynamic and interactive use of the Guide during
the BFP defence and the discussions of the board.
• The grades are automatically calculated considering the
weighting coefficient of each rubric for the indicators
associated to the diverse competences.
• Professors can generate and download a PDF version of
the rubrics when the assessment is done. In this way,
every BFP advisor can register the students’ progress,
share it with the students, etc.
• Students could consult the assessment criteria and,
simulate their potential grade considering a selfassessment of their progress.
B. Actions done
The Guide was revised according to the improvement
considerations described and established as the official
guidelines to be used at the ESUP-UPF (from pilot to
implementation - 2012-2013 academic year). Training sessions
were run for the professors involved in advising BFPs. The use
of the Guide was not strictly mandatory for the professors
(especially for those with experience supervising and assessing
PFCs), but training sessions were run for those interested in their
use.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
At the end of defence period of the 2012-2013 academic year
another study was made (based on a questionnaire). In this
occasion with the objective of understanding the degree of use
and opinions about utility, etc. Summary of results below.
• We collected the opinion from the 48,3% of teachers who
acted as advisors and 77,8% of board members.
• All advisors affirmed that they had consulted the Guide,
but not all of them used it as an assessment tool,
concretely 35,7% of them affirmed that they used it
during the whole process, 35,7% affirm that they used in
different parts (but not in all) and finally, 28,6% affirm
that they did not use it at all (they just looked it up while
the assessment process)
• The same question but answered by board members
indicated that 58,3% confirm its usage.
In the analysis of the explanations about why some of them
used or not used the Guide, we found the following arguments:
on the one hand professors emphasized the timing proposed
because it includes a concrete monitoring process; the
assessment criteria and the possibility to show their students
how (why) and when they will be evaluated. On the other hand,
teachers considered that the rubric is too long to be used during
the BFP defence.
We also ask teachers and board members about the clarity,
rigorous, usefulness of the Guide. 38% of them considered the
Guide especially useful for the formative assessment process, a
24% consider it especially useful for both the formative and
summative assessment and, finally, a 24% consider the Guide
especially useful for the final assessment.
As a final comment, the participants highlighted that the
establishment of assessment criteria was easier with the Guide
(67%). Nevertheless, participants, as in the first test, perceived
the need to have the chance to include explicitly the specific
competences assessment and also, they suggest to “simplify”
(shorten) the rubric for the defence evaluation.
C. Evaluation of the second iteration and actions done
As we said before, each BFP is different, so, including all
specific competences in the Guide seems to be a difficult task
and not that appropriate because it is not feasible to cover all the
possible specific competences. To address this problem we are
working on the online Guide's version to enable teachers the
formulation of the specific competence by themselves. As with
the transversal ones, the application will be able to calculate the
final BFP qualification considering the weight assigned to these
competences.
The USQUID-ESUP was also working to meet the need of
having a shorter version of board's rubric. To make this shorter
version we considered the number of indicators and criteria took
into account in the first version to prevent an unfair treatment
69
D. Hernández; V. Moreno - Fine-tuning formative and summative assessment in bachelors' final projects
between boards who will use the longer rubric version and the
ones who prefer the shorter. It also considers a weighting
coefficient for the indicators to minimize an unfair effect
depending on the rubrics used.
The following aspects were considered to match done the
long and short rubrics (Table I):
• The longer version has 10 indicators, the shorter 3. This
matching is made considering that all indicators and
criteria in are presented in both short and long version.
• The shorter version includes the preliminary assessment
carried out by the board. We let professors know the
importance of taking into account this previous
assessment to prevent an unfair treatment between both
longer and shorter version (preliminary and final, see
Figure 1): Keep in mind that on the final valuation both
preliminary evaluation (PEv) and final valuation must be taken
into account, thus this form includes the result and the
improvement process of those points that, in each case, were to
be reviewed on the PEv.
TABLE I. SHORTENED LIST OF INDICATORS FOR THE SUMMATIVE ASSESSMENT
TR1 Value the following aspects considering the final
result + preliminary evaluation
improvement/optimization suggestions, if any
TR1.1 Formal aspects and quality of sources (T1.1, T3.2
y T3.3)
TR1.2 Analysis, justification, problem proposal (T1.2,
T1.3, T2.1, T3.1 y T4.1)
TR2 Values the BFP defence
TR2.1 The presentation: resources/ support material,
verbal and non verbal communication, (T3.1, T3.2, T3.3
y T4.2)
Specific skills depend on what work done:
Indicators:
IV. CONCLUSIONS AND FUTURE WORK
The design of assessment instruments to be used by a teacher
community is not a trivial task. Besides considering the
competences to be assessed and the state of the art, it is
important to understand the perception of the users about these
instruments in its context of use. This paper presents a second
iteration in the design of rubrics for the assessment of
Bachelors’ Final Projects. The main change is the design of a
complementary shorter rubric that can be easily used by a
committee. We are currently working on the Web
implementation of the shorter rubric version shorter version of
the instrument for the formative assessment. Future work
70
includes the evaluation of the new (shorter) rubric considering
both advisors and board members opinion. It is important to
evaluate if this shorter version is sufficiently satisfactory.
V. ACKNOWLEDGEMENT
The authors acknowledge the collaboration and ideas of UPF
Polytechnic School professors, the members of the ESUP board
and the contributions of the USQUID undergraduate technical
assistants.
VI. REFERENCES
[1]
University of Twente, Bachelor Program General Information.
http://www.utwente.nl/el/programme/bachelor/bachelorprogramme_en/
Accessed 22 nd April 2014
[2] University College Denmark. Architectural Technology and Construction
Management. Syllabus: Elective Dissertation and Bachelor Project.
http://www.viauc.com/horsens/programmes/fulldegree/constructing/Docu
ments/syllabus/7-sem-final-project.pdf Accessed 22 th April 2014
[3] Technishe Universiteit Eindhoven, University of Technology. TU/e
Examinations Committee's Examination Regulations, 2013-2014.
http://onderwijs.ieis.tue.nl/sites/onderwijs.ieis.tue.nl/files/2009/bachelortiw/regeling/512-examination%20regulations%20is%20-%202013.en.pdf
Accessed 22 nd April 2014
[4] A. Miihkinen and T. Virtanen, “The Determinants of and Tools for
Accounting Students’ Learning in the Bachelor Thesis Seminar Course,”
Available at SSRN 2388648: http://ssrn.com/abstract=2388648, 2014.
[5] Project reference: Elaboration of the Guide for the Final Degree Projects of
the ESUP. PlaQUID 2010-2011, Quality and Teaching Innovations
Support Measures Program, CQUID, UPF.
[6] Project reference: Interuniversity Meeting to Debate and Share Experiences
of Final Degree Projects. PlaQUID 2010-2011, Quality and Teaching
Innovations Support Measures Program, CQUID, UPF.
[7] E. Valderrama, M. Rullan, F. Sánchez, J. Pons, C. Mans, F. Giné, L.
Jiménez, and E. Peig, “Guidelines for the Final Year Project Assessment in
Engineering,”, 39th IEEE Frontiers in Education Conference, San Antonio,
Texas, 2009.
[8] E. Valderrama, M. Rullan, F. Sánchez, J. Pons, C. Mans, F. Giné, G. SecoGranados, L. Jiménez L, et al. “La Evaluación de Competencias en los
Trabajos Fin de Estudios” (in Spanish), IEEE-RITA. Revista
Iberoamericana de Tecnologías del Aprendizaje, vol. 5, no. 3, pp. 107-114,
2010.
[9] M. Rullan, G. Estapé-Dubreuil, M. Fernández, and M.D. Márquez, “La
evaluación de competencias transversales en la materia Trabajo Fin de
Grado. Un estudio preliminar sobre la necesidad y oportunidad de
establecer medios e instrumentos por ramas de conocimiento,” (in
Spanish). Revista de Docencia Universitaria, vol. 8, no. 1, pp. 74-100,
2010.
[10] Project reference: Practices towards the excellence of the Bachelors Final
Projects. Elaboration of a catalogue of practices based on matching the
national and international frameworks and experience in the field of
Engineering Education. Analysis of the projection and transfer to other
contexts. Studies and Analysis Programme. Grant addressed to project
financing for the improvement of higher education quality and
university teachers activity in 2011. MICINN (Ministry of science and
Innovation). Government of Spain.
[11] D. Hernández-Leo, V. Moreno, and I. Camps, “Teacher's guide to
monitoring and assessment for Bachelors Final Projects,” Teaching
Quality and Innovation Support Unit, Polytechnic School, Universitat
Pompeu Fabra, Barcelona. http://repositori.upf.edu/handle/10230/20036
Accessed 22nd April 2014
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Hernández; V. Moreno - Fine-tuning formative and summative assessment in bachelors' final projects
[12] R. Voorhees, “Measuring what matters: competency-based learning
models”. Higher Education. San Francisco: Jossey Bass, 2001.
[13] M.A. Zazueta and L.F. Herrera, “Rúbrica o matriz de evaluación,
herramienta de evaluación formativa y sumativa”, Quaderns digitals, 55,
2008 http://www.quadernsdigitals.net/
[14] J. Mateo, A. Escofet, F. Martínez-Olmo, J. Ventura, and D. Vlachopoulos,
“Evaluation Tools in the European Higher Education Area (EHEA): an
assessment for evaluating the competences of the Final Year Project in the
social sciences," European Journal of Education, vol. 47, no. 3, pp. 435–
447, 2012.
[15] D. Escudero and D. Hernández-Leo, “Aplicación de buenas prácticas para
la mejora de la calidad de los trabajos de fin de grado en Ingeniería en
Diseño Industrial,” (in Spanish) Simposio Internacional sobre Innovación y
Calidad en la Formación de Ingenieros, Valladolid, Spain, 2012.
https://repositori.upf.edu/handle/10230/17047 Accessed: 20nd April 2014
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[16] V. Moreno, D. Hernández-Leo, I. Camps, and J. Melero, “Uso de rúbricas
para el seguimiento y evaluación de los trabajos de fin de grado,” (in
Spanish) II Congreso Internacional sobre evaluación por competencias
mediante
eRúbricas,
Málaga,
Spain,
2012
http://repositori.upf.edu/handle/10230/19801 Accessed: 8th April 2014
[17] D. Hernández-Leo, V. Moreno Oliver, I. Camps, R. Clarisó, A. MartínezMonés, M.J. Marco-Galindo, J. Melero, “Implementación de Buenas
prácticas en los Trabajos Fin de Grado,” Revista de Docencia
Universitaria. REDU. Vol. 11, pp. 269-278, 2013 http://redu.net/redu/index.php/REDU/article/view/652 Accessed 22nd April 2014.
[18] D. Hernández-Leo, and V. Moreno Oliver, “Herramienta Web para el
Seguimiento y Evaluación de los Trabajos Fin de Grado,” (in Spanish) III
Jornadas de Innovación Educativa en Ingeniería Telemàtica, Granada,
Spain, 2013. http://repositori.upf.edu/handle/10230/21028 Accessed 5th
April 2014.
71
The use of SCRUM for laboratory sessions monitoring
and evaluation in a university course
Enforcing transverse competencies
Luis Castillo
Dpt. Computer Science an Artificial Intelligence
University of Granada
18071 Granada, SPAIN
[email protected]
any programming language, and agent programming in the
laboratory, by using Java and Magentix Agent Platform [2].
Laboratory work is structured into three different assignments,
in increasing level of complexity amounting up to 60% of the
final score of the course and it has been structured as teamwork,
since the first day, maintaining the same teams along the whole
course (49 students grouped in 8 teams created by themselves).
The basic academic goals of this structure of laboratory work
are the following (focused on specific competencies of the
course):
• Learn to develop complex multiagent system as a team.
• Learn to model and develop an individual agent per
student and integrate it into a distributed multiagent
architecture, common to the whole team.
• Learn to design and structure a virtual organization with
a social structure while designing a team agreement on
the communication protocols and rules of the system and
the common agents which will interact with every
individual agent in the virtual organization.
These goals are very ambitious per se, and they could have
been implemented as, say, classical teamwork. However, given
that students are about to end their degree, enforcing transverse
competencies could make the experience more real, from a
professional point of view, but also it could also empower the
team by enabling stronger relationships and roles between the
students, in particular, the following transverse competencies:
• Planning and management of the time. To foresee in
advance the structure of every software project, the
number of hours to devote to every item of the project
and the assignment of items to every member of the
team.
• When time and effort is planned beforehand, real,
structured and self-organized teamwork is achieved
instead of random collective behavior.
Abstract— This paper introduces a pilot experience on the use
of SCRUM methodology, borrowed from software project
development and management, in group laboratory sessions during
a university course of agent-based programming (fourth year of the
Degree on Computer Science in the University of Granada). It aims
to foster a higher awareness of students and to enforce a series of
transverse competencies like real, structured and self-organized
teamwork, better planning of time during the laboratory sessions.
As a side effect, it empowers leadership amongst the members of
the team as well as it enables a high quality evaluation of students.
Keywords—Laboratory Sessions; SCRUM; European Higher
Education Area; Transverse Competences
I.
INTRODUCTION
Laboratory sessions in the last year of the Degree in
Computer Science benefit from the higher maturity of students
within that discipline and they could even benefit more if they
are not merely an individual laboratory work, but they could be
aligned with professional practice and transverse competencies
like those of the European Higher Education Area [1] like
structured self-organized teamwork, planning of time and
leadership. This paper introduces some preliminary, but very
promising, results during the first year of existence of a course
on agent-based development in the fourth year of the Degree of
Computer Science at the University of Granada.
A. The context
“Agent-based development” is a course of fourth year which
is included for the first time in the Degree on Computer Science
at the University of Granada, so it is a good choice for
introducing new methodologies given the lack of synergies and
student pre-assumptions coming from the historical statements
of the course.
It has been conceived as a continual evaluation with a clear
separation of agent modeling in the classroom, independent of
73
L. Castillo - The use of SCRUM for laboratory sessions monitoring and evaluation in a university course - Enforcing transverse competencies
• Leadership. One of the members of the team is the
leader, s/he will be in charge of coordinating the effort of
the project, assign development or documentation tasks
to each member and keep the project on time.
In order to do that, the SCRUM methodology [3] was
selected (although there are other experiments in the literature
which report other agile methodologies and tools like TRAC [4])
indeed not the whole methodology but only a part of it. It has
been introduced to students early in the course with just a little
of training like in [7], and implemented as a shared disk space in
Google Drive (only accessible by the teachers and the students
of every team) part of which is a spreadsheet to automate the
application of SCRUM methodology.
The rest of the paper explains (Section II) a very brief
introduction to SCRUM to situate the reader in the right context,
(Section III) the measures introduced to follow SCRUM in the
laboratory sessions and (Section IV) the results.
Some
conclusions are drawn in Section V.
II.
SCRUM IN A NUTSHELL
SCRUM is an iterative and incremental agile software
development framework [3] where a development team works as
a unit to reach a common goal. This section does not aim to
introduce all the features of the methodology, but to highlight
only those features relevant to the implantation in the laboratory
sessions but which are powerful enough to give an impression of
a real SCRUM project and to enforce all the competencies
mentioned before.
A. About the product
The product to be delivered is designed as a set of functional
features, named stories, which the final product has to
accomplish. Every story has a priority, which allows ordering
some features before others due to either customer’s preferences
or interdependencies between features. This is named a backlog.
There is a product backlog, for the whole development of the
product, which contains all its functional features or stories. This
product is developed along a series of successive development
periods which range from two weeks to one month, named
sprints, in which the team focus on a subset of features of the
product backlog, usually those with higher priority. Every subset
of features taken from the product backlog to focus on during a
sprint is named the sprint backlog.
B. Roles
In the development of a software project (and the final
teamwork of a laboratory assignment in the fourth course of the
Degree on Computer Science starts to seem very similar to a real
software project) there are several roles played by different
people.
• Product owner. S/He is the customer or represents the
aims of the customer for whom the software project is
being developed. S/He doesn’t have to be a computer
74
scientist nor a technical person, but knows the
requirements and goals of the software project being
developed, collected in the product backlog, and s/he
will defend them in front of the development team.
• Development team. They are the people in charge of
building and delivering the product for the customer,
basically, although not limited to, programmers. Within
the team, there are two different roles
o Leader (scrum master). S/He is the interface
between the customer and the development team
and dirves the main scrum sessions, described
below.
o Developers, the rest of the team. The scrum master
has also development responsibilities.
C. SCRUM sessions
Typically, a SCRUM project requires several iterations, or
sprints, to develop the full set of stories in the product backlog.
During the development process, a series of meetings or
working sessions take place to structure and align the whole set
of sprints with the product backlog and with the product to be
developed.
Fig. 1. Whole development cycle in SCRUM
1) Planning sessions
The development team meets at the beginning of a sprint to
plan the work to be developed in the sprint ahead measured in
terms of the number of available days in the sprint and the size
of the development team, this might be named the size of the
sprint. In order to do that, the scrum master selects stories from
the product backlog and the whole development team analyzes
the story and reaches a consensus about the time which could be,
likely, assigned to that story. The planning process is continued
over the product backlog until the set of selected stories fit into
the size of the sprint. This set of stories is the sprint backlog, it
is the main result of the planning session and it structures the
work during the next sprint.
2) Development
Every developer is assigned a set of stories which must be
implemented and s/he works on them. In Fig. 1, this iteration
(sprint) is the blue loop which stands for “30 days”.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
L. Castillo - The use of SCRUM for laboratory sessions monitoring and evaluation in a university course - Enforcing transverse competencies
3) Daily scrum or stand up
Each day, at the earliest, and during a very short period of
time (less than 15 minutes depending on the number of
developers) the development team meets and analyzes how
many hours of work have been developed, if there is any
deviation regarding the planned amount of time assigned to each
story or technical difficulties have been found. This iteration
(daily scrum) is depicted in Fig. 1 as the small blue loop on top
of the sprint loop labeled as “24 h”. The scrum master takes note
of the amount of time spent (burnt) and compares it with the
amount of time ahead and the expected evolution of the sprint
and maintains a chart which shows this evolution and which is
visible to the whole team. It is the burndown chart like that
shown in Fig. 2. The blue line starts from the size of the sprint
backlog and decreases until the end of the sprint as development
work is advanced and less effort remains. The red line amounts
for the “real” evolution of the team in terms of number of net
hours developed so far. When the red line is over the blue line,
the team is delayed. When the red line is below the blue line, the
team is ahead.
to this study) as an agile software development methodology.
This section maps these features into the laboratory sessions of
the target course. In order to facilitate the management of the
project, every team has a spreadsheet installed in their private
Google Drive folder which allows the students to gather the
basic information and automates all the reports, dashboards and
analysis of the effort.
A. Product
The product to be developed is the laboratory assignment for
every team, whose main functional features are described by the
teacher according to the contents already introduced in the
classroom.
B. Roles
Although there may be several interpretations of these roles
[7][8] the product owner was set as the teacher and the
development team are the students. The development team is
maintained along the course to promote mutual knowledge and a
better application of the methodology (Fig. 3).
The scrum master is one of the students (it might also be the
teacher [7][8] but selecting a student will definitely foster
leadership competencies) and s/he is a different member in each
assignment. It is decided internally by the team, so that the
scrum master role rotates among the team members. The student
acting as scrum master has an additional, separate score which
measures his/her activity as team leader to motivate his/her role.
Fig. 2. Project burndown showing that the development is a little ahead of the
planned time (advanced).
4) End meetings
Once the sprint has finished, there are two meetings to take
place and driven by the scrum master. On the first hand, the
demo session in which the development team shows to the
product owner the features developed during the sprint and
demonstrate their correct operation. On the second hand the
retrospective session in which the development team tries to
improve its work by analyzing what has been done well (to
continue doing so), what has not been done well (to stop doing
so) and how it could be improved (to start doing so).
After these end meetings, and whenever the project is not
complete, a new sprint would start with a new planning session.
II. IMPLEMENTING SCRUM IN THE LABORATORY SESSIONS
The precedent section introduced the most relevant features
of SCRUM (it has many more features, but they are not relevant
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 3. Members of the team in the private spreadsheet for applying SCRUM
methodology.
Fig. 4. Planned stories in the sprint backlog. Every sprint is equivalent to an
assignment during the laboratory sessions of the course and each one takes
several weeks.
75
L. Castillo - The use of SCRUM for laboratory sessions monitoring and evaluation in a university course - Enforcing transverse competencies
C. SCRUM sessions
There are three different laboratory assignments per group.
The first day, the planning session is lead by the elected scrum
master, who will also be responsible of monitoring the evolution
of the development, and the corresponding assignment is split
into more detailed functional requirements and its effort is
planned in hours (Fig. 4).
Fig. 5. Registry of work done by students. This registry is updated during the
daily scrum session among the teacher (product owner) and the students
(development team) under the supervision of the scrum master (a student
too). A “Net Time” annotation smaller than the “Real Time” annotation
means that the student is delayed, or stalled, because s/he is consuming
more time than expected. The opposite means that the student is working in
advance.
Students can develop their assignments either strictly during
laboratory sessions (weekly) or also as homework (daily) in
order to fulfill the estimated development time. Then, at the
beginning of every laboratory session, the teacher meets with
every group in the daily scrum session, five minutes maximum,
and driven by the scrum master (the leader student), review all
the work done to the date (attendance to the lab is mandatory).
The scrum master, i.e. the leader of the team, writes down
“who” has done “which story”, the “net development time”
consumed (relative to the planned time for the story) and the
“real development time” (absolute time devoted to the story).
See Fig. 5 for details. The spreadsheet used to register all this
info provides some automatic reporting and dashboard capability
which allow for real time monitoring of the development process
like the following features:
Fig. 6. Report on individual performance of the members of a team.
1.
76
Project burndown as shown in Fig. 2. This tells students
how well or bad they are doing with respect to what was
planned. On a daily basis.
2.
3.
Individual performance of students in the team as shown
in Fig. 6 (just by processing the registry of hours spent
by student).
Evolution of the planned stories by comparing the real
amount of time devoted to each story against their
expected time (Fig. 7).
Fig. 7. Dashboard of planned stories. Blue bar represents the estimated
planned time. Red bar means net time completed. Orange bar means real
time completed. When the red bar equals the orange bar then the story was
correctly planned and it is evolvin well. When the orange bar exceeds the
red one, that means that the story was not well planned and it is requiring
more time than the team expected in the planning session. Sometimes the
red bar exceeds the orange one, this means that the story was easier than
expected.
And last, at the end of every laboratory assignment, there is a
collective RETROSPECTIVE session in which the teacher and
all the groups review what has been done and think on how they
can improve their work as a team. A sample outcome of these
sessions is described in the next section.
III. MAIN FINDINGS
A. Student’s survey
After an open survey filled by 35 students (out of 49) before
the final exam, these are the main results:
• 88.89% of students liked the laboratory sessions. The
remaining students just considered that they were
overwhelmed by the course in general.
• 94.74% of students liked the course in general.
• 89.47% of students liked the evaluation method.
• 76.19% of students liked SCRUM. The other 23.81%
said that the dashboards do not reflect accurately the real
dedication of each student or that achieving this level of
accuracy is very tough.
• 85.71% of students liked the shared folders in Google
Drive as the basic infrastructure to work together.
• 42.86% of students liked the teamwork. 57.14% of
students didn’t like the teamwork because of the
following reasons
o They prefer random groups.
o They complain about bad performance of some
members. Even some of them (2 out of 49)
abandoned the course.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
L. Castillo - The use of SCRUM for laboratory sessions monitoring and evaluation in a university course - Enforcing transverse competencies
o
They prefer smaller groups.
B. Students’ scores
• 4 students (8.16%) abandoned the course. Two of them
at the beginning and two more during the course.
• 2 students (4.08%) didn’t pass the course.
• 43 students (87.75%) passed the course, of which
o 16 (32.65%) scored less than 7 out of 10.
o 21 (42.86%) scored between 7 and 9.
o 4 (8.16%) scored between 9 and 10.
o 2 (4.08%) scored 10 out of 10 (Honour).
C. Students retrospectives
These are the results found in the retrospective sessions at
the end of each of the three assignments.
1. Well done.
a. Good teamwork and ambient in the laboratory
sessions.
2.
3.
Mistakes.
a. Bad planning of stories, many of them were
underestimated, that is, they required more time
than planned.
b.
Improve the model of the agents’ theory before
implement it.
c.
Unbalanced assignment of stories among team
members.
Fig. 8. Dashboard of a perfectionist, ambitious group working both at home and
at laboratory session showing a continuous, almost perfect, performance.
Some reactive groups performed very well but delayed a
little bit at the end of the assignment like that shown in Fig. 9.
Other groups did not overcome the accumulated delay and
crashed like in Fig. 10.
Fig. 9. Dashboard of a middle group, continuosly working to converge and
overcome the accumulated delay due to a slow beginning.
E. Teacher feedback and evaluation
Thanks to the registry of the activity, teachers can have
additional, real-time feedback like a warning about an
overloaded student (Fig. 11) or students with very low
performance with respect to the rest of the team (Fig. 12) and
take action to correct the detected deviations in the team.
To improve
a. Mount a GitHub [5] repository to improve code
sharing among the team.
b.
More team meetings to “think as a group”. Involve
the teacher into the meetings (by using Google
Hangout or Skype).
c.
Try to estimate better the time assigned to each
story.
These results are excellent and show that students are
concerned with improving their teamwork (3.b), improve their
planning capabilities (2.a & 3.c) and even they make explicit the
best way to face the relationship among theory and practice (2.b)
within the specific context of “Agent-Based Development” by
identifying the best way to face the course.
D. Students reactions to dashboards
There have been different groups according to their ambition
to pass the course.
Perfectionist groups like that shown in Fig. 8.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 10. Dashboard of a crashed group. They stop developing by a while and,
although they seemed to recover that delay, indeed, they didn’t and crashed. It is
worth saying that this was due to the abandon of one of the members of the
group just in the middle of the assignment.
Fig. 11. Unbalanced dashboard showing that student Carlos (in orange), scrum
master, is overloaded and assuming extra work up to 26.3% of the whole effort
of the team.
77
L. Castillo - The use of SCRUM for laboratory sessions monitoring and evaluation in a university course - Enforcing transverse competencies
time devoted to the development (Fig. 6) but also the
difficulty of the tasks carried out (Fig. 13).
IV. CONCLUSIONS
Fig. 12. Unbalanced dashboard showing that there are three students with little
implication in the project. Indeed one of them (Andres, in light blue) gave up and
abandoned the course.
This also enables a fair evaluation of each single student
within the group:
• Firstly, thanks to the weekly (or even more frequently)
scrum meetings with the teacher. This allows both taking
the big picture of the group and measuring the
capabilities of the group leader. The burn-down chart
(Fig. 8, Fig. 9) also allows the teacher evaluating the
planning and reaction capabilities of the team.
• Single evaluation of students, within the group, depends
on their behavior and development tasks discussed with
the teacher in the scrum meetings. This is also recorded
in a registry by the team leader, not only the amount of
The second story is related to the team shown in Fig. 8, the
perfectionist group. It is a real burn down chart of one of the
teams during the third (and last) assignment, which was driven
Not only the academic goals defined in Section I.A with
respect to the course “Agent-based development” where
satisfactorily achieved (nearly 88% of students passed the
course) but also the transverse competencies were satisfactorily
addressed. Students had a greater awareness of the teamwork
and were able to plan by themselves accordingly the amount of
time devoted to the laboratory sessions (one of the main lessons
learned shown in the retrospective sessions), very similar to the
behavior in real development projects, by registering and
keeping track of the activity of the group, and, therefore, making
explicit all the information required by the leader of the team to
bring the team to a successful end. Students with the leader
(scrum master) responsibility showed a great responsibility on
the outcome and self organization of the team. It is worth telling
a couple of stories to illustrate the leadership role. The leader of
one of the teams didn’t perform well in the second assignment,
he was aware of that, and his team too, and they were not
satisfied with their score. However, he reacted and he was an
outstanding member in the third assignment, working and
collaborating with his colleagues and doing a great team work.
with high efficiency and high expectations. Indeed they
performed clearly as the best team, although one of the members
left the team before concluding (the one discussed in Fig. 12).
Fig. 13. Full track of activities carried out by the same student (Daniel), difficulty of the stories implemented (third column), number of days worked, and real
dedication to the laboratory sessions.
78
XVI Simposio Internacional de Informática Educativa (SIIE’14)
L. Castillo - The use of SCRUM for laboratory sessions monitoring and evaluation in a university course - Enforcing transverse competencies
Please note that although they had one member less than the
other teams, they maintained an almost perfect burn down and
the quality of the work done, due to a high commitment of all
the members of the team.
In addition to this, the teacher had an outstanding feedback
due to the daily scrum and personal interviews with every team
and each of its members, as well as an excellent record of
activities developed within the team (Fig. 6 & Fig. 13) to enable
a fair evaluation of students.
On the other hand, the survey filled by students clearly
shows that students were highly satisfied with the teamwork, but
that the recruitment of the members of the team is still an open
question not satisfactory for them. Some of the reference books
[1] recommend recruiting students randomly and, indeed, this is
suggested by several students too. The personal opinion of the
author is that the most important factor for a good team is a
relatively balanced level of ambition, or expectations, with
respect to the outcome of the course, among all the members of
the team. Groups should be more balanced in these terms
because groups which had a bad balance, with both lowambition students and high-ambition students tend to crash and
to produce anomalies.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
V. REFERENCES
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
Á. Benito-Capa, A. Cruz-Chust, “Nuevas claves para la docencia
universitaria en el Espacio Europeo de Educación Superior”, Narcea
Ediciones, 2005.
Grupo de Tecnología Informática, Universidad Politécnicas de Valencia.
Magentix Agent Platform, http://www.gti-ia.upv.es/sma/tools/magentix2/.
2013
Henrik Kniberg, “Scrum and XP from the Trenches”, Lulu.com Ed, 2007.
Edgewall Software. TRAC Integrated SCM and Project Management.
http://trac.edgewall.org/
Logical Awesome, “GitHub software forge”, https://github.com/, 2014.
R. Lapuente, J. Piguillem, E. Mayol, M. Alier, J. López. Extensión de
Moodle para la Gestión Colaborativa de Proyectos, XVII JENUI, 2011
Viljan Mahnic. Teaching Scrum through Team-Project Work: Students’
Perceptions and Teacher’s Observations. International Journal of
Engineering Education, 2010
L. Layman, L. Williams, K. Slaten, S. Berenson and M. Vouk, Addressing
Diverse Needs through a Balance of Agile and Plan-driven Software
Development Methodologies in the Core Software Engineering Course,
International Journal of Engineering Education, 24(4), 659-670 (2008).
79
Experiencias de evaluación de las técnicas de
representación de programas soportadas por GreedEx
Ana-Isabel Molina-Díaz1; Maximiliano Paredes-Velasco2; Miguel-Ángel Redondo-Duque1; J. Ángel Velázquez-Iturbide2
1
Departamento de Tecnologías y Sistemas de Información. Escuela Superior de Informática de Ciudad Real
Universidad de Castilla-La Mancha
13071-Paseo de la Universidad, 4. Ciudad Real
{AnaIsabel.Molina, Miguel.Redondo}@uclm.es
2
Departamento de Informática y Estadística
Universidad Rey Juan Carlos
28933- C/ Tulipán s/n, Móstoles. Madrid
{maximiliano.paredes, angel.velazquez}@urjc.es
complementar dicha evaluación con técnicas más objetivas,
como es el uso de un dispositivo de rastreo ocular o eye tracker
[2]. Las sesiones de eye tracking permiten extraer conclusiones
sobre el comportamiento de exploración visual que realizan los
usuarios al mirar una determinada imagen o interfaz. Puesto que
lo que se obtiene al usar esta técnica son medidas de naturaleza
fisiológica, los resultados obtenidos no están tan sujetos a sesgos
ni pueden ser controlados por los usuarios. Esta técnica ha sido
empleada con éxito en distintos campos, destacando su uso para
la evaluación de la usabilidad de sistemas interactivos y, en
particular, web [2] [3].
Este artículo se estructura del siguiente modo. En la próxima
sección se describe el sistema GreedEx y las representaciones
que incluye, objeto de evaluación en este trabajo. En la sección 3
se describen los detalles de los dos estudios empíricos
realizados, así como los resultados obtenidos. Finalmente, en la
sección 4, se exponen las conclusiones extraídas del presente
trabajo y las líneas de continuación del mismo.
Resumen—En los sistemas de soporte al aprendizaje de la
programación es habitual emplear distintas técnicas de
representación de algoritmos, algunas de naturaleza gráfica y otras
textuales. Este tipo de representaciones es utilizado por el sistema
GreedEx, un sistema para la experimentación interactiva con
algoritmos voraces. La evaluación hecha hasta el momento de este
sistema se basa en el uso de cuestionarios y, por tanto, en la
percepción subjetiva del alumno con respecto a la utilidad y/o
complejidad de las representaciones suministradas. En este trabajo
se describen dos evaluaciones empíricas realizadas para conocer
ambos aspectos (utilidad y complejidad) de cada una de las
representaciones soportadas por el sistema GreedEx. En dicha
evaluación se combina distintas fuentes de información:
cuestionarios de percepción subjetiva y métricas proporcionadas
por un dispositivo de seguimiento ocular (eye tracker).
Palabras clave—Aprendizaje de la programación, evaluación
empírica, eye tracking, motivación.
I.
INTRODUCCIÓN
Las herramientas de aprendizaje de la programación suelen
explotar el uso de distintas representaciones de los algoritmos,
ya que facilitan la comprensión de los mismos por parte de los
alumnos. En el marco del grupo de investigación LITE de la
Universidad Rey Juan Carlos (URJC) de Madrid se ha creado
una herramienta para el aprendizaje de algoritmos voraces,
llamada GreedEx [1], que soporta varios tipos de
representaciones (gráficas y textuales).
En este artículo se describen dos experiencias de evaluación
de las técnicas de representación que soporta esta aplicación. En
particular estamos interesados en conocer la utilidad y
complejidad de cada una de ellas. La evaluación realizada
intenta ir más allá de la evaluación hecha hasta el momento,
basada principalmente en el uso de cuestionarios. La
información que se obtiene en estos casos tiene una gran
componente subjetiva y, por tanto, los resultados obtenidos
pueden estar sujetos a sesgos. En este trabajo nos proponemos
II.
EL SISTEMA GREEDEX
El sistema GreedEx1 (GREEDy EXperimentation ) [1] es un
ayudante interactivo para el aprendizaje de algoritmos voraces.
GreedEx permite experimentar y observar los resultados que se
obtienen al aplicar distintas funciones de selección, dado un
enunciado de problema determinado. Para ello el alumno seguirá
un proceso iterativo de generación de datos de entrada y la
posterior ejecución del algoritmo con dichos datos y todas (o las
más prometedoras) funciones de selección.
La interfaz de usuario de GreeEx (Figura 1) consta de tres
áreas principales:
• Panel de teoría. Ocupa el área inferior izquierda de la
interfaz (Figura 1). En esta sección se muestra el
1
81
http://www.lite.etsii.urjc.es/greedex/
A.I. Molina; M. Paredes; M.Á. Redondo; J. Á. Velázquez - Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx
enunciado del problema, así como el código del
programa que implementa el algoritmo voraz que lo
resuelve.
• Panel de visualización. Ocupa el área superior de la
interfaz, y en él se muestra la representación gráfica del
problema. En la Figura 1 se puede ver, para el “problema
de la mochila”, el conjunto de datos de entrada (en la
parte superior izquierda) y el aspecto de la mochila (en la
parte superior derecha). A medida que el alumno vaya
simulando la ejecución del programa los objetos que
vayan siendo seleccionados pasarán a mostrarse en dicha
mochila. Los objetos candidatos a introducir en la
mochila son representados gráficamente según su peso, y
se muestran ordenados de izquierda a derecha de acuerdo
a la función de selección particular de cada estrategia.
Inicialmente todos los objetos aparecen con el mismo
color, aunque con tonalidad diferente, de tal forma que,
el de tono más oscuro será el primero en ser
seleccionado, de acuerdo a la función de selección en
particular, mientras que el de tono más claro será
seleccionado el último. Cuando un objeto es seleccionado
su color cambia y, si es introducido en la mochila, dicha
acción se muestra gráficamente.
Figura 1. Aspecto de la interfaz gráfica de la herramienta GreedEx para el
“problema de la mochila”.
• Panel de tablas. En esta área de la pantalla se incluyen
varias pestañas en las que se muestra información (en
formato tabular) relacionada con la ejecución y
simulación del algoritmo. En una de las pestañas (“Datos
de entrada”) se muestra la información relacionada con
los datos de entrada al problema. Así, en el caso del
“problema de la mochila” se mostrarían los pesos de los
objetos y la capacidad de la mochila. En la pestaña
“Resultados”, para cada una de las estrategias de
selección, se muestra el orden de selección y los
candidatos seleccionados, así como el valor de la función
objetivo del algoritmo voraz. En la pestaña “Resumen”,
se muestra el valor de la función objetivo para cada
estrategia de selección. Por último, en la pestaña
82
“Abreviada”, se visualiza el porcentaje de veces en las
que cada estrategia ha encontrado una solución óptima
para diferentes datos de entrada.
Se considera que GreedEx cubre tres de los niveles de la
taxonomía de Bloom [4]; en particular, los niveles de análisis,
comprensión y evaluación. Las tareas de análisis y compresión
de programas son tareas complejas desde el punto de vista
cognitivo [5] y el uso de distintas representaciones, tanto
gráficas como textuales, pueden resultar de gran utilidad.
Nuestro objetivo, por tanto, es conocer hasta qué punto las
representaciones incorporadas por GreedEx resultan útiles y/o
complejas a los alumnos que están aprendiendo a programar
mediante el uso de este sistema. En la siguiente sección se
comentan dos evaluaciones encaminadas a testear dichos
aspectos.
III.
EVALUACIÓN DE LAS REPRESENTACIONES SOPORTADAS
POR GREEDEX
En este apartado se describen dos experiencias de evaluación
de las técnicas de representación de algoritmos voraces
soportadas por el sistema GreedEx. En ambas se busca evaluar
la utilidad y complejidad de dichas representaciones. En el
análisis se combinan dos fuentes de información: unas indirectas
y subjetivas (recopiladas mediante cuestionarios), y otras más
objetivas (las métricas proporcionadas por un dispositivos eye
tracker) [3].
A. Experimento 1. Evaluación del uso estático de las técnicas
de representación de GreedEx.
En esta primera experiencia participaron un total de 13
alumnos de la asignatura “Diseño y Análisis de Algoritmos” de
segundo curso de las titulaciones del Grado de Ingeniería del
Software y Grado de Ingeniería Informática de la URJC, que
accedieron a participar de forma voluntaria.
Antes de la realización de la tarea experimental los alumnos
cumplimentaron un pretest que permitía determinar el perfil de
los participantes. En dicho cuestionario, los alumnos debían
valorar en una escala de Likert (de 1 a 5) su nivel de
conocimientos en programación, en programación de algoritmos
voraces, así como su experiencia en el uso de la herramienta
GreedEx y las representaciones que incorpora. El análisis de los
datos recogidos mediante el pretest nos permitió comprobar que
todos los participantes estaban familiarizados con los conceptos
básicos de la técnica voraz (M = 2,75 SD = 0,45), así como con
el método experimental soportado por GreedEx. A su vez, diez
de los participantes habían hecho uso de dicho entorno (M =
2,83 SD = 0,72), por lo que conocían y sabían interpretar las
representaciones que este sistema soporta.
Una vez rellenado el pretest, los alumnos pasaban a realizar
la tarea experimental. Dicha tarea consistía en determinar cuál
era la función de selección óptima para el “problema de la
mochila (versión maximizar el número de objetos)”. Los
alumnos visualizaban en una pantalla, y sin que existiera
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.I. Molina; M. Paredes; M.Á. Redondo; J. Á. Velázquez - Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx
limitación de tiempo, las cuatro posibles estrategias de selección
que GreedEx identifica para este problema. Para cada una de las
cuatro opciones de solución, se mostraban las tres
representaciones suministradas por la herramienta: la
representación gráfica de los objetos a seleccionar y la mochila,
el código del programa y la traza de la ejecución en formato
tabular. Para cada alternativa a elegir se mostraba la solución
incompleta (a tres cuartas partes de su ejecución). Por tanto, en
esta primera evaluación se buscaba evaluar, en su modalidad
estática, las tres representaciones suministradas por el sistema
GreedEx.
Durante esta fase se hizo uso de un equipo de seguimiento
ocular (eye tracker), capaz de rastrear la mirada del usuario; esto
es, el orden de exploración visual de las representaciones
mostradas en pantalla, así como el tiempo que dedicaban a mirar
cada una de ellas o el número de veces que las consultaban.
Durante una sesión de eye tracking se recopila gran cantidad de
información y métricas [3]. La mayoría de estas métricas están
relacionadas con el número y duración de las llamadas
fijaciones, que se obtienen por la estabilización de los ojos en un
área determinada de la imagen (llamada área de interés o AOI),
por un periodo de tiempo también determinado. A partir de las
fijaciones se puede extraer un grafo (scan path o ruta de
escaneo) (Figura 2), que indica el orden de exploración visual de
los elementos mostrados en la imagen.
Figura 2. Ejemplo de scan path o ruta de escaneo (grafo creado a partir de las
fijaciones) generado por un alumno en el experimento 1.
A partir de las fijaciones se pueden extraer un gran número
de métricas, que pueden ser interpretadas como medidas de
interés, carga cognitiva, activación emocional, etc. Así, por
ejemplo, el número total de fijaciones en una AOI puede indicar
mayor interés o utilidad de la información mostrada en dicha
área para resolver una determinada tarea. Dicho interés también
se puede inferir a partir del tiempo total dedicado a inspeccionar
dicha AOI. Por su parte, una mayor duración media de las
XVI Simposio Internacional de Informática Educativa (SIIE’14)
fijaciones en una AOI indica mayor dificultad a la hora de
entender y extraer información de dicha área. Todas estas
métricas son, por tanto, medidas directas del esfuerzo visual que
supone entender la información mostrada, e indirectas del
procesamiento cognitivo asociado a dicho esfuerzo.
Tal y como se ha comentado anteriormente, el objetivo de
esta experiencia era evaluar el interés (utilidad) de cada una de
las representaciones suministradas por GreedEx, así como la
complejidad, o el esfuerzo cognitivo asociado a analizar y
entender cada una de ellas. Para ello fue necesario definir las
distintas AOIs para las que nos interesaba el cálculo de las
métricas antes comentadas. Se definió una AOI por cada
alternativa de solución que podía seleccionar (y, por tanto,
inspeccionar) el alumno (A, B, C y D), y además, para cada una
de estas áreas, tres AOIs adicionales que delimitaban cada una
de las representaciones suministradas (AOI-Grafico, AOICódigo y AOI-Tabla) para cada alternativa de solución. Se
definieron, por tanto, un total de 16 AOIs.
Una vez realizada la tarea a resolver los alumnos
cumplimentaron un posttest, en el que debían puntuar la utilidad
y complejidad de cada una de las tres representaciones en una
escala de Likert de 5 puntos (siendo 1 la menor valoración y 5 la
mayor). Con este cuestionario se pretendía conocer la
percepción subjetiva de los participantes en relación a estos
aspectos para, posteriormente, contrastar dicha opinión con los
datos suministrados por el eye tracker.
Otro aspecto que nos interesaba medir en las experiencias
realizadas es la motivación del alumno, ya que el tipo de
motivación o interés mostrado durante la actividad puede
determinar su comportamiento e influir en los resultados
obtenidos. Existen varios marcos teóricos desde los que estudiar
la motivación. La teoría de la autodeterminación (selfdetermination) constituye un marco bien consolidado para
estudiarla. La autodeterminación [6] establece que existen tres
niveles de motivación:
• Motivación intrínseca. La persona realiza la tarea
únicamente por el placer, el interés o el deseo de
realizarla, sin que exista ningún factor externo que
interfiera en ese interés.
• Motivación extrínseca. Este tipo de motivación se da
cuando la persona realiza una tarea, no por su propio
interés, sino por los incentivos o beneficios que puede
reportar su realización. Este nivel de motivación se
descompone, a su vez, en dos tipos: regulación externa y
regulación identificada. Cuando existe regulación
externa, el sujeto realiza la tarea únicamente por la
recompensa o castigo que puede derivarse de la misma.
La regulación identificada se da cuando el sujeto se ve en
la obligación de realizar la tarea o conducta, bien porque
cree que los demás lo consideran importante o porque él
mismo cree que es beneficioso.
83
A.I. Molina; M. Paredes; M.Á. Redondo; J. Á. Velázquez - Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx
• Desmotivación. En este nivel la persona no relaciona su
conducta con el resultado de la misma. El sujeto no
percibe ningún beneficio en su realización. Éste es el tipo
de motivación con menor grado de autodeterminación.
Estos niveles de motivación son valorados por los individuos
con efectos positivos (motivación intrínseca y la regulación
identificada) y negativos (regulación externa y desmotivación).
Existen varios instrumentos para medir la motivación. En este
trabajo se hizo uso de la escala Situational Motivation Scale
(SIMS) y, en particular de su traducción y adaptación al castellano
[6], la cual ha sido utilizada en ambientes educativos
satisfactoriamente. Los 14 ítems que incluye miden la
motivación intrínseca, identificada, externa y la desmotivación.
Cada ítem consta de una escala de Likert, que va del 1 (“no
corresponde con lo que pienso”) al 7 (“corresponde
exactamente con lo que pienso”). Las valoraciones altas en
algunos ítems se consideran como un elemento negativo. Por
ejemplo, una valoración alta en el ítem 3 (“Porque se supone
que debo hacerlo”) indica un aspecto negativo en la motivación
en general. Los valores de estos ítems negativos han sido
invertidos en el análisis estadístico.
B. Experimento 1. Resultados y discusión.
En esta sección pasamos a comentar los resultados obtenidos
en esta primera experiencia.
En relación a la utilidad de las distintas representaciones y,
teniendo en cuenta su valoración en el posttest, los alumnos
consideraron la representación tabular como la más útil (M =
4,08), seguida de la representación gráfica (M = 3,75), siendo el
código fuente el que obtuvo la menor puntuación (M = 3,25).
Las dos métricas proporcionadas por el dispositivo eye tracker
para medir el interés del usuario por una determinada área de la
imagen (AOI) son el número de fijaciones (#Fij) y el tiempo de
inspección (TInsp) de dicha AOI. Puesto que en la actividad de
análisis que realizaron los alumnos no existía limitación de
tiempo, resulta más apropiado considerar, en lugar de tiempos
absolutos, tiempos relativos, es decir el tanto por ciento del
tiempo de inspección (%Insp) dedicado por cada sujeto a
inspeccionar cada una de las representaciones gráficas con
respecto al tiempo total dedicado a analizar toda la imagen. En la
Tabla I vemos los valores obtenidos para todas estas medidas.
Podemos ver como no hay consistencia entre la percepción
subjetiva de los alumnos con respecto a la utilidad de las
distintas representaciones y la información que proporciona el
dispositivo de seguimiento ocular. Mientras que los alumnos
consideraban como más útil la tabla (M = 4,08) y menos útil el
código (M = 3,25), su comportamiento visual reveló que fueron
el código y la representación gráfica los elementos que más
consultaron para realizar la actividad (mayor número de
fijaciones y mayor tiempo de inspección), siendo el código
fuente al que más tiempo dedicaron (%Insp = 38,25).
84
TABLA I. MEDIDAS SUBJETIVAS Y PROPORCIONADAS POR EL EYE TRACKER
PARA MEDIR LA UTILIDAD DE LOS TRES TIPOS DE REPRESENTACIONES*
AOI
Gráfico
Código
Tabla
Utilidad
subjetiva*
3,75
(1,14)
3,25
(1,29)
4,08
(1,08)
#Fij*
TInsp*
%Insp*
85,67
(50,01)
31,89
(18,19)
32,08
(11,46)
66,17
(33,70)
40,60
(26,43)
38,25
(16,11)
56,08
(20,03)
27,73
(12,96)
29,67
(14,52)
* Se muestra la media y entre paréntesis la desviación típica
TABLA II. MEDIDAS SUBJETIVAS Y PROPORCIONADAS POR EL EYE TRACKER
PARA MEDIR LA COMPLEJIDAD DE LOS TRES TIPOS DE REPRESENTACIONES*
AOI
Complejidad
subjetiva*
Duración media
fijaciones*
Gráfico
2,33 (1,15)
0,34 (0,05)
Código
Tabla
2,83 (1,03)
1,75 (1,06)
0,56 (0,23)
0,49 (0,17)
* Se muestra la media y entre paréntesis la desviación típica
Respecto a la complejidad de cada una de las
representaciones mostradas, y según se puede ver en la Tabla II,
los participaron consideraron de media que la representación
más difícil de entender era el código del programa (M = 2,83),
seguida de la representación gráfica (M = 2,33), siendo la
representación en forma de tabla la considerada como más
sencilla de interpretar (M = 1,75). Al igual que se ha hecho
antes, se contrastaron dichos resultados con los suministrados
por el eye tracker. La métrica que permite medir el
procesamiento cognitivo es la duración media de las fijaciones,
de forma que, un mayor valor indicará mayor esfuerzo cognitivo
y, por tanto, mayor complejidad. En este sentido, hay coherencia
entre la percepción subjetiva de los alumnos y el valor de dicha
métrica, de forma que el elemento que resulta más complejo de
entender es el código fuente. Sin embargo, mientras que el
elemento considerado por los alumnos menos complejo es la
tabla, el dispositivo de seguimiento ocular indica que es el
gráfico el que menos carga cognitiva impone.
En relación a la motivación de los alumnos durante la tarea,
ésta fue en general media-alta (M = 4,73), midiendo ésta como la
media aritmética de los cuatro niveles de motivación medidos.
Por alumnos, el valor de la motivación más bajo fue de 3,14 y el
más alto 6 (en una escala de 1 al 7). En la Figura 3 se muestra la
relación de las valoraciones de los alumnos en cada una de las
cuatro dimensiones de la motivación. Vemos que los alumnos
valoraron la tarea a realizar como importante y beneficiosa para
ellos (dimensión de Regulación Identificada, M = 4,73). Incluso
buena parte de ellos quisieron participar tan solo por el hecho
disfrutar haciendo la actividad (Motivación Intrínseca, M =
4,32). En menor grado la percibieron como una actividad que
tenían que realizar sólo por las consecuencias que tenía
(Regulación Externa, M = 4,26) y menos aún la consideraron
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.I. Molina; M. Paredes; M.Á. Redondo; J. Á. Velázquez - Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx
que no tenían ningún interés ni consecuencia en el estudio de
algoritmos voraces (Desmotivación, M = 1,48).
Figura 3. Dimensiones de la motivación medidas en escala Likert de 1 a 7.
TABLA III. ALGUNAS CORRELACIONES SIGNIFICATIVAS
#
Aspecto 1
Aspecto 2
C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
Utilidad Código
Utilidad Código
Utilidad Código
Motivación Intrínseca
Motivación Intrínseca
Regulación Externa
Edad
Edad
Experiencia GreedEx
Experiencia GreedEx
Experiencia GreedEx
#Fij. Código
TInsp. Código
%Insp. Código
Utilidad Código
%Insp. Código
Complejidad Código
#Fij. Tabla
TInsp. Tabla
Utilidad Gráfico
Complejidad Gráfico
Duración media fij. Tabla
Índice
de
correlación
(r)
0,81**
0,80**
0,72**
-0,62*
-0,69*
0,70*
0,78**
0,72**
0,61*
-0,69*
-0,84***
* = p < 0,05 (mínimo coeficiente de correlación para un tamaño de muestra de n = 12 es 0,58)
** = p < 0,01 (mínimo coeficiente de correlación para un tamaño de muestra de n = 12 es 0,71)
*** = p < 0,001 (mínimo coeficiente de correlación para un tamaño de muestra de n = 12 es 0,82)
A continuación se realizó un análisis de correlaciones de
todas las dimensiones consideradas en este estudio (percepción
subjetiva sobre la utilidad y complejidad de las representaciones,
la medida de motivación de los alumnos y las métricas
proporcionadas por el eye tracker). En la Tabla III se muestran
algunas de las correlaciones detectadas.
En primer lugar se comprobó si existían correlaciones entre
las medidas subjetivas de utilidad y complejidad y las métricas
del eye tracker. En este sentido sólo se daba una clara relación
entre la utilidad percibida del código y las tres métricas que
permiten medir objetivamente esta característica: número de
fijaciones en el código (r = 0,81 p = 0,05), el tiempo dedicado a
inspeccionar esta representación (r = 0,80 p = 0,05) y el tanto
por ciento del tiempo de inspección en comparación con el resto
de representaciones (r = 0,72 p = 0,05).
En relación con la motivación se ha detectado una
correlación negativa entre la motivación intrínseca con la
utilidad del código (r = -0,62 p = 0,05), así como con el tanto
por cierto de tiempo dedicado a inspeccionarlo visualmente (r =
-0,69 p = 0,05). Por su parte la complejidad percibida con
respecto a este elemento correlaciona de forma positiva con la
XVI Simposio Internacional de Informática Educativa (SIIE’14)
regulación externa (r = 0,70 p = 0,05). Creemos que esta última
correlación puede deberse al hecho de que los alumnos utilizan a
menudo la representación del código fuente en actividades de
evaluación de conocimientos (como son los exámenes), los
cuales normalmente son percibidos como actividades
obligatorias, en las que no existen ningún placer al realizarlas y
que los alumnos realizan por la consecuencias positivas o
negativas que tiene.
Otra relación que nos ha llamado la atención es aquella que
aparece entre la edad y el número de fijaciones (r = 0,78 p =
0,01) y el tiempo de inspección (r = -0,72 p = 0,01) de la
representación tabular. Parece ser que los alumnos de mayor
edad dedican más tiempo a inspeccionar este elemento frente al
resto.
La experiencia en el uso de la herramienta GreedEx también
correlaciona con el hecho de considerar más útil el gráfico (r =
0,61 p = 0,05), con considerarlo un elemento menos complejo (r
= -0,69 p = 0,05) y tener menos problemas a la hora de analizar
este elemento visualmente (r = -0,84 p = 0,001). Vemos, por
tanto, que la experiencia en el uso del sistema influye en la
percepción que los alumnos tienen respecto a dicha
representación.
C. Experimento 2. Evaluación del uso dinámico de las técnicas
de representación de GreedEx.
La primera experiencia realizada nos permitió realizar una
primera evaluación de las técnicas de visualización, sin
embargo, la tarea que realizaron los alumnos difiere de la que
realizan al usar el sistema GreedEx. El verdadero potencial de
esta aplicación, y de las representaciones que incorpora, está en
la capacidad de simulación de los algoritmos. Por eso, en este
segundo experimento se realizó la evaluación de las
representaciones tras hacer una tarea de análisis y comprensión
de programas utilizando la herramienta. En este segundo
experimento participaron un total de 6 alumnos de la URJC.
Como se hizo en la experiencia anterior, antes de comenzar
la actividad, los alumnos completaron el mismo pretest
confeccionado para el experimento 1. El perfil de los
participantes fue similar al de los alumnos que participaron en la
evaluación previa, aunque en este caso sus conocimientos en el
uso de GreedEx eran algo superiores (M = 3,50 SD = 0,55).
El enunciado de la tarea experimental que tuvieron que
realizar los alumnos fue el siguiente: “Se tienen n objetos, cada uno
con un peso ps[i], 0≤i≤n-1, y dos mochilas con capacidades c1 y c2. El
objetivo es maximizar el número de objetos que se introducen en ambas
mochilas sin sobrepasar sus capacidades. Se pide encontrar las
funciones de selección óptimas para este problema, entre las
propuestas en GreedEx”.
Al terminar el ejercicio los alumnos rellenaron el mismo
posttest usado en el experimento 1, que permitía conocer la
valoración subjetiva de los participantes respecto a la utilidad y
complejidad de las tres representaciones incorporadas por
GreedEx.
85
A.I. Molina; M. Paredes; M.Á. Redondo; J. Á. Velázquez - Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx
D. Experimento 2. Resultados y discusión.
Pasamos a comentar los resultados obtenidos en esta segunda
experiencia.
Respecto a la utilidad de las distintas representaciones
(Tabla IV) los alumnos consideraron, al igual que ocurría en la
experiencia 1, que la representación tabular había resultado ser
la más útil durante la tarea (M = 5,00), seguida de la
representación gráfica (M = 3,50), siendo el código fuente el que
obtuvo la valoración más baja (M = 2,33). A diferencia del
estudio anterior, en este caso las métricas calculadas por el eye
tracker para medir el interés del usuario en cada AOI (#Fij,
TInsp y %Insp), si son consistentes con la opinión subjetiva de
los alumnos. Las tres medidas indican que el elemento al que
prestaron más atención (y que, por tanto, les resultó más útil
para resolver la tarea) fue la representación tabular, seguida del
gráfico, siendo el código fuente el considerado menos útil al
analizar el problema propuesto.
TABLA IV. MEDIDAS SUBJETIVAS Y PROPORCIONADAS POR EL EYE TRACKER
PARA MEDIR LA UTILIDAD DE LOS TRES TIPOS DE REPRESENTACIONES*
AOI
Gráfico
Código
Tabla
Utilidad
subjetiva*
3,50
(1,05)
2,33
(1,51)
5,00
(0,00)
#Fij*
TInsp*
479,00
(333,39)
108,96
(73,21)
%Insp
*
40,17
(16,10)
69,83
(66,72)
15,27
(18,92)
6,28
(7,65)
570,17
(292,31)
157,91
(101,38)
53,55
(17,54)
* Se muestra la media y entre paréntesis la desviación típica
TABLA V. MEDIDAS SUBJETIVAS Y PROPORCIONADAS POR EL EYE TRACKER
PARA MEDIR LA COMPLEJIDAD DE LOS TRES TIPOS DE REPRESENTACIONES*
AOI
Gráfico
Código
Tabla
Complejidad
subjetiva*
3,33 (1,03)
3,17 (1,33)
3,67 (2,07)
Duración media
fijaciones*
0,24 (0,06)
0,21 (0,07)
0,26 (0,09)
* Se muestra la media y entre paréntesis la desviación típica
En relación a la complejidad de cada una de las
representaciones mostradas (Tabla V), los alumnos en este caso
consideraron que la información tabular era la más difícil de
interpretar (M = 3,67), seguida de la representación gráfica (M =
3,33), siendo el código el menos complejo (M = 3,17). Al igual
que ocurría con la utilidad, de nuevo, en este caso, las métricas
calculadas por el eye tracker son consistentes con la valoración
hecha por los participantes. El elemento que mayor carga
cognitiva imponía (medida por la duración media de las
fijaciones) era la representación tabular (M = 0,26), seguida de
la representación gráfica (M = 0,24), siendo el código el que
menor esfuerzo visual requería (M = 0,21).
En la Figura 4 se puede ver y comparar, de forma gráfica, la
valoración subjetiva que hicieron los participantes en cada una
de las dos experiencias realizadas.
86
Figura 4. Comparativa de los valores subjetivos de utilidad y complejidad de
cada una de las representaciones en los dos experimentos.
IV.
CONCLUSIONES Y TRABAJOS FUTUROS
El uso de varias representaciones de programas es habitual
en sistemas software para la enseñanza de algoritmia,
especialmente, en aquellos que soportan la ejecución y
simulación de programas, como es el caso del sistema GreedEx.
Con el objetivo de mejorar la experiencia de aprendizaje de los
alumnos que hacen uso de este sistema se realizaron dos
experiencias de evaluación de las representaciones que soporta.
En estos experimentos se combinó la información recopilada
mediante cuestionarios de percepción subjetiva y motivación,
con las métricas que proporciona un dispositivo de seguimiento
ocular.
En la primera evaluación se mostraban las tres
representaciones en un formato estático. En este caso, los
alumnos consideraron que la representación que les había
resultado más útil era la tabular. Sin embargo el dispositivo de
rastreo ocular indicó que había sido el código fuente el elemento
que más habían consultado durante la actividad. En cuanto a la
complejidad, los alumnos indicaron que había sido el código el
elemento más complejo, siendo, en este caso, los resultados
consistentes con los que suministró el eye tracker.
Sin embargo, el uso estático de dichas representaciones no
podía ser considerado como concluyente, ya que el verdadero
potencial de GreedEx está en su capacidad de simulación y
ejecución paso a paso. Se realizó, por tanto, un segundo
experimento en el que los participantes hacían uso de la
herramienta para resolver una actividad y valoraban, a
continuación, las distintas representaciones. En este segundo
experimento, se dieron resultados consistentes entre la
valoración que daban los alumnos (medidas subjetivas de
utilidad y complejidad) y las métricas que proporcionó el eye
tracker (medidas objetivas). En este caso los usuarios
consideraron que el elemento más útil era, de nuevo, la
representación tabular, siendo el código fuente la representación
menos valorada. En cuanto a la complejidad los alumnos
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.I. Molina; M. Paredes; M.Á. Redondo; J. Á. Velázquez - Experiencias de evaluación de las técnicas de representación de programas soportadas por GreedEx
valoraron como elemento más complejo la tabla y como menos
complejo el código del programa.
Por tanto, se pudo comprobar que el código del programa era
más atendido y utilizado por los estudiantes cuando lo que se
mostraba era una instantánea de la ejecución del programa
(versión estática), mientras que en el contexto de la simulación
dinámica del algoritmo, los alumnos prefieren experimentar y
observar la evolución de las representaciones tabulares y
gráficas, a pesar de que consideran que la información que
suministran puede ser más compleja de analizar. Entre los
trabajos futuros que nos planteamos abordar está el análisis del
uso de cada tipo de representación a lo largo del tiempo que
tardan los alumnos en resolver el ejercicio. Es decir, valorar si
los usuarios consultan más una u otra representación a medida
que avanzan en la simulación y ejecución del algoritmo y en la
resolución del problema.
Otra línea de trabajo futuro es el análisis detallado de los
scan path o rutas de escaneo generados, así como su posible
relación con los estilos de aprendizaje de los alumnos [7]. El
objetivo de este estudio sería la identificación de distintos
patrones de análisis de programas, que puedan depender de
dicho estilo. Es necesario comentar que en el primero de los
experimentos realizados también se recopiló el estilo de
aprendizaje de los alumnos. Sin embargo, no se encontraron
relaciones significativas entre el estilo de aprendizaje de los
alumnos y su preferencia u opinión con respecto a la utilidad o
complejidad de las distintas técnicas de representación.
Posiblemente, el reducido tamaño de la muestra pudo haber
XVI Simposio Internacional de Informática Educativa (SIIE’14)
influido en estos resultados, por lo que también nos planteamos
aumentar el tamaño de la misma en nuestros próximos
experimentos.
V.
AGRADECIMIENTOS
El presente trabajo ha sido parcialmente soportado por el proyecto
coordinado EDUCA-Prog del Ministerio de Ciencia e Innovación
(TIN2011-29542-C02-01 y TIN2011-29542-C02-02) y el proyecto
CYTED (Red 513RT0481). Los autores quieren agradecer su
participación a los alumnos de la URJC que accedieron a participar
voluntariamente en estas experiencias.
VI.
[1]
[2]
[3]
[4]
[5]
[6]
[7]
REFERENCIAS
J.A. Velázquez, O. Debdi, N. Esteban-Sánchez, C. Pizarro. GreedEx: A
visualization tool for experimentation and discovery learning of greedy
algorithms, IEEE Transactions on Learning Technologies, 6(2):130-143,
April-June 2013.
J. Nielsen, K. Pernice, K. Técnicas de Eye Tracking para usabilidad Web.
ANAYA Multimedia. New Riders, 2010.
A. Poole, J.B. Linden, Eye Tracking in Human-Computer Interaction and
Usability Research: Current Status and Future Prospects, 2004.
B. Bloom, E. Furst, W. Hill, D.R. Krathwohl. Taxonomy of Educational
Objectives: Handbook I, The Cognitive Domain. Addison-Wesley, 1956.
R. Brooks. Towards a theory of the comprehension of computer programs.
International Journal of Man-Machine Studies, 18, 543-554, 1983.
J. Martín-Albo, J.L. Núñez, J.G. Navarro. Validation of the Spanish
Version of the Situational Motivation Scale (EMSI) in the Educational
Context. The Spanish Journal of Psychology, 12(2), pp. 799-807, 2009.
R. Felder, R. Brent. Understanding student differences. Journal Eng.
Education, 94 (1): 57-72, 2005.
87
Reutilización de datos abiertos en el aprendizaje de
diseño de bases de datos a través de proyectos
Jose-Norberto Mazón; Elena Lloret; Eva Gómez-Ballester; Antonia Aguilar; Iván Mingot; Ernesto Pérez; Luisa Quereda
Departamento de Lenguajes y Sistemas Informáticos
Universidad de Alicante, España
{jnmazon,elloret,eva,aguilar,mingot,ernesto,quereda}@dlsi.ua.es
habilidades comunicativas, la creatividad y el espíritu
emprendedor, así como la capacidad de reflexionar sobre un
comportamiento ético. Precisamente, el objetivo de este artículo
es describir una nueva metodología en este sentido, desarrollada
en el seno de la red de investigación en docencia universitaria
del Instituto de Ciencias de la Educación de la Universidad de
Alicante, titulada “aprenDA: uso de datos abiertos para el
aprendizaje de diseño de bases de datos a través de proyectos”
[4]. Esta metodología está basada en el desarrollo de proyectos
con datos abiertos para motivar a los estudiantes en la materia de
diseño de bases de datos a través de datos y escenarios prácticos
reales a que puedan adquirir los resultados de aprendizaje
estipulados en el MECES. Se presenta también en este artículo
los resultados de una encuesta realizada al alumnado al final del
curso que ha permitido evaluar la experiencia docente.
Abstract—En este artículo se describe una metodología
innovadora basada en el uso de datos abiertos para el aprendizaje,
a través de proyectos. Esta metodología se aplica en un caso de
estudio: la experiencia docente en el grupo de Alto Rendimiento
Académico (ARA) de la asignatura “Diseño de Base de Datos” del
Grado en Ingeniería Informática de la Universidad de Alicante en
los cursos 2012/2013 y 2013/2014. La filosofía de datos abiertos
permite que estén a disposición del alumnado una ingente cantidad
de datos, listos para su reutilización y explotación. En nuestra
experiencia docente, el alumnado propone un escenario original
donde diferentes datos abiertos puedan reutilizarse para una
finalidad y utilidad concreta. Luego, se propone diseñar una base
de datos que permita la gestión de estos datos en el escenario
propuesto. El uso de datos abiertos en la asignatura ha posibilitado
inculcar en el alumnado una actitud creativa y emprendedora, a la
vez que se fomenta el aprendizaje autónomo y permanente (lifelong
learning). Las encuestas realizadas al alumnado al final de cada
curso académico han demostrado que el uso de datos abiertos
integrados en metodologías de aprendizaje basado en proyectos
hace que los estudiantes tengan más motivación a la hora de
afrontar la asignatura, y que éstos valoren de forma muy positiva el
uso de datos reales en asignaturas de este tipo.
II.
EDUCACIÓN SUPERIOR
La armonización de los sistemas universitarios europeos es
uno de los objetivos del proceso de Bolonia. Una tarea
fundamental a realizar en esta armonización es la definición de
mecanismos que permitan a los países europeos comparar las
cualificaciones adquiridas en el marco del Espacio Europeo de
Educación Superior (EEES) facilitando la movilidad y el
reconocimiento internacional de los títulos y de la formación.
Con esta finalidad, en España, se establece el MECES a través
del Real Decreto 1027/2011, de 15 de julio.
En el MECES se describen los niveles de cualificaciones y
sus resultados de aprendizaje para las enseñanzas superiores en
España. Una cualificación según el MECES es “cualquier título,
diploma o certificado emitido por una institución educativa que
acredita haber adquirido un conjunto de resultados del
aprendizaje, después de haber superado satisfactoriamente un
programa de formación en una institución legalmente reconocida
en el ámbito de la educación superior”; mientras que se define
resultado del aprendizaje como “aquello que se espera que un
estudiante conozca, comprenda o sea capaz de hacer”. Por tanto
Keywords— datos abiertos; aprendizaje autónomo; creatividad;
emprendimiento; diseño de bases de datos
I.
INTRODUCCIÓN
Con el fin de que los estudiantes adquieran las competencias
descritas en el MECES (Marco Español de Cualificaciones para
la Educación Superior)1, en la asignatura “Diseño de Bases de
Datos” impartida en el grado en Ingeniería Informática de la
Universidad de Alicante, tradicionalmente se ha planteado el
desarrollo de problemas sobre diseño de bases de datos, por
ejemplo para potenciar la adquisición de versatilidad en la
solución de nuevos problemas o promover la correcta toma de
decisiones para su resolución. No obstante, es necesario
desarrollar nuevas metodologías que permitan hacer más
hincapié en aspectos como el aprendizaje autónomo, las
1
MARCO ESPAÑOL DE CUALIFICACIONES PARA LA
http://www.boe.es/boe/dias/2011/08/03/pdfs/BOE-A-2011-13317.pdf
89
J. N. Mazón; E.Lloret; E. Gómez; A. Aguilar; I.Mingot; E. Pérez; L.Quereda - Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos
es preciso que el profesorado sea consciente de las
cualificaciones del MECES y que se desarrollen metodologías y
se pongan en práctica con el fin de alcanzar los resultados de
aprendizaje esperados.
Para una titulación de grado, el MECES describe aquellas
cualificaciones que tienen como finalidad la obtención por parte
del estudiante de una formación general, en una o varias
disciplinas, orientada a la preparación para el ejercicio de
actividades de carácter profesional. Estas cualificaciones se
definen según los siguientes resultados del aprendizaje:
1. Haber adquirido conocimientos avanzados y demostrado
una comprensión de los aspectos teóricos y prácticos y
de la metodología de trabajo en su campo de estudio con
una profundidad que llegue hasta la vanguardia del
conocimiento.
2. Poder, mediante argumentos o procedimientos
elaborados y sustentados por ellos mismos, aplicar sus
conocimientos, la comprensión de éstos y sus
capacidades de resolución de problemas en ámbitos
laborales complejos o profesionales y especializados que
requieren el uso de ideas creativas e innovadoras.
3. Tener la capacidad de recopilar e interpretar datos e
informaciones sobre las que fundamentar sus
conclusiones incluyendo, cuando sea preciso y
pertinente, la reflexión sobre asuntos de índole social,
científica o ética en el ámbito de su campo de estudio.
4. Ser capaces de desenvolverse en situaciones complejas o
que requieran el desarrollo de nuevas soluciones tanto
en el ámbito académico como laboral o profesional
dentro de su campo de estudio.
5. Saber comunicar a todo tipo de audiencias
(especializadas o no) de manera clara y precisa,
conocimientos, metodologías, ideas, problemas y
soluciones en el ámbito de su campo de estudio.
6. Ser capaces de identificar sus propias necesidades
formativas en su campo de estudio y entorno laboral o
profesional y de organizar su propio aprendizaje con un
alto grado de autonomía en todo tipo de contextos
(estructurados o no).
En la asignatura “Diseño de Bases de Datos” perteneciente al
Grado en Ingeniería Informática de la Universidad de Alicante,
además de las competencias específicas de la materia, se recogen
algunos conceptos destacados de los resultados de aprendizaje
del MECES de la siguiente manera:
• Los estudiantes conocerán las materias básicas y
tecnologías, que capaciten para el aprendizaje y
desarrollo de nuevos métodos y tecnologías, así como las
que les doten de una gran versatilidad para adaptarse a
nuevas situaciones.
90
•
Los estudiantes desarrollarán capacidad para resolver
problemas con iniciativa, toma de decisiones, autonomía
y creatividad.
• Los estudiantes tendrán capacidad para saber comunicar
y transmitir los conocimientos, habilidades y destrezas de
la profesión de Ingeniería en Informática.
Con el fin de que los estudiantes adquieran estas
competencias en la asignatura “Diseño de Bases de Datos”
parece factible ir incorporando paulatinamente nuevas
metodologías docentes. En este artículo se presenta una
metodología basada en el desarrollo de proyectos con datos
abiertos para motivar a los estudiantes del grupo de Alto
Rendimiento Académico (ARA) en la adquisición de los
resultados de aprendizaje estipulados en el MECES a través de
la materia de diseño de bases de datos mediante datos y
escenarios prácticos reales. Los grupos ARA se pusieron en
marcha gracias a una iniciativa de la Conselleria de Educación,
Fomento y Empleo en colaboración con las universidades
públicas de la Comunidad Valenciana. El objetivo de estos
grupos es reforzar el potencial de los alumnos más destacados
desde el inicio de sus estudios universitarios. Entre las
características de estos grupos, destaca que como mínimo el 50%
de la docencia de créditos básicos de la titulación se impartirán
en inglés. En la Escuela Politécnica de la Universidad de
Alicante, los criterios que se valoran para la pertenencia de un
alumno a un grupo ARA son el expediente académico y el
conocimiento de inglés (mínimo nivel B2). Por lo general, estos
grupos suelen tener un menor número de alumnos que el resto de
grupos de la titulación, por lo que se eligió como grupo piloto en
la experimentación de la experiencia docente propuesta.
III.
TRABAJO RELACIONADO
Aquellos datos que son accesibles libremente con el fin de
ser reutilizados y redistribuidos por aquellas personas u
organizaciones que lo deseen, sin tener ningún tipo de
restricciones para ello, se denominan datos abiertos. En este
sentido, cobran vital importancia los portales de datos abiertos
como mecanismos para facilitar el acceso a estos datos a través
de la Web, y potenciar su distribución y reutilización.
El movimiento de apertura de datos fue impulsado por el
creador de la Web, Tim Berners-Lee en su llamamiento a
compartir datos libremente mediante el uso de la Web para el
beneficio de toda la sociedad2, así como en algunos resultados
interesantes obtenidos un tiempo después de dicho llamamiento3.
La apertura de datos posibilita que estos puedan estar
totalmente accesibles de manera sencilla y libre, por lo que
pueden están resultando clave para fomentar la transparencia y
la rendición de cuentas de las instituciones públicas como lo
demuestra la reciente aprobación de la Ley 19/2013, de 9 de
diciembre, de transparencia, acceso a la información pública y
2
http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html
3
http://www.ted.com/talks/tim_berners_lee_the_year_open_data_went_worldwide.html
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. N. Mazón; E.Lloret; E. Gómez; A. Aguilar; I.Mingot; E. Pérez; L.Quereda - Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos
buen gobierno y las directivas europeas relacionadas con el
fomento de datos abiertos y reutilización de la información
pública como la directiva 2013/37/UE . Por otro lado, además de
un impacto social derivado del ejercicio de transparencia, la
apertura de datos tiene un impacto económico importante. De
hecho, en palabras de la Vicepresidenta de la Comisión Europea
responsable de la Agenda Digital4, Neelie Kroes, "los datos son
el combustible de la nueva economía, [...], el nuevo petróleo de
la era digital", ya que los datos y la tecnología se pueden asociar
para generar valor a través de aplicaciones, contenido Web, etc.
Para que este impacto social y económico sea notable, cobran
vital importancia los portales de datos abiertos como
mecanismos para facilitar el acceso a estos datos a través de la
Web, y potenciar su distribución y reutilización. Dentro de este
impacto económico, es interesante resaltar que la reutilización
de los datos fomenta iniciativas creativas y de emprendimiento.
Por este motivo se ha usado la filosofía de datos abiertos en
algunas experiencias docentes. Por ejemplo, un proyecto
relacionado con nuestra metodología se están llevando a cabo en
el eDesign Lab5, en el cual colaboran educadores, tecnólogos y
diseñadores para concebir experiencias interactivas que integren
un contexto tecnológico en un aprendizaje más allá del aula, por
ejemplo a través de visualización de datos interactiva mediante
el desarrollo de mashups, aplicaciones móviles con datos
geolocalizados, juegos digitales y altamente interactivos,
diferentes tipos de sensores, plataformas colaborativas, etc. Una
de estas experiencias es la herramienta QueryUs6 donde se
facilita que los estudiantes que puedan construir sus propios
argumentos en relación a una asignatura, proponiendo y
resolviendo preguntas alrededor de conjuntos de datos abiertos.
Además, esta herramienta permite a los estudiantes publicar y
compartir los conocimientos que van explorando con estudiantes
alrededor del mundo. De esta manera se consigue estimular a los
estudiantes para que aprendan de manera autónoma, creativa y
emprendedora.
Podemos encontrar otras iniciativas docentes basadas en
datos abiertos, como la propuesta en [5] donde se describe una
propuesta para la evaluación del aprendizaje basada en
evidencias de datos abiertos recogidas de forjas abiertas.
Existen otras experiencias no basadas en datos abiertos pero
que también intentan desarrollar un espíritu innovador y creativo
en el aula. Por ejemplo, en [2] se comenta la importancia del
trabajo colaborativo en pequeños grupos y su interacción con el
fin de promover el pensamiento crítico según establecía Ennis en
[1]. Por otra parte, Oliveras et al recogen en [3] el uso de una
fuente de información como son los artículos periodísticos como
herramienta para transmitir competencias transversales como el
espíritu crítico. En nuestra metodología se hace uso de otro tipo
4
5
6
http://europa.eu/rapid/press-release_SPEECH-12-149_en.htm
http://edesignlabs.org/
de recurso, los datos abiertos, para poder introducir las
competencias transversales de la asignatura “Diseño de Bases de
Datos” alineados con el MECES.
IV.
PROPUESTA
A. Objetivos
El objetivo que se persigue en este artículo es describir una
nueva metodología desarrollada para la docencia en el grupo
ARA de la asignatura “Diseño de Bases de Datos” que permite
su alineamiento con los resultados de aprendizaje estipulados en
el MECES, de tal manera que, como se indicaba en el apartado
anterior, se potencien aspectos como el aprendizaje autónomo,
las habilidades comunicativas, la creatividad y el espíritu
emprendedor, así como la capacidad de reflexionar sobre un
comportamiento ético.
Para ello la metodología propuesta gira en torno al concepto
de datos abiertos, cuya disponibilidad hace que los estudiantes
puedan proponer su uso en proyectos reales de diseño de bases
de datos de tal manera que:
1. Aumenta la capacidad creativa y el espíritu emprendedor
al enfrentarse a un problema real de diseño de una base
de datos con datos auténticos y con datos pertenecientes
a un dominio concreto. El hecho de considerar un
dominio concreto es importante, ya que la informática
en general como disciplina y el desarrollo de bases de
datos en particular, sólo se hace tangible cuando se
practica en un dominio de aplicación determinado con el
que las personas que ejercen la profesión de Ingeniería
Informática se enfrenten a las características y
particularidades de dicho dominio. Vocabulario,
tecnologías, herramientas, paradigmas y otros factores
del dominio afectan a la labor diaria del diseño de una
base de datos, por lo que conviene centrarse en un único
dominio en la etapa de aprendizaje con el fin de asentar
perfectamente los conocimientos.
2. Se fomenta el aprendizaje autónomo y a lo largo de la
vida. Es importante aprender nuevos conocimientos a lo
largo de la vida, máxime en materias tan cambiantes
como las incluidas en la disciplina de la Ingeniería
Informática. En el proyecto a desarrollar, los estudiantes
se enfrentarán a la toma de decisiones en cuanto a la
tecnología de bases de datos a usar, determinando sus
limitaciones y posibilidades de uso, comparándola con
tecnologías alternativas y proponiendo mejoras. Por ello,
los estudiantes desarrollarán habilidades que les
permitan buscar y aprender de manera autónoma nuevos
conocimientos.
3. Se incrementan las habilidades comunicativas, tanto
orales como escritas, y el trabajo en equipo, ya que el
proyecto se llevará a cabo en grupos. Otro aspecto
http://edesignlabs.org/prototypes/queryus/
XVI Simposio Internacional de Informática Educativa (SIIE’14)
91
J. N. Mazón; E.Lloret; E. Gómez; A. Aguilar; I.Mingot; E. Pérez; L.Quereda - Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos
importante es que los estudiantes se familiaricen con la
importancia de cumplir con las fechas de entrega, la
evaluación como grupo y no como individuo y las
excelencias del trabajo colaborativo. Por otra parte, el
desarrollo en grupo de un proyecto enmarcado en un
escenario real les expondrá a requisitos cambiantes y en
conflicto, por lo que hará posible que se deban
desarrollar habilidades de negociación, ya que los
estudiantes tendrán que realizar una conciliación de los
objetivos del proyecto encontrando compromisos
aceptables respecto a las limitaciones de coste, tiempo,
conocimiento, riesgo, etc.
4. Desarrollo de un comportamiento ético, ya que al
utilizarse datos abiertos se incluye en el proceso de
aprendizaje un medio adecuado para que los estudiantes
mediten acerca de las licencias de uso y propiedad
intelectual, pudiendo alcanzar cierta madurez y juicio
para tomar decisiones profesionales con implicaciones
éticas y legales.
Para conseguir el objetivo señalado, nuestra metodología
docente gira en torno al desarrollo de un proyecto de diseño de
una base de datos que servirá para resolver un problema
planteado alrededor de un conjunto de datos abiertos. Los
estudiantes forman grupos, estudian los datos abiertos
disponibles y proponen un escenario original en el cual los datos
abiertos sirven de carga de la base de datos para simular una
problemática concreta. Luego, se diseña una base de datos que
permita gestionar los datos abiertos elegidos y usarlos para la
finalidad y utilidad concreta establecida en el proyecto.
B. Método y proceso de investigación
La metodología propuesta para la realización de esta
experiencia docente plantea la realización de una serie de tareas
que se detallan en esta sección:
1. Se debe hacer una introducción a los estudiantes acerca
de la filosofía de datos abiertos. ¿Qué significa “datos
abiertos”? ¿Qué tipo de licencias de reutilización
existen? ¿Cuál es la utilidad de los datos abiertos?
Ejemplos de uso y de proyectos relacionados con datos
abiertos. ¿Qué se puede llegar a hacer mediante la
apertura de datos? Etc. Después de esta introducción, los
estudiantes resuelven un cuestionario sobre datos
abiertos para afianzar conocimientos.
2. Se anima a los estudiantes a formar grupos de 3 o 4
personas y se les plantea que realicen una búsqueda de
datos en varios portales de datos abiertos como
http://data.gov
o http://data.gov.uk para que se
familiaricen con el acceso a datos abiertos. Se les
plantea a los estudiantes que propongan un escenario
con problemas que se puedan solucionar mediante el uso
de aquellos datos abiertos que buscaron previamente
(ejemplos que se mencionan posteriormente en esta
misma sección). Durante esta etapa, que los estudiantes
92
deben desarrollar de manera no presencial, se
desarrollan, de manera presencial, los conceptos propios
de la asignatura a través de clases magistrales y
ejercicios (en teoría), y a través de un caso práctico “de
juguete” (en prácticas). Además, se pide a los grupos
que escriban un informe detallando el escenario y se
dedicará tiempo en clase para realizar la exposición del
mismo en público con el fin de debatirlo con el resto de
estudiantes.
3. Con ayuda del profesor se consensuan unos requisitos a
partir de cada escenario propuesto por los grupos. De
esta manera se fijan unos requisitos factibles para el
diseño de una base de datos que permita resolver los
problemas planteados en el escenario. Además, esto
permite a los estudiantes poder participar en un proyecto
a largo plazo con unos requisitos específicos y plazos de
entrega definidos. Se pide a los grupos la redacción de
un informe con los requisitos que se contemplarán en el
proyecto.
4. Mediante la puesta en práctica del contenido visto
presencialmente en clase de prácticas y de teoría, se
plantea a los estudiantes el diseño de la base de datos.
Una vez diseñada, la base de datos se implementa en un
sistema gestor de bases de datos concreto que los
estudiantes proponen y que debe ser diferente al que se
explica en las clases de prácticas. Este sistema gestor de
bases de datos debe ser de libre (open source) para que
no tengan problema en su descarga y uso. Los grupos
realizarán una presentación acerca del diseño de la base
de datos, además de realizar un informe.
5. Una vez implementada la base de datos, se procede a
integrar los datos abiertos seleccionados en las primeras
etapas. Esto se efectúa mediante una herramienta de
integración de datos de código abierto llamada Pentaho
Kettle7. Previamente, se dedica una sesión de prácticas a
explicar los conceptos más relevantes de integración de
datos y de la propia herramienta.
6. Se pide a los estudiantes que describan cómo han usado
los datos dentro del escenario especificado. Además, se
pide a los grupos que realicen un informe final que
contenga todo el trabajo realizado en el proyecto, así
como una exposición pública del mismo.
7. En la fase de exposición pública se solicita a los
estudiantes que participen con preguntas y sugerencias
sobre los proyectos desarrollados por otros compañeros.
Cabe destacar el hecho de que la experiencia docente junto
con cada una de las tareas que se propusieron se desarrollaron en
inglés, puesto que la experimentación se llevó a cabo en el grupo
ARA, y por tanto, cada una de las fases del proyecto tenía la
7
http://kettle.pentaho.com/
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. N. Mazón; E.Lloret; E. Gómez; A. Aguilar; I.Mingot; E. Pérez; L.Quereda - Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos
dificultad añadida de preparar toda la documentación y
exposición en este idioma.
Como muestra de la creatividad de los proyectos
desarrollados, cabe destacar algunos ejemplos:
• Base de datos para una aplicación de búsqueda de
servicios en la ciudad de Nueva York, incluyendo
información de museos, teatros o cafeterías.
• Base de datos con información acerca del nivel de
bienestar alcanzado en diversas regiones de EEUU y
Reino Unido, incluyendo indicadores de hospitales,
bibliotecas o centros educativos.
Serie
s1;
No;
3;
11%
Sí No
Motivación
por
la asignatura
con una media de 20 alumnos por curso en los que la docencia
se impartía exclusivamente en inglés.
Lo primero que se preguntó al alumnado es el nivel de
motivación alcanzado con la asignatura y la metodología basada
en datos abiertos. Se puede observar los resultados en la figura
1, donde casi un 90% del alumnado se siente motivado.
Una de las preguntas de esta encuesta planteaba si se había
continuado por cuenta propia indagando sobre la temática de
bases de datos y datos abiertos. Un porcentaje alto indicó
afirmativamente tal y como se muestra en la figura 2, lo que
indica que la metodología fomenta el aprendizaje a lo largo de la
vida y el aprendizaje autónomo.
Series
1; No;
12;
44%
Sí No
Aprendizaje
más
allá de la Series
1; Sí;
15;
asignatura 56%
Serie
s1; Sí;
24;
89%
Figura 1: Resultados sobre la motivación del alumnado con la metodología
empleada en la asignatura.
• Base de datos con información de crímenes y
delincuencia en diversas regiones de Reino Unido.
• Base de datos sobre la natalidad registrada en diversas
regiones de Reino Unido, incluyendo información acerca
de fertilidad y enfermedades.
• Base de datos sobre el funcionamiento del sistema
educativo en diversos estados de EEUU, incluyendo
niveles de fracaso escolar, perfiles de los estudiantes así
como su entorno social y familiar.
• Base de datos para la planificación de rutas turísticas
incluyendo medios de transporte públicos y su
combinación adecuada para satisfacer las necesidades del
visitante o turista.
Con el fin de conocer qué percepción habían tenido los
estudiantes de la metodología usada en esta experiencia docente
y poder saber si los resultados de aprendizaje propuestos en el
MECES se habían alcanzado, se realizó una encuesta un tiempo
después de finalizar el periodo docente. Se realizaron encuestas
durante dos cursos consecutivos (2012/2013 y 2013/2014) en
dos grupos ARA de la asignatura Diseño de Base de Datos del
Grado en Ingeniería Informática de la Universidad de Alicante,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Figura 2: Resultados iniciales acerca del aprendizaje permanente (lifelong
learning) y autónomo.
Otra de las preguntas se planteó para intentar conocer si se le
encontraba valor añadido a la metodología propuesta frente al
uso de otras metodologías y, de ser así, qué valor destacarían
como más significativo de la nueva metodología. Cabe destacar
que una mayoría de estudiantes encontraron que la nueva
metodología aportaba valor añadido frente al método tradicional,
tal y como se muestra en la figura 3. Como también se observa
en esta figura, el valor mejor percibido es el uso de datos reales
en un proyecto, y a continuación la posibilidad de fomentar el
trabajo autónomo, así como el trabajo de equipo. Hay que tener
en cuenta que la metodología docente objeto de este estudio se
desarrolla con estudiantes de segundo curso, que todavía no
están acostumbrados a trabajar en equipo, ni a realizar
exposiciones orales de su trabajo y, como se observa en la
figura, los estudiantes saben valorar estos aspectos que les ofrece
esta metodología basada en proyectos.
Por otro lado, se realizó una pregunta para poder estimar el
trabajo no presencial de los estudiantes tal y como se muestra en
la figura 4. La mayoría dedica entre 3 y 4 horas de estudio fuera
del aula, aunque hay una cantidad notable que ha dedicado unas
10 horas.
93
J. N. Mazón; E.Lloret; E. Gómez; A. Aguilar; I.Mingot; E. Pérez; L.Quereda - Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos
En relación a otros aspectos concretos de la asignatura
(competencias como diseño conceptual, lógico y físico, así como
la interconexión entre teoría y prácticas y las competencias
transversales) se realizaron varias preguntas cuyo resultado se
establece en la figura 5. En esta figura, por cada competencia, se
recibe una puntuación que sigue una escala de valores, de tal
manera que 1 equivale a poca satisfacción y 5 es mucha
satisfacción. Se comprueba en la figura 5 que la mayoría de
estudiantes ha alcanzado cotas altas de satisfacción. Destaca la
percepción que tienen de las competencias transversales.
Series1;
Series1;
Ninguno
Creativid
; 3; 11%
ad; 1;
4%
Series1;
Series1;
Trabajo
en
Valor más importante
Trabajo
equipo en
percibido por parte
…reales
Datosequipo;
4; 15%
Aprendiz
aje
Series1;
autóno
Exposici
mo; 5;…
ones; 2;
7%
Exposiciones
Series
1;
Datos
Aprendizaje
reales;
autónomo
12;…
Figura 3: Percepción de la metodología por parte de los estudiantes a través
de varios valores.
0
1 2 3 4de5estudiantes
6 7 8 9 10
Cantidad
según horas semanales…
Puntuaciones
Figura 4: Resultados acerca del aprendizaje autónomo.
Diseño
Percepción de los estudiantes
conceptual
acerca de varios aspectos
de la
Diseño lógico
asignatura
Diseño físico
Preguntas
Interconexión
teoría y práctica
Figura 5: Valoración global de los estudiantes en determinados
aspectos de la asignatura.
94
Por último, en cuanto a las preferencias de los estudiantes en
relación al trabajo en grupo siguiendo esta metodología, sólo un
11% prefiere trabajar de manera individual. No obstante, es
curioso observar como a ninguno de los estudiantes encuestados
le resulta atractivo trabajar en grupo si previamente no se conoce
a sus integrantes. Estos resultados se pueden observar en la
figura 6.
V.
CONCLUSIONES Y TRABAJO FUTURO
En este artículo se describe una experiencia docente basada
en el uso de datos abiertos para el aprendizaje, a través de
proyectos, de la asignatura “Diseño de Base de Datos” del Grado
en Ingeniería Informática de la Universidad de Alicante en los
cursos 2012/2013 y 2013/2014. Específicamente esta
experiencia se ha desarrollado en el grupo ARA (Alto
Rendimiento Académico).
Series1;
Individual
Grupo
Grupo
no elegido
elegido;
0; 0%
Series1;
PreferenciaParejas
sobre
Individu
Grupo noal;
elegido
3;
trabajo en grupo
11%
Series1;
Grupo
elegido;
14; 52%
Series1;
Parejas;
10; 37%
Figura 6: Preferencia del alumnado sobre la manera de trabajar: individual,
por parejas o en grupo.
La filosofía de datos abiertos permite que estén a disposición
del alumnado una ingente cantidad de datos, listos para su
reutilización. Nuestra metodología docente gira en torno al
desarrollo de un proyecto de diseño de una base de datos que
servirá para resolver un problema planteado alrededor de un
conjunto de datos abiertos. Los estudiantes forman grupos,
estudian los datos abiertos disponibles y proponen un escenario
original en el cual los datos abiertos sirven para simular una
problemática concreta. Posteriormente se diseña una base de
datos que permita gestionar los datos abiertos elegidos y usarlos
para la finalidad y utilidad concreta establecida en el proyecto.
Se realizó una encuesta docente al alumnado al final del
curso con el fin de evaluar la experiencia docente. El estudio de
los resultados de esta encuesta, así como la actitud participativa
y crítica de los estudiantes durante la exposición de los
proyectos desarrollados, nos permiten afirmar que se está en el
camino de conseguir una serie de resultados de aprendizaje del
MECES con nuestra metodología: capacidad de explorar hasta la
vanguardia del conocimiento con espíritu emprendedor,
fomentar el pensamiento crítico, creativo e innovador, la
tolerancia y la transparencia, capacidad de reflexionar sobre
asuntos de índole social, científica y ética, habilidad para
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. N. Mazón; E.Lloret; E. Gómez; A. Aguilar; I.Mingot; E. Pérez; L.Quereda - Reutilización de datos abiertos en el aprendizaje de diseño de bases de datos a través de proyectos
desenvolverse
en
situaciones
complejas,
habilidades
comunicativas y autonomía en el aprendizaje a lo largo de la
vida.
Como trabajo futuro se pretende analizar la conveniencia de
la metodología en otros grupos diferentes al ARA para
determinar si existen factores como el idioma, el número de
alumnos, etc. que influyen en su aplicación. Además, se podrían
analizar correlaciones interesantes con grupos de edad,
experiencia previa, etc. Por otro lado, existen varias mejoras de
la metodología que se están actualmente desarrollando, como
por ejemplo el planteamiento de evaluar a los estudiantes por
medio de una rúbrica.
VI.
[1]
[2]
[3]
[4]
[5]
Hager, P., Sleet, R., Logan, P., & Hooper, M. (2003). Teaching critical
thinking in undergraduate science courses. Science & Education, 12(3),
303-313.
Oliveras, B., Márquez, C., & Sanmartí, N. (2011). The use of newspaper
articles as a tool to develop critical thinking in science classes.
International Journal of Science Education, 1-21
Mazón, J-N., Lloret, E.; Gómez E.; Aguilar, A.; Mingot, I.; Pérez, E.;
Quereda, L. (2013). Datos abiertos en el aprendizaje a través de proyectos.
XI Jornadas de Redes de Investigación en Docencia Universitaria.
Universidad de Alicante.
Traverso Ribón, I., Ruiz-Rube, I., Dodero, J.M., Palomo-Duarte, M. Open
data framework for sustainable assessment in software forges. 3rd
International Conference on Web Intelligence, Mining and Semantics,
WIMS '13, pp. 20
REFERENCIAS
Ennis, R. H. (1996). Critical Thinking. Prentice Hall, Englewood Cliffs,
NJ.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
95
TFG GII UR: Una herramienta para la gestión y
desarrollo de Trabajos Fin de Grado en Ingeniería
Informática
Juan J. Olarte Larrea; César Domínguez Pérez; Arturo Jaime Elizondo; Francisco J. García-Izquierdo
Dpto. Matemáticas y Computación
Universidad de La Rioja
26004 Logroño. Spain
{jjolarte, cesar.dominguez, arturo.jaime, francisco.garcia}@unirioja.es
tutor para guiar al estudiante y supervisar el proceso. Al finalizar
el proyecto, el estudiante presenta una memoria en la que
describe tanto el producto obtenido como el proceso seguido
para su consecución. Además debe presentar y defender su
trabajo ante un tribunal de evaluación compuesto por tres
profesores.
En cursos anteriores hemos detectado algunos problemas,
como retrasos en la finalización de los proyectos, productos de
calidad mejorable, procesos de desarrollo poco estructurados, y
en general, insatisfacción de alumnos y tutores [6, 13]. Las
causas de estos problemas pueden ser variadas. En primer lugar
tiene importancia la propia naturaleza del problema al que se
enfrentan los estudiantes. Este trabajo es de mayor envergadura
que cualquier otro al que se hayan enfrentado en la carrera, no
está totalmente cerrado, necesita de una gestión adecuada, de un
análisis y diseño complejo, surgen problemas imprevistos
durante su desarrollo, el estudiante debe tomar decisiones de
manera autónoma, etc. [15]. Por otro lado, algunos estudiantes
se sienten aislados durante el desarrollo del proyecto. Ya no
tienen el apoyo cercano de los compañeros de clase con los que
han contado hasta ahora. En esta situación, cualquier pequeño
problema puede magnificarse y convertirse en un escollo difícil
de superar. Además, algunos estudiantes pueden sentirse menos
motivados, al no poder compartir experiencias, comparar
resultados obtenidos, ni comparar el avance individual con el del
resto de compañeros [11, 16].
El tutor tampoco es ajeno a dificultades cuando se enfrenta a
la tarea de dirigir proyectos. Debe encontrar el punto de
equilibrio en su nivel de apoyo al alumno, para no dejarlo
desatendido pero a la vez no privarle de la oportunidad de
aprender, al enfrentarse por sí mismo ante las dificultades que le
surgirán durante el proyecto [6, 10, 13]. Otro problema que los
tutores suelen sufrir con cierta frecuencia es la falta de
Resumen—Este trabajo presenta una herramienta para
estudiantes y profesores (tutores) que ayuda en la gestión y
desarrollo de Trabajos de Fin de Grado (TFG) en Ingeniería
Informática. La herramienta pone especial énfasis en las tareas de
planificación y seguimiento del proyecto, provee información sobre
otros TFG de un determinado perfil, y proporciona apoyo en la
gestión de documentos (entregables, actas de reuniones, etc.).
Además proporciona una comunidad de aprendizaje integrada con
una red social para paliar la sensación de aislamiento que algunos
estudiantes sufren durante el desarrollo del proyecto. Informa a los
estudiantes del progreso de sus compañeros y facilita el contacto
entre estudiantes y profesores que están desarrollando un proyecto
de perfil similar.
Palabras clave—trabajo fin de grado; ingeniería informática;
proyecto de informática; red social.
I.
INTRODUCCIÓN
Los Planes de estudio de Ingeniería Informática incluyen al
final de los mismos un Trabajo Fin de Grado (TFG) consistente
normalmente en la realización de un proyecto de desarrollo de
software [1, 3, 4, 17]. Con él, los estudiantes integran los
conocimientos y habilidades que han aprendido en las diferentes
asignaturas que han cursado en la carrera. Además, ofrece la
oportunidad de mejorar dichas habilidades y adquirir otras
nuevas al enfrentarse a una tarea de mayor envergadura y
dificultad que representa el TFG, frente a las que han supuesto
las asignaturas y los trabajos anteriores, lo que les capacitará
para su futuro desempeño profesional [7, 8, 10, 12].
En la Universidad de La Rioja, estos proyectos tienen una
carga de 300 horas, los realizan los alumnos individualmente, y
en la mayoría de los casos, se trata de un caso real para un
cliente real (una empresa). Generalmente, el proyecto incluye las
fases de análisis, diseño, implementación y pruebas de un
sistema de información. Se asigna a cada proyecto un profesor
Parcialmente financiado por la Universidad de La Rioja (APIDUR12/13)
97
J. J. Olarte; C. Domínguez; A. J. Elizondo; F. J. García - TFG GII UR: Una herramienta para la gestión y desarrollo de Trabajos Fin de Grado en Ingeniería Informática
información sobre el proyecto de su alumno, fundamentalmente
en lo relacionado con el progreso del mismo. En muchos casos
es el propio tutor el que tiene que tomar la iniciativa para recabar
información acerca del progreso, debe preguntar sobre ello a su
alumno, y en muchos casos ni siquiera éste sabe con precisión si
está dentro de lo planificado o no. Por último, una cuestión que
puede a priori parecer menor, pero que a veces se convierte en
un verdadero dolor de cabeza para los tutores, es la gestión de la
documentación generada por los proyectos, entregables,
revisiones, actas de reunión, etc. Con la diversidad de
herramientas que los alumnos utilizan para esta cuestión (correo
electrónico, almacenamiento en la nube, carpetas compartidas,
etc.), resulta complicado mantener un registro estructurado de
esa información.
En un intento de paliar estos problemas, y en definitiva, de
mejorar los resultados en los TFG, hemos desarrollado una
herramienta de apoyo en la gestión y desarrollo de TFG en
Ingeniería Informática, útil tanto para los estudiantes como para
los tutores. Se trata de una aplicación web que integra distintas
funciones que describimos a continuación y cuyos objetivos
fundamentales podríamos resumir en: evitar el aislamiento de los
estudiantes, mejorar la comunicación entre estudiantes y
profesores, conseguir una mayor motivación de los estudiantes,
y ayudar en la gestión del proyecto, fundamentalmente en tareas
de planificación y seguimiento así como de gestión de la
información (entregables, actas de reunión, revisiones, etc.). La
aplicación no será intrusiva, no coartará la libertad de alumno en
su toma de decisiones que atañen a su proyecto. Además tendrá
un manejo sencillo e intuitivo y requerirá una mínima atención
por parte del alumno para suministrarle información, que será la
mínima imprescindible y solo en momentos puntuales.
II. FUNCIONALIDAD DE LA APLICACIÓN PARA EL ESTUDIANTE
A. Planificación y seguimiento
En general, un proyecto tiene éxito si se consigue el producto
solicitado por el cliente en el plazo acordado y con los recursos
asignados [14, 15]. Para conseguirlo es fundamental la
planificación y seguimiento del proyecto. La herramienta le va a
facilitar dichas tareas y además le va a incentivar y motivar para
llevarlas a cabo de manera sistemática. Sin embargo, para no
resultar intrusiva, deja al estudiante hacer la planificación con
total libertad. Dicho soporte debe ser independiente de la
metodología de desarrollo que cada estudiante considere más
adecuada, con ciclo de vida secuencial, incremental, iterativoincremental, etc. Lo mismo ocurre respecto del plan de
seguimiento, cada alumno puede hacerlo según su criterio, fijar
más o menos hitos, con entregables ligados a ellos o no, etc. La
aplicación va a ofrecer información sobre el progreso individual
y colectivo, por tanto, necesita recoger cierta información
uniforme sobre los proyectos. Para ello solicita del estudiante
las fechas de inicio y finalización del proyecto así como el
número de horas totales estimadas necesarias para su conclusión.
98
Además, la aplicación fija unos “puntos de control” (un punto al
mes aproximadamente), para los que solicita al estudiante el
número de horas dedicadas previstas hasta cada uno de esos
puntos de control. Permite hacer replanificaciones en cualquier
punto del desarrollo del proyecto.
B. Progreso del TFG
Para la monitorización del plan, durante el desarrollo del
proyecto, el alumno suministra datos a la aplicación del progreso
real, horas reales empleadas así como el porcentaje completado
para cada una de las fases “típicas” (planificación, análisis,
diseño e implementación). Esto puede hacerlo en cualquier
momento, aunque sería deseable que como mínimo los
actualizase en fechas cercanas a cada punto de control. La
aplicación recuerda al estudiante que realice esta actualización
de información si no lo ha hecho. Esto resulta especialmente útil
para aquellos alumnos menos sistemáticos en lo que a
seguimiento del plan se refiere.
La aplicación informa de manera gráfica de la situación del
proyecto, si va retrasado, al día o con adelanto. Además, informa
sobre el progreso de sus compañeros, siempre datos anónimos o
agregados por razones de privacidad. Esta posibilidad resulta
muy provechosa para paliar la sensación de aislamiento y falta
de motivación sentida por algunos estudiantes al hacer su TFG.
El estudiante conoce cómo van los demás, compara su progreso
con el del resto de compañeros, ya no está aislado, puede
sentirse integrado dentro de una comunidad. También puede
motivarse, si por ejemplo ve que está retrasado respecto de sus
compañeros, para intentar recuperar esa desventaja. Además
muestra distintos puntos de vista o enfoques sobre el progreso.
Algunas gráficas muestran información sobre progreso actual
comparado con el ideal (planificado). Con esta información el
alumno puede decidirse a tomar medidas correctoras para
retomar la línea planificada o hacer una replanificación. Otras
gráficas muestran la evolución del progreso, desde el inicio hasta
la fecha actual, lo que puede dar idea del momento en que se han
producido los desfases, si es que se han dado. Estas últimas,
pueden además ser útiles al alumno a la hora de confeccionar su
memoria final, en lo que al apartado de seguimiento y control se
refiere, pues puede incluir capturas de pantalla de la propia
aplicación en lugar de tener que confeccionarlas manualmente.
En concreto, la herramienta ofrece las opciones sobre
progreso que detallamos a continuación. Para tener una visión
más completa, mostraremos a modo de ejemplo algunas capturas
de pantalla pertenecientes a un alumno concreto (no incluimos
todas por limitaciones de espacio).
• Mi progreso actual: informa al estudiante del estado de su
proyecto en el momento actual (horas reales vs
planificadas). Además, muestra el avance del proyecto,
el porcentaje completado para cada fase.
• Progreso actual de todos los TFG: como el anterior pero
referido a datos medios de todos los TFG.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. J. Olarte; C. Domínguez; A. J. Elizondo; F. J. García - TFG GII UR: Una herramienta para la gestión y desarrollo de Trabajos Fin de Grado en Ingeniería Informática
• Progreso actual comparativo: une en una misma gráfica
los dos anteriores, facilitando la comparación (Fig. 1).
• Horas empleadas vs. progreso por fases: relaciona en una
misma gráfica la información sobre las horas reales
empleadas hasta la fecha actual y el progreso obtenido
(porcentaje completado) para cada fase o tarea. En este
caso aparecen representados en la misma gráfica todos
los proyectos, tanto el del alumno que hace la consulta
como los de sus compañeros (de manera anónima).
Muestra una gráfica para cada fase, mostramos aquí solo
la referida al diseño a modo de ejemplo (Fig. 2).
• Evolución del esfuerzo en cada fase: muestra la
evolución del esfuerzo (horas dedicadas) a cada fase
desde el inicio hasta la fecha actual.
• Evolución de mi progreso (Fases): muestra la evolución
del progreso (porcentaje completado) de cada fase desde
el inicio hasta la fecha actual (Fig. 3).
C. Perfil del TFG
La aplicación perfila los proyectos de acuerdo a una serie de
criterios, como el contexto o área en la que se encuadra (tipo de
empresa o sector), tipo de aplicación (web, de escritorio, para
dispositivos móviles, etc.) y tecnologías utilizadas para su
desarrollo más destacables. Permite hacer búsquedas por
cualquiera de los criterios por los que perfila, mostrando los
datos de contacto del alumno y del tutor de dicho proyecto. Con
esta funcionalidad el alumno que se sienta aislado, o tenga una
duda sobre algún aspecto de su proyecto, puede contactar con
otros alumnos e incluso con otros profesores que están
desarrollando un proyecto de perfil similar al suyo.
Fig. 3. Evolución del progreso por fases.
Fig. 1. Progreso actual comparativo.
Fig. 2. Horas empleadas vs. Progreso por fases (Diseño).
• Evolución de mi progreso (Horas): muestra la evolución
de las horas dedicadas (horas reales) junto a las horas
planificadas desde el inicio hasta la fecha actual.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Gestión de entregables
La aplicación permite gestionar las entregas de materiales de
los alumnos a sus tutores. Cuando el alumno sube un archivo a
la aplicación, ésta envía un mensaje de aviso a su tutor. El
archivo subido permanece en la plataforma, organizado por
fecha de entrega, para que tanto alumno como tutor puedan
acceder a las entregas de manera centralizada. Por otro lado, la
aplicación sirve de registro de entrega (con fecha y hora) de
entregables y revisiones. Esto puede también servir como
elemento motivacional ya que se tiene acceso centralizado a las
diferentes entregas fechadas.
E. Gestión de actas de reuniones
Funcionalidad similar a la gestión de entregables.
III. FUNCIONALIDAD DE LA APLICACIÓN PARA EL TUTOR
A. Planificación y seguimiento
El tutor tiene acceso a través de la aplicación al plan de
seguimiento de sus alumnos. Además, la aplicación guarda
registro de las posibles replanificaciones, con lo que el tutor
tiene un control exhaustivo sobre la tarea de planificación. El
99
J. J. Olarte; C. Domínguez; A. J. Elizondo; F. J. García - TFG GII UR: Una herramienta para la gestión y desarrollo de Trabajos Fin de Grado en Ingeniería Informática
tutor puede comprobar el progreso de sus alumnos ya que puede
consultar la misma información a la que accede su alumno y que
hemos descrito anteriormente. Ahora no necesita, como ocurría
antes en muchas ocasiones, ir tras sus alumnos para preguntarles
sobre su progreso. Este conocimiento puede ayudarle a tomar las
medidas que estime oportunas en el momento preciso en el caso
de que lo considere necesario. De nuevo, esta característica
puede evitar los retrasos que antes eran tan habituales.
Por otro lado, el tutor también tiene acceso a los datos
(agregados) del resto de estudiantes, no necesita recurrir a la
anteriormente habitual consulta “de pasillo” a sus compañeros
tutores sobre cómo iban sus alumnos. Ahora tiene una visión de
conjunto sobre lo que sucede con los proyectos, lo cual resulta
muy útil para apreciar posibles situaciones anómalas en sus
alumnos.
B. Perfil del TFG
El tutor puede ver el perfil del proyecto de sus alumnos, así
como hacer búsquedas por perfil de otros proyectos. Esto es de
gran utilidad para conocer qué otros TFG se están desarrollando
y qué estudiantes, y sobre todo qué colegas los están tutelando,
para poder compartir cualquier tipo de circunstancia con ellos.
C. Gestión de entregables y revisiones
Centraliza todas las entregas, organizadas por alumno y
fecha. Evita la dispersión que antes existía por el hecho de
utilizar distintos sistemas de comunicación y almacenamiento de
entregables. El tutor tiene además la posibilidad de subir a la
plataforma las revisiones de los entregables. La herramienta
genera un mensaje de aviso al alumno. Al igual que los
entregables, las revisiones quedan guardadas de manera
organizada para que tanto tutor como alumno tengan un acceso
cómodo a ellas.
D. Gestión de actas de reuniones
Funcionalidad similar a los entregables y revisiones.
IV. COMUNICACIÓN
Como se ha dicho anteriormente, la falta de comunicación y
la sensación de aislamiento sentida por los alumnos es un
problema importante durante el desarrollo de los TFG. Parece un
contrasentido hablar de aislamiento en la sociedad actual, donde
existen una cantidad ingente de posibilidades de comunicación,
entre ellas cabe destacar las redes sociales, y en general las
herramientas web 2.0 [2]. Su uso es cada vez más extendido,
sobre todo entre los jóvenes, en cualquier ámbito, no solo para
ocio, sino también profesional y como no, en la educación en
general y en la universidad en particular. Su uso en educación
fomenta la participación, la colaboración y el interés de los
alumnos [5, 9]. En esta línea, en el curso pasado pusimos en
marcha un grupo de Facebook como herramienta añadida de
comunicación ente alumnos y profesores tutores de TFG. Se
utilizó para difundir información administrativa sobre TFG,
plantear y resolver dudas por parte de alumnos y profesores, y en
general cualquier tipo de inquietud. El resultado fue
100
satisfactorio. Esta herramienta fue bastante utilizada y los
usuarios apreciaron su disponibilidad, por lo que este curso
seguimos teniendo el grupo activo. Sin embargo, detectamos
carencias que con la red social no podíamos satisfacer. Esas
carencias tenían que ver precisamente con las funciones de la
herramienta a las que nos hemos referido en las secciones
anteriores, y por eso nos decidimos a implementar esta
aplicación. Sin embargo, la red social sigue prestando su
función, la herramienta no la sustituye, la complementa, y por
tanto, es fundamental que estuviese integrada con ella. La
herramienta permite hacer contribuciones al grupo de Facebook
de manera cómoda, sin necesidad de entrar en el grupo, o bien
permite el acceso directo al grupo si se prefiere.
V. CONCLUSIONES Y TRABAJO FUTURO
La aplicación web desarrollada supone una herramienta útil
tanto para alumnos como para tutores de TFG. Se ha conseguido
además que su uso sea sencillo, que no suponga pérdida de
tiempo para sus usuarios, que solicite la mínima cantidad de
información necesaria y que no sea intrusiva. Viene a resolver
algunos problemas detectados en el desarrollo de TFG en cursos
anteriores, como los relacionados con la planificación y
seguimiento del proyecto, lo que solía derivar en retrasos en
incluso abandonos en algunos casos. Ayuda a evitar, o al menos
paliar, la sensación de aislamiento sufrido por los alumnos
cuando abandonan la clase durante el desarrollo del proyecto.
Mediante la posibilidad de perfilar los proyectos, la aplicación
adquiere en cierta medida la funcionalidad de una red social,
pues permite facilitar el contacto entre alumnos y profesores que
están desarrollando proyectos similares. Por otro lado, el contar
con información del progreso del resto de compañeros incentiva
y motiva al alumno para no quedar retrasado respecto del grupo,
creando así un ambiente competitivo. Además, la herramienta ha
integrado un grupo de Facebook. Herramienta y grupo de
Facebook se complementan y potencian mutuamente logrando
una comunidad donde alumnos y profesores pueden
intercambiar información, plantear y resolver dudas, etc. De
manera trasversal, la aplicación facilita la redacción de la
memoria del proyecto, facilitando gráficas sobre seguimiento y
evolución del proyecto, así como manteniendo registro de actas
de reunión que pueden ser directamente trasladadas a la
memoria.
En cuanto al trabajo futuro, en primer lugar haremos un
estudio sobre su uso una vez concluya el curso, tomando datos
mediante encuestas a alumnos y tutores y llevando a cabo el
correspondiente tratamiento estadístico. A la vista de ese
estudio, una nueva versión de la aplicación podría incorporar
mejoras o ampliaciones de funcionalidad. Además podría
exportarse a otras universidades, ajustando detalles que afecten a
posibles peculiaridades de cada universidad. De manera similar,
podría utilizarse en otras titulaciones. Incluso podría usarse, en
este caso con ajustes más importantes, para otras asignaturas, no
necesariamente TFG. Otra posibilidad podría ser la de generar
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. J. Olarte; C. Domínguez; A. J. Elizondo; F. J. García - TFG GII UR: Una herramienta para la gestión y desarrollo de Trabajos Fin de Grado en Ingeniería Informática
una línea de progreso ideal, trazada por el administrador o
generada por la propia aplicación a partir de datos recogidos en
cursos anteriores, para que los alumnos pudieran apreciar su
desvío respecto del ideal. Por último, creemos que podría
resultar interesante también que los propios tutores tuvieran un
perfil (técnico) que la aplicación proporcionase a los alumnos y
resto de profesores.
[1]
[2]
[3]
[4]
[5]
[6]
[7]
VI. REFERENCIAS
ACM/ IEEE-CS, Computer Science Curricula 2013.
Boyd, d. m., & Ellison, N. B. “Social network sites: Definition, history, and
scholarship”. Journal of Computer-Mediated Communication, 13(1), article
11, 2007.
Clark, M.A.C., & Boyle, R.D. “A personal theory of teaching computing
through final year projects”. Computer Science Education, 9(3), 200–214,
1999.
Clear, T., Goldweber, M., Young, F.H., Leidig, P.M., & Scott, K.
“Resources for instructors of capstone courses in computing”. SIGCSE
Bulletin, 33(4), 93–113, 2001.
Dabbagh, Nada, and Rick Reo. "Impact of Web 2.0 on higher education”.
Technology integration in higher education: Social and organizational
aspects, 174-187, 2011.
Domínguez, C, Jaime, A, García, F, Olarte, J.J. “Supervision Typology in
Computer Science Engineering Capstone Projects”. Journal of Engineering
Education 4: 679-697, 2012.
Goold, Annegret. "Providing process for projects in capstone
courses." ACM SIGCSE Bulletin 35.3: 26-29, 2003.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[8]
Gupta, J. N. D., and R. M. Wachter. "A capstone course in the information
systems curriculum." International Journal of Information Management
18.6: 427-441, 1998.
[9] Haro, J. “Redes sociales para la educación”. Anaya Multimedia, 2010.
[10] Joy, M. “Undergraduate computing projects: an investigation into the
student experience”. ITALICS, 8(1), 60–78, 2009.
[11] Malik, Manish, et al. "A two year case study: Technology assisted project
supervision (TAPaS)." engineering education 4.2: 76-83, 2009.
[12] Marin, J.A., Armstrong, J.E., & Kays, J.L. Elements of an optimal capstone
design experience. JEE, 88(1), 19–22, 1999.
[13] Olarte, J.J, Domínguez, C, García, F, Jaime, A, "Valoración de los Estilos
de Dirección de Proyectos Fin de Carrera en Ingeniería Informática". Actas
XIX Jenui. pp 361-364, 2013.
[14] Pressman, R.S. “Ingeniería del Software. Un enfoque práctico”. 7th ed.
McGraw-Hill Higher Education, 2010.
[15] Project Management Institute. “A guide to the project management body of
knowledge (PMBOK Guide)”. 5th ed. Newton Square, PMI, 2012.
[16] Sabah, Nasser M. "Initial Suggestions for Supervising and Mentoring
Undergraduate Student Projects." Evaluation & Assessment of the
Undergraduatte Project Workshop, 2013.
[17] Scott, H. “Management of real-world projects in university computing
courses”. In Proceedings of Student-Faculty Research Day, CSIS, Pace
University, A2.1–A2.7, 2008.
101
Ingeniería del Software en
e-Learning (ISELEAR)
Prefacio a la línea temática sobre Ingeniería del
Software en e-Learning (ISELEAR)
La línea temática de Ingeniería del Software en e-Learning (ISELEAR) desarrolla el 5º taller internacional en Ingeniería del
software en eLearning (ISELEAR’14). De esta forma, en esta línea se abordan los aspectos técnicos relativos al desarrollo sistemático
de aplicaciones eLearning utilizando métodos de la ingeniería del software adaptados y específicos para este tipo de aplicaciones. Esta
línea considera de forma prioritaria, aunque no exclusiva, los siguientes temas:
• Ingeniería de requisitos software en eLearning.
• Arquitecturas software, modelado, especificación, diseño y programación de sistemas eLearning.
• Tecnologías Software aplicadas en el desarrollo de sistemas eLearning complejos.
• Gestión de equipos multidisciplinares de pedagogos, expertos en el dominio, y desarrolladores en la producción y
mantenimiento de sistemas, aplicaciones y contenidos eLearning.
• Pruebas, verificación y validación del software en eLearning.
• Certificación de la calidad del software en eLearning.
• Métodos empíricos en ingeniería del software en el dominio del eLearning.
• Ingeniería del software orientada a modelos en eLearning.
• Ingeniería de lenguajes software y eLearning.
• Aplicación de las herramientas de la ingeniería del software a nuevas concepciones de aprendizaje (PLEs, MOOCs, etc).
• Estandarización y normalización.
• Revisiones sistemáticas de la aplicación de la Ingeniería del Software en el eLearning.
• Experiencias prácticas y lecciones aprendidas.
Esta línea agrupa 15 trabajos (14 artículos largos y 1 artículo corto) organizados en 5 sesiones temáticas: casos de estudio,
patrones y arquitecturas, desarrollo de sistemas adaptativos e interactivos, desarrollo de sistemas de evaluación y learning objects &
learning designs (esta última sesión será celebrada en Inglés).
Miguel Angel Conde
Antonio Sarasa
Coordinadores de la Línea Temática sobre Ingeniería
del Software en e-Learning
105
Desarrollo de un módulo para la gestión bibliográfica
en Moodle
Emilio Antonio Martínez Ramírez / Msc1; Carlos Enrique Montenegro-Marin / PhD2,3
1
Programador Desarrollador, Ontida Sistemas
Programador Analista, Made2Dream
Murcia, España
[email protected]
2
3
Facultad de Ingeniería, Universidad Distrital
Francisco José de Caldas
[email protected]
Facultad de Ingeniería, Universidad Cooperativa de Colombia
Bogotá, Colombia
[email protected]
Resumen—Este trabajo trata la experiencia de la
implementación y programación de un nuevo módulo en Moodle.
Existen una infinidad de módulos que añaden funcionalidades a
una plataforma Moodle pero ninguno hace referencia a la gestión
bibliográfica y en un proceso educativo surge la necesidad por
parte del profesor de indicar a su alumnado una lista bibliográfica
acorde a la materia que el alumno está cursando y por parte del
alumno, tener referencias bibliográficas de manera directa y
sencilla que le ayuden y potencien su propio proceso de enseñanzaaprendizaje. El módulo propuesto pretende gestionar un índice
bibliográfico de forma dinámica por parte del profesor y que el
alumno pueda tener acceso a esta información de forma efectiva.
Palabras Clave— Moodle, Moodle 2.5; módulo, módulos
estándar; módulos externos; ítem; roles; php; newmodule; activity
I.
INTRODUCCIÓN
Dentro de las innumerables funcionalidades que ofrecen los
diferentes módulos, tanto estándar (módulos que vienen por
defecto en la plataforma) como módulos externos (módulos
descargables e instalables dentro de Moodle). Se ha diseñado un
módulo que ofrece una finalidad nueva dentro del ámbito
educativo en Moodle, que es la Gestión Bibliográfica.
A lo largo del proceso educativo se pone de manifiesto la
necesidad de elaborar, por parte del profesorado, un listado de
contenidos bibliográficos que sirva al alumnado para potenciar o
apoyar su proceso educativo. Esta fuente bibliográfica se puede
presentar de muchas formas.
Otro factor importante a
tener en cuenta es que las fuentes bibliográficas dirigidas a los
alumnos no son estáticas, al contrario suelen ser dinámicas, los
motivos por los que los listados bibliográficos deben ser
dinámicos son numerosos:
•
Debido a que hay fuentes que se desactualizan y otras
que se actualizan.
• Obras nuevas que surgen sobre las que hay que
actualizarse.
• Cambios en la materia a nivel curricular que indican un
cambio en contenidos y por lo cual un posible cambio en
la bibliografía.
• Simplemente un nuevo aporte que el profesor decida
adecuado añadir, borrar o editar en cualquier instante
dentro del periodo educativo.
Estos son los motivos que empujan a pensar que es útil
desarrollar un módulo de gestión bibliográfica, el cual podrá dar
servicio tanto a profesores como al alumnado y ayudar a
satisfacer las necesidades de ambos.
II.
FORMULACIÓN DEL PROBLEMA
A lo largo del proceso educativo se pone de manifiesto la
necesidad de elaborar, por parte del profesorado, un listado de
contenidos bibliográficos que sirva al alumnado para potenciar o
apoyar su proceso educativo. Esta fuente bibliográfica se puede
presentar de muchas formas.
El objetivo del desarrollo de este módulo creado para la
plataforma de e-Learning Moodle, de nombre emrbibliografía,
es incorporar una herramienta que facilite la gestión
bibliográfica a lo largo del periodo educativo. Dentro del
entorno de aprendizaje Moodle, la interacción del profesor y
estudiante se realizará a través de una actividad. El desarrollo de
esta actividad tendrá su propio comportamiento, en cuanto a la
configuración de los datos y los otros factores. Todo lo cual
servirá para que esta nueva actividad cumpla con su objetivo.
107
E.A.Martínez; C. E. Montenegro - Desarrollo de un módulo para la gestión bibliográfica en Moodle
Para el desarrollo de nuestro módulo se utilizará un plugin
preexistente llamado Checklist, que nos servirá de base y
plantilla para desarrollar el módulo y darle las funcionalidades
que pretendemos [9]–[12].
Vale la pena resaltar que este módulo no ofrecerá la mima
funcionalidad que los gestores bibliográficos como zotero,
mendeley o endnote, en los cuales se permite crear
automáticamente referencias bibliográficas, actualizarlas y
organizarlas, así como generarlas en diversos estilos
bibliográficos, el modulo a desarrollar permitirá tanto al usuario
(estudiante) como al administrador del curso (profesor), conocer
cuando una bibliografía ya ha sido consultada o no y de esta
forma llevar un control sobre la bibliografía trabajada, evitando
que los usuarios estén consultado bibliografías de manera
repetitiva, medidas que ahorraran tiempo y esfuerzo en el avance
de una temática a estudiar en la plataforma de e-Learning.
III.
ANÁLISIS
Dentro de las metodologías de desarrollo, se eligió una
metodología ágil con el objetivo de centrarnos en el desarrolllo
de prototipos funcionales. Existen muchas metodologías ágiles
como por ejemplo Scrum, Extreme Programming (XP) o Iconix,
este último será la metodología a utilizar.
Iconix tiene su enfoque en cómo conseguir fiabilidad de los
casos de uso para codificar en tan pocos pasos como sea posible,
el proceso de Iconix está diseñado para hacer el proceso lo más
sencillo para lograr alta sincronización entre los diagramas y el
código [2].
A continuación enumeramos los fases de la metodología
Iconix:
• Identificar los objetos del dominio del mundo real
(Modelo de Dominio).
• Definir el comportamiento de los requerimientos (Casos
de Uso).
• Realizar un análisis de robustez para eliminar la
ambigüedad de los casos de uso.
• Asignar el comportamiento de los objetos (Diagramas de
Secuencia).
• Finalizar el modelo estático (Diagrama de Clases).
• Escribir y generar el código (Código Fuente).
• Realizar pruebas del sistema y de aceptación.
IV.
El proyecto se basa en una gestión bibliográfica continua, los
actores que participan son el estudiante y el profesor de forma
directa, pero no se los toma en cuenta en este análisis, porque su
gestión la maneja la plataforma Moodle, pero lo concerniente a
los items o elementos bibliográficos lo manejará el módulo, es
por eso que se ha tomado en cuenta aspectos como el progreso
de la bibliografía y los items seleccionados ya sean opcionales u
obligatorios.
La Figura 2 muestra el diagrama de arquitectura para el
módulo a construir, en este diagrama se pueden identificar
fácilmente los componentes que intervienen, las diferentes
partes que componen el sistema y como interactúan entre sí.
DESARROLLO DEL MÓDULO
El modelo del dominio es una parte esencial en el desarrollo
del sistema, muestra una visión general de los objetos que serán
posiblemente usados. El enfoque que tiene está sección puede
ser la más importante ya que establece una base sobre la cual se
construirá el proyecto, en este sentido y guiados por la
metodología a usar, la figura 1 muestra de manera gráfica el
modelo de dominio, este permite comprender como debe
funcionar el módulo a desarrollar.
108
Fig. 1. Modelo de Dominio. (fuente: Autor)
Fig. 2. Arquitetura del módulo de gestión Bibliográfica (fuente: Autor)
La capa de datos contendrá todo lo relacionado a la base de
datos que será manejada a través de MySQL, siguiendo con la
especificación de la arquitectura Moodle.
La lógica del negocio se establece como capa subsiguiente a
la física, por lo tanto el conocer cómo se van a manejar los
XVI Simposio Internacional de Informática Educativa (SIIE’14)
E.A.Martínez; C. E. Montenegro - Desarrollo de un módulo para la gestión bibliográfica en Moodle
distintos elementos que intervienen en la creación del módulo
emrbibliografía se establecerá en esta sección. Dicha lógica
estará especificada en el lenguaje de programación PHP.
La capa de aplicación será manejada a través del lenguaje
PHP. En la Figura 3 se visualiza el diagrama de clases de la
aplicación, clases que son personalizadas en su diseño por los
temas previamente establecidos. Para imprimir cada uno de los
elementos que son mostrados a los usuarios, se los incorpora por
medio de funciones dadas por el core de Moodle.
En cuanto a la conformación de las clases, muestra las
abstracciones mínimas propuestas para la resolución del
problema, así como las relaciones que existen entre ellas.
<<entity>>
Curso
+1
<<entity>>
Actividad
1..*
+Curso(): void
+TumEditOn(): void
+AgregarActividad(): void
+SelectActivity(int,int): void
+1
1..*
<<entity>>
Bibliografíaemr
+AddBibliografíaemr(int, int): void
+EditBibliografíaemr(int, int): void
+EliminarBibliografíaemr(int): void
+MostrarBibliografía(int): void
+UpdateBibliografía(): void
+1
1..*
+1
<<entity>>
Item
+AddItem(int, int): void
+GetItemById(int): void
+GetItems(): void
+UpdateItem(int): void
1..*
<<entity>>
Progreso
+EstablecerOrdenamiento(string): void
+SelectItemopcionales(int): void
+SelectItemObligatorios(int): void
Fig. 3. Diagrama de Clases. (fuente: Autor)
Moodle es una aplicación web que está creada sobre
herramientas de software libre, las cuales se utilizaron también
en el desarrollo del módulo emrbibliografía. El ambiente de
desarrollo a utilizar para la correcta implementación de Moodle,
debe contar con las siguientes herramientas[9] [5]:
• Moodle Versión 2.5.2.
• Servidor Web - Apache 2.4.6
• Lenguaje de Desarrollo - PHP 5.5
• Servidor de Base de Datos MYSQL 5.0.7
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Previo al desarrollo de una actividad es necesario conocer el
esquema de un módulo. Los módulos se almacenan en la carpeta
moodle/mod, cada uno en un directorio, siendo la estructura
general de archivos y directorios y que resumimos a
continuación [1], [8]–[14]:
• mod_form.php: Formulario para crear o modificar una
instancia de la actividad.
• version.php: para definir meta información, como por
ejemplo la versión del módulo.
• lang/: directorio para almacenar los archivos de idioma
del módulo. El módulo debe tener archivos de idioma
que contenga las cadenas para ese módulo. Deberán ser
al menos en inglés y traducidos a los idiomas de los
usuarios finales que utilicen la actividad.
• db/: Directorio donde se almacenarán los ficheros con las
tablas de las bases de datos necesarias para la actividad.
• access.php: Fichero de permisos del módulo. Los
permisos no son obligatorios pero sí muy recomendables
para garantizar qué usuarios pueden acceder a las
distintas partes del módulo.
• install.xml: Fichero que describe la estructura de las
tablas del módulo.
• upgrade.php: código de actualización, aquí es donde se
deben de hacer las alteraciones de las tablas, si las hay,
entre versiones.
• index.php: Este fichero sirve para mostrar todas las
instancias de una actividad en un curso, es decir, una lista
con todas las instancias del mismo módulo.
• view.php: Esta es la página que muestra una instancia de
la actividad.
• lib.php: librería de funciones del módulo. En este fichero
se implementarán todas las funciones y procedimientos
del módulo. Si el módulo se llama ejemplo, entonces las
funciones mínimas y obligatorias que ha de tener la
actividad tienen que ser de la forma:
o ejemplo_install(): Acciones a realizar al instalar el
módulo.
o ejemplo_add_instance(): código para añadir una
nueva instancia.
o ejemplo_update_instance(): función para actualizar
una instancia existente.
o ejemplo_delete_instance(): código para borrar una
instancia.
o ejemplo_user_outline(): da un resumen concreto de
la actividad de un usuario.
o ejemplo_user_complete(): devuelve un informe
más detallado de la contribución de un usuario.
o ejemplo_get_view_actions(): Clasifica las acciones
para el log. Se usa en el informe de participación.
109
E.A.Martínez; C. E. Montenegro - Desarrollo de un módulo para la gestión bibliográfica en Moodle
Todas las funciones, procedimientos y constantes,
creados en lib.php, tienen que comenzar con el
nombre del módulo.
• settings.php (opcional): Formulario con las opciones
generales del módulo.
Para este módulo se ha realizado un estudio de los diferentes
módulos para ir profundizando en las posibles funcionalidades y
directrices a la hora de programar dichas funcionalidades [8]–
[14].
En este sentido, se ha programado un nuevo archivo llamado
locallib que añade nuevas funciones, estas son:
• recoge_datos()
• formulario_nuevo_item()
• get_items()
• update_items_from_course()
• removeauto()
• view()
o
V.
VI.
FUNCIONAMIENTO BÁSICO
Se ha procurado que el manejo sea muy intuitivo de modo
que no fuera realmente necesario estudiar una documentación de
uso, pero de todos modos apuntamos algunas líneas sobre la
utilización típica [6]- [7].
Si desde el modo Administrador, donde nos encontramos,
pulsamos sobre el título.
En el inicio se nos presenta la pantalla desde la cual podemos
ir insertando Items. La Figura 4 Muestra esta pantalla de inicio,
aquí vamos rellenando los datos y pulsamos Agregar. La fecha
completa puede ser necesaria sólo para Items tipo Boletín, o
Revista. En el caso de los libros bastaría con el año, pero se usa
un único formato de fecha para simplificar la codificación.
REQUISITOS DEL MÓDULO
En este apartado explicaremos los requisitos técnicos a
cumplir a lo largo del desarrollo del módulo [3]- [4].
• Programación de un plugin tipo "activity module" para
Moodle 2.x.
• Se proporciona un paquete instalable como "actividad"
del modo habitual en Moodle.
• La actividad se instanciará en cada curso en el que se
desee utilizar, por medio de la pantalla de "settings" se
fijará que roles tengan derecho a editar/crear entradas y
qué roles tengan derecho a visualizarlo.
• Contará con backup integrado para ser llamado por el
backup general de Moodle.
• Los datos generados se almacenarán en la base de datos.
• Se seguirán todas las recomendaciones de programación
de Moodle.
• El rol con permiso para crear/editar podrá crear/editar
entradas de la "bibliografía" (libros, infografías, web,
CD, ...) y así mismo publicarlas/despublicarlas. Los tipos
de recurso disponibles (libro, infografía, web, CD, etc..)
se fijarán en la pantalla de settings generales.
• La pantalla de settings será general a todo el Moodle, no
individual por cada asignatura-curso.
• Los campos disponibles por cada recurso serán :
o Nombre del documento.
o Autor.
o Editorial (si la tiene)
o Fecha de publicación (si la tiene).
o Notas.
110
Fig. 4. Vista Editor de Bibliografía. (fuente: Autor)
Al final después de haber tecleado unos cuantos Items
tendremos la lista de los mismos, y un control tipo Check a su
izquierda, como se puede visualizar en la Figura 5:
Fig. 5. Vista Editor de Bibliografía con lista de opciones. (fuente: Autor)
Pulsando sucesivamente sobre este Check cambiaríamos el
estado del Item entre los tres posibles:
XVI Simposio Internacional de Informática Educativa (SIIE’14)
E.A.Martínez; C. E. Montenegro - Desarrollo de un módulo para la gestión bibliográfica en Moodle
• Item Obligatorio: su título aparece en negrita y
mayúsculas, y el check marcado. De este modo el alumno
sabe que este material es de consulta obligada.
• Item opcional: Dispone de Check pero el título aparece
en letra normal.
• Item Adicional: no dispone de Check (aparece punteado
en el modo Administrador). Se considera que es material
"no controlable", es decir, los alumnos no tienen que
indicar si lo han consultado o no, y no se tiene en cuenta
en los controles que haga el profesor.
A manera de ejemplo a continuación aplicaremos un ejemplo
del uso del módulo:
La Figura 6 muestra como se loguea un alumno:
se marca como consultados los Items "Fundamentos de derecho
procesal" y "derecho romano":
Fig. 8. Vista del módulo Bibliografía consultada. (fuente: Autor)
En la Figura 9 se visualiza la vista que tendrá el
administrador al consultar el módulo:
Fig. 6. Logueo en el modulo (fuente: Autor)
Una vez se valide al usuario (logueo), se despliega una
pantalla de bienvenida al curso, como lo muestra la Figura 7.:
Fig. 9. Visor del módulo de Bibliografía. (fuente: Autor)
Como el administrador tiene privilegios de edición sobre el
modulo, él podrá visualizar y editar la información que allí se
presente, La Figura 10 muestra como seria la vista de edición
para el caso ejemplo.
Fig. 7. Vista de un curso en moodle y del modulo bobliografía . (fuente: Autor)
Al ingresar a la actividad Bibliografía, se despliega una
pantalla como la mostrada en la Figura 8, allí a modo de ejemplo
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 10. Edición en el módulo Bibliografía. (fuente: Autor)
111
E.A.Martínez; C. E. Montenegro - Desarrollo de un módulo para la gestión bibliográfica en Moodle
En la Figura 11 vemos que en la pestaña de controlar los
alumnos, en este caso tenemos sólo uno, pero podríamos tener
10 ó 50, se visualizan los Items que ya han sido revisados por el
alumno. Esta opción nos permite, por tanto, controlar el uso que
nuestros alumnos están haciendo de la bibliografía.
Si pulsamos sobre el botón que pone "Ver barras de
progreso", como lo indica la Figura 11:
Fig. 11. Activación barra de progreso en el módulo Bibliografía. (fuente: Autor)
Tenemos una presentación más "resumida" y gráfica de la
información anterior, esto se visualiza en la Figura 12:
Si pulsamos en "Ocultar Items opcionales" (es decir, que
sólo se tengan en cuenta los Items obligatorios):
Si pulsamos sobre la lupa al lado del nombre del alumno, se
nos presenta su información de un modo más prolijo:
Fig. 12. Visor barra de progreso en el módulo Bibliografía. (fuente: Autor)
VII. CONCLUSIONES
Los resultados de este artículo han sido la sistematización de
la documentación para desarrolladores y la creación de un
módulo para la gestión de bibliográfica de alumnos y docentes.
En cuanto a la documentación para desarrolladores, se han
examinado una gran porción de fuentes disponibles en Internet y
se ha realizado una recopilación de todos los elementos que el
desarrollador debe tener en cuenta antes de comenzar su trabajo.
112
En este sentido se puede concluir que es necesario un
conocimiento profundo de la estructura de una plataforma
Moodle para desarrollar un modulo de unas determinadas
características.
El estudio realizado permitió diseñar, desarrollar, valorar y
proponer un modulo para determinar las necesidades
informativas y documentativas que surjan en el proceso
educativo. En este sentido, la elaboración de este modulo sirve
para ayudar a alumnos y profesores de manera recíproca y
productiva.
La investigación teórica y la experiencia propia permitió
ofrecer una nueva visión para el estudio de las necesidades
informativas de los alumnos, basada en los enfoques actuales de
gestión bibliográfica y de gestión de información.
A lo largo de la investigación y del desarrollo del módulo se
describen variables, indicadores, fuentes documentales y no
documentales, técnicas, instrumentos y registros, que pueden y
deben ser utilizados sistemáticamente para la actualización
permanente de las necesidades de información del equipo
educativo (generalizable en buena medida a otras categorías de
usuarios en la medida de la experiencia y los recursos). Uno de
los trabajos que será publicado en versiones próximas serán los
resultados de las pruebas en un ambiente real con usuarios del
sistema.
VIII. REFERENCIAS
[1]
Jonathan Moore, Michael Churchward; Moodle 1.9 Extension
Development; PACKT PUBLISHING, open source; 978-1-847194-24-4.
[2] Juan Manuel Fernández Peña, M. d. (s.f.). Recuperado el 14 de Febrero de
2014, de http://www.uv.mx/personal/asumano/files/2010/07/iconix2.pdf
[3] Ignacio J. Sánchez Rojo; Plataforma educativa Moodle, Administración y
Gestión; Ra-Ma; 978-84-7897-945-5.
[4] María Jesús García Alba; Análisis del desarrollo de extensiones para
Moodle: Desarrollo de un módulo para la gestión de laboratorios docentes.
Proyecto Fin de Carrera Diciembre del 2010.
[5] Lara Fuillerat J.M. (2009). Moodle, Manual de referencia para el
profesorado. Recuperado en línea el 9 de noviembre de 2010,
http://www.scribd.com/doc/16990042/Moodle-Manual-de-referencia-paraprofesores-version-19.
[6] MOODLE (2010). Página oficial de Moodle. Recuperada en línea el 9 de
noviembre de 2010, en http://moodle.org/.
[7] Andi Gutmans, Stig Saether Bakken, Derick Rethans (2004). PHP 5 power
Programming, 0-13-147149-X.
[8] Ana Teresa González de Felipe (2010). Guía de apoyo para el uso de
Moodle 1.94,Usuario Desarrollador.
[9] http://javier500.zoomblog.com/index-1.html; "Diario de mi proyecto PFC
sobre Moodle-Blog"; Javier Rodríguez Martín;
[10] http://docs.moodle.org/all/es/Documentaci%C3%B3n_para_Desarrolladore
s; "Documentación para desarrolladores"; Foros, guías y recursos para los
miembros de la comunidad Moodle.
[11] http://www.miro.cl/moodle/módulos-y-bloques-de-moodle
"Biblioteca
Técnica sección: Módulos y Bloques en Moodle"; Miro, Gestión y
Desarrollo en Tecnologías de la Información;
[12] http://javierav.com/2009-07-tutorial-de-creacion-de-un-módulo-paramoodle-1-9-1.html" Tutorial de creación de un módulo para Moodle 1.9
(I); Javier Arana 18/07/2009
XVI Simposio Internacional de Informática Educativa (SIIE’14)
E.A.Martínez; C. E. Montenegro - Desarrollo de un módulo para la gestión bibliográfica en Moodle
[13] http://moodlesensei.blogspot.com.es/2010/05/06mod-moodle-moduledevelopment-modules.html" Tutorial OODLES of Moodle;
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[14] http://docs.moodle.org/es/Instalaci%C3%B3n_de_moodle Instalación de
Moodle.
113
Desarrollo de un simulador empresarial orientado a la
economía digital y de servicios
Félix José Pascual-Miguel1; Miguel Ángel Conde2; Rafael Álvarez-Pedroviejo1; Emiliano Acquila-Natale1
1
Departamento de Ingeniería de Organización, Administración de Empresas y Estadística
Universidad Politécnica de Madrid
Madrid, Spain
[email protected], [email protected],[email protected]
2
Departamento de Ingenierías Mecánica, Informática y Aeroespacial
Universidad de León
León, Spain
[email protected]
el papel de directivos y tomar las decisiones empresariales
pertinentes, dentro de unas condiciones controladas que
permitan cubrir los objetivos formativos planteados.
Así, por ejemplo, el Top Management Decision Game,
primer juego de simulación empresarial conocido, simulaba un
entorno donde 5 equipos competían entre sí por un mercado
ficticio de un solo producto [2]. Los diferentes equipos tomaban
decisiones referentes al precio del producto, el volumen de
producción, presupuestos financieros, campañas de marketing o
investigación y desarrollo, e incluso podían solicitar estudios
para analizar la situación del mercado con mayor detalle. El
resto de simuladores empresariales existentes en la actualidad se
pueden considerar por lo general evoluciones del Top
Management Decision Game, si bien la mejora de las
capacidades de computación y de los modelos económicos ha
propiciado una evolución de los mismos, principalmente en
términos de complejidad y de mejora radical de sus interfaces de
usuario; algunos ejemplos de estos nuevos simuladores se
pueden encontrar en los paquetes listados por ABSEL13
(Association for Business Simulation and Experiential
Learning).
Por otro lado, la progresiva incorporación de un significativo
número de ingenieros a puestos de dirección, ha provocado la
inclusión, dentro de los planes de estudios de las escuelas de
ingeniería, de materias encaminadas tanto al desarrollo de
competencias transversales como a la formación en conceptos
básicos y avanzados de gestión empresarial. Sin embargo, los
conceptos manejados en estas materias, si bien resultan de gran
utilidad a los alumnos para su inmediato desarrollo profesional,
por lo general tratan sobre temáticas ajenas al resto de
asignaturas incluidas en el plan de estudios; por tanto, en estos
Resumen—Si bien los juegos de simulación empresarial han
sido utilizados como herramientas de complemento docente desde
hace décadas en la educación de alumnos orientados a la gestión de
empresas, en los últimos años es común observar cómo estos
sistemas han pasado a formar parte también de la formación de
ingenieros. Sin embargo, y pese a que la eficacia del uso de
simuladores empresariales como herramienta docente está más que
contrastada, los supuestos que plantean suelen tener su origen en
una economía de bienes tradicionales, por lo que su aplicación
directa a los escenarios que plantea la economía digital no suele
resultar adecuada. Este trabajo pretende abordar este problema
planteando el desarrollo de una herramienta de simulación
adaptada a las nuevas necesidades formativas de los ingenieros.
Palabras clave—simulación empresarial, juego de simulación,
economía digital, SCRUM
I.
INTRODUCCIÓN
Los juegos de simulación empresarial son una herramienta
utilizada con éxito desde finales de 1950 para la formación de
profesionales en el ámbito de la dirección y la gestión de
empresas, tanto a niveles académicos de grado y posgrado como
a nivel empresarial. El objetivo principal de la simulación
empresarial es ofrecer a los estudiantes la oportunidad de
aprender de manera directa todos los conceptos estratégicos y
empresariales que intervienen en la vida real, estableciendo un
enlace entre la teoría y la realidad a través de la experiencia de
simulación [1].
Desde un punto de vista docente, el uso de la simulación
empresarial resulta altamente adecuado tanto dentro de
metodologías de aprendizaje colaborativo como de aprendizaje
basado en roles y aprendizaje basado en problemas, siguiendo
una filosofía directa e interactiva de “aprender haciendo”
(learning by doing) a través de situaciones ficticias pero muy
cercanas a la realidad, en las que los alumnos deben meterse en
13
115
http://absel.org/gaming-packages-by-abselites/
F.J. Pascual; M.Á.Conde; R.Álvarez; E.Acquila - Desarrollo de un simulador empresarial orientado a la economía digital y de servicios
casos el uso de simuladores empresariales como herramienta
para desarrollar un aprendizaje situado que permita una
transferencia directa de los conocimientos teóricos aprendidos se
antoja indispensable.
En este contexto, dentro de las Escuelas de Ingeniería de la
Universidad Politécnica de Madrid se viene fomentando el uso
de estos simuladores empresariales en asignaturas relacionadas
con la organización de empresas en los últimos años. Más
concretamente, en la Escuela Técnica de Ingenieros de
Telecomunicación se ha venido impartiendo en los últimos años
una asignatura de “Simulación Empresarial” como complemento
a las asignaturas teóricas de Economía, Organización de
Empresas, y Dirección y Administración de Empresas. Para ello
se desarrolló dentro del Grupo de Tecnologías para la Gestión
Empresarial un simulador empresarial (EASE, Entorno
Avanzado de Simulación Empresarial), de forma que fuera
posible asegurar la aplicación de todos los conocimientos
planteados en las asignaturas de mayor carácter teórico, y
resultando la experiencia de la aplicación de la herramienta tanto
en la carrera como en cursos de posgrado un gran éxito –tanto en
lo referente a la satisfacción del alumnado como en cuanto a su
rendimiento académico [3].
Al igual que los simuladores mencionados anteriormente,
EASE fue diseñado siguiendo las ideas ya presentes en el Top
Management Decision Game, y por tanto orientadas a esquemas
de producción y distribución de bienes físicos. Si bien es cierto
que este enfoque resulta adecuado para la aplicación de
múltiples conceptos relacionados con la organización de
empresas (producción, marketing, finanzas, etc.), no se
corresponde completamente con la realidad a la que se enfrentan
los ingenieros de telecomunicación o los ingenieros
informáticos, puesto que la mayoría de ellos desarrolla su carrera
profesional –ya sea creando su propia empresa o como
asalariados– en organizaciones orientadas a servicios o
pertenecientes a la denominada “economía digital”.
A todo ello se une la implantación de los nuevos planes de
estudios como parte del Plan Bolonia y de la adecuación al
Espacio Europeo de Educación Superior (EEES) [4]; el Proceso
de Bolonia contempla una mayor componente práctica y un
fomento del aprendizaje continuo y la incorporación de nuevas
metodologías docentes, lo que lleva a plantear la inclusión de
herramientas como los simuladores empresariales como parte
integral de la formación en las titulaciones de Grado y Máster.
Dado que los funcionamientos de los mercados de bienes
físicos y bienes digitales presentan importantes diferencias, se ha
estimado a la hora de evaluar su adecuación a este nuevo
contexto que EASE por sí solo no cumplía todas las condiciones
necesarias para su uso como herramienta docente en este
contexto. Además, no se han encontrado simuladores
empresariales de acceso gratuito o código abierto orientados a
las condiciones especiales de la economía de servicios y la
116
economía digital, por lo que se ha optado por desarrollar un
simulador empresarial que cumpliera con los requisitos
docentes. Se pretende que el simulador tenga un propósito
general, capaz de adaptarse a diferentes escenarios, aunque en
una primera fase se particularizará a un contexto concreto del
que los estudiantes tienen un mayor conocimiento práctico: los
mercados de aplicaciones móviles.
Adicionalmente, en pos de dar respuesta a los requisitos de
movilidad propugnados por el EEES y de facilitar el aprendizaje
centrado en el estudiante concediéndole una mayor autonomía,
se ha establecido como condición indispensable que el acceso a
la herramienta se realice a través de la web, lo que permitirá su
uso tanto en clases presenciales –en laboratorios dedicados o
mediante dispositivos móviles– como en entornos de aprendizaje
en línea.
El presente trabajo va a describir este nuevo simulador
teniendo en cuenta aspectos como la automatización, la
combinación de diferentes metodologías, el tipo de interacción
del usuario y como se puede integrar este sistema en el contexto
de la asignatura existente [5].
En el siguiente capítulo se detallará la metodología seguida
para realizar el desarrollo del nuevo simulador, así como la
arquitectura empleada y el modelado realizado, tanto a nivel
funcional como de datos y de interfaz.
II.
DESARROLLO DEL SIMULADOR
La presente sección describe como se está desarrollando el
simulador, incidiendo en la metodología utilizada, el modelado
del problema y la solución y algunas de las pruebas que se llevan
a cabo.
A. Metodología de desarrollo
Para el desarrollo de este proyecto se podrían aplicar
diferentes metodologías. Sin embargo, puesto que el equipo
involucrado (dos diseñadores y dos desarrolladores) es pequeño,
dado que los requisitos podrían cambiar en el futuro próximo, y
teniendo en cuenta el corto horizonte temporal en el que se
estima que debe estar disponible la herramienta, se ha
determinado que la mejor opción sería una metodología ágil. En
concreto se opta por usar SCRUM, que no puede ser
considerado como una metodología de análisis, ni de diseño,
como es por ejemplo, el Proceso Unificado [6]. SCRUM es una
metodología de gestión del trabajo; se trata de un framework o
marco de desarrollo ágil que dispone el proceso, las reglas, las
prácticas, los roles y los artefactos necesarios para aumentar la
productividad de un equipo de desarrollo que está basado en un
ciclo de creación de software iterativo e incremental [7].
La aplicación de SCRUM implica un proceso continuo de
prueba y aprendizaje, donde pueden adaptarse las reglas y las
prácticas de cara a garantizar una mejor eficiencia y uso de los
recursos disponibles. Esto resulta muy adecuado para
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F.J. Pascual; M.Á.Conde; R.Álvarez; E. Acquila - Desarrollo de un simulador empresarial orientado a la economía digital y de servicios
implementaciones como la que nos ocupa, ya que el desarrollo
del simulador se basa en una versión anterior orientada a la
economía de bienes y ya usado en cursos de grado y posgrado, y
bien podría evolucionar hacia nuevas versiones, con lo que lo
aprendido de la implementación de alguna de ellas puede influir
en el desarrollo de las siguientes. Esta adaptatividad garantiza el
correcto aprovechamiento de los recursos.
En el presente proyecto, al aplicar la metodología SCRUM
se han identificado una serie de tareas básicas para garantizar
que la implementación e integración del proyecto sea exitosa.
Estas tareas se incluyen en lo que se conoce como Product
Backlog. Un ejemplo de las mismas podrían ser: Configuración
del equipo de trabajo; Definición del modelo de desarrollo de
productos; Definición del modelo de recursos humanos y
mercado laboral; Definición del modelo de fianzas e inversiones
de capital riesgo; Definición del motor de demanda basado en
modelos de infección; Desarrollo de la interfaz gráfica del
director de recurso humanos Desarrollo de las interacciones de
la interfaz gráfica del director de recursos humanos; etc.
En total se identifican hasta 16 tareas a resolver, que se van a
priorizar. Cada una de ellas se descompone por parte del equipo
de trabajo en elementos abordables desde un punto de vista de
implementación, y estos elementos son los que se implementan
en cada sprint. Estos sprints se estiman entre 7 y 14 días con una
dedicación de 8 horas diarias de los desarrolladores y de 4 horas
diarias de diseño; por cada uno de ellos se obtiene un incremento
software. En total, durante la implementación del proyecto se
prevé la realización de 17 sprints, y alguna de las tareas va a
consistir en 2 sprints. En la Tabla I puede observarse cada una
de las tareas consideradas y su distribución en sprints.
Como se observa en la tabla I, una vez definidos los
modelos, se abordan los dos sprints diferenciales del proyecto,
consistentes en la creación del motor de simulación; para ello, en
lugar de recurrir a motores de curvas de demanda habituales en
la economía de bienes, se ha optado por recurrir a modelos de
infección basados en teoría de redes sociales (SNA, Social
Network Analysis) [8].
TABLA II. EJEMPLO DE TAREA DEL BACKLOG SPRINT
TABLA I. TABLA DE BACKLOG SPRINTS
Sprint
1
2
3
4
5
6
Tarea
Tarea
red
1 semana
1 semana
1 semana
2 semana
2 semanas
7
Desarrollo de la interfaz gráfica del CHRO
2 semanas
8
Desarrollo de las interacciones de la interfaz
gráfica del CHRO
2 semanas
9
Desarrollo de la interfaz gráfica del CTO
2 semanas
10
Desarrollo de las interacciones de la interfaz
gráfica del CTO
2 semanas
11
Desarrollo de la interfaz gráfica del CFO
1 semana
12
Desarrollo de las interacciones de la interfaz
gráfica del CFO
1 semana
13
Desarrollo de la interfaz gráfica del CMO
2 semanas
14
15
16
17
Análisis de los modelos de
Configuración del equipo de trabajo
Definición del modelo de desarrollo de
servicios/aplicaciones
Definición del modelo de recursos humanos y
mercado laboral
Definición del modelo de finanzas e
inversiones de capital riesgo
Definición motor de demanda basado en
modelos de infección SNA
Definición motor de demanda basado en
modelos de infección SNA II
Desarrollo de las interacciones de la interfaz
gráfica del CMO
Desarrollo interfaz e interacciones gráficas
Administrador
Desarrollo interfaz e interacciones gráficas
Administrador II
Integración y pruebas
Subtareas
Duración
Definición motor de
demanda basado en
modelos de
infección
Generación de red de nodos
mediante algoritmo de BA
Creación de algoritmos de
puntuación basados en calidad,
precio y marketing
Análisis de los modelos
matemáticos de contagio de
enfermedades
Creación de algoritmo de
infección basado en modelo SIS
Creación de algoritmo para
contabilizar las ventas
2 semanas
2 semanas
2 semanas
1 semana
Figura 1. Diagrama de clases del simulador
XVI Simposio Internacional de Informática Educativa (SIIE’14)
117
F.J. Pascual; M.Á.Conde; R.Álvarez; E.Acquila - Desarrollo de un simulador empresarial orientado a la economía digital y de servicios
A su vez, en cada sprint la tarea abordada se divide en
subtareas, tal y como se muestra en el ejemplo de la tabla II.
B. Definición del problema
La elaboración del simulador ha supuesto llevar a cabo un
análisis inicial del proyecto. Basado en dicho análisis, se modela
el problema mediante el diagrama de clases UML [9] que se
muestra en la figura 1.
En dicho diagrama se observan varios elementos
fundamentales:
• Clase juego: elemento fundamental de la simulación; se
compone de uno o varios turnos.
• Clase equipo: grupo de participantes dentro de un juego.
Son los encargados de tomar decisiones en función de su
rol. El grupo puede estar formado por 1 o más
participantes.
• Clase participantes: cada una de las personas
involucradas en un equipo. Cada persona puede tener un
rol durante el juego.
• Clase rol: papel que desempeña la persona dentro del
equipo. En función del rol, las decisiones a tomar serán
de uno u otro tipo.
• Clase decisión: decisiones que toman los miembros del
equipo en cada turno en función de los parámetros
asociados al juego.
• Clase turno: el juego se divide en varios turnos, que
tienen unos parámetros asociados y que en función de las
decisiones tomadas dan lugar a unos resultados. Los
resultados y parámetros de un turno pueden condicionar
el siguiente.
• Clase resultado: cada turno tiene asociados unos
resultados que pueden condicionar el siguiente turno y/o
los parámetros del juego.
• Clase parámetros: condiciones asociadas al juego para un
turno determinado.
A partir de la descripción del problema se va a tratar de
abordar la resolución del mismo, tal y como se muestra en la
siguiente sección.
C. Descripción de la solución
Este apartado describe el diseño y desarrollo del simulador.
Para ello, en primer lugar se describe el planteamiento
arquitectónico adoptado así como la tecnología en que se
implementa. Posteriormente se detalla el modelo de datos, y por
último como se ha modelado la interfaz.
1) Arquitectura de la solución
El simulador es una aplicación web cuyo uso puede
combinarse con otras herramientas de aprendizaje, como las
plataformas de aprendizaje (Learning Management Systems o
118
LMS), de forma que se pueda completar una formación teóricopráctica.
Para la realización de esta aplicación web se ha utilizado
PHP para implementar el motor de la aplicación, así como
HTML combinado con PHP, CSS y jQuery para implementar las
interfaces, y finalmente MySQL como servidor de bases de
datos.
En concreto, se ha definido una arquitectura cliente-servidor
en la que el servidor recibe las peticiones del cliente (navegador
web), las procesa y devuelve unos resultados adecuados. En la
figura 2 se observa el diagrama de despliegue del sistema. En
esta figura puede observarse que el servidor consta de un
componente –el simulador– con los paquetes de aplicación web
y el motor de ejecución. La aplicación incluye la funcionalidad
básica para la gestión e interacción con el simulador, mientras
que el motor de ejecución incluiría la lógica de negocio con los
diferentes modelos que se consideran. Existe también un
componente de base de datos que se encarga de gestionar la
información relativa a la aplicación y de gestionar las decisiones
tomadas, y cómo éstas afectan a la simulación.
Figura 2. Diagrama de despliegue del sistema
Debe mencionarse que durante la implementación se ha
utilizado el framework de desarrollo PHP Zend, que facilita el
desarrollo de aplicaciones según un patrón Modelo-VistaControlador [10]. Este patrón va a garantizar la independencia
entre la vista y el modelo lo que incrementa la portabilidad y
escalabilidad de la solución [11].
2) Modelo de datos
El modelo de datos se estructura en cuatro áreas principales.
Por una parte están todas las tablas que contienen la
parametrización del juego; todos estos parámetros son
introducidos por el administrador en la interfaz de creación de
un nuevo juego, en la vista game/new. Así, por ejemplo, la tabla
games_params_general contiene los parámetros generales que
se introducen en la pestaña general de administración, o la tabla
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F.J. Pascual; M.Á.Conde; R.Álvarez; E. Acquila - Desarrollo de un simulador empresarial orientado a la economía digital y de servicios
games_params_hr contiene todos los parámetros relativos a
recursos humanos introducidos en la creación del juego. En
general, todas las tablas en cuyo nombre aparece params son
tablas utilizadas para guardar todos los datos que modelarán el
futuro juego y que son introducidos a través de la interfaz de
administración.
Las decisiones de cada uno de los 4 módulos, CTO
(tecnológico, Chief Technological Officer), CFO (financiero,
Chief Finance Officer), CHRO (recursos humanos, Chief Human
Resources Officer) y CMO (marketing, Chief Marketing Officer)
tienen tablas asociadas a las decisiones tomadas por cada uno de
los directores. Así, por ejemplo, la tabla decision_cto_apps
guarda única y exclusivamente los valores que el CTO ha
decidido dar a su aplicación para cada una de las características
de la misma.
almacenar otros datos relacionados con la decisión tomada. De
esta forma, la tabla apps_created almacenará el nombre de la
aplicación, la ronda en la que se ha creado o la conectividad de
la misma, sin guardar datos relativos al valor de las
características de la misma.
Por último, se encuentran las tablas de resultados, que
almacenan los datos o valores resultantes de aplicar los
algoritmos de la resolución del turno a través del motor de
simulación. Por ejemplo, la tabla outcomes_time_to_market
almacena el tiempo teórico inicial que un equipo tardará en
lanzar una aplicación al mercado, mientras que la tabla
outcomes_remaining_time almacenará el tiempo restante que
queda para que una determinada aplicación sea lanzada al
mercado, pudiendo ser este tiempo inferior o superior, en el caso
de que el proyecto sufra diversas penalizaciones o
bonificaciones.
Finalmente, cabe destacar 3 tablas que no se encuadrarían en
decisiones, ni parámetros, ni auxiliares, ni resultados. Son las
tablas users, companies y companies_users_relations. Las dos
primeras son evidentes, ya que almacenan información de los
usuarios e información de las compañías creadas; la tercera
tabla, por su parte, contiene una relación de usuarios que
pertenecen a una compañía. De esta manera la compañía es
única y exclusiva de cada juego, pero no así el usuario, el cual,
podrá estar en compañías diferentes en distintos juegos.
Figura 4. Contextos de navegación de usuario
Figura 3. Esquema global de la base de datos del simulador
Se ha intentado que las tablas guarden valores
correspondientes a la decisión concreta de cada uno de los
directores, creándose otras tablas que no tienen la palabra
decision en su nombre y que representan tablas auxiliares para
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Figura 5. Ejemplo de contexto: creación de juego de simulación
119
F.J. Pascual; M.Á.Conde; R.Álvarez; E.Acquila - Desarrollo de un simulador empresarial orientado a la economía digital y de servicios
3) Modelado de la interfaz
En aplicaciones como el presente simulador, un aspecto
fundamental es la interfaz gráfica de usuario. Dicha interfaz
además de atractiva tiene que ser usable, y un aspecto básico
para conseguir ese objetivo es realizar un diseño previo. Para
hacer esto se va a utilizar OOWS, un método de desarrollo que
permite especificar sistemas software para ambientes web,
extendiendo un método OO existente. Este tipo de aplicaciones
tienen una base común con las aplicaciones software
tradicionales: la funcionalidad del sistema y la interacción con
los usuarios. Sin embargo, introducen nuevas características
navegacionales que deben ser capturadas para representar de una
manera más precisa y aproximada el sistema [12].
En concreto, de la aplicación de dicha técnica se va a obtener
un diagrama de navegación por cada perfil de usuario y una serie
de diagramas de contexto. Con el diagrama de navegación se
van a describir los diferentes contextos por los que puede pasar
un usuario con un perfil determinado. Mientras que los
diagramas de contextos especifican como un usuario pasa por un
conjunto de vistas y se intercambia información entre ellas.
En la figura 4 se observa un ejemplo de diagrama navegación
al para el usuario. En ella se describe los diferentes contextos
por los que puede pasar el administrador. Desde el contexto de
inicio se podría acceder a la gestión de los juegos y de los
usuarios. Dentro de los juegos se puede crear una simulación o
ejecutar una simulación determinada, y desde la gestión de los
usuarios se podrán crear equipos de usuarios.
Un contexto concreto como el de creación de un juego de
simulación se puede observar en la figura 5. Este contexto
incluiría la creación de las condiciones iniciales del juego por
parte del administrador, para cada uno de los cuatro módulos de
forma secuencial.
III.
CONCLUSIÓN
En el presente trabajo se ha tratado de dar respuesta a la
necesidad de desarrollar una herramienta de simulación
empresarial orientada a servicios y a la economía digital para su
uso en asignaturas de Grado y Máster en títulos de ingeniería,
cumpliendo a su vez con los requerimientos del EEES.
El resultado es el desarrollo de un nuevo simulador
empresarial –como aplicación web– que cumple con estos
requisitos y que se planea emplear como soporte en asignaturas
de economía y organización y administración de empresas.
La primera fase de implementación prevé su utilización
inicial durante el segundo año en el título de Máster
Universitario en Ingeniería de Telecomunicación, como soporte
a la asignatura “Dirección y Administración de Empresas”,
debido a que se espera un número de estudiantes no superior a
cincuenta, lo que permitirá realizar una experiencia con un
mayor grado de control por parte de los docentes.
120
El plan inicial incluye el desarrollo de un juego a lo largo de
varios turnos en los que se puedan incorporar progresivamente
los diferentes conceptos teóricos explicados en la asignatura a
través de un supuesto que contemple las decisiones que deben
tomar los directivos de diferentes compañías de desarrollo de
aplicaciones móviles.
Resulta asimismo interesante mencionar que, en paralelo a
este desarrollo, otro equipo de trabajo ha procedido a una mejora
de la interfaz de EASE aprovechando nuevas técnicas de
programación web que permiten dotar a la aplicación de mayor
interactividad (HTML5, jQuery). Por ello, no se descarta utilizar
ambas herramientas como medio para proporcionar una
formación más completa a los estudiantes al permitirles esta
opción adquirir conocimiento directo tanto de los mercados de
bienes físicos como digitales.
En función del resultado de esta experiencia se plantean en el
futuro varias posibles líneas de acción, desde la adaptación del
simulador a nuevos requerimientos funcionales que se detecten,
la inclusión de nuevos juegos que introduzcan otros contextos
diferentes, la integración de ambos simuladores y la extensión en
el uso del simulador a otras asignaturas de cursos inferiores y un
mayor número de alumnos, así como de otras titulaciones.
IV.
REFERENCIAS
[1]
R. Garris, R. Ahlers, and J.E. Driskell. “Games, motivation and learning: A
research and practice model”. Simulation and Learning: An
Interdisciplinary Journal, Vol. 33, No. 4, pp. 441-467, 2002.
[2] T.H. Neilor. Computer simulation experiments with models of economic
systems. New York, NY, USA: John Wiley & Sons, Inc., 1971.
[3] J. Rodríguez-de-Santiago-Concha-Arcos, S. Iglesias, Á.F. AgudoPeregrina, Á. Hernández-García. “La Simulación Empresarial como
herramienta de desarrollo de competencias: perspectiva del alumno”. II
Jornadas ID+TIC. Alcalá de Henares, Madrid, España, 2009.
[4] European Union. “Budapest-Vienna Declaration on the European Higher
Education Area”. Bologna Ministerial Anniversary Conference 2010,
Budapest-Vienna, 2010.
[5] J. M. Dodero, F. J. Garcia-Penalvo, C. Gonzalez, P. Moreno-Ger, M. A.
Redondo, A. Sarasa-Cabezuelo, et al., "Development of e-Learning
Solutions: Different Approaches, a Common Mission," IEEE Revista
Iberoamericana de Tecnologias del Aprendizaje, vol. 9, pp. 72-80, 2014.
[6] I. Jacobson, G. Booch, and J. Rumbaugh, The Unified Software
Development Process. Boston, MA, USA.: Addison-Wesley Longman
Publishing Co., Inc., 1999.
[7] K. Schwaber and M. Beedle, Agile Software Development with Scrum:
Pearson Education, Limited, 2008.
[8] W.O. Kermack, and A.G. McKendrick. “A Contribution to the
Mathematical Theory of Epidemics”. Proceedings of the Royal Society A:
Mathematical, Physical and Engineering Sciences, Vol. 115 (772), pp. 700721, 1927.
[9] OMG, "Unified Modeling Language: Superstructure. Version 2.4.1".
Object Management Group Inc., 2011.
[10] Zend Framework. Programmer’s Reference Guide of Zend Framework.
Recurso en línea: http://framework.zend.com/manual/2.3/en/index.html.
[11] F. Buschmann, R. Meunier, H. Rohnert, P. Sommerland, and M. Stal.
“Pattern-Oriented Software Architecture. A System of Patterns”.
Chichester, UK.: Wiley & Sons Ltd., 1996.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F.J. Pascual; M.Á.Conde; R.Álvarez; E. Acquila - Desarrollo de un simulador empresarial orientado a la economía digital y de servicios
[12] O. Pastor, S. Abrahão, and J. Fons, "Building E-commerce applications
from object-oriented conceptual models," ACM SIGecom Exchanges., vol.
2, pp. 28-36, 2001.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
121
Implementación de un entorno de simulación háptico
para sistemas de aprendizaje de cirugía
Gonzalo Esteban, Camino Fernández, Miguel Ángel Conde, Francisco J.R. Lera
Grupo de Robótica. Dept. de Ingeniería Mecánica, Informática y Aeroespacial. Universidad de León (España)
{gestc, camino.fernandez, miguel.conde, fjrodl}@unileon.es
Abstract—Para un estudiante de cirugía, adquirir las
habilidades manuales y visuales necesarias se reduce a una mera
cuestión de obtener experiencia a través de la práctica. Una
alternativa a los métodos tradicionales de aprendizaje en cirugía es
el uso de simuladores de realidad virtual. Sin embargo, la carencia
actual de un framework estándar que permita garantizar el
correcto aprendizaje con simuladores de realidad virtual es un
problema. Para solucionar esto, se ha diseñado un framework que
agiliza el desarrollo de este tipo de simuladores de aprendizaje. El
presente trabajo expone un resumen del diseño software de dicho
framework, y profundiza sobre sus detalles de implementación,
obtenidos a raíz de aplicar la metodología ágil SCRUM. Entre
dichos detalles, se detalla especialmente la modelización de la
información derivada del uso del simulador, que permitirá la
evaluación de los estudiantes.
El objeto de este trabajo es detallar la implementación del
diseño software propuesto en [15] para un framework que
permite el aprendizaje de cirugía basado en el uso de
simuladores de realidad virtual. Además, el trabajo hace especial
hincapié en la modelización e implementación de la información
que permite evaluar a un estudiante tras el uso de dicho
simulador.
El artículo se estructurará del siguiente modo: la sección V
contiene un resumen del diseño del framework propuesto. La
sección VI detalla cómo se ha desarrollado la primera fase de la
implementación del proyecto utilizando la metodología ágil
SCRUM. La sección VII describe los detalles de
implementación. Finalmente, en la sección VIII se exponen las
conclusiones del trabajo.
Keywords—simulador háptico, entorno de enseñanza-aprendizaje,
patrones de diseño
II. DISEÑO DEL FRAMEWORK
El trabajo presentado en [15] detalla la definición formal y el
diseño software orientado a objetos de un framework que
permite modelizar sistemas de aprendizaje quirúrgicos a través
del uso de simuladores de realidad virtual. A continuación se
detallan, a modo de resumen, las características principales de
dicho trabajo.
I. INTRODUCCIÓN
El desempeño de una cirugía se fundamenta en la
información sensorial captada por el cirujano, es decir, aquella
proporcionada por la vista, el oído y mayoritariamente el tacto.
Adquirir las habilidades manuales y visuales que se necesitan en
cirugía es una mera cuestión de experiencia, que esencialmente
se obtiene mediante práctica.
Gracias en parte al uso de interfaces hápticas (hardware que
simula el tacto), el entrenamiento de cirugía utilizando técnicas
de simulación por realidad virtual está cobrando cada día más
relevancia [17]. Ésto es debido a que dichos sistemas permiten
practicar en un entorno seguro y controlado, sin correr ningún
tipo de riesgo tanto para el paciente como para el practicante. Al
trabajar con un entorno virtual, los casos de uso de un simulador
que utiliza interfaces hápticas son prácticamente ilimitados [20]:
desde medir simplemente el pulso de un paciente o el grado de
dureza de un tejido, hasta aprender cómo se debe realizar un
corte específico durante una cirugía compleja.
En este contexto, se presenta la problemática de la carencia
de un framework de carácter general [19] que habilite el
desarrollo de simuladores de realidad virtual para poder
utilizarlos como herramientas de aprendizaje de cirugía.
A. Descripción del sistema
El objetivo principal del framework es construir una
herramienta de enseñanza-aprendizaje que permita ayudar a
estudiantes de cirugía durante el entrenamiento de las aptitudes
requeridas para poder desempeñar procedimientos quirúrgicos.
La herramienta se apoya en el uso de un simulador de realidad
virtual que recrea cualquier tipo de cirugía, permitiendo obtener
y evaluar la información generada derivada de su uso.
El framework permite modelizar, de manera dinámica,
cualquier tipo de procedimiento quirúrgico. En términos de
abstracción, un procedimiento quirúrgico se puede considerar
como una secuencia ordenada de pasos (steps). A su vez, cada
step contiene todas y cada una de las posibles acciones (states)
que se pueden realizar en dicho contexto, tanto las “esperadas”
como las poco habituales. Además, cada una de dichas acciones
está originada por diferentes eventos o situaciones que ocurren
durante el desempeño del procedimiento. También cabe destacar
que, a diferencia de los steps, las acciones no siguen un orden
123
G. Esteban, C. Fernández, M.Á. Conde, F. J.R. Lera - Implementación de un entorno de simulación háptico para sistemas de aprendizaje de cirugía
secuencial, ya que un step se puede completar de diferentes
maneras.
Por consiguiente, el framework debe disponer de un
mecanismo que controle la acción que está sucediendo en cada
momento y determine cuál es la siguiente dependiendo de los
eventos que se produzcan. Gracias a este diseño, un experto
puede modelizar una operación de cirugía según sus preferencias
y, si lo desea, introducir cambios a posteriori de manera simple.
Sin embargo, la esencia del framework es la de poder
aprender de su uso, lo que implica que se deberá capturar toda la
información relacionada con el desempeño del procedimiento
durante la ejecución de la simulación. En otras palabras, hay que
obtener aquella información resultante de saber con qué partes
de la anatomía se está interaccionando, en qué lugar, de qué
manera, etc.
Con el fin de evaluar posteriormente la información, el
framework debe ofrecer un mecanismo para capturar dicha
información de manera precisa y automática.
B. Patrones de diseño empleados
En el apartado anterior se ha visto que la definición del
framework presentaba varios “huecos”. Desde el punto de vista
del diseño, la solución propuesta en [15] para cubrir dichos
huecos es la combinación de tres patrones de diseño:
1) State Machine
El primer obstáculo encontrado es el de representar un
mecanismo que permita al simulador controlar la acción que está
sucediendo en un momento dado y determinar cuál será la
siguiente en función de los eventos que puedan producirse. El
patrón State Machine [16] cumple ese requisito a la perfección,
pues permite alterar el comportamiento de un objeto cuando su
estado interno cambia. Además se ajusta perfectamente al
modelo de abstracción propuesto para modelar un procedimiento
quirúrgico, ya que se compone de estados (acciones/states) y
transiciones entre los mismos (eventos).
2) Visitor
El siguiente obstáculo es el de encontrar un mecanismo
capaz de captar de manera precisa y automática la información
relacionada con el desempeño del procedimiento quirúrgico.
Durante la simulación, la interacción del usuario con la anatomía
genera información de manera constante. Sin embargo, antes de
poder captar información es necesario saber exactamente desde
dónde se debe hacer. El patrón Visitor [17] resulta de gran
utilidad en esa tarea pues permite definir nuevas operaciones
para una clase sin necesidad de cambiarla. En el caso del
framework, la operación consiste en colocar los mecanismos
específicos que permiten captar información en cada uno de los
states.
3) Observer
124
El último obstáculo es una consecuencia directa del anterior,
ya que concierne al mecanismo de captar información de manera
automática. El mejor candidato para esa tarea es el patrón
Observer [17] ya que define una dependencia de uno a muchos
entre objetos de tal manera que cuando uno cambia su estado,
éste notifica dicho cambio a todos los dependientes para que se
actualicen de manera automática. En el framework, el papel del
Observer es el de recopilar la información que produce la
interacción del usuario con la anatomía involucrada en el
procedimiento quirúrgico.
C. La información a considerar
El uso de una interfaz háptica permite simular la realización
de operaciones quirúrgicas. Esto implica que el framework debe
ser capaz de almacenar y mostrar información relevante para
evaluar la habilidad adquirida por parte de los estudiantes a
partir de las simulaciones.
La evaluación del desempeño de un alumno en un entorno
quirúrgico es algo que se lleva estudiando desde hace tiempo [1,
2]. Tradicionalmente, éste se basaba en la revisión de una
secuencia de acciones y en la observación de la acción del
usuario [3-5]. Con el uso de simuladores y mundos virtuales en
el ámbito de la cirugía, este panorama ha cambiado. Los
simuladores permiten considerar diversos aspectos que no son
fáciles de medir en experiencias reales. La “información”
captada durante la simulación se puede utilizar para realizar
pruebas y evaluaciones automáticas [2, 6, 7]. Algunos ejemplos
de la “información” a tener en cuenta a la hora de evaluar son: el
grado y la fuerza con la que se usa un instrumento, el ángulo
utilizado, la destreza en el uso del mismo (movimientos/tiempo),
el trato que se le da al tejido, etc. [7, 8].
Por consiguiente, la simulación va a facilitar cierta
información que pueda enriquecer el proceso de evaluación del
estudiante. En cualquier caso, la definición de métricas objetivas
para evaluar la información es un proceso muy complejo [9, 10],
ya que ésta puede depender del tipo de operación a realizar y de
la propia experiencia de los expertos [2]. En el caso particular de
un simulador háptico, se debe almacenar información de tres
tipos:
1. Información de la acción del usuario para cada step. Es
decir, información útil del desempeño del alumno en un
step concreto. Se pueden considerar aspectos como: el
tiempo empleado en llevar a cabo el step; aspectos
relativos a la técnica quirúrgica (presión empleada,
daño al tejido, profundidad, número de cortes, precisión
en la cirugía, correcto uso de los instrumentos);
aspectos procedimentales (si los pasos se efectúan en el
orden adecuado); y aspectos relativos al éxito de la
operación (si el resultado final es exitoso, en qué
porcentaje, grado de mejora, etc.).
XVI Simposio Internacional de Informática Educativa (SIIE’14)
G. Esteban, C. Fernández, M. Á. Conde, F. J.R. Lera. Implementación de un entorno de simulación háptico para sistemas de aprendizaje de cirugía
2.
Información de realimentación de los usuarios en
función de cómo haya procedido. El experto va a
proporcionar una serie de secuencias o flujos básicos
para cada operación. En función de cómo proceda el
alumno en el simulador se le facilitará una
realimentación u otra. Esta realimentación podrá
cambiarse en base a la información de usuario recogida.
De esta forma se va a tratar de incrementar el éxito del
alumno en el simulador.
3. Información del desempeño o el éxito del alumno en las
actividades que realizan. El experto proporcionará unas
condiciones que, teniendo en cuenta la información del
usuario en un step, le asigne una determinada nota.
La información facilitada por el simulador, dado que incluye
información exhaustiva del progreso del usuario, puede
considerarse compatible con sistemas de evaluación del
desempeño de los alumnos de cirugía como las escalas OSATS
[11] y HMA [12], lo que garantiza la portabilidad del simulador,
que va a poder utilizarse en otros contextos y para otras
operaciones distintas a las definidas.
III. APLICACIÓN DE LA METODOLOGÍA ÁGIL SCRUM
En cuanto al desarrollo del proyecto, se ha empleado una
metodología SCRUM. Dada la naturaleza del trabajo a realizar,
en el que el equipo de desarrollo es pequeño (2 desarrolladores y
un jefe de proyectos) y los requisitos pueden variar, se considera
óptimo el uso de los denominados procesos ágiles y, en
concreto, se ha optado por usar SCRUM.
SCRUM no es una metodología de análisis, ni de diseño,
como es por ejemplo, el Proceso Unificado [13]. Es una
metodología de gestión del trabajo. Se trata de un framework de
desarrollo ágil que dispone el proceso, las reglas, las prácticas,
los roles y los artefactos necesarios para aumentar la
productividad de un equipo de desarrollo que está basado en un
ciclo de creación de software iterativo e incremental [14].
La aplicación de SCRUM implica un proceso continuo de
prueba y aprendizaje, donde pueden adaptarse las reglas y las
prácticas de cara a garantizar una mejor eficiencia y uso de los
recursos disponibles. Esto resulta muy adecuado para las
implementaciones como la actual, ya que en el desarrollo de un
modelo para la definición de simuladores, lo aprendido de la
implementación de alguno de ellos a modo de prueba de
concepto puede suponer un cambio en el proceso de producción
de los siguientes.
En el presente proyecto, al aplicar la metodología SCRUM
se han identificado una serie de tareas básicas para garantizar
que la implementación e integración del proyecto sea exitosa.
Estas tareas se incluyen en el Product Backlog. Un ejemplo de
las mismas podrían ser: Configuración del equipo de trabajo;
Implementación de los patrones básicos en el simulador HLogic
(nombre que ha recibido el núcleo de la arquitectura del
XVI Simposio Internacional de Informática Educativa (SIIE’14)
simulador háptico); Integración con HOgre (versión háptica del
motor de juegos Ogre); Captura y adecuación de la información;
Generación de la Información adecuada para el simulador; etc.
En total se identifican hasta 8 tareas a resolver que se van a
priorizar. Cada una de ellas se descompone por parte del equipo
de trabajo en elementos abordables desde un punto de vista de
implementación, y estos elementos son los que se implementan
en cada Sprint. Estos Sprints se estiman en 14 días con una
dedicación de 7 horas diarias de cada recurso, y por cada uno de
ellos se obtiene un incremento software. En total, durante la
implementación del proyecto se prevee la realización de 9
Sprints, alguno de los cuales se ha descompuesto en más de un
Sprint, como la implementación de los patrones básicos del
simulador HLogic.
TABLA I.
DESGLOSE DE TAREAS DE UN SPRINT
Sprint 2 . – Implementación de los patrones básicos
Implementación Inicial del StateMachine
40 horas
Implementación Inicial del patrón Visitor
33 horas.
Implementación Inicial del patrón Observer 30 horas
Integración
27 horas
Pruebas
10 horas
Un ejemplo de descomposición de una subtarea y estimación
en horas se puede observar en la Tabla I.
En la actualidad se han concluido 4 de los sprints
establecidos y se observa un cierto retraso debido a problemas
tecnológicos que podría suponer que se llevarán a cabo un total
de 10 Sprints en lugar de 9.
IV. IMPLEMENTACIÓN
En la mayoría de las ocasiones, el paso del diseño a la
codificación conlleva modificaciones en el primero. El caso del
framework no es una excepción y en este apartado se describirán
esos detalles de implementación.
A. State Machine
El elemento clave para que la simulación pueda funcionar
como tal es la máquina de estados implementada a través del
patrón StateMachine. Su cometido es el de controlar la propia
simulación del procedimiento quirúrgico manteniendo un
conjunto de estados y las transiciones que los relacionan.
Su implementación ha variado ligeramente respecto al diseño
inicial propuesto:
• La ejecución de la simulación implica multitud de
transiciones entre estados. Para evitar su creación y
destrucción en cada cambio de estado, se ha
implementado la clase StateFactory, que actúa como una
especie de pool de estados. Esta clase almacena todos los
estados contenidos en la máquina de estados de cada step
125
G. Esteban, C. Fernández, M.Á. Conde, F. J.R. Lera - Implementación de un entorno de simulación háptico para sistemas de aprendizaje de cirugía
y se los irá proporcionando en cada transición según se
requiera.
• Para definir la lista de transiciones entre estados, se ha
implementado un nuevo método en la clase StateMachine
que permite inicializar dicha lista a partir de un fichero de
propiedades.
• Para identificar de manera unívoca cada step y cada
estado, se ha añadido un atributo identificador a
StepContext y a ISurgeryState.
A lo largo de toda la implementación, y con el fin de
verificar el correcto funcionamiento del código, se han llevado a
cabo las correspondientes pruebas unitarias.
B. Visitor-Observer
Ya se ha visto en el apartado V.B.3) que actualmente existen
dificultades para poder definir unas métricas adecuadas que
permitan evaluar las habilidades quirúrgicas de un estudiante.
Independientemente de cuáles sean las métricas a analizar, es
necesario que el framework sea capaz de captar y procesar
automáticamente la información obtenida durante el transcurso
de una sesión de entrenamiento del simulador; tarea que como
ya se detalló anteriormente, se consigue mediante la
combinación de los patrones Visitor y Observer.
1) Visitor
La función del patrón Visitor es la de recorrer los diferentes
elementos de la anatomía involucrados en un estado concreto,
con el objeto de configurar diferentes observadores que
posteriormente permitan recopilar toda la información
relacionada con la interacción del usuario y el simulador.
Como se indicaba en el diseño inicial, para implementar el
patrón se ha definido la interfaz ISurgeryStateVisitor y se han
desarrollado varias clases concretas que la implementan, una por
cada estado. Por otra parte, para aceptar los Visitor en los
diferentes elementos que componen la anatomía de un órgano, se
implementó la clase SurgeryAnatomy.
Cada vez que un Visitor concreto “visita” un elemento
concreto de la anatomía, éste se encarga de sustituir el Observer
actual colocado en dicho elemento por otro Observer concreto
que permita captar la información requerida para ese estado
concreto.
Sin embargo, durante la implementación del patrón surgió la
cuestión de cómo poder recopilar la información captada por los
observadores a lo largo de la simulación. Para cubrir dicha
necesidad, se propuso la adición la clase InformationVisitor.
Cada vez que este Visitor “visita” un elemento concreto de la
anatomía, inicia el procesamiento de la información generada
por ese elemento. La información de todos los elementos se
almacena dentro del step, como se verá más adelante.
2) Observer
126
El patrón Observer es el nexo de unión entre el framework y
la información procedente de la interacción del usuario, pues es
el encargado de capturar en detalle lo que ocurre. La
implementación del patrón ha sido similar a la propuesta en el
diseño: se ha definido la interfaz ISurgeryObserver y se han
implementado las diversas clases concretas, correspondientes a
cada uno de los estados, incluyendo a NoActionObserver, que
recoge el caso en el que no se debería interaccionar con un
elemento de la anatomía durante un estado concreto. También se
han implementado los métodos necesarios para que la interfaz
ISurgeryElement actúe como sujeto del Observer.
A raíz de cómo implementar la captación de información
durante la interacción del usuario con el simulador, se agregó a
cada Observer un nuevo método denominado processInfo(). Este
método se invoca desde el InformationVisitor y se encarga de
construir un elemento de información que permite la evaluación
del usuario. En el apartado VII.C.1) se detallará su
funcionamiento
C. Información
Uno de los aspectos más importantes, que no se abordó
durante el diseño del framework en [15], es la modelización de
la información resultante de la interacción del usuario con los
elementos de la cirugía. Para poder evaluar a un usuario, primero
se debe disponer de información detallada acerca de la
interacción dicho usuario durante la simulación.
1) Info
Ya se ha visto a lo largo del artículo que los Observer son los
encargados de captar y recopilar información, sin embargo, aún
no se ha detallado nada sobre ella: ¿Qué datos la definen?
¿Cómo se debe almacenar? ¿Qué clase se encarga de
controlarla?
Para empezar, la información se capta respecto a un
elemento concreto de la anatomía, en un estado dado. Durante la
interacción con el elemento, se producen datos que son
esenciales para posteriormente generar la información como tal.
Inicialmente, esos datos se generan en bruto, es decir, están sin
clasificar, y hacen referencia a operaciones atómicas como por
ejemplo: coger o dejar una herramienta, mover la herramienta
por una zona, tocar en un cierto lugar de la anatomía, etc. Dichos
datos, una vez procesados, serán característicos para definir la
información. En el apartado VII.C.2) se describirán en detalle
los tipos de datos involucrados y cómo se procesan.
Para evaluar al usuario, se calcula una nota final ponderada a
partir de las diferentes notas obtenidas en cada uno de los steps
que componen el procedimiento quirúrgico. A su vez, para
obtener la nota de cada step, cada uno de los estados que lo
componen interviene en el cálculo, ya que la información
procede de cada estado. Esta situación implica que deben existir
“unidades” de información relativas a cada uno de los diferentes
estados. Cada step almacenará su propia unidad de información,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
G. Esteban, C. Fernández, M. Á. Conde, F. J.R. Lera. Implementación de un entorno de simulación háptico para sistemas de aprendizaje de cirugía
formada a partir de la composición de las unidades individuales
de cada estado.
Una vez que la información está definida, el framework debe
almacenarla y controlarla desde algún lugar. Con los requisitos
descritos anteriormente, es lógico pensar que la información se
almacenará dentro de cada step, pues desde ahí puede recopilar
las unidades de información individuales de cada estado.
Finalmente, el simulador es el encargado de controlar la
información ya que es el que tiene constancia de cuál es el step
activo en todo momento.
En la Fig. 1. se puede observar el diagrama de clases que
modeliza la información con los requisitos propuestos. Los
participantes son los siguientes:
• Info. Representado por el contenedor Infos y su agregado
Info. La clase Info representa la “unidad” de información,
obtenida de la interacción de un elemento de la anatomía
en un estado determinado y representada por un conjunto
de datos procesados. Por otra parte, la clase Infos
únicamente se encarga de almacenar las diferentes
instancias de Info pertenecientes a un step concreto.
indicar a la información el estado en el que se ha creado, que
será el estado activo; y por la otra, agregar dicha información al
contenedor Infos del step activo.
Fig. 2. Diagrama de secuencia para crear la información en un instante
concreto.
2) Data
Antes de generar la evaluación de un usuario, hay que
constituir la información como tal. Durante la ejecución de la
simulación, la interacción genera una serie de datos en bruto que
es necesario clasificar y tratar para lograr construir una unidad
de información que sea de utilidad tanto para el framework como
para los usuarios finales.
En la definición del modelo [15] se contempla que la
evaluación de una sesión de entrenamiento con el simulador
tiene tres elementos:
Fig. 1. Diagrama de clases que modeliza la información del framework.
• Simulador. Representado por la clase Simulator.
Controla la simulación, mantiendo en todo momento una
referencia al step activo.
• Step. Representado por la clase StepContext. Esta clase
representa un step del procedimiento quirúrgico y se
encarga de almacenar toda la información que se ha
procesado durante su ejecución. Además, mantiene una
referencia al estado activo.
Ahora que se conoce exactamente cómo es la información,
se puede definir cómo el Visitor se encarga de recopilar la
información, pidiendo al Observer que la procese (ver Fig. 2).
Cuando el InformationVisitor llama al método
processInfo() de un Observer, éste procesa toda su información
acumulada llamando a los métodos compute(), reason() y
record(). Con estos datos, el Observer podrá crear una nueva
instancia de la información. A continuación, le pregunta a
Simulator a qué step pertenece el estado concreto del que se ha
procesado la información con una doble finalidad: por una parte,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
1.
2.
Por un lado, se debe generar una nota que permita
evaluar la actuación del estudiante. La nota es el
resultado de realizar diferentes cálculos a partir del
contraste entre unos parámetros prefijados y los datos
técnicos capturados durante la interacción (tales como
ángulo de incisión, longitud y/o forma de corte,
profundidad del corte, etc). Este tipo de elemento se
denominará Computable, pues hace referencia a datos
que se deben calcular.
Por otra parte, el experto recibe información acerca de
cómo ha actuado el estudiante durante la sesión de
entrenamiento, lo que va a permitir verificar o
reconsiderar el diseño del modelo de procedimiento
quirúrgico. Dicha información se construye procesando
ciertos datos técnicos de manera que un usuario los
pueda comprender. Los datos procesados hacen
referencia a acciones tales como: tiempo empleado en
finalizar un step, número de veces que se ha tocado
cierta parte de la anatomía, tipos de herramientas
utilizadas, etc. Este elemento se denominará
127
G. Esteban, C. Fernández, M.Á. Conde, F. J.R. Lera - Implementación de un entorno de simulación háptico para sistemas de aprendizaje de cirugía
Recordable ya que hace referencia al hecho de
registrar y transcribir las interacciones de un usuario.
3. Por último, junto a su nota asociada, el estudiante recibe
información detallada sobre la ejecución de su sesión de
entrenamiento,
permitiéndole
obtener
cierta
realimentación que le puede servir de ayuda en futuras
sesiones. Esta información, de manera similar a la
anterior, se construye procesando ciertos datos técnicos;
pero en este caso se les otorga cierta lógica, de manera
que el usuario los pueda comprender. Los datos
procesados hacen referencia a detalles técnicos tales
como: número de errores cometidos, tiempo empleado
en la ejecución de un step, grado de precisión durante la
ejecución, etc. Un elemento de este tipo se denomina
Reasonable, ya que a diferencia del Recordable, se
le otorga cierta lógica para que tenga un significado.
Cada uno de estos elementos trabaja con datos diferentes,
haciendo que la combinación de todos constituya la unidad de
información. Sin embargo, antes de que la información pueda
ser útil, los datos que la componen deben ser procesados.
Teniendo en cuenta que cada dato es de un tipo diferente, la
manera de procesarlos también deberá ser distinta.
• Observer. Representado por la interfaz Observer. Ya se
ha visto a lo largo del trabajo que el Observer es el
encargado de captar la información de la interacción.
Para que dicha información pueda utilizarse en la
evaluación, la interfaz cuenta con el método
processInfo que permite procesar los datos para
transformarlos en instancias de la clase Info.
• Info. Representado por la clase Info. Actúa como la
unidad de información una vez que el Observer ha
procesado sus datos. Su tarea consiste en almacenar todos
los datos procesados, que se han obtenido desde un
elemento de la anatomía en un estado concreto del
procedimiento quirúrgico.
• Strategy.
Representado
por
la
interfaz
ComputableStrategy. Esta interfaz y la clase concreta que
la
implementa
(DefaultComputableStrategy),
se
corresponden con el patrón Strategy [17], el cual permite
mantener un conjunto de algoritmos encapsulados para
hacerlos intercambiables. En el caso de los datos, el
Strategy permitirá definir diferentes estrategias para
calcular los datos.
La Fig. 4. muestra el diagrama de secuencia para ver cómo se
computa un dato de tipo Computable utilizando el patrón
Strategy.
Fig. 4. Diagrama de secuencia correspondiente a calcular un dato.
Fig. 3. Diagrama de clases de los datos que componen la información.
La modelización de los requisitos descritos anteriormente se
puede ver en el diagrama de clases de la Fig. 3. Los participantes
son los siguientes:
• Data. Representado por la interfaz Data. Existen tres
clases abstractas que la implementan (RecordableData,
ReasonableData y ComputableData), una por cada tipo
de dato que compone la unidad de información. A veces,
un dato se debe expresar como combinación de varios del
mismo tipo, por lo que todas las clases concretas tienen
un método combine que representa dicha característica.
Además, cada tipo de dato se puede especializar para dar
más
detalle,
como
es
el
caso
de
NumericComputableData.
128
Los datos capturados por un Observer son datos en bruto que
necesitan ser procesados. Para lograr esto, la correspondiente
instancia del Observer debe llamar a su método compute().
Dicho método delegará en una estrategia concreta la tarea de
obtener y calcular el dato correspondiente. La instancia de la
estrategia (ComputableStrategy) se encargará de obtener los
parámetros necesarios del elemento que está observando el
Observer (Element), con el fin último de crear una nueva
instancia (de la clase ComputableData), que contenga el dato
recién calculado. Finalmente dicho dato se devolverá al
Observer, quien lo utilizará para construir la unidad de
información.
V. CONCLUSIONES
El artículo describe los detalles de implementación de un
framework que permite crear modelos de procedimientos
XVI Simposio Internacional de Informática Educativa (SIIE’14)
G. Esteban, C. Fernández, M. Á. Conde, F. J.R. Lera. Implementación de un entorno de simulación háptico para sistemas de aprendizaje de cirugía
quirúrgicos para utilizarlos en un simulador de realidad virtual
que sirve como herramienta de enseñanza-aprendizaje [15].
Partiendo del diseño propuesto en el trabajo anterior, se ha
detectado como principal carencia la definición de la
información de usuario recogida. La fase de implementación se
llevó a cabo empleando una metodología SCRUM, durante 9
sprints de 14 días cada uno. Esta fase se ha descrito destacando
las modificaciones sufridas en el diseño, originadas en los
detalles de implementación surgidos.
Como trabajo futuro, en la siguiente fase se debe estudiar el
mecanismo de almacenamiento de la información generada. A
partir de ahí, se desarrollará un primer prototipo para la
realización de pruebas experimentales en un entorno real, que
permita verificar la validez del modelo propuesto.
VI. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
E. R. Petrusa, T. A. Blackwell, L. P. Rogers, C. Saydjari, S. Parcel, and J.
C. Guckian, "An objective measure of clinical performance," The American
Journal of Medicine, vol. 83, pp. 34-42, 1987.
R. Kneebone, "Simulation in surgical training: educational issues and
practical implications," Medical Education, vol. 37, pp. 267-277, 2003.
R. W. Barnes, "Surgical handicraft: Teaching and learning surgical skills,"
The American Journal of Surgery, vol. 153, pp. 422-427, 1987.
R. M. Epstein, "Assessment in Medical Education," New England Journal
of Medicine, vol. 356, pp. 387-396, 2007.
A.R. Pulito, M.B. Donnelly, M. Plymale, and J.R.M. Mentzer, "What Do
Faculty Observe of Medical Students' Clinical Performance?," Teaching
and Learning in Medicine, vol. 18, pp. 99-104, 2006.
M. Tavakol, M.A. Mohagheghi, and R. Dennick, "Assessing the Skills of
Surgical Residents Using Simulation," Journal of Surgical Education, vol.
65, pp. 77-83, 2008.
N.E. Seymour, A.G. Gallagher, S.A. Roman, M.K. O’Brien, V.K. Bansal,
D. K. Andersen, et al., "Virtual Reality Training Improves Operating
Room Performance: Results of a Randomized, Double-Blinded Study,"
Annals of Surgery, vol. 236, pp. 458-464, 2002.
R.V. O’Toole, R.R. Playter, T.M. Krummel, W.C. Blank, N.H. Cornelius,
W. R. Roberts, et al., "Measuring and developing suturing technique with a
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
virtual reality surgical simulator," Journal of the American College of
Surgeons, vol. 189, pp. 114-127, 1999.
A.M. Paisley, P.J. Baldwin, and S. Paterson-Brown, "Validity of surgical
simulation for the assessment of operative skill," British Journal of
Surgery, vol. 88, pp. 1525-1532, 2001.
A.G. Gallagher, K. Richie, N. McClure, and J. McGuigan, "Objective
Psychomotor Skills Assessment of Experienced, Junior, and Novice
Laparoscopists with Virtual Reality," World Journal of Surgery, vol. 25,
pp. 1478-1483, 2001.
K. Moorthy, Y. Munz, S.K. Sarker, and A. Darzi, "Objective assessment of
technical skills in surgery," BMJ, vol. 327, pp. 1032-1037, 2003.
S. Mackay, V. Datta, M. Mandalia, P. Bassett, and A. Darzi,
"Electromagnetic motion analysis in the assessment of surgical skill:
Relationship between time and movement," ANZ Journal of Surgery, vol.
72, pp. 632-634, 2002.
I. Jacobson, G. Booch, and J. Rumbaugh, The Unified Software
Development Process. . Boston, MA, USA.: Addison-Wesley Longman
Publishing Co., Inc., 1999.
K. Schwaber and M. Beedle, Agile Software Development with Scrum:
Pearson Education, Limited, 2008.
G. Esteban, C. Fernández, M.A. Conde, and V. Matellán, "Design of a
Haptic Simulator Framework for Modelling Surgical Learning Systems,"
In Proceedings of the First International Conference on Technological
Ecosystem for Enhancing Multiculturality (TEEM'13). pp. 87-94, 2013.
A. Shalyto, N. Shamgunov, and G. Korneev. "State machine design
pattern," In Proceedings of the 4th International Conference on .NET
Technologies. pp. 51-57, 2006.
E. Gamma, R. Helm, R. Johnson, and J. Vlissides. Design patterns:
elements of reusable object-oriented software. Boston, MA, USA.:
Addison-Wesley Professional, 1994.
T. Coles, D. Meglan and N. John. "The Role of Haptics in Medical
Training Simulators: A Survey of the State of the Art," IEEE Transactions
on Haptics, vol.4, pp. 51-66, 2011.
G.S. Ruthenbeck and K.J. Reynolds. "Virtual reality surgical simulator
software development tools," Journal of Simulation, vol. 7, pp. 101-108,
2013.
P.J. Fager and P. von Wowern, "The use of haptics in medical
applications," The International Journal of Medical Robotics and
Computer Assisted Surgery. vol. 1, pp. 36-42, 2004.
129
Learning tools interoperability for enhancing a
distributed personal learning environment with support
for programming assignments
Francisco Jurado1; Miguel Ángel Redondo Duque2
1
Dpto. Ingeniería Informática
Escuela Politécnica Superior
Universidad Autónoma de Madrid
Francisco Tomás y Valiente, 11, 28049 Madrid, Spain
[email protected]
2
Dpto. Tecnologías y Sistemas de Información
Escuela Superior de Informática
Universidad de Castilla-La Mancha
Paseo de la Universidad, 4, 13071 Ciudad Real, Spain
[email protected]
integration and information exchange not only desirable but also
indispensable. The MOOC platform represents a central access
point that manages courses. The students must make use of the
necessary services in order to perform their autonomous learning
by using both, the tools included in the MOOC platform as well
as other applications external to it. However, it would seem that
there are no solutions to perform it in a standard way, forcing the
implementation of a specific solution for specific courses.
For some years, in order to create this synergetic effect
among learning tools, there are working groups, such as IEEE
LTSC (http://ltsc.ieee.org), IMS Global Learning Consortium
(http://www.imsglobal.org) and ADL (http://www.adlnet.org),
which aim to provide standardisation to allow interoperability
and reuse in eLearning environments, by taking each eLearning
system component as a service.
In this regard, we can spot several reference architectures for
developing services-oriented eLearning systems, such as the socalled Services-Oriented Architectures (SOAs) like the IEEE
Learning Technology Systems Architecture (LTSA), ADL
(Advanced Distributed Learning Network) Shareable Content
Object Reference Model (SCORM) [23], the OKI (Open
Knowledge Initiative) Framework, the JISC (Joint Information
System Committee) eLearning Framework and the IMS Abstract
Framework [11].
The goal is to arrange a set of tools that supports the entire
teaching/learning process by means of the integration of
different components and services [8][9][10].
Abstract— When using eLearning systems, there is not one
unique tool that covers the entire learning/teaching process. In fact,
an ideal scenario can be useful from several specific tools for
specific learning tasks. This situation is not only desirable but also
necessary if we want to promote autonomous active learning by
means of Personal Learning Environments (PLE) or extrapolate
this feature to the new tendency of Massive Open Online Course
(MOOC). As the environment scales with the integration of more
eLearning tools, we have to face communication and architectural
issues. This paper exposes the solution we implemented by means of
a centralized access point constituted as an LMS, an architecture
based on Tuple Spaces, and the use of eLearning standards to allow
communication and information exchange among the different
services and components.
Keywords— Blackboard architecture; Learning Management
System; e-Learning Standards
I.
INTRODUCTION
Nowadays we can choose among several eLearning tools,
each providing specific features for specific domains. However,
a unique tool can not always be used to cover all necessities in
an entire learning/teaching process. That is, the ideal scenario
passes through the use of specific tools for specific tasks, but
exchanging the information between each of them, so that one
can benefit from the others.
This basis is especially necessary in a scenario focused on
autonomous active learning like the Personal Learning
Environment (PLE). Moreover, the current trend in the use of
Massive Open Online Course (MOOC) [20] makes this tools
131
F. Jurado; M. Á. Redondo - Learning tools interoperability for enhancing a distributed personal learning environment with support for programming assignments
From this point of view, authors like Dagger et al. [6] have
drawn attention to the use of service-oriented frameworks in
order to support Learning Management Systems (LMS)
composed by interoperable services for the next generation of
eLearning platforms.
This service-oriented perspective has lead to approaches like
Moodbile [3], which integrates mobile devices with the Moodle
LMS by using Web Services. However, in spite of the fact that
Moodbile provides an extension of Moodle Web Services for
mobile integration, the LMS constitutes the central piece.
Services, learning objects repositories, collaborative tools, etc.
are located in the LMS, and the PLE that can be built is
restricted to those services provided directly from the LMS.
Searching for a non-centralized approach, we can integrate
not only components and services, but also intelligent agents
that support the teaching/learning process during its different
stages as we tested in our previous works [15]. However, despite
its reuse and interoperability capabilities, as new services and
agents are added in order to support more stages in the
teaching/learning process, the necessity of creating a centralized
single access point where students and teachers work and which
shall be in charge of leading them to the appropriate learning
tool, service and content becomes clear. This situation has lead
us to look for a hybrid alternative, where a central access point is
necessary, but services can be dynamically added on demand by
the teaching/learning process.
The work we present in this paper comes from the issues we
have faced while dealing with the application of eLearning
standards and reference architectures in order to integrate
systems that support the whole teaching/learning process by
using the most suitable tool at every stage, but also integrating
the various components, so that they can make use of a
synergetic effect.
Thus, the remainder of the paper will be structured as
follows: first an introduction about the motivation for this
research and a starting point will be given in order to introduce
the problem we face; then, the implementation we have
performed to allow the interoperability among the different
learning tools will be discussed in detail; finally, some
concluding remarks and future works will be highlighted.
II.
MOTIVATION AND STARTING POINT
As introduced previously, our starting point was the
distributed architecture we presented in [15], whose main
purpose is to integrate and to communicate services and agents
in a standard way.
Briefly, it consists of a blackboard-based architecture, where
heterogeneous distributed components are integrated and
communicate among each other by using a Component-Based
Software Engineering (CBSE) [5] approach. Moreover, even the
user environments have been implemented by using component
integration. From this perspective, we are able to build and to
132
integrate different kinds of components such as services, agents,
clients, etc. Then, as the teaching/learning process requires
specific components, they will take part.
In this way, we are capable of implementing environments
that give full support to the teaching/learning process, taking
advantage of the synergy effect created by the integration of the
different components.
This
architecture
is
the
basis
of
COALA
(http://chico.esi.uclm.es/coala) [14][16], a distributed Eclipsebased environment to learn to program, which makes use of
Adaptive Systems techniques to guide the learning process, and
code analysis to provide feedback and advice [17]. Starting from
COALA, the architecture has proved to be scalable and
extensible allowing the integration of new agents, services and
tools
like
those
provided
by
Cole-Programming
(http://chico.esi.uclm.es/coala/index.php/COLE-programming)
[18].
At the bottom right of figure 1 an overview can be seen. A
tuple space server [2] constitutes the central piece that allows the
communication and coordination. It is a centralized distributed
memory where the relevant information is written and read by
the different components that take part in order to assist in the
teaching/learning process. Among the information the tuple
space server stores, we can find user session data,
communication messages used in different tools (chat, forum,
etc.), data related to the learning activities, information
associated with the learning activities sequencing, students’
scores on assignments, etc.
In addition, our system identifies a set of services and agents
classified in layers. We do it in a similar way to the one that
JISC puts forward, namely: a “User Agents Layer”, a “Learning
Domain Layer” and a “Common Service Layer”, and
additionally we have added the “Communication Middleware”.
By means of the User Agents Layer, users can interact with
the system and work with the services through the use of both,
an Eclipse-based environment or a Web-based environment. The
Eclipse-based environment offers advanced programming
capabilities while the Web-based environment will provide an
alternative and easy-to-access user interface for the same
services.
The Learning Domain Services and the Common Services
Layer provide the features necessary to provide learning
activities sequencing, authentication facilities, auto-assessment
feedback and support for Computer Supported Collaborative
Learning (CSCL). Finally, the Communication Middleware is
the central piece we mentioned above, which is constituted by
the tuple space server.
Currently, in order to allow the integration of new tools that
give support to more specific programming related topics, we
are
attempting
to
add
Greedex
(http://www.lite.etsii.urjc.es/greedex/) [24][25] and GreedexTab
(http://chico.esi.uclm.es/greedextab/wiki) within the context of
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Jurado; M. Á. Redondo - Learning tools interoperability for enhancing a distributed personal learning environment with support for programming assignments
our research work. The learning environment will be able to
interactively assist in the active learning of greedy algorithms
thanks to the integration of these two tools. Additionally,
Greedex, a standalone application, and GreedexTab, an iPad
application that makes use of cloud services, will both be able to
benefit from the services provided by COALA.
However, in spite of the reuse and interoperability
capabilities of our architecture, as the number of services and
agents scales while giving support to more stages in the
teaching/learning, we realized there was a necessity to create a
centralised single access point where students and teachers work
and which shall be in charge of leading them to the appropriate
learning tools.
This leads us to the architecture designed by Brusilovsky and
known as KnowledgeTree, where four kind of components are
identified [1]: “the learning portal”, which provides a
centralised single-login point where students and teachers work
using all the learning tools; “the activity services”, in charge of
hosting interactive and adaptive learning content, as well as
learning services such as discussion forums, shared annotations,
etc.; “the value-adding services”, that consider functionalities
such as adaptive sequencing, annotations, visualisation, etc.; and
“the student model service”, a component that represents the
students’ needs and the prospects in the teaching/learning
process in order to personalise the learning material for each
individual student. That is, we needed a centralized single access
point that acts as “the learning portal” in the Brusilovsky’s
KnowledgeTree.
To solve this situation, we decided to add the services
provided by a generic Learning Management System (LMS)
[22], like users and course management, learning object
distribution, etc. To do so, essentially, we have added an LMS as
a service [19] in our architecture. However, this was not an easy
issue to overcome. In the following sections we will show why
and how we have worked out.
III.
ADDING AN LMS AS A SERVICE
In this section, we will present how the necessity of
introducing a centralized single access point leads us to seek
mechanisms of bidirectional communication and information
exchange among the LMS and the other services.
A. Choosing the LMS
There are several LMS that we can choose, both open source
and commercial [21] [13] [4]. Among all of them, we have
chosen Moodle, the LMS created by Dougiamas
(https://moodle.org), not just because it is open source, but also
because it is the one available in our institutions, so that enabled
us to better test our approach.
B. The LMS Programming interface
In order to implement the communication with Moodle as
well as to add new features, we have to take into account its
XVI Simposio Internacional de Informática Educativa (SIIE’14)
architecture and Application Programming Interface (API),
analysing how easily it can be integrated with other systems.
In brief, the Moodle architecture is divided into large blocks,
namely, the Core, the Activity Modules and the Plugins, all of
them allowing their corresponding APIs and capabilities.
Firstly, the Core constitutes the basic components accessible
by an API. Secondly, the Activity Modules implement the
necessary services in order to perform the corresponding
learning activities. These services are tools such as chats,
forums, wikis, etc. In order to access the APIs of these two
groups of components, we have to use the corresponding PHP
interface.
Finally, the Plugins provide specific extensions to the LMS.
One of the greatest advantages in the use of these extensions is
that, in order to communicate with them, we can use different
kinds of interfaces. One of these interfaces is the Web Service
Interface, which enables external software to add Web Services
components into the Moodle architecture, making the
communication with external tools easier.
C. Launching external tools from the LMS
Since the LMS will constitute the learning portal (following
Blusilovsky’s nomenclature [1]), and it will provide the
centralised single-login point which users will access in order to
start working and if necessary to switch to other learning tools
and services in order to perform the learning process, we need
some kind of mechanism that allows the LMS to launch external
components from an opened session while working with
Moodle. That is, we require a connection with external services,
applications and contents by using a web-based connection.
We can find a solution in the IMS Learning Tools
Interoperability (LTI) [IMS-LTI, 2010] standard specification,
which is part of the IMS standard Common Cartridge [12].
The aim of LTI is to integrate rich learning applications
supplied by external Tools Providers and used by Tools
Consumers. That is, it follows a provider-consumer approach.
Typically, the Tools Consumers are LMSs and Tools Providers
will be those applications we want to integrate within the LMS.
From this perspective, the goal of this specification is to set,
in a standard way, the mechanisms to allow integration of
external assessment applications, virtual labs or any other web
applications hosted out of the LMS. The only limitation is that
the external applications must be accessible by using the HTTP
protocol, so that the LTI-Consumer sends the LTI-Provider the
necessary parameters to launch via POST or GET requests. In
addition, due to the fact that the external application could need
user authentication, the LMS, as the central login-point it
represents, must grant the corresponding permissions to the
external application. To do so, IMS-LTI suggests using the
OAuth protocol, which allows standard secure authorization
(http://oauth.net/).
133
F. Jurado; M. Á. Redondo - Learning tools interoperability for enhancing a distributed personal learning environment with support for programming assignments
Fig. 1. Bidirectional communication and information exchange among the COALA components and the LMS.
The IMS-LTI specification has been successfully integrated
into several
LMS
such
us
Moodle
or Sakay
(https://sakaiproject.org/). Particularly, Moodle has two IMSLTI modules: one to make it work as an LTI-provider and
another to act as an LTI-consumer. In addition, as an alternative,
the BasicLTI4Moodle module implements a basic LTI-consumer
(https://code.google.com/p/basiclti4moodle/).
D. Returning information back into Moodle
So far, we have presented how to be able to launch external
services on the condition that they are accessible via URI and
using HTTP protocol. However, occasionally the external
service might need to send back information to the LMS, such as
a bookmark, a record indicating that the learning activity has
finished, a score the student has obtained, etc. This is what we
have called the loop-back communication.
In order to implement it, there are some Moodle APIs such
as the Activity Completion API to indicate the user has finished
the tasks, or the Gradebook API to access and store students’
scores. These functionalities are available via the corresponding
Moodle WS API.
E. Putting everything together
In order to follow the explanation, figure 1 summarizes our
approach. In the figure, we can see the mechanisms that allow
launching external applications from within the Moodle
platform, but maintaining Moodle as the centralized single-login
point, as well as the way the information is sent back when the
external learning activity finishes.
At the beginning, the user will access the programming
course available on Moodle and will follow the course as usual.
If it is necessary to perform a specific programming assignment
then Moodle will act as an LTI-Consumer and will start the
mechanisms to launch the external application. Thus, it will
invoke the external service and send an OAuth authentication
134
message to a component we called the TupleSpace Connector
(step 1). Basically, this component acts as an LTI-Provider for
Moodle and as a bridge with the blackboard architecture.
To do so, it is hosted in a well-known host and port and
provides a Web Service API. Specifically in our system, it
implements a Representational State Transfer (REST) API [7]
by
using
the
Spark
micro-framework
(http://www.sparkjava.com/).
These features make this component easily accessible for the
LMS and much faster in the execution due the nature of a
RESTful system. In order to allow the communication with the
blackboard architecture, the TupleSpace Connector works as a
TupleSpace client more.
Then, when the TupleSpace Connector receives the OAuth
message, it will send two messages containing a validation key
for that user in that task (step 2). Both Moodle and the
TupleSpace server will receive this message. The one received
by Moodle will be handled to prompt the user. The received by
the TupleSpace server will be used to validate the user for that
assignment. At that moment, the TupleSpace stores all the grants
the user needs in order to perform the programming assignment.
Thus, the user can open the correct application and once she
introduces the validation key Moodle prompted, it will receive
permission (step 3) and download all the data to perform the
assignment (step 4). A User can benefit from the features of each
application, either, automatic assessment and collaborative tools
like those provided by Cole-Programming in COALA, algorithm
analysis and execution visualization like those provided by
GreedEx, or a cloud storage service like those provided by
GreedexTab.
Once the user has finished their programming assignment
they can create the solution (step 5). This action will start the
corresponding activity completion message to the TupleSpace
Connector (step 6) and the loop-back communication acts by
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Jurado; M. Á. Redondo - Learning tools interoperability for enhancing a distributed personal learning environment with support for programming assignments
using the Moodle Activity completion API to indicate to Moodle
that the user has finished the tasks, and access the Moodle
Gradebook API if a score must be stored (step 7).
Once the communication loop is closed, the user can
continue working on the Moodle course until a new learning
activity that requires an external eLearning tool is necessary.
As we can see, this approach can be extrapolated to any other
eLearning tool. Thus, the user has a whole set of learning tools
at their disposal, each to work on a specific feature, but the
login-point is centralized in the LMS and the orchestration is
performed through the Tuple Space server.
IV.
REMARKS AND FUTURE WORK
Throughout this paper, we have presented how, starting from
an architecture that allows for the integration of heterogeneous
eLearning components, the necessity of introducing a central
login-point comes up. Then, we have presented how we have
solved this issue by introducing an LMS as a service in our
architecture.
The solution we provided is not limited to the learning
domain we have applied to, and it can be extrapolated to other
courses where the use of external services outside of the LMS is
necessary.
Particularly, the current tendency in the use of MOOCs poses
new challenges to manage online open courses without limiting
the amount of students. So, to explore the use of our approach in
these kinds of courses seems to be the natural evolution of our
research. The MOOC platform could be the central access point
that manages the course and the students can use the necessary
services in order to develop the assignments. In addition, to give
support to autonomous active learning processes, the
corresponding automatic feedback about what well and what
does not can be given to them without waiting for the teacher,
which is one of the strengths of our COALA system.
Furthermore, the implementation of GreedexPad has opened
a new perspective where cloud services from companies like
Google, Apple or Amazon can be integrated into our architecture
as one additional service in order to create richer Personal
Learning Environments.
V.
ACKNOWLEDGEMENTS
This research has been partially funded by the Ministry of
Science and Innovation (in Spanish Ministerio de Ciencia e
Innovación) through the project “Software environment for
learning to program in group and its integration, by mean of
standards, with learning management systems” (in Spanish
“Entorno software para el aprendizaje en grupo de la
programación y su integración, mediante estándares, en
sistemas de gestión del aprendizaje”) (REF: TIN2011-29542C02-02) with evaluation of ANEP, and through Thematic
Network 513RT0481 (in Spanish: “Red iberoamericana de
apoyo a los procesos de enseñanza-aprendizaje de competencias
XVI Simposio Internacional de Informática Educativa (SIIE’14)
profesionales a través de entornos ubicuos y colaborativos UCSCL”)
VI.
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
REFERENCES
Brusilovsky, P. (2004), KnowledgeTree: a distributed architecture for
adaptive e-learning, in 'WWW Alt. '04: Proceedings of the 13th
international World Wide Web conference on Alternate track papers &
posters', ACM Press, New York, NY, USA, pp. 104-113.
Carriero, N. & Gelernter, D. (1989), 'How to Write Parallel Programs: A
Guide to the Perplexed', ACM Comput. Surv. 21(3), 323-357.
Casany, M. J.; Alier, M.; Mayol, E.; Piguillem, J.; Galanis, N.; GarcíaPeñalvo, F. J. & Ángel Conde, M. (2012), 'Moodbile: A Framework to
Integrate m-Learning Applications with the LMS', Journal of Research and
Practice in Information Technology 44(2), 129-149.
Cobb, J. & Steele, C. (2013), 'Association Learning Management System',
Technical report, Tagoras.
Crnkovic, I., Larsson, S., Chaudron, M., 2006. Component-based
development process and component lifecycle. Proceedings of the
ICSEA’06, IEEE
Dagger, D.; O'Connor, A.; Lawless, S.; Walsh, E. & Wade, V. (2007),
'Service-Oriented E-Learning Platforms: From Monolithic Systems to
Flexible Services', IEEE Internet Computing 11(3), 28-35.
Fielding, R. T. (2000), 'Architectural Styles and the Design of Networkbased Software Architectures', PhD thesis, University of California.
IMS-SOA (2009), 'IMS Service Oriented Architecture (SOA): Adoption of
Service Oriented Architecture for Enterprise Systems in Education:
Recommended Practices', Technical report, IMS Global Learning
Consortium,
Version
1.0
White
Paper.
Online,
http://www.imsglobal.org/soa/imsSOAWhitePaper_v1p0pd.html.
Last
visited on September 2014
IMS-GWS (2005), 'IMS General Web Services Base Profile', Technical
report,
IMS
Global
Learning
Consortium
Inc.,
Online,
http://www.imsglobal.org/gws/. Last visited on September 2014.
IMS-LTI (2010), 'IMS Learning Tools Interoperability Basic LTI
Implementation Guide. Version 1.0 Final', Technical report, IMS Global
Learning
Consortium.
http://www.imsglobal.org/toolsinteroperability2.cfm. Last visited on
September 2014.
IMS-AF (2003), 'IMS Abstract Framework: White Paper', Technical report,
IMS
Global
Learning
Consortium
Inc.,
Online,
http://www.imsglobal.org/af/. Last visited on September 2014.
IMS-CC (2013), 'IMS Common Cartridge Specification', Technical report,
IMS Global Learning Consortium. http://www.imsglobal.org/cc/ Last
visited on September 2014.
Jobst, J. (2011), 'Course and Learning Management System Project Report
and Recommendations', Technical report, Information Technology
Services, University of Texas at Austin.
Jurado, F.; Molina, A. I.; Redondo, M. A.; Ortega, M.; Giemza, A.; Bollen,
L. & Hoppe, H. U. (2009), 'Learning to Program with COALA, a
Distributed Computer Assisted Environment', Journal of Universal
Computer Science 15(7), 1472-1485.
Jurado, F.; Redondo, M. A. & Ortega, M. (2012), 'Blackboard Architecture
to Integrate Components and Agents in Heterogeneous Distributed
eLearning Systems: An Application to Learning to Program', Journal of
Systems and Software 85 (7), 1621-1636.
Jurado, F.; Redondo, M. A. & Ortega, M. (2012), 'eLearning Standards and
Automatic Assessment in a Distributed Eclipse Based Environment for
Computer Programming Learning', Computer Applications in Engineering
Education.
Jurado, F.; Redondo, M. A. & Ortega, M. (2012), 'Using fuzzy logic
applied to software metrics and test cases to assess programming
135
Patrón arquitectónico para la definición de ecosistemas
de eLearning basados en desarrollos open source
Alicia García-Holgado; Francisco José García-Peñalvo
GRIAL Research Group - IUCE
Universidad de Salamanca, USAL
Salamanca, Spain
[email protected]
componentes que deben ser capaces de evolucionar tanto por
separado como en conjunto.
Dentro del Grupo de investigación en InterAcción y
eLearning (GRIAL) de la Universidad de Salamanca [4], se ha
participado en el desarrollo de diversos ecosistemas tecnológicos
orientados a la gestión del conocimiento en diferentes ámbitos
con objeto de solucionar problemas reales [5][6].
El análisis de las Debilidades, Amenazas, Fortalezas y
Oportunidades (DAFO) [7] de cada uno de estos ecosistemas ha
permitido identificar los problemas subyacentes y elaborar un
patrón arquitectónico [8] cuyo objetivo es sentar las bases para
definir e implementar ecosistemas eLearning [9] capaces de dar
solución a los diferentes problemas de gestión del conocimiento
que se plantean en cualquier tipo de entidad o institución, y que
se describe en el presente trabajo. Tanto la descripción de los
casos de estudio, así como el análisis comparativo de los
mismos, que suponen la base de experiencia para definir el
patrón propuesto, se pueden consultar en trabajos previos
[10][11].
En las siguientes secciones se describe el entorno y
condiciones que deben existir para poder aplicar el patrón, los
problemas que permite solucionar, la solución planteada, un
ejemplo real en el que se ha utilizado el patrón y, por último, las
conclusiones obtenidas.
Resumen—La alta penetración de los ecosistemas tecnológicos
basados en software Open Source, como solución tecnológica para
dar soporte a la gestión del conocimiento en entidades e
instituciones, plantea nuevos problemas en el desarrollo e
integración de componentes software. El objetivo de este trabajo ha
sido elaborar un patrón arquitectónico que permita sentar las bases
para definir e implementar ecosistemas eLearning. Para la
definición del patrón se ha partido de un análisis comparativo de
las Debilidades, Amenazas, Fortalezas y Oportunidades de una
serie de casos de estudio reales desarrollados en diferentes ámbitos.
Como resultado, se ha obtenido un patrón arquitectónico formado
por varias capas y un conjunto de elementos externos que permite
dar solución a los principales problemas detectados en el desarrollo
de ecosistemas tecnológicos. El patrón ha sido probado en un
contexto real, concretamente una Administración Pública, lo que
ha permitido demostrar su correcto funcionamiento.
Palabras clave—ecosistemas eLearning, sistemas de información,
patrón arquitectónico, ingeniería del software, software reutilizable,
software Open Source.
I.
INTRODUCCIÓN
A lo largo de los últimos años cada vez son más las empresas
e instituciones que apuestan por el uso del Software Libre [1] y
los desarrollos Open Source [2] como soporte tecnológico para
gestionar el conocimiento que se genera dentro de las mismas.
En este contexto, las soluciones planteadas para dar soporte a
los diferentes problemas y objetivos relacionados con la gestión
del conocimiento se basan en la definición e implementación de
ecosistemas tecnológicos, conjunto de componentes software
que se relacionan entre sí mediante flujos de información en un
medio físico que proporciona el soporte para dichos flujos [3].
En el caso de la gestión del conocimiento orientado al
aprendizaje, los ecosistemas eLearning permiten adaptarse a la
evolución en la gestión de la formación que tiene lugar tanto en
empresas como en instituciones.
A pesar de los beneficios que reporta el uso de ecosistemas
tecnológicos, su implantación en las entidades que optan por
este tipo de soluciones posee mayor complejidad frente a los
sistemas que se venían utilizando hasta hace algunos años ya
que implica, a grandes rasgos, la integración de diferentes
II. CONTEXTO
La gestión del conocimiento se encuentra entre las
principales necesidades que debe cubrir cualquier tipo de entidad
o institución [12][13]. Desde la pequeña y mediana empresa
(PYME) hasta los grandes grupos de empresas, y desde los
centros de formación hasta las universidades, generan una gran
cantidad de conocimiento que si no se gestiona de manera
adecuada puede acarrear grandes pérdidas tanto a nivel
económico como humano.
Las empresas e instituciones utilizan sistemas de
información para dar soporte a todos los procesos internos y
apoyar los procesos de negocio externos. Para ello disponen de
diferentes elementos software entre los que se puede encontrar
principalmente los denominados ERP (Enterprise Resources
137
A. García; F.J. García-Peñalvo - Patrón arquitectónico para la definición de ecosistemas de eLearning basados en desarrollos open source
Planning), “sistemas compuestos por varios módulos, tales
como, recursos humanos, ventas, finanzas y producción, que
posibilitan la integración de datos a través de procesos de
negocios incrustados. Estos paquetes de software pueden ser
configurados para responder a las necesidades específicas de
cada organización” [14].
La importancia de darle valor a la gestión del conocimiento
ha ido en incremento en los últimos años, lo que ha llevado a
instituciones y empresas a buscar soluciones tecnológicas que
cubran sus nuevas necesidades y que complementen a los
sistemas de información que se venían utilizando habitualmente.
Los ecosistemas tecnológicos proporcionan una solución a este
problema. Muchas entidades e instituciones han incorporar
nuevas herramientas software dentro de sus flujos de trabajo
integrándolas con los componentes software propios de cada
entidad, con objeto de dar soporte a las necesidades emergentes.
Los ecosistemas tecnológicos son, por tanto, la evolución de
los sistemas de información. El ecosistema tecnológico se
pueden definir como un sistema compuesto por un conjunto de
módulos que proporcionan la funcionalidad necesaria para
gestionar los procesos de negocio internos y externos de la
empresa, para permitir el flujo de información entre los
diferentes componentes del sistema [3].
•
•
•
•
•
III. PROBLEMAS
El análisis comparativo de diferentes soluciones software
basadas en ecosistemas tecnológicos ha permitido detectar los
principales problemas que surgen a la hora de implantar este tipo
de soluciones en una entidad o institución:
• La gestión del conocimiento dentro de una institución o
entidad depende de un gran número de factores tanto
internos (perfil de los empleados, flujos de trabajo, etc.)
como externos (contexto cultural, mercado, etc.), que
influyen de forma directa en la definición y evolución del
ecosistema tecnológico sobre el cual se sustenta dicha
gestión.
• Se genera gran cantidad de conocimiento que no recibe la
visibilidad adecuada hacia el exterior del ecosistema
tecnológico.
• La falta de conocimientos del mercado TIC por parte de
las empresas e instituciones supone un problema a la hora
de definir la solución que mejor se adapte a sus
necesidades. Son muchas las entidades que recurren a la
personalización y adaptación de soluciones software
propietarias. Este tipo de software requiere una constante
inversión para soportar las necesidades cambiantes del
negocio. La integración con otros sistemas así como el
propio mantenimiento se convierte en un problema, tanto
económico como logístico, para las empresas que optan
por este tipo de soluciones.
138
•
•
Muchas entidades e instituciones ya poseen soluciones
tecnológicas que hay que integrar dentro del nuevo
ecosistema tecnológico.
Las soluciones basadas en software Open Source se
adaptan mejor a las necesidades cambiantes de las
entidades pero la gran oferta existente dificulta la
elección de las herramientas adecuadas.
Existe una gran cantidad de aplicaciones que pueden ser
requeridas por una entidad para dar respuesta a sus
necesidades. La falta de una correcta conexión entre las
diferentes herramientas, tanto a nivel tecnológico como
metodológico, conlleva muchas veces la falta de
consistencia en los datos, los cuales están dispersos en las
diferentes aplicaciones, lo que hace imposible disponer
de una visión global de la información y el conocimiento
generados dentro de la entidad.
La mayor parte de las aplicaciones proporcionan
herramientas para la gestión y autenticación de los
usuarios lo que supone un problema de usabilidad que se
agrava exponencialmente cuando el número de
componentes del ecosistema se incrementa.
La integración de los componentes no se realiza siempre
a nivel de lógica de negocio y de presentación, sino que
se realiza una integración a nivel de datos que genera
fuertes dependencias entre las aplicaciones lo que supone
un obstáculo a la hora de asegurar la evolución del
ecosistema.
La definición del ecosistema se lleva a cabo, en muchos
casos, desde fuera de la propia entidad o institución lo
que supone un mayor esfuerzo a la hora de definir
correctamente los flujos de información y los objetivos
que se desea alcanzar con la
Existe una fuerte componente evolutiva en los
ecosistemas tecnológicos con el objetivo de adaptarse a
la evolución natural de las entidades e instituciones. Esta
evolución se puede llevar a cabo a través de los
mecanismos que se describen a continuación.
Dependiendo del mecanismo utilizado la evolución
afectará al sistema de una u otra manera o, incluso, no
podrá llevarse a cabo:
o Cada componente evoluciona por separado, de tal
forma que debe poder ser actualizado. La
actualización de un componente puede suponer la
mejora de algún aspecto ya existente o la
incorporación de nueva funcionalidad. En ambos
casos la actualización debe ser totalmente
transparente para el ecosistema.
o Se pueden sustituir unos componentes por otros,
bien para dar soporte a una nueva necesidad de la
organización o para mejorar la funcionalidad
proporcionada.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A. García; F.J. García-Peñalvo - Patrón arquitectónico para la definición de ecosistemas de eLearning basados en desarrollos open source
o
o
A lo largo del tiempo las necesidades de la entidad
pueden evolucionar de tal forma que se necesite
realizar modificaciones en la arquitectura del
ecosistema. Por ejemplo, si se lleva a cabo una
redefinición de los flujos de información.
Por último, Alspaugh [15] introduce un cuarto
mecanismo de evolución que no depende de la
entidad o del propio ecosistema, sino que se debe a
un cambio de licencia en alguno de los
componentes. Este cambio puede provocar desde
una actualización en la licencia bajo la que se
encuentra el ecosistema hasta cambios en alguno
de los componentes para cumplir los nuevos
requisitos de la licencia.
IV. SOLUCIÓN
El patrón arquitectónico propuesto se basa en el patrón de
capas (Layers) definido por Buschmann [8] y describe la
arquitectura lógica de los ecosistemas tecnológicos,
independientemente del despliegue físico del sistema (Fig. 1).
Las ideas esenciales del patrón son las siguientes:
• Asegurar una evolución sostenible del ecosistema
tecnológico en todas sus vertientes de una forma
transparente, de tal forma que dicha evolución no afecte
al sistema en producción.
• Lograr un alto grado de integración y cohesión entre los
componentes del ecosistema.
• Permitir la gestión centralizada de los diferentes
componentes del ecosistema, haciendo especial hincapié
en la gestión de los datos.
• Integración a nivel de presentación que transmita
unicidad, de tal forma que el usuario sea consciente de
que se encuentra en el ecosistema.
• Permitir una gestión centralizada de usuarios, con
cobertura tanto de la gestión de los datos como de la
autenticación en todo el ecosistema.
• Soporte para la toma de decisiones y para el análisis de
los flujos de información que tienen lugar tanto dentro
del ecosistema como provenientes del exterior y
viceversa.
Se plantea un patrón de cuatro capas de tal forma que las
capas inferiores engloban servicios generales de bajo nivel que
proporcionan una serie de servicios a los componentes
localizados en las capas superiores. Las dependencias entre
capas se establecen desde las más altas hacia las más bajas, lo
que evita el acoplamiento y facilita la reutilización de los
componentes de bajo nivel.
La primera capa se denomina capa de infraestructura y
engloba aquellos servicios que proporcionan un conjunto de
funcionalidades básicas para el correcto funcionamiento de los
componentes software situados en las capas superiores.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Se recomienda que esta capa contenga, como mínimo, tres
componentes. En primer lugar, un servidor de correo para dar
soporte tanto a la mensajería asíncrona como a las posibles
notificaciones, alertas, suscripciones, etc. que puedan llevarse a
cabo desde otros componentes. En segundo lugar, se debe
centralizar la gestión de usuarios, tanto de autenticación como
de datos, a través de uno o varios componentes. Por último, se
deben monitorizar los flujos de información que tienen lugar en
el sistema para permitir una gestión centralizada de las
estadísticas que servirá como base para la toma de decisiones.
La centralización de toda la información, tanto generada
como utilizada, dentro del ecosistema tecnológico introduce un
alto grado de dependencia entre los diferentes componentes del
sistema. Para evitar este problema, cada componente gestiona su
propia información y, en aquellos casos en los que se requiere
información de otros componentes se definen los flujos de
información adecuados. Únicamente en aquellos casos que
exista un conjunto de datos que deben ser accedidos por la
mayoría de los componentes del ecosistema, se introducirá la
capa de gestión de datos estáticos, denominados así por tratarse
de datos que no están en constante cambio.
La tercera capa, denominada servicios, agrupa los
componentes software que cubren las necesidades específicas de
la entidad o institución y con los cuales interactúan los usuarios.
Esta capa introduce un alto grado de flexibilidad y adaptabilidad
ya que permite la incorporación, modificación y eliminación de
diferentes componentes software a lo largo del tiempo sin que
afecte al resto de la arquitectura.
Todo ecosistema tecnológico debe proporcionar entre sus
servicios dos herramientas básicas. Una herramienta para
permitir la toma de decisiones mediante la gestión de los flujos
de información y el uso del componente software de
monitorización descrito en la capa de infraestructura.
Por otro lado, la gestión del conocimiento no se centra
únicamente en los procesos internos que se llevan a cabo dentro
de una entidad o institución sino que una buena gestión del
conocimiento incluye procesos y métodos para darle visibilidad,
si no a todo, a una parte con el fin de llegar al público de interés.
Por ello se introduce en la capa de servicios un componente o
conjunto de componentes que permita extender los flujos de
información más allá del ecosistema tecnológico.
La cuarta capa se centra únicamente en la presentación. Uno
de los mayores problemas de usabilidad en los ecosistemas
tecnológicos reside en la falta de unicidad entre los diferentes
componentes software, de tal forma que el usuario lo perciba
como un todo en vez de como las partes que lo componen. La
capa de presentación tiene como objetivo solucionar este
problema, de tal forma que la presentación se desacopla de la
funcionalidad proporcionada por la capa de servicios. Además,
cada vez es más habitual el acceso a los ecosistemas
tecnológicos desde cualquier tipo de dispositivo por lo que la
139
A. García; F.J. García-Peñalvo - Patrón arquitectónico para la definición de ecosistemas de eLearning basados en desarrollos open source
Figura 1. Patrón arquitectónico
capa de presentación debe encargarse de asegurar la
accesibilidad del ecosistema desde los mismos.
Por último, el patrón arquitectónico propuesto se completa
con dos elementos necesarios para lograr ecosistemas robustos
que cubran las necesidades de forma adecuada y que puedan
evolucionar según las decisiones tomadas dentro de la entidad o
institución. Se trata de la necesidad de tener como entrada en el
ecosistema una sólida base metodológica que sustente la
definición y el funcionamiento del sistema, así como una gestión
de proyecto y de riesgos que asegure el cumplimiento de dicha
metodología y la evolución del ecosistema a lo largo del tiempo.
V. EJEMPLO
A la hora de aplicar el patrón tanto los componentes como
las relaciones entre los mismos pueden variar de un ecosistema a
otro. Así mismo, el número de capas puede variar en función de
las necesidades de la institución para la cual se desarrolla el
ecosistema.
Para demostrar el funcionamiento de la propuesta
arquitectónica, se ha llevado a un contexto real, concretamente a
una Administración Pública. Cabe destacar que el desarrollo de
cada componente ha sido llevado a cabo por equipos diferentes
140
lo que ha permitido poner a prueba la metodología, la gestión de
proyecto y riesgos así como la integración transparente de los
componentes.
La arquitectura implementada se plantea en tres capas,
infraestructura, gestión de datos estáticos y servicios (Fig. 2). En
cuanto a la capa de presentación, se ha mantenido la identidad
corporativa a nivel de presentación pero no se ha obtenida una
unicidad que muestre el ecosistema como un todo.
En primer lugar, una capa de infraestructura entre cuyos
componentes principales se encuentra: el servidor de correo
basado
en
Microsoft
Exchange
(http://office.microsoft.com/exchange), el único software
utilizado que no es Open Source pero que se requiere por
exigencias de funcionamiento interno de la propia
Administración Pública; el servidor de indexación basado en
Apache Solr (http://lucene.apache.org/olr/) cuyo objetivo es
mejora notablemente las búsquedas en los diferentes servicios
que ofrece el ecosistema; y la gestión y autenticación
centralizada de usuarios soportada gracias a la combinación de
OpenLDAP (http://www.openldap.org) y CAS (Central
Authentication Service) (http://www.jasig.org/cas).
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A. García; F.J. García-Peñalvo - Patrón arquitectónico para la definición de ecosistemas de eLearning basados en desarrollos open source
Figura 2. Arquitectura del ecosistema tecnológico para la Administración Pública
La centralización de los datos estáticos se realiza mediante el
gestor documental Alfresco (http://www.alfresco.com), cuya
funcionalidad se ha extendido mediante la definición de un
conjunto de servicios REST que proporcionan una interfaz para
que el resto de componentes puedan obtener los datos del
repositorio.
Por último, la capa de servicios abarca en la actualidad tres
componentes. La Red Social para empleados públicos, que
proporciona un espacio basado en comunidades de prácticas
cuyo objetivo es generar conocimiento a partir de la interacción
de los usuarios, de tal forma que dicho conocimiento revierte en
otro de los servicios del ecosistema, el Banco de Conocimiento.
Ambos
componentes,
basados
en
Drupal
(http://www.drupal.org), se conectan de forma indirecta a través
de la capa de gestión de datos estáticos, de tal forma que existe
XVI Simposio Internacional de Informática Educativa (SIIE’14)
total independencia a nivel de servicio. El tercer componente es
el portal de información pública basado en Liferay
(http://liferay.com).
VI. CONCLUSIONES
Los ecosistemas eLearning permiten gestionar el
conocimiento generado en cualquier tipo de entidad o
institución. Este tipo de soluciones posee una serie de ventajas
frente a los sistemas de información utilizados hasta hace
algunos años pero, a su vez, su implantación conlleva un mayor
grado de complejidad, dando lugar a diferentes problemas.
El patrón arquitectónico propuesto ofrece una solución a los
problemas detectados, de tal forma que permite definir
ecosistemas tecnológicos para la gestión del aprendizaje con un
alto grado de integración y cohesión entre los componentes del
141
A. García; F.J. García-Peñalvo - Patrón arquitectónico para la definición de ecosistemas de eLearning basados en desarrollos open source
ecosistema, así como potenciar la componente evolutiva de los
ecosistemas en todas sus vertientes, desde la actualización de
componentes hasta la redefinición de los flujos de información.
VII. AGRADECIMIENTOS
Este trabajo de investigación se ha realizado dentro del
Programa de Doctorado en Formación en la Sociedad del
Conocimiento
de
la
Universidad
de
Salamanca
http://knowledgesociety.usal.es.
Los autores quieren dar las gracias al Grupo de Investigación
en InterAcción y eLearning (GRIAL) http://grial.usal.es y al
Instituto Universitario de Ciencias de la Educación (IUCE) de la
Universidad de Salamanca http://iuce.usal.es por sus
contribuciones y soporte.
[6]
[7]
[8]
[9]
[10]
[11]
VIII. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
142
R. M. Stallman and GNU Emacs Manual, "Free Software Foundation," El
proyecto GNU–Fundación para el software libre, 1986.
Open Source Initiative. (2008). Open Source Definition. Available:
http://www.opensource.org
A. García Holgado and F. J. García Peñalvo, "Análisis de integración de
soluciones basadas en software como servicio para la implantación de
ecosistemas tecnológicos corporativos," in Avances en Informática y
Automática. Séptimo Workshop, J. Cruz-Benito, A. García-Holgado, S.
García-Sánchez, D. Hernández-Alfageme, M. Navarro-Cáceres, and R.
Vega-Ruiz, Eds., ed Salamanca: Departamento de Informática y
Automática de la Universidad de Salamanca, 2013, pp. 55-72.
F. J. García, M. J. Rodríguez, A. M. Seoane, M. Á. Conde, V. Zangrando,
and A. García, "GRIAL (GRupo de investigación en InterAcción y
eLearning), USAL," Informática Educativa Comunicaciones, 2012.
F. J. García-Peñalvo, "Docencia," in Libro blanco de la Universidad digital
2010, J. L. Orueta and L. M. Pavón, Eds., ed: Ariel. Colección Fundación
Telefónica. Cuaderno 11, 2008, pp. 29-61.
[12]
[13]
[14]
[15]
[16]
F. J. García-Peñalvo, V. Zangrando, A. García-Holgado, M. Á. CondeGonzález, A. M. Seoane Pardo, M. Alier, et al., "TRAILER project
overview: Tagging, recognition and acknowledgment of informal learning
experiences," in Computers in Education (SIIE), 2012 International
Symposium on, 2012, pp. 1-6.
T. Hill and R. Westbrook, "SWOT analysis: it's time for a product recall,"
Long range planning, vol. 30, pp. 46-52, 1997.
F. Buschmann, R. Meunier, H. Rohnert, P. Sommerlad, and M. Stal,
"Pattern-oriented software architecture: a system of patterns. 1996," Part
II, 2001.
L. Uden and E. Damiani, "The future of E-learning: E-learning ecosystem,"
in Digital EcoSystems and Technologies Conference, 2007. DEST '07.
Inaugural IEEE-IES, 2007, pp. 113-117.
A. García-Holgado, "Análisis de integración de soluciones basadas en
software como servicio para la implantación de ecosistemas tecnológicos
corporativos," Master’s thesis, University of Salamanca, 2012.
A. García-Holgado and F. J. García-Peñalvo, "The evolution of the
technological ecosystems: an architectural proposal to enhancing learning
processes," presented at the Proceedings of the First International
Conference on Technological Ecosystem for Enhancing Multiculturality,
Salamanca, Spain, 2013.
P. Quintas, P. Lefrere, and G. Jones, "Knowledge management: A strategic
agenda," Long Range Planning, vol. 30, pp. 385-391, 6// 1997.
F. J. García-Peñalvo and M. Á. Conde, "Knowledge Management and
decision making based on informal learning activities in business," in
Proceedings of the 2nd Global Innovation and Knowledge Academy (GIKA
2013)
J. Esteves and J. Pastor, "An ERP lifecycle-based research agenda," in 1st
International Workshop in Enterprise Management & Resource Planning,
1999.
T. A. Alspaugh, H. U. Asuncion, and W. Scacchi, "The Role of Software
Licenses in Open Architecture Ecosystems," in IWSECO@ ICSR, 2009.
J. Bosch, "Architecture challenges for software ecosystems," in
Proceedings of the Fourth European Conference on Software Architecture:
Companion Volume, 2010, pp. 93-95.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Architecture of a concept-based information
retrieval system for educational resources
Roberto Pérez-Rodríguez; Luis Anido-Rifón; Miguel Gómez-Carballa; Marcos Mouriño-García
Department of Telematics, University of Vigo
Abstract—In the literature, the bag-of-concepts representation
of textual documents is regarded as a convenient alternative to the
bag-of-words representation, since the words that users choose as
search terms may differ from the ones that the author of a
particular document chose for referring to the same concept—thus
reducing recall. Besides, the bag-of-words representation does not
detect the differences of context in ambiguous terms, what reduces
precision in search results. The objective of our research is to
evaluate the applicability of the bag-of-concepts paradigm to
information retrieval of educational resources. We built an
information retrieval system that follows that approach and
evaluated it with final users. The main contribution of this paper is
the description of the architecture of the information retrieval
system. First evaluation results show that the information retrieval
system based on bag-of-concepts works well for retrieving
educational resources. The practical implications of this research
are that: it demonstrates that it is workable to build information
retrieval systems based on bag-of-concepts and that they are
efficient for retrieving educational resources. This makes them an a
priori interesting alternative to be applied in other domains.
Keywords—Information
retrieval;
representatation; Software architecture
Bag-of-Concepts
I. INTRODUCTION
Traditional Information Retrieval (IR) systems make use of a
document representation known as Bag-of-Words (BoW). Thus,
a document is represented as a list of words, having each word a
certain weight, which is assigned in function of their frequency
of occurrence in the text.
The problem with the Bag-of-Words representation is that it
does not deal with the synonymy and the polysemy of words. In
this way, if I search for “stock exchange”, those documents that
contain “stock market” will not be retrieved, thus negatively
affecting recall. Besides, if I want to get information on planet
Mercury by searching for “mercury” I will obtain, apart from
documents that mention planet Mercury, also those mentioning
the chemical element mercury, which affects negatively the
precision of the information retrieval system.
As a possible solution to the problems related to the
representation in Bag-of-Words, some researchers have
proposed the representation in Bag-of-Concepts (BoC),
understanding concept as unit of meaning. Accordingly, a
document is represented as a list of concepts, where each
concept has an associated weight, in accordance with their
relevance in the document. Some previous works, such as those
of [1] and [2] show that the Bag-of-Concepts representation
increases the values for precision and recall in information
retrieval systems.
The objective of our research is to provide an answer to the
following question: is the Bag-of-Concepts paradigm
appropriate for information retrieval of educational resources?
Our working hypothesis is that the Bag-of-Concepts paradigm
may be very suitable for building information retrieval systems
in repositories of educational resources, but its validity needs to
be confirmed empirically.
Our research method is based on Design Science Research
Methodology [3], and it consisted on designing and
implementing an information retrieval systems for educational
resources that follows the Bag-of-Concepts paradigm and,
afterwards, evaluating it with end-users, in a workshop that
involved primary and secondary education teachers, in the
context of the iTEC project. The main contribution of this paper
is the description of the software architecture of the information
retrieval system.
The rest of this paper is organised as follows. Section 2
reviews previous works on Bag-of-Concepts representations and
its application to information retrieval. Section 3 describes the
architecture of the information retrieval system we built. Section
4 briefly exposes the results of the evaluation of the system with
end-users. Finally, Section 5 presents the conclusions of this
research.
II. LITERATURE REVIEW
[4] propose Explicit Semantic Analysis (ESA), a new
method that uses techniques of active learning for representing
in an explicit way the meaning of any text as a weighted vector
of Wikipedia-based concepts, thus substituting the BoW
representation for a BoC one. In this way, a particular document
is represented as a weighted sequence of concepts from
Wikipedia, ordered in accordance with their relevance in the
document. The authors chose to use Wikipedia because it is the
major repository of knowledge in the entire Web. In order to
better evaluate the Wikipedia-based approach, they compared it
to another one based on the Open Directory Project (ODP),
obtaining better results the Wikipedia-based system. Evaluation
results show that the use of ESA leads to impressive
143
R. Pérez; L. Anido; M. Gómez; M. Mouriño - Architecture of a concept-based information retrieval system for educational resources
improvements in calculating semantic relatedness, rising from r
= 0.56 to 0.75 for individual words, and from r = 0.6 to 0.72 for
texts.
[5] present Koru, a search engine that leverages Wikipedia in
order to provide a knowledge-based and domain-independent
information retrieval system. Wikipedia is particularly wellsuited for this task, since it comprises a wide set of terms,
concepts, and relations that were defined manually and are
domain-independent. The authors refer to their approach as
“topic browsing”, because query terms are matched to concepts
in the knowledge base and the system retrieves documents that
are relevant to particular concepts. Koru was evaluated using a
large collection of documents from different areas and different
information retrieval tasks, improving significantly the
performance of information retrieval.
[6] explore the integration of semantic knowledge from
collaborative knowledge based in information retrieval systems.
For the first time, they make use of Wiktionary together with
Wikipedia for this task. They evaluate two information retrieval
systems, SR-Text and SR-Word, which are based on semantic
relatedness, and they compare their performance with an
statistical model as the one Apache Lucene [7] implements. In
both semantic models, articles from Wikipedia and entries from
Wiktionary are used as textual representation of concepts.
[8] mention that the obtention of semantically related
documents is a common task in recommender systems. They
suggest improvements to the ESA method, such as exploiting
semantically relevant structures from Wikipedia— i.e. the
document linking graph, and the categories. They call Extended
Explicit Semantic Analysis (XESA) to their method. The authors
present an application based on XESA: a recommender system
called Crokodil aimed at recommending appropriate educational
resources to learners. In order to evaluate their approach, they
built a specific corpus, and results show that the value of Mean
Average Precision (MAP) rises to 0.657, from 0.595 obtained
with the basic ESA.
[1] propose a concept-based document representation that
uses concepts from linguistic resources such as WordNet and
WordNetDomain. The weighting scheme they follow is based on
the notion of concept centrality, defined as follows “the
centrality of a concept is based on its apparent importance
(measured across its frequency of occurrence) in the document
on the one hand and on its latent importance (measured across
its semantic relatedness to other concepts) in the document on
the other hand”. In order to evaluate their method, they used 423
news from TIME magazine and 83 queries. Results show that
the Bag-of- Concepts representation is much more efficient than
the Bag-of-Words one.
144
III. ARCHITECTURE OF THE INFORMATION RETRIEVAL SYSTEM
A. Fundamentals of our approach
In a way similar to [9], a document is represented as a
weighted vector of concepts, in which C is the set of concepts:
dj = (x1j, x2j,…, x|C|j) (1)
The set of concepts C is composed of Wikipedia articles,as
defined by [10]. Then, a particular document is just a vector that
contains the weights of the concepts in the document—having
those concepts not present in the document a weight of zero.
The process of creating the vectors of concepts is known as
wikification. In the literature, there are several approaches to
wikification, such as those of [11] and [12]. We use the one
proposed by [13], which is based on using machine learning
techniques in order to enrich any particular text with links to
Wikipedia articles—using as a training set the set of Wikipedia
articles itself. The authors have released the software under an
open source license with the name of Wikipedia Miner. On the
basis of a comparative of available wikification software
performed by [14], Wikipedia Miner constitutes an excellent
option for generating concept vectors from texts.
The wikification method of Milne and Witten is
implemented in three steps. The first one is candidate selection.
To that end, Wikipedia Miner generates a list with all the ngrams in the document and consults the vocabulary of all the
“anchor texts” of Wikipedia to check if they correspond to any
of them. The most relevant candidates are those more frequently
used for linking to Wikipedia articles, that is to say, the ones
most frequently used as “anchor texts”. The second step is link
disambiguation, that is, for each “anchor text” the most probable
target article is selected. The algorithm for target selection is
based on machine learning techniques, which have two factors
into account: how common the relation between an “anchor
text” and a target article is; and the relation with the
nonambiguous terms from the context. The algorithm is trained
with Wikipedia articles, where “anchor texts” have been
disambiguated manually. The third step is link detection, and its
objective is to measure the relevance of particular concepts in
the text. To that end, a machine learning algorithm is used. The
idea here is that every Wikipedia article is an example of what
constitutes a relevant concept. In order to calculate the
relatedness between two concepts, or between a query and a
document we use the measure known as cosine similarity. Thus,
two documents—or a query and a document—represented as
weighted concept vectors can be compared using this similarity
measure [8]. Being di and dj two vectors that represent two
documents (or a query and a document):
XVI Simposio Internacional de Informática Educativa (SIIE’14)
R. Pérez; L. Anido; M. Gómez; M. Mouriño - Architecture of a concept-based information retrieval system for educational resources
sim(di,dj)= cos(ϕ)=
di·dj
(2)
|di|*|dj|
B. Architecture
The architecture of the information retrieval system is
composed of several cooperating modules: the web application,
the indexer, the data store, a pool of Wikipedia Miner instances,
and several web scrapers. Fig. 1 shows a diagram of the
components in the architecture and the way they relate to each
other.
Algorithm 1 Boosting fields according to their relevance
query.keywords do ||
fields concept_100 boost 10
fields concept_95 boost 9.5
fields concept_90 boost 9
[…]
fields concept_50 boost 5
end
The web application was developed in Ruby on Rails, a
framework for web development that is based on the Ruby
language and that is particularly well suited for the agile
development of applications. The application runs on a
Passenger server, that is integrated into Apache as a module.
Another important component is the indexer, that is in charge
of maintaining the index of documents. The index stores the
relation between particular concepts and the documents in which
they occur—in a way similar to a traditional index of terms at
the end of a reference manual. The indexer builds on Apache
Solr [15], a potent open-source search engine. Apache Solr
indexes documents following a Bag-of-Words strategy, but with
some tweaks we can make it to index concepts:
• Concepts are represented as text preceded by the #
symbol.
• Stemming14 is disabled for concepts—that is to say, for
text that is preceded by the # symbol.
• The tokenisation strategy is modified so that Solr
tokenises the terms starting with #, leaving the # symbol
intact.
• Solr allows for assigning a given relevance to certain
fields of documents, which is typically used to give more
relevance to a document that includes a search term in its
title instead of in its body. Exploiting this feature, we
define intervals of relevance in a 0-100 scale—for
instance, the interval from 50 to 55, from 55 to 60, etc. In
14
Stemming aims at indexing terms in a way that is independent of
morphological variations. The procedure consists on indexing the lexical root of
words.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
this way, Solr is able to store a given concept in a
relevance interval for a concrete document. Algorithm 1
shows a snippet of code revealing how to boost results in
function of the position of their concepts in the scale of
relevance.
The document store stores the actual documents, as well as
its concepts and associated relevance. We use a MySQL
database to that purpose.
In order to obtain weighted concept vectors we have a pool
of servers running several instances of Wikipedia Miner, called
annotators. The reason for needing several servers is that the
wikification process is computationally expensive. We
implemented a Broker class, that dispatches Tasks produced by
scrapers to be consumed by annotators. Thus, we can ensure that
annotators are always running at full capacity. Weighted concept
vectors are extracted from documents using Wikipedia Miner
instances—particularly the wikify service. This service detects
the relevant concepts in a document and returns them together
with their associated weight. As stated by Milne “By this point,
many users of the toolkit will have achieved what they need: a
list of Wikipedia topics for any given document, weighted by
their relevance to it”.
Finally, we have several scrapers, which are in charge of
obtaining resources for web sites such Khan Academy or the
Learning Resource Exchange (LRE). The main reason of using
scrapers instead of basic crawlers is to get clean textual
descriptions of educational resources, after removing all HTML
boilerplate code. This ensures that the wikification process
performs smoothly. Each one of the those sources needs a
devoted scraping procedure. Other types of sources, such as
blogs or news, provide RSS feeds, which facilitates the task of
getting to the concrete entries we consider the resource to be a
concrete post or a concrete piece of news. The sources that
provide RSS feeds can be incorporated dynamically to our
system. Feeds give us directly the name of the entry, the date of
publication, and a brief excerpt of the content, at times, they also
provide us with some image. In order to get the entire body of
the entry we programmed an heuristic method that extracts the
full content of entries, as well as a representative image if
available.
The scraping process may take a long time, so it must be
performed as a background process. Besides, it must be taken
into account that not many requests should be issues to a
particular web server in a short time, as it could be regarded as a
Denial of Service attack, and the target web server might block
the IP.
Indexing new resources: In the phase of introducing new
resources in the information retrieval system, the principal
components are the scrapers, which gather textual descriptions
of educational resources from web sites so thatthey may be
indexed. Inside this node in Fig. 1, we can see some example of
145
R. Pérez; L. Anido; M. Gómez; M. Mouriño - Architecture of a concept-based information retrieval system for educational resources
scrapers, such as those devoted to the LRE, and KlasCement,
Coursera or scientific articles from ScienceDaily. Fields of
educational resources are stored in the MySQL database,
including: title of the resources, its description, a representative
image, and its URL. The title of the resource and its description
are the input text for some instance of Wikipedia Miner, which
creates a weighted concept vector that acts as representation of
an educational resource. After that, the resource is indexed with
Solr.
When the user introduces a search term— for instance, “tesla”—
and clicks on the search button, the information retrieval system
presents the concepts that are related to the query. In the case of
“tesla”, those concepts include “Nikola Tesla” and “Tesla
Motors”, as depicted in Fig. 2. Then, the user selects a particular
concept and the information retrieval system presents the
educational resources that are more relevant for that concept—
after querying the Solr index (see Fig. 3 and Fig. 4 for its
alternative concept). Every concept is displayed with its
description, a thumbnail, and the most representative data of the
concept. Those data are extracted from the info-box that many
entries in Wikipedia have by using scraping techniques. The
principal purpose of info-boxes is to provide a summary of a
topic and to facilitate navigation between articles that share a
class/instance or object/property relationship.
Fig. 2. Screenshots of the concepts proposed for the search term “tesla”.
Fig. 1. Diagram of the architecture.
The searching process in action: The user is presented with a
traditional search input box, that invites to enter a search term.
146
Fig. 3. Educational resources for the concept “Nikola Tesla”.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
R. Pérez; L. Anido; M. Gómez; M. Mouriño - Architecture of a concept-based information retrieval system for educational resources
IV. EVALUATION AND ANALYSIS
Six teachers participated in a workshop in Vigo (see Fig. 5
and Fig. 6). After an thorough explanation of the search tool
they had time for looking for educational resources. At the end
of the workshop, they answered a questionnaire.
It is noteworthy that an 84% of participants agree or strongly
agree with the statement “it provides resources that the user may
not know and that withoutusing the tool surely he/she would not
have used it” (see Fig. 7).
Answers to the question “how do you evaluate the main
search tool?” were also very positive, since an 83% of
participants consider it good and a 17% very good, as depicted
in Fig. 8.
As informal observations we add that all participants were
making use of the search tool in a very natural way, and that the
selection of the appropriate concept from the alternatives was
performed with no problem. Moreover, the concept-based
approach to searching seemed very natural to them, probably
because of the nature of educational resources—which use to be
built around one or several “concepts”.
Also, as an informal observation we can note that some users
were surprised about the “appropriateness” of results, that is to
say, that they regarded the results as being focused in which they
were trying to search for.
with end-users (teachers) are very positive, which allow us to
answer in an affirmative way to our initial research question: the
concept-based paradigm works well for information retrieval of
educational resources.
Besides, the Bag-of-Concepts has an additional value that
should not be overlooked: it really makes sense to end-users
(who have an innate capacity for the semantic processing of
texts). This makes search results to be predictable and cause no
astonishment whatsoever.
Fig. 5. Workshop in Vigo.
Fig. 4. Resources for the concept “Tesla Motors”.
V. CONCLUSIONS
This paper shows how an information retrieval system for
educational resources based on a Bag-of-Concepts document
representation can be effectively built. First evaluation results
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 6. Testing the system.
147
R. Pérez; L. Anido; M. Gómez; M. Mouriño - Architecture of a concept-based information retrieval system for educational resources
An emergent property—consequence of the Bag-ofconcept
being understandable by humans—is that those representations
work very well as document metadata. This enables to navigate
clicking on concepts (metadata) of documents, in a sort of
exploratory search.
We have to say—as a possible limitation of the Bag-ofconcepts paradigm—that the generation of weighted concept
vectors is quite exigent computationally, and we need to enable
servers dedicated to the task of generating weighted concept.
The research presented in this paper is very relevant for the
repositories of educational resources already existent, which can
benefit greatly from incorporating a concept-based information
retrieval system. Besides, the positive results of this research
allow us to think that the concept-based approach may work
well in other areas such as news readers, blogs, or scientific
papers.
VI. ONLINE APPLICATION
The online application can be accessed at www.itec-sde.net
VII. ACKNOWLEDGEMENTS
Fig. 7. Answers to the statement “It provides resources that the user may not
know and without using the tool surely he/she would not have used it”
The work presented in this paper was partially supported by
the European Commission’s FP7 programme—project iTEC:
innovative Technologies for an Engaging Classroom (Grant no.
257566); Spanish Ministry of Science and Innovation under
grant “Methodologies, Architectures and Standards for adaptive
and accessible e-learning (Adapt2Learn)” (TIN2010-21735C02-01); and Xunta de Galicia through REDPLIR (Red Gallega
de Procesamiento del Lenguaje y Recuperacion de Informacion)
- R2014/034. The content of this paper is the sole responsibility
of its authors and it does not represent the opinion of the
European Commission, or the Spanish Ministry of Science and
Innovation, which are not responsible of any use that might be
made of the information contained herein.
VIII. REFERENCES
[1]
[2]
[3]
[4]
[5]
[6]
Fig. 8. Answers to the question “how do you evaluate the main search tool?”.
Therefore, in the case of repositories of educational resources,
where we do not have many new resources per day, the conceptbased approach is workable. In the case of systems that may
need to index many documents per minute, the application of the
Bag-of-Concepts paradigm might impose hardware requirements
that make it economically not viable.
148
[7]
[8]
[9]
F. Boubekeur and W. Azzoug, “Concept-based indexing in text
information retrieval,” Int. J. Comput. Sci. Inf. Technol., vol. 5, 2013.
V. Jalali and M. R. M. Borujerdi, “Information retrieval with conceptbased pseudo-relevance feedback in MEDLINE,” Knowl. Inf. Syst., vol. 29,
pp. 237–248, 2011.
K. Peffers, T. Tuunanen, M. a. Rothenberger, and S. Chatterjee, “A design
science research methodology for information systems research,” J.
Manag. Inf. Syst., vol. 24, pp. 45–77, 2007.
E. Gabrilovich and S. Markovitch, “Computing Semantic Relatedness
using Wikipedia-based Explicit Semantic Analysis,” in Proceedings of the
20th International Joint Conference on Artificial Intelligence, 2007, pp. 1–
6.
D. N. Milne, I. H. Witten, and D. M. Nichols, “A knowledge-based search
engine powered by wikipedia,” in CIKM ’07: Proceedings of the sixteenth
ACM conference on Conference on information and knowledge
management, 2007, pp. 445–454.
C. Müller and I. Gurevych, “Using Wikipedia and Wiktionary in
Information Retrieval,” in Evaluating Systems for Multilingual and
Multimodal Information Access, 2009, vol. 5706, pp. 219–226.
E. Hatcher and O. Gospodnetic, Lucene in Action, vol. 54. 2005, pp. 1–30.
P. Scholl, B. Doreen, R. Dom, C. Rensing, and R. Steinmetz, “Extended
Explicit Semantic Analysis for Calculating Semantic Relatedness of Web
Resources,” no. September, pp. 324–339, 2010.
O. Täckström, “An Evaluation of Bag-of-Concepts Representations in
Automatic Text Classification,” 2005.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
R. Pérez; L. Anido; M. Gómez; M. Mouriño - Architecture of a concept-based information retrieval system for educational resources
[10] P. Malo and A. Sinha, “Concept-based document classification using
Wikipedia and value function,” J. Am. …, vol. 62, no. 12, pp. 2496–2511,
2011.
[11] O. Medelyan, I. H. Witten, and D. Milne, “Topic Indexing with
Wikipedia,” Proc. AAAI WikiAI Work., vol. 1, pp. 19–24, 2008.
[12] R. Mihalcea and A. Csomai, “Wikify!: linking documents to encyclopedic
knowledge,” in Proceedings of the sixteenth ACM conference on
Conference on information and knowledge management, 2007, pp. 233–
242.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[13] D. Milne and I. H. Witten, “An open-source toolkit for mining Wikipedia,”
Artif. Intell., vol. 194, pp. 222–239, 2013.
[14] P. N. Mendes, M. Jakob, A. García-Silva, and C. Bizer, “DBpedia
spotlight: shedding light on the web of documents,” in Proceedings of the
7th International Conference on Semantic Systems, 2011, pp. 1–8.
[15] D. Smiley and E. Pugh, Solr 1.4 Enterprise Search Server. Packt
Publishing Ltd, 2009.
149
Sistema de gestión del conocimiento para la definición
de entornos de aprendizaje adaptativos
Ángel Fidalgo Blanco1; María Luisa Sein-Echaluce Lacleta2; Francisco José García-Peñalvo3; Miguel Ángel Conde4
1
Universidad Politécnica de Madrid
Dept. Matemática Aplicada y Métodos informáticos
Madrid, España
[email protected]
2
Universidad de Zaragoza
Departamento de Matemática Aplicada
Zaragoza, España
[email protected]
3
Universidad de Salamanca
Dept. Informática y Automática
Salamanca, España
[email protected]
4
Universidad de León
Dept. Ingenierías Mecánica, Informática y Aeroespacial
León, España
[email protected]
I. INTRODUCCIÓN
Resumen- Los sistemas más utilizados en e-learning (tanto en
formación a distancia como en el apoyo a la formación presencial)
son los Learning Content Management Systems (LCMS). La
característica común a todos ellos es que tanto profesorado como
alumnado deben adaptarse a la estructura organizativa del LCMS.
El alumnado está supeditado a la organización de recursos y
actividades definidas por el profesorado y este debe adaptarse a la
forma de almacenar los recursos del LCMS y al tipo de actividades
permitidas bajo una secuencia predefinida. La ingeniería del
software puede romper este esquema, permitiendo gestionar el
aprendizaje de forma individual y adaptando, tanto los recursos
como su organización, al perfil y necesidades de cada alumno. Este
trabajo se basa en la integración de recursos, generados por el
profesorado, el alumnado y el sector, en asignaturas de diversos
grados de Ingeniería. Sobre esos recursos se ha diseñado un sistema
de gestión de conocimiento para que el alumno especifique sus
requerimientos circunstanciales (hacer un trabajo, preparar un
examen concreto, etc.) El sistema adaptativo le presenta los
recursos disponibles más adecuados. Dicha ventana actualiza los
contenidos de forma continua. El resultado de la cooperación, entre
el alumnado participante en la experiencia, ha generado más de 500
recursos de aprendizaje.
Palabras clave— aprendizaje adaptativo; aprendizaje cooperativo;
multifuncionalidad; sistema de gestión de contenidos de aprendizaje.
Los sistemas más populares en e-learning son los LCMS
(Learning Content Management Systems), que incorporan la
gestión de contenidos a los sistemas de gestión académica de
alumnos (matriculación, comunicación, notas, tutorías).
La gestión de contenidos sigue estructuras organizativas
predefinidas como blogs, wikis y carpetas. En estas estructuras
se pueden organizar los contenidos como una “pila de platos”
(blog), como una red de páginas web (wikis) y en conjuntos de
directorios (carpetas). Los usuarios pueden, de forma
cooperativa o individual, organizar sus contenidos en base a la
estructura elegida.
Así mismo, los sistemas LCMS permiten organizar los
contenidos en base a temarios. La estructura de estos temarios
pueden tiene la forma de listas (como en Moodle [1]) o de
índices. Habitualmente los contenidos de los temarios están
compuestos por recursos de aprendizaje y actividades que son
elegidos y secuenciados por el profesorado, acordes con su
diseño de la asignatura, y al que todo el alumnado debe
adaptarse.
Por tanto, actualmente los sistemas e-learning continúan
siendo utilizados bajo el paradigma centrado en el profesor, que
marca el planteamiento, el ritmo y las actividades a realizar. Por
otra parte, el profesorado se adapta a las opciones que ofrece el
sistema e-learning para realizar su diseño. De modo que, con
151
Á. Fidalgo; M.L. Sein-Echaluce; F. J. García-Peñalvo; M. Á. Conde. Sistema de gestión del conocimiento para la definición de entornos de aprendizaje adaptativo
todo esto, es el LCMS el que condiciona el método formativo
que debe seguir el alumnado.
Por el contrario, cada vez es más habitual que el alumnado
utilice herramientas web 2.0 en “la nube” (cloud computing)
para compartir recursos de aprendizaje. Estos recursos pueden
ser apuntes de clase, soluciones a ejercicios, dudas y, en general,
cualquier recurso que les sea útil para la realización de sus
actividades (estudiar, realizar prácticas y trabajos, etc.)
Pero el alumnado realiza habitualmente estas actividades de
manera informal, en círculos de confianza (amigos) y de forma
puntual (habitualmente en fechas cercanas a plazos de entrega o
exámenes). Aunque existen iniciativas más organizadas, unas de
tipo informal dirigidas por el propio alumnado [2], y otras de
tipo formal y enmarcada, habitualmente, en proyectos de
mentoría organizados por las instituciones el profesorado o la
institución académica [3].
En definitiva, los sistemas e-learning, que continúan
marcando la forma de aprender, no están dando servicio a la
necesidad, cada vez más creciente, de aprendizaje informal.
Aprendizaje que se produce en paralelo a cualquier asignatura y
que utiliza recursos elaborados por el profesorado, recursos
elaborados por el alumnado y recursos externos (web social).
El objetivo de este trabajo es aportar metodología y técnicas
que permitan integrar recursos generados por el profesorado, el
alumnado y agentes externos del propio sector ingenieril, así
como gestionarlos para adaptarlos a los distintos requerimientos
y necesidades de aprendizaje (del profesorado y del alumnado),
todo ello a través de funcionalidades basadas en la gestión del
conocimiento.
Para conseguir el objetivo, se utiliza un sistema de gestión de
conocimiento, de desarrollo propio, que actualmente se está
utilizando en entornos estratégicos de Ingeniería, tanto por el
Ministerio de Economía y Competitividad [4] como por el
Ministerio de Educación Cultura y Deporte [5].
En el siguiente apartado se describirá el contexto, compuesto
por la arquitectura del sistema, el entorno de desarrollo de la
experiencia y los objetivos del trabajo. Seguidamente se describe
la funcionalidad de la herramienta en base a los requisitos de los
usuarios. En el apartado siguiente se describe la metodología del
estudio realizado. A continuación se presentan los resultados del
estudio dando paso a la discusión y conclusiones.
II. CONTEXTO
La misión de este apartado es ofrecer una visión global del
trabajo realizado: la herramienta utilizada, el entorno de
aplicación el estudio y los objetivos a alcanzar.
A. Estructura de la herramienta de gestión de conocimiento
Uno de los requisitos principales para poder gestionar el
aprendizaje de forma individual es que cada alumno tenga una
organización propia de los recursos. Por tanto, deben coexistir
“n” organizaciones individuales de recursos. Para conseguirlo,
152
es necesaria una estructura multicapa que permita disponer de
una capa conceptual, donde se identifiquen y organicen los
recursos para cada requerimiento, y una capa física que gestione
de forma eficaz los recursos. Es decir, la estructura debe ser
capaz de gestionar los recursos del sistema, pero también debe
ser capaz de organizarlos en función de las necesidades
individuales. La estructura multicapa se basa en lo que Nonaka
denominó organización hipertexto [6], que permite organizar los
recursos de una organización en función de los grupos y sus
necesidades concretas.
El sistema multicapa permite realizar la gestión de los
recursos de forma independiente a los requerimientos
funcionales [7]. Es decir, se pueden modificar e introducir
nuevas funcionalidades sin necesidad de cambiar las estructuras.
En la figura 1 se muestras las capas que se describen a
continuación.
La capa física está orientada a los recursos. La información
base está compuesta por archivos, imágenes, enlaces, videos y
cualquier elemento habitual con el que trabajan tanto el
profesorado como el alumnado. Los recursos no se gestionan en
sí mismos, sino que forman parte de una estructura más
compleja “el objeto”. Cada objeto tiene asociado un formulario
y uno o varios tipos de recursos. De esta forma se puede
construir cualquier estructura de datos; por ejemplo, un objeto
puede ser un historial médico de un paciente, un recurso de
aprendizaje, una solicitud de ayuda, o cualquier otra estructura a
gestionar. Este método permite cambiar la estructura de los
objetos incluso cuando el sistema de gestión de conocimiento
está operativo.
Dentro de la capa conceptual se encuentra la capa semántica
que está compuesta por ontologías. Es la forma más eficaz de
organizar el conocimiento en base al intercambio del mismo [8].
Esta capa tiene una gestión propia, pudiendo agrupar las
ontologías de forma jerárquica y en multinivel. Por ejemplo, un
índice de ontologías (conjunto ordenado de forma jerárquica)
puede ser una categoría (nivel 1) y un conjunto de categorías
puede ser un contexto (nivel 2). Evidentemente una misma
ontología puede pertenecer a “e” estructuras jerárquicas y a “n”
niveles.
La capa conceptual está orientada al usuario, profesorado y
alumnado. Por un lado, está compuesta por un conjunto de
funcionalidades orientadas a la gestión del conocimiento. Las
funciones son del tipo: buscar recursos, relacionar recursos,
clasificar recursos, organizar recursos, marcar recursos etc., y
son funciones básicas de la gestión de conocimiento [9]. Todas
las funciones pueden trabajar tanto con ontologías como con
objetos y además se comunican entre si. Por ejemplo, la función
“buscar” puede entregar un conjunto de ocurrencias de objetos a
la función clasificar y ésta a su vez a la función organizar.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Á. Fidalgo; M.L. Sein-Echaluce; F. J. García-Peñalvo; M. Á. Conde. Sistema de gestión del conocimiento para la definición de entornos de aprendizaje adaptativo
profesorado) y en base a una necesidad de aprendizaje concreta
(p.e. preparar un examen).
Fig 1. Estructura multicapa
Los requerimientos están identificados por la terna: contexto,
usuario, actividad. Por ejemplo, un contexto puede ser “examen
próximo”, una actividad “preparar el examen Ex1” y un usuario
“estudiante desesperado”. En este caso el sistema activaría un
conjunto de funciones para buscar, por ejemplo, exámenes
resueltos del tema al que se vaya a presentar el estudiante
Como ya se ha dicho, las capas conceptual y física tienen
procesos de gestión independientes pero están relacionadas. Por
ejemplo, el rol de administrador es el único que puede establecer
las relaciones en la capa física. El administrador define los
requerimientos estructurales que soportan los elementos del
sistema de gestión de conocimiento. El rol de profesor es el que
suele organizar y establecer niveles entre las ontologías. Es
decir, establece los requerimientos de clasificación y
organización del espacio físico. Actualmente se está
desarrollando la funcionalidad para que también pueda realizarlo
el rol de estudiante. Cualquier usuario autorizado (alumno y
profesor) puede establecer sus propios requerimientos
combinando contexto, actividad y usuario. Ver Fig. 2.
Fig 2. Personalización a través de requerimientos
El resultado del sistema es que cada usuario puede tener una
organización y selección propia de recursos de aprendizaje, en
función de los requerimientos que especifique cada usuario (o el
XVI Simposio Internacional de Informática Educativa (SIIE’14)
B. Descripción del escenario de trabajo
El estudio de caso se realiza en dos asignaturas “Informática
y Programación” de los grados de Ingeniero de Energía e
Ingeniero de Minas y “Fundamentos de la Programación” en el
grado de Biotecnología.
En cada asignatura, independientemente del programa, se ha
tratado de potenciar competencias cooperativas. Para ello, se han
utilizado los planteamientos de gestión de conocimiento en las
organizaciones (muy utilizados en el sector de la ingeniería)
[10]. La idea es tratar la asignatura como si fuese una
organización. Es decir, identificar conocimiento (recursos útiles)
que puedan mejorar los procesos (actividades de aprendizaje) de
los individuos de la propia organización (profesorado y
alumnado).
En la experiencia realizada el alumnado está dividido en 8
grupos (2 para Energía, 4 para Minería y 2 para Biotecnología)
con un total de 6 profesores. El profesorado sigue
planificaciones comunes pero suele tener sus propios recursos de
aprendizaje que no suele compartir con el resto. Así cada grupo
tiene un espacio e-learning y el alumnado solo accede a los
recursos y actividades de su propio profesorado.
El alumnado, sin embargo, comparte los recursos de los
profesores (apuntes, exámenes resueltos, ejercicios propuestos,
etc). Los descargan del espacio de e-learning, los valoran (por
ejemplo, dicen qué recurso se entiende mejor o aporta más
conocimiento) y los comparten en pequeños grupos.
Los estudios relacionan la cultura cooperativa de la
organización con la producción de recursos por el individuo [6].
Este aspecto se promueve actualmente en la asignatura. De ese
modo, los alumnos comparten recursos que ellos mismos
elaboran (como trabajos, resolución de ejercicios, dudas, etc.),
recursos basados en la experiencia (recomendaciones de
alumnos anteriores que ya han cursado la asignatura, etc.) y
cuestionarios de autoevaluación sobre los conocimientos
requeridos por el profesorado en un tema. También comparten
información social, como asociaciones (teatro, cine, revista, etc.)
y grupos (geología, mineralogía, deportes, etc.), e información
sobre especialidades (itinerarios formativos) y del sector (tipos
de trabajo, entrevistas a profesionales, a ingenieros recién
titulados, etc.)
Evidentemente todo ese conjunto de información es muy útil
para el aprendizaje y cada uno de ellos es adecuado para
situaciones distintas. Por ejemplo, los cuestionarios sobre
conocimientos previos son útiles antes de comenzar a estudiar
un determinado tema. Sin embargo, trabajos similares o
recomendaciones del alumnado son recursos que ayudan a
realizar una actividad.
153
Á. Fidalgo; M.L. Sein-Echaluce; F. J. García-Peñalvo; M. Á. Conde. Sistema de gestión del conocimiento para la definición de entornos de aprendizaje adaptativo
C. Descripción de los objetivos del estudio
El estudio pretende validar un diseño basado en la gestión de
conocimiento que permita gestionar el aprendizaje a través de
distintas funcionalidades (en base a requerimientos
circunstanciales), la utilidad de los recursos y la actividad a
realizar por los usuarios del sistema (profesorado y alumnado).
El sistema ha de ser dinámico y evolutivo. Dinámico ya que
de forma continua se pueden incorporar nuevos recursos, incluso
alguno no previsto. Cuanta más variedad y cantidad de recursos
se aporten, más eficaz será el sistema. También evolutivo, ya
que a través de las capas física, semántica y conceptual se
pueden generar nuevos objetos, organizaciones, funciones y
requerimientos.
En base a estos requerimientos se establecen los siguientes
objetivos:
• Ingeniería del software. Definir un modelo basado en
ingeniería del software donde el sistema de gestión de
conocimiento puede soportar las distintas fases
(especificaciones, diseño de datos, diseño funcional y
validación) sin necesidad de pasar por la fase de
programación.
• Gestión del aprendizaje. Desarrollar un sistema de
gestión de conocimiento que permita gestionar las
distintas situaciones de aprendizaje que se puedan dar en
una ingeniería. La gestión del aprendizaje se realiza
definiendo situaciones de aprendizaje tanto para el
profesorado (por ejemplo, preparar una clase) como para
el alumnado (por ejemplo, hacer un trabajo o tomar una
decisión sobre la planificación de sus estudios). El
sistema de gestión de conocimiento debe identificar y
organizar los recursos más adecuados para cada situación
de aprendizaje.
ya que se puede incorporar la experiencia de los mentores
en el sistema de gestión de conocimiento. A continuación
se expone el modelo funcional del sistema utilizado.
III. MODELO
La misión de este apartado es mostrar cómo el sistema puede
gestionar la complejidad de “n” organizaciones adaptables a los
requerimientos y necesidades concretas de cada usuario. Se
analizan las distintas capas con sus distintas funcionalidades.
A. Capa física. Definición de objetos
Solo el administrador puede crear y definir estructuras de
objetos. Dichos objetos se pueden crear a partir de estructuras de
datos asociadas y definir el tipo de recurso asociado. En la figura
3 se muestra el objeto “Recursos didácticos” compuesto por la
estructura de datos de la derecha (nombre y tipo de atributo) y
asociándoles ficheros y videos.
B. Capa semántica. Organización de ontologías
En esta capa se puede organizar la semántica del sistema de
gestión de conocimiento. En la figura 4 se organiza un conjunto
de etiquetas en la categoría “Acción didáctica”. La organización
de las ontologías puede ser jerárquica. El rol debe ser de
profesor.
Fig 4. Organización de ontologías
Fig 3. Definición de un objeto
• Producto. Generar una herramienta de trabajo que pueda
ser autogestionada por el propio alumnado, tanto para su
uso personal (un alumno puede utilizarlo) como para su
uso en actividades de mentoría entre alumnos. Las
actividades de mentoría aportarán nuevo valor al sistema,
154
C. Capa conceptual. Organización individual para cada
usuario
Cada usuario puede organizar la información de dos formas:
Listas e índices jerárquicos. Se pueden visualizar hasta 4 listas
(cada una de ellas en una ventana como muestra la figura 5-a).
Cada lista es un conjunto de recursos cuya selección se
especifica a través de ontologías (fig. e-a1). En cada ventana se
pueden especificar ontologías distintas y visualizar los recursos
que
contienen
esas
ontologías.
También cada usuario puede organizar los recursos en índices
jerárquicos (la figura 5-b muestra varios índices). Se pueden
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Á. Fidalgo; M.L. Sein-Echaluce; F. J. García-Peñalvo; M. Á. Conde. Sistema de gestión del conocimiento para la definición de entornos de aprendizaje adaptativo
poner tantos índices como se desee y cada uno de ellos puede ser
configurado de forma independiente del resto (figura 5-b1).
Fase IV. Asignación de ontologías a los objetos. Las
ontologías definen el origen, el tipo, la utilidad y la actividad
donde se ha generado el recurso.
Fig 5. Zona personalizada y especificación de requerimientos
D. Capa conceptual. Introducción de recursos de forma
cooperativa
Los alumnos pueden utilizar el sistema de conocimiento para
introducir los recursos. Tienen que cumplimentar los campos del
objeto (figura 6a), indicar si desean que se comparta con el
grupo (figura 6b), asignar ontologías que clasifiquen el
conocimiento (figura 6c) y además pueden asociar y relacionarlo
con otros documentos y/o objetos (figura 6d).
En la siguiente sección se describe la metodología empleada
en el desarrollo de la investigación.
IV. METODOLOGÍA
A continuación se describen las distintas fases llevadas a
cabo.
Fase I. Creación de una cultura basada en la gestión de
conocimiento. Para ello se necesita: que los individuos creen
conocimiento, definir un sistema de compensaciones para la
creación del conocimiento [11] y que haya intercambio de
conocimiento [12].
Fase II. Identificación, valoración y creación de
conocimiento por parte del alumnado. Se establecieron equipos
de trabajo (70 equipos con una media de 6 alumnos por equipo)
y cada equipo eligió el tipo de recurso que iba a identificar y/o
valorar. Como compensación se les valoró el trabajo con una
puntuación para la nota final de la asignatura. En esta fase se
incluye la creación e identificación de los recursos.
Fase III. Asignación de recursos a los objetos. Se crea un
único tipo de objeto para simplificar la gestión. Se asocian los
recursos a los objetos.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig 6. Introducir y compartir recursos
Fase V. Asignación de funciones para la gestión. Las
funciones son: buscar, clasificar y organizar recursos en base a
ciertos requerimientos.
Fase VI. Establecimiento de un sistema de requerimientos
flexible. Los distintos usuarios pueden generar los
requerimientos combinando actividades, contexto y perfil del
usuario.
Fase VII. Evaluación de resultados tanto de forma
cuantitativa como cualitativa.
V. RESULTADOS
Los alumnos han generado recursos a lo largo del curso
académico 2013-14 y los han presentado en el mes de junio de
2014. Se han generado más de 500 recursos de aprendizaje que
se refieren a las asignaturas del caso de estudio y al resto de
asignaturas del primer curso de los grados de Ingeniería de
Minas, de Energía y de Biotecnología.
Los tipos de recursos son:
• Apuntes de profesores
• Exámenes resueltos
• Ejercicios propuestos resueltos
• Cuestionarios de nivelación (para evaluación diagnóstica)
155
Á. Fidalgo; M.L. Sein-Echaluce; F. J. García-Peñalvo; M. Á. Conde. Sistema de gestión del conocimiento para la definición de entornos de aprendizaje adaptativo
• Trabajos
• Preguntas tipo test
• Videos grabados por los alumnos con explicaciones de
conceptos difíciles
• Problemas resueltos
• Casos prácticos
• Entrevistas a alumnos compañeros
• Encuestas a alumnos compañeros
• Entrevistas y encuestas a alumnos de cursos superiores
• Entrevistas al profesorado (para conocerlo mejor y sobre
temas académicos)
• Entrevistas a asociaciones, clubes y agrupaciones de las
escuelas de ingeniería
• Información útil académica
• Información útil destinada a alumnos de Bachillerato
para ayudarles a tomar decisiones sobre el grado a elegir
• Entrevistas a ingenieros y profesionales del sector,
relacionados con la titulación o con la asignatura.
• Noticias, páginas web, artículos, etc
Para clasificar y organizar dichos objetos se ha creado una
ontología con más de 60 etiquetas y agrupadas en 10 categorías.
Las categorías identifican el contexto y las etiquetas la necesidad
concreta.
Se han completado las seis primeras fases del estudio y el
número de recursos recopilados muestra el alto grado de
participación del alumnado. Se están analizando los datos
obtenidos a partir de distintos instrumentos de recogida, que
permitirán mostrar la repercusión de este sistema sobre aspectos
como la satisfacción del alumnado, sobre indicadores de mejora
de su aprendizaje etc.
VI. CONCLUSIONES
Los alumnos no solo han creado e identificado recursos para
las asignaturas objeto de estudio, sino para la totalidad de las
asignaturas de primer curso. Lo que demuestra que la cultura
cooperativa ha tenido un gran éxito e impacto.
La obtención de recursos del resto de asignaturas de primer
curso ha aumentado la complejidad del sistema, ya que no se
tenía previsto utilizarlo en otras asignaturas. Sin embargo, el
sistema ha funcionado de forma óptima sin más que añadir la
categoría “asignatura”. Esto ha implicado que, en lugar de crear
un sistema de gestión del aprendizaje para dos asignaturas, se
han realizado para tres cursos completos de tres titulaciones.
Los sistemas LCMS populares obligan, tanto al profesorado
como al alumnado, a adaptarse tanto a la organización como a
los requerimientos de la propia plataforma. Sin embargo, el
sistema de gestión del aprendizaje, aquí propuesto, permite
156
evolucionar siguiendo los criterios de ingeniería del software
para adaptar el sistema a cualquier asignatura.
Por otra parte, este sistema elimina las barreras espaciales y
temporales (se puede utilizar dentro y fuera de la universidad).
Ofrece un acceso permanente a los recursos, frente a una
asignatura que cada año se “reinicia” sin que el alumnado que la
ha cursado pueda volver a acceder al conocimiento generado en
ella.
Los resultados (en número de recursos) evidencian la
satisfacción del alumnado participante en la experiencia, debido
a esta metodología/tecnología que contribuye a mejorar sus
competencias cooperativas y de comunicación y a aumentar su
motivación. Una vez se haya realizado la evaluación de
alumnado participante en la experiencia se podrán realizar
estudios sobre la repercusión de esta metodología en el
aprendizaje del alumnado.
VII. AGRADECIMIENTOS
Los autores quieren agradecer al Gobierno de Aragón, al
Fondo Social Europeo y a la Junta de Castilla y León por su
apoyo. Así como a sus grupos de investigación (LITI,
http://www.liti.es; GIDTIC, http://gidtic.com y GRIAL,
http://grial.usal.es).
VIII. REFERENCIAS
[1]
[2]
Moodle [online] https://moodle.org/
A. Conde, B. Cuevas, C. Pérez y I. Rodríguez, “Actividades p2p en el aula:
Foro de alumnos,” Libro de Actas CINAIC 2013, pp. 745-749, Noviembre
2013.
[3] D. Martín, A. García, A. Muñoz, E. Lopera y E. Muñoz, “Experiencias
sobre innovación social. Plataforma para la ética desde la ingeniería,” in
Libro de Actas CINAIC 2013, pp. 221-226, Noviembre 2013.
[4] Centro para el Desarrollo Tecnológico Industrial (CDTI), Mapa de ayudas
[online]. http://138.4.83.162/mapas/ayudas/
[5] Programa de estudios y análisis (EA), Buscador EA-WEB [online].
http://138.4.83.162/mec/ayudas/
[6] Nonaka I., Takeuchi H. “The knowledge creating company”. New York,
NY: Oxford University Press, 1995.
[7] P. Liu, B. Raahemi and M. Benyoucef, “Knowledge sharing in dynamic
virtual enterprises: A socio-technological perspective,”, Knowledge–Based
Systems, vol. 24, pp. 427-443, April 2011.
[8] F. Correa, W. Vasconcelos, D. Robertson, V. Brilhamte, A. de Melo, M.
Finger and J. Agustí, “On the insufficiency of ontologies: problems in
knowledge sharing and alternative solutions,” Knowledge–Based Systems,
vol. 15, pp. 147-167, 2002.
[9] A. Fidalgo y J. Ponce, “Método CSORA: la búsqueda del conocimiento”
Arbor, vol. 187, no. Extra 3, pp.51-66, 2011.
[10] A.Whitworth, “Invisible success: Problems with the grand technological
innovation in higher education,” Computers & Education, vol 59, pp. 145155, August 2012.
[11] S. Wang and R. Noe, “Knowledge sharing: A review and directions for
future research,” Human Resource Management Review, vol. 20, pp. 115131, June 2010.
[12] V. Hooff and F. Weenen, “Committed to share: commitment and CMC use
as antecedents os knowledge sharing,” Knowledge and Process
Management, vol. 11, no. 1, pp. 13-24, 2004.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Motivation assessment in engineering students using
hybrid technologies for 3D visualization
David Fonseca1; Sergi Villagrasa1; Ernest Redondo2; Francesc Valls2; Lluis Vicent3; August Climent3
1
La Salle Barcelona Campus
Ramon Llull University
Barcelona, Spain
{fonsi, sergiv}@salle.url.edu
2
Expressió Gràfica Arquitectònica I Universitat Politècnica de Catalunya
Barcelona, Spain
{ernesto.redondo, f.valls}@upc.edu
3
La Salle Open University
UOLS
La Massana, Andorra
{august.climent, vicent}@uols.org
Abstract—This paper describes the integration of hybrid
interfaces in the workflow using three-dimensional models, and
presents the results of a preliminary study based on the profile and
the student motivation. The study is conducted with first year
Building Engineering degree students in order to use mobile
technologies, augmented reality (AR) and digital sketching (DS) in
different case studies. The resources developed combine traditional
methods with interactive visualization of building and civil virtual
models using mobile devices to show this type of content with the
purpose of enhancing the student’s visualization and their spatial
skills and motivation. We have used a mixed method research with
quantitative evaluations, and personal qualitative assessment. The
conclusions show us a positive student motivation to use this
technology and the preliminary results show us an improvement of
their academic results.
Keywords—hybrid visualization; augmented reality; spatial skills;
student motivation; mobile learning; mixed methods.
I.
INTRODUCTION
In recent years, largely due to the adaptation of curricula to
apply the rules mandated in the EHEA (European Higher
Education Area [1]), the new technologies (IT, Information
Technologies), have been incorporated in all educational levels
[2]. The purpose of these teaching practices is to provide
students with the skills and competencies outlined in their
specific academic plans and subjects [3, 4] in a quick and with a
high degree of autonomy way. The adaptation of contents and
applications in this area has emerged as an interesting field of
study to assess the degree of motivation, satisfaction and
usability of students. For this reason, is critical to assess the
chances of success or failure of these practices. Examples can be
found in recent literature of studies that prove that student
motivation is often undervalued in comparison to academic
performance measures for evaluating educational changes [5].
In order to avoid unsuccessful experiences and achieve better
adjustment and comprehension of students to new learning
systems based on interaction, collaboration, and practical uses of
technology, evaluative processes are needed to find out the
students’ technological proficiency and motivation regarding the
use of IT, the usability of proposed methods and their level of
satisfaction. With these types of assessment methodologies,
digital fractures can be avoided, and student academic
performance can be improved as well as their skills and
competences [7-9]. The development of 3D spatial skills has
been defined as a key factor in many scientific and technical
disciplines [10, 11], as well as that spatial skills are directly
related to academic success in science, technology or
engineering subjects [12]. In many cases, these skills are
developed indirectly through the use of sketching, hand-drawn
exercises, and CAD/BIM tools (Computer Assisted Design,
Building Information Modelling), that occurs studying topics
such as orthographic projection or sectional views [13, 14]
While the previous concepts are not innovations themselves,
their integration into new experiments using visual technologies
as VR/AR (Virtual Reality or Augmented Reality), and mixed
research methods (for data analysis, both related with the users
and the experiment), gives this experience a clearly innovative
character, and with similar examples today [15, 16]. The use of
IT in learning methods, especially at level of degree and master
studies in the frameworks related with Architecture, Urban
Planning and Design, or Building Engineering, is defined in the
new academic plans. They explicit that the student should be
able to get competencies and skills related with active and
157
D. Fonseca; S. Villagrasa; E. Redondo; F. Valls; Ll. Vicent; A. Climent - Motivation assessment in engineering students using hybrid technologies for 3D visualization
collaborative learning, and digital information management, all
of them using roles and exercises based on projects (PBL,
Project Based Learning). All of these methods are prepared for
more quickly and effective capacitation of the student in front of
the classic educational methods. For these reasons, it is
necessary to propose new educational methods that complete the
actually PBL systems, increasing the student motivation of the
student, and directly their involvement and performance.
Section 2 of this paper includes an overview of hybrid
drawing, the use of AR in education and mixed methods applied
to User Experience (UX). The main features of the methodology
proposed and the structure of the experiment are described in
Section 3. Section 4 includes the research results, which are
discussed in the conclusions Section 6.
II.
CONTEXT DESCRIPTION
The reduction of class time imposed by EHEA is a situation
that demand the development of new educational process
capable of achieving student engagement through increased
motivation. The classic books used to learn about space and its
representation [17, 18] are being replaced by new ways to
explain and study models and spaces, primarily based on CAD
or BIM applications, capable of graphically explaining the 2D
representation (dihedral) with different 2D/3D projections,
Boolean operations, and spatial transformations, as well as other
artistic ideas (perspective projections, shadows, elevations, etc.)
[19]. These applications bring users to the concept of Hybrid
Drawing, a system allowing to increase the information of the
graphic elements through a combination of digital and real
elements.
A. Hybrid Drawing
When addressing the generation and subsequently the
dynamic visualization of complex digital models, several
alternatives arise depending on its origin or the methodology for
its generation. The current trend abandons complex CADgenerated models in favor of automatically generated models.
These new models are built from photographs taken statically or
dynamically, combined with aerial or terrestrial laser scanning,
and/or simplified 3D models, usually NPR (Non-Photorealistic
Rendering), as a support for annotating and/or making small
modifications. This is made possible through several protocols
that coordinate and leverage the worldwide data available in the
GML (Geography Markup Language) standard of the OGC
(Open Geospatial Consortium) and other land management
protocols such as LandXML [20]. In this boundary where CAD
models are integrated with other graphical systems we can
define the hybrid drawing methods.
We define hybrid systems those systems composed by
different file formats juxtaposed on a single representation plane
while preserving its autonomy and editing capability. Its focus
158
has been centered mainly on solving complex 3D model
representation in Engineering, as well as in the fields of
Architecture or Civil Engineering [21], where the electronic
collage and digital sketches are the most classic examples. Most
of these representation processes have their origin in
photographs, drawing or photocopies that lack dimensional
precision and consequently the resulting 3D models do not have
the right measurements, making necessary its annotation, even
from hand-drawn sketches, and resizing in many cases. Taking
into account this downside, a possible solution is to use of a
“hybrid system” such as AR that allows an interactive rescaling
using a real image as a reference on which the resulting model is
overlaid.
B. Augmented Reality in Education
AR could be defined as a hybrid visualization system that
allows overlapping digital elements on a real image captured by
a camera [22, 23]. The nature of the digital elements that can be
shown is very diverse ranging from textual information to
graphics and naturally 3D models [24]. The flexibility of
Augmented Reality technologies has made possible the
emergence and rapid growth of new applications and it has been
assessed by a great number of generic educational experiments
[25-28], and others related to different engineering academic
areas [29-30]. Following this premise, in recent years some
studies have begun to research how AR can be a useful
technology in the engineering and architecture professions, both
of which involve a high volume of visualization and interaction
with 3D models. This technology has the capacity to visualize
the different phases of the construction, management and
maintenance of buildings, which facilitates the interpretation and
understanding of basic components [31, 32]. These experiences
have demonstrated the vast potential of this technology, but in
education AR can be considered a new tool, and further studies
are necessary, with particular attention paid to the user
experience, learning process and the design of new methods for
improving the motivation and satisfaction of the student and
their spatial skills [33, 34].
C. Mixed Methods applied to UX
User research techniques have been historically related with
HCI field (Human-Computer Interaction). The task became the
pivotal point of user-centered analysis and evaluation techniques
(e.g. usability testing [35]). Facing the mechanical vision of HCI
user’s research, Norman [36] popularize the term UX to include
the feelings and meaningful aspects of user’s interaction with
machines and services. Quantitative and qualitative approaches
have historically been the main methods of scientific research.
On the one hand, quantitative research focuses on analyzing the
degree of association between quantified variables, therefore,
this method requires induction to understand the results of the
investigation. For these reasons, the different phenomena can be
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Fonseca; S. Villagrasa; E. Redondo; F. Valls; Ll. Vicent; A. Climent - Motivation assessment in engineering students using hybrid technologies for 3D visualization
reduced to empirical indicators that represent reality,
quantitative methods are considered objective [37, 38]. On the
other hand, qualitative research focuses on detecting and
processing intentions. Unlike quantitative methods, qualitative
methods require deduction to interpret results. The qualitative
approach is subjective, as it is assumed that reality is
multifaceted and not reducible to a universal indicator [39].
Currently, a hybrid approach to experimental methodology
has emerged that takes a more holistic view of methodological
problems: the mixed-methods research approach. This model is
based on a pragmatic paradigm that contemplates the possibility
of combining quantitative and qualitative methods to achieve
complementary results. The value of research lays not so much
in the epistemology of the method but in its effectiveness [40].
The possibility to work with both types of information
simultaneously in a single study is a great advantage to a
research team: multidimensional outcomes make it much easier
to propose solutions and further research steps in a given field of
study. As has been demonstrated in previous studies [41, 42],
this method is “usefulness” as a dynamic system for capturing
information related to students’ experiences with technological
elements in education, and for this reason we will use it in our
study with engineering students.
III.
Blog updating with 2D and 3D files, basic 3D interaction using
DWFx (private format of Autodesk® to export 3D models to
web), or PDF3D, and AR visualization using AR-Media®. To
achieve the most optimal integration of the student, the course
start at a basic level in all concepts to allow the representation of
any type of 3D complex models, based on the requirements of
building engineering contents and representations, architectural
and civil engineering analysis, and the fundamentals of the
projects required along the full degree program. A total of 54
students participated in the study (30 females and 24 males,
mean age = 19.31 years, standard deviation (SD) = 2.01).
METHODOLOGY
This paper follows and develops previous works [15, 32, 42],
were students in the Architecture Degree were the subject of
study. The basic objective of the current project is to observe
potential differences between students from different degrees
(Architecture and Engineering), in order to identify possible
differences between the technological profile of the students as
well as their level of motivation to use AR systems and mobile
technologies in the classroom. The study is being performed
during the 2013-2014 academic year with students in their first
year of Building Engineering degree. The experimental
framework will be completed in the course of “Informatics
Tools I” a six-ECTS-credit courses (European Credit Transfer
System), that are taught semi-annually. The structure of the
subject is: 4 h of lectures, spread over 2 weekly sessions of 2 h
each, and an additional 3 h of practical sessions. The students
also have weekly 1 h personal tutorials to address their doubts
and solve practical problems.
The basic objective of the subject is to provide students with
basic skills in complex modelling interpretation and
reproduction in both 2D and 3D. The secondary objective is to
enable students to represent 3D models with different
technologies and applications, as well as to explore methods of
interactive visualization, primarily through the publication of
personal blogs and the display of models with AR at the end of
the course. The main technologies and systems used are:
AutoCAD® for 2D drawing and 3D basic drawing, personal
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 1. Student technologies
A. Pre-Test: Student Profile and Motivation assessment
Based on the theoretical study, we designed an initial test,
focused on evaluating the IT and motivational profile of the
students. In the test design, to model the response of
implementing new technologies in university teaching resources,
there are prominent surveys, based on user profile, which
focuses on the efficiency and effectiveness of the course, and on
the level of satisfaction and student preferences. [43]. The most
common parameters to evaluate using a profile user test are the
degree of knowledge of new technologies, the use made of
social networks, computer known applications, and knowledge
of the theoretical content of the course under the program. For
example, Figure 1 shows us the results of the technological
devices that the students possess. These results will help us to
159
D. Fonseca; S. Villagrasa; E. Redondo; F. Valls; Ll. Vicent; A. Climent - Motivation assessment in engineering students using hybrid technologies for 3D visualization
select the devices and systems to use and control in our
experiments, in particular because they are the most popular
among the students (an example of full Pre-Test is in [44]).
B. Post-Test: Quantitative usability assessment
A common mistake is to simplify these studies to the concept
of “usability”. We could understand it as the interaction of a
physical or virtual device with a user and his basic human
capabilities [45]. These processes require defining methods,
metrics, processes and tools to measure how to fit each
experiment.
In the educational framework of civil and building
engineering, it is not usual the use of this type of test. For this
reason we need to clarify the main questions to evaluate, that in
our case are the questions directly related with the new teaching
methodology using AR and mobile devices and its adaptation to
the students (taking into account their particular profile), not the
application or technology itself. The ISO 9241-11 standard
defines the concept of usability as the measurement of the
capability of products ‘users for working efficiently in an
enjoyable way. Bevan [46, 47] according to the ISO standard,
defines usability’s components: Effectiveness (E1): a product is
effective according to the accuracy degree of performed tasks
and the accomplishments of the aims it has been designed to
fulfil; Efficiency (E2): a product is efficient according to the
speed of the tasks performed and Satisfaction (S1): it’s the
user’s freedom for showing his agreement or disagreement with
product’s use as well as his attitudes towards it. The usability
questionnaire (see Table 1, in Results Section) have been
designed aiming to collect data referred to these components
taking Nielsen´s Heuristic Evaluation & Nielsen´s Attributes of
Usability [48], Perceived Usefulness and Ease of Use [49], and
Usability Satisfaction Questionnaires [50], as a references and
using a five points (1-5) Likert’s scale.
C. Qualitative student assessment. Bipolar Laddering (BLA)
Qualitative methods are commonly employed in usability
studies and, inspired by experimental psychology and the
hypothetical-deductive paradigm, employ samples of users who
are relatively limited. Nevertheless, the Socratic paradigm from
postmodern psychology is also applicable and useful in these
studies of usability because it targets details related to the UX
with high reliability and uncovers subtle information about the
product or technology studied. This psychological model
defends the subjective treatment of the user, unlike the objective
hypothetical-deductive model. Starting from Socratic paradigm
basis, the BLA system (Bipolar Laddering) has been designed.
BLA method could be defined as a psychological exploration
technique, which points out the key factors of user experience.
The main goal of this system is to ascertain which concrete
characteristic of the product entails users’ frustration, confidence
or gratitude (between many others). BLA method works on
160
positive and negative poles to define the strengths and
weaknesses of the product. The object of a laddering interview is
to uncover how product attributes, usage consequences, and
personal values are linked in a person’s mind. BLA performing
consists in three steps: Elicitation of the elements, marking of
elements, elements definition [51].
IV.
RESULTS AND DISCUSSION
The teaching methodology based on testing the student
technological profile and the possibility of using mobile devices
and augmented visualization in the classroom has been
progressively introduced in the last three academic years.
Throughout these control years, the most interesting data that we
have collected from the Pre-Test (Fig. 1) are:
• A clear “concentration” of technologies in complex
devices is taking place, especially regarding those whose
functions has been incorporated into mobile devices
(such as cameras, audio and video playing capabilities).
•
The use of desktop computers has been greatly reduced,
while the level of students that have a laptop computer
hovers around 100%.
•
A significant increase in the number of students with
mobile devices is identified, of whom almost everyone
has a smartphone, and reaching almost 50% the
percentage of those who have a tablet.
Fig. 2. Motivation comparition before and after the experiment.
These results illustrate the fact that the students are familiar
with IT, and with a high degree of motivation to use them in
their studies:
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Fonseca; S. Villagrasa; E. Redondo; F. Valls; Ll. Vicent; A. Climent - Motivation assessment in engineering students using hybrid technologies for 3D visualization
• Students positively valued (sum of “5-strongly agree”
and “4-agree” ratings) the integration of IT technologies
in the course, as they perceived they could help them in
the representation of complex elements both in 2D and
3D.
• A percentage of about 25% of students stand in a neutral
opinion (“3-neutral” answer in the Likert scale),
especially in questions related to technologies hitherto
unknown to them or that have not yet used in a learning
environment such as AR, social networks or mobile
devices.
• The use of mobile technologies and the help these can
supply in getting a passing grade score the lowest rates of
negative perception (“2-disagree” and “1-strongly
disagree”) with about 25% of the responses.
However, the initial perception of the polled students is that
they feel able (have the necessary technology and user level
experience), and are highly motivated (with rates close to 85%)
for advanced and educational uses of the technologies, because
of they are already very familiar with.
Once the practical classes were finished, the students were
asked to answer the post-test survey. The objective of this
survey was to re-assess the motivation of the student regarding
his/her perceived usability of the technologies used. To get this
information, the concepts related to the motivations previously
studied in the pre-test were asked again. Fig. 2 shows the
comparison of the results for these questions, before and after
the classroom practice.
The general student motivation in the use of IT in the
classroom has increased significantly, from 80% to 95%.
Likewise, after the experience the students consider that:
• The use of mobile technologies is satisfactory (with an
increase of 15% on positive ratings)
• IT allows to significantly improve the presentation of
their 2D and 3D models (in this case with an increase of
50% over the initial rating).
• The use of social platforms (blogs, Facebook) for the
dissemination of their work is rated as neutral and has the
greatest decline in positive ratings.
• The perceived usefulness of RA is strengthened,
especially when it is compared to the work motivation
using traditional 2D representation, which is one of the
areas that suffers a greatest decline in positive ratings
(decreasing around 20%).
V.
CONCLUSIONS
Table 1 shows the students’ main perceptions, including their
evaluation of the course material, the proposed methodology,
perceived usefulness, and level of satisfaction. The average
responses related to effectiveness (E1), efficiency (E2), and
XVI Simposio Internacional de Informática Educativa (SIIE’14)
satisfaction (S1) are very similar to previous studies realized in
other frameworks [15, 33]. This preliminary results allow us to
state a priori a positive result of our teaching proposal,
hypothesis currently under study and that can only be confirmed
by the analysis of the BLA data, currently in the process of
being collected. The first data of BLA results highlight the need
of the student form more time: to explain, to practice, and in
general to work with AR.
TABLE I. POST-TEST USABILITY VALUES STUDIED (MAX: 5 – MIN:1)
VARIABLES
Material/Contents
(E1) The material of the lecture has a good presentation
(E1) The structure of the sessions/exercises are appropiate
(E1) It is easy to manipulate the exercises porposed
(E1) Models are suitable to manipulate virtual elements
(E2) The number of exercises are related with time proposed
(E2) It have been possible to solve the exercises presented
(S1) Theoric classes are sufficient to know how to proceed
Application of AR technology
(E2) The application of AR has been stable (no crashes)
(E2) Familiarity with the gestures has been easy
(E2) No delay in the visualization/manipulation of models
(S1) Level of definition of 3D virtual models
(S1) AR rating about improving 3D complex models
(S1) Viewing 3D models with AR applications
(S1) Rating about how AR work with 3D complex models
(S1) Rating about usability of AR syst. and methodologies
Av.
4.53
3.92
3.67
4.01
3.55
4.58
3.35
SD
1.32
0.98
1.21
0.97
1.53
0.64
1.25
3.47
4.35
4.25
4.18
3.87
4.48
3.99
3.85
1.43
0.89
1.35
1.21
0.99
1.58
1.05
1.29
Fig. 3. 3D grades (both practices and exam).
On the other hand, a final scale that is important to be
considered in the study to provide clear information about the
usefulness of the proposed methodology is the curriculum
evaluation by the students. As can be observed (Fig. 3), the
introduction of the Bologna system in the degree of Construction
Engineering resulted in a decline in academic performance on
161
D. Fonseca; S. Villagrasa; E. Redondo; F. Valls; Ll. Vicent; A. Climent - Motivation assessment in engineering students using hybrid technologies for 3D visualization
the subject taught by our team, specifically in the 3D phase
where students work with complex models. We can blame this
decrease (clearly noticeable in the 2010-11 and 2011-12
academic years) to the lack of adaptation of the contents and the
pace of the classes to the new framework.
With the proposed new hybrid methodology discussed in this
paper, in the last two years a positive trend can be observed,
specifically in the most recent academic year. The results
support both the working methodology proposed and the
evaluation system developed. Not only the student feels more
confident using mobile technology but also his or her greater
motivation leads to more time spent working on assigned tasks.
Although this time was previously considered as a negative
aspect (excess time equals overwork, and therefore was valued
negatively), according to the preliminary results of BLA should
be considered positive. One of the most common responses and
with a greater amount of citations regarding BLA is precisely
the lack of time primarily in the use of AR, technology and the
way to proceed that the students consider useful, enjoyable and
befitting to the visualization requirements in their studies.
These comments, not only validate BLA as a qualitative
method of study, but confirm the mixed approach as a more
reliable system than a simple quantitative study, since it allows
to clarify the results of usability surveys. In conclusion, and
waiting for a complete review of both BLA analysis process and
the second half of the course (with more quantitative and
qualitative assessments), we can claim that the proposed
evaluation method is consistent and has allowed the authors to
prove that they are motivated to use mobile technologies as a
support for teaching activities. Moreover, a direct link is
established that allows to affirm that its use improves the level
of motivation of students, which directly leads to improved
academic performance.
VI.
ACKNOWLEDGMENT
This research is being carried out through the National
Program R+D project EDU-2012-37247, Gov. of Spain.
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
VII. REFERENCES
[1]
[2]
[3]
[4]
[5]
162
“Standards and guidelines for quality assurance in the european higher
education area”, 2009, European Association for Quality Assurance in
Higher Education. 3rd Edition, Helsinky, Finland, p. 39.
Martín, S. et al., 2011, “New technology trends in education: Seven years
of forecasts and convergence,” Computers & Education, vol. 57, no. 3, pp.
1893–1906.
Moreira, M. 2008, “Innovación pedagógica con TIC y el desarrollo de las
competencias informacionales y digitales” Revista investigación en la
escuela, Vol. 64, pp. 5-18.
Salinas, J. 2004, “Innovación docente y uso de las TIC en la enseñanza
universitaria”, RUSC-Revista de Universidad y Sociedad del Conocimiento,
Vol. 1(1), pp. 1-16.
Kirn, A and Benson, L., 2013 "Quantitative assessment of student
motivation to characterize differences between engineering majors" in
[21]
[22]
[23]
[24]
[25]
[26]
Frontiers in Education Conference, 23-26 October 2013. Proc. of the 2013
Front. in Education Conference. IEEE Okl. City, USA, pp.69-74.
Selwyn, N., 2005 “Defining the ‘Digital Divide’: Developing a theoretical
understanding of inequalities in the information age”, Occasional Paper
49.
Cardiff:
Cardiff
University.
http://www.cf.ac.uk/socsi/ict/definingdigitaldivide.pdf Acc. 24/08 2006.
Youssef, B and Dahmani, M, 2008, “The impact of ICT on student
performance in higher education: Direct effects, indirect effects and
organisational change”, RUSC-Universities And Knowledge Society
Journal, Vol. 5(1), pp.45-56.
McFarlane, A. and Sakellariou, S., 2002 “The role of ICT in science
education”, Cambridge Journal of Education, Vol. 32 (2), pp.219-232.
Cox, M., and Marshall, G., June 2007, “Effects of ICT: Do we know what
we should know?”, Education and Information Technologies, Vol. 12(2),
pp. 59-70.
Metz, S. and Donohue, S., 2012, “Spatial skills: A focus on gender and
engineering”, Int. Journal of Science Education, Vol. 31 pp. 1-8.
Sorby, S., 2009, “Developing 3-D spatial visualization skills”. Engineering
Design Graphics Journal, Vol. 63(2), pp.21-32.
Strong, S., and Smith, R., 2001, “Spatial visualization: Fundamentals and
trends in engineering graphics”, Journal of industrial technology, Vol.
18(1), pp. 1-6.
Lord, T., 1985 “Enhancing the visuo-spatial aptitude of students”, Journal
of Research in Science Teaching, Vol. 22(5), pp. 395-405.
Alias, M., Black, T., and Gray, D., 2002, “Effect of instruction on spatial
visualization ability in civil engineering students”, International Education
Journal, Vol. 3(1), pp.1-12.
Fonseca, D., Martí, N., Redondo, E., Navarro, I., and Sánchez, A., 2014,
“Relationship between student profile, tool use, participation, and academic
performance with the use of Augmented Reality technology for visualized
architecture models”, Computers in Human Behavior, Vol. 31, pp. 434445.
Dorribo-Camba, J., and Contero M, 2013, "Incorporating augmented
reality content in engineering design graphics materials", " in Frontiers in
Education Conference, 23-26 October 2013. Proceedings of the 2013
Frontiers in Education Conference. IEEE Okl. City, USA, pp.35-40.
Taibo, A. 1944, Elementos de geometría descriptiva, Blass, S.A. Madrid,
p.398.
Solá, J., 1964, Tratado de Dibujo. Problemas de Geometría Descriptiva
con aplicaciones al Dibujo Lineal, Barcelona, I.G.Suñol Edit. pp-190.
Pottmann, H., Asperl, A., Hofer, M., and Kilian, A., 2002, Architectural
Geometry, Bentley Institute Press, Exton, Pensylvania, USA. Pp. 720.
Redondo, E., 2010, "Intervenciones virtuales en un entorno urbano. La
recuperación de la trama viaria del "Call", barrio judío de Girona".
ACE:Architecture, City and Environment. Vol. 12, pp. 77-99.
Yaman, R., 2009 “Architectural design representation: The hybrid
drawing”, Built Environment Journal, Vol.6 (2), pp.25-40.
Milgram, P., Takemura, H., Utsumi, A., and Kishino, F., 1995,
“Augmented reality: a class of displays on the reality-virtuality
continuum", Telemanipulator and Telepresence Technologies, Vol. 282.
Bimber, O., and Raskar, R., 2005, Spatial augmented reality. Merging real
and virtual worlds, A.K.Peters, Ltd. Wellesley, Mass. P.363
Drascic, D., and Milgram, P., 1996, "Perceptual issues in augmented
reality", Stereoscopic Displays and Virtual Reality Systems Vol. III, 123.
Pan, Z., Cheok, A., Yang, H, Zhu, J., and Shi, J, 2006, “Virtual reality and
mixed reality for virtual learning environments”, Computers & Graphics,
Vol. 30, pp. 20–28.
Liarokapis, F., et al, 2004, “Web3D and augmented reality to support
engineering education”, World Transactions on Engineering and
Technology Education, Vol. 3(1), p.11-14.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
D. Fonseca; S. Villagrasa; E. Redondo; F. Valls; Ll. Vicent; A. Climent - Motivation assessment in engineering students using hybrid technologies for 3D visualization
[27] Kaufmann, H., and Schmalstieg, D., 2003, “Mathematics and geometry
education with collaborative augmented reality”, Computers & Graphics,
Vol. 27, p. 339–345.
[28] Cuendet, S., Bonnard, Q., Do-Lenh, S., and Dillenbourg, P., 2013,
“Designing augmented reality for the classroom”, Computers & Education,
Vol. 68, pp. 557-569.
[29] Martín-Gutiérrez, J., Saorín, J., Contero, M., Alcañiz, M., Pérez-López, D.,
and Ortega, M., 2010, “Design and validation of an augmented book for
spatial abilities development in engineering students”, Computers &
Graphics, Vol. 34(1), pp. 77-91.
[30] Behzadan, A., and Kamat, V., November 2012, “A framework for utilizing
context-aware augmented reality visualization in engineering education”,
in Proc. of 12th Int.Conference on Construction Application of Virtual
Reality, November 1-2, Taipei, Taiwan, pp. 292-299.
[31] Sampaio, A., Rosario, D., Gomes, A., and Santos, J, 2013, “Virtual reality
applied on civil engineering education: Construction activity supported on
interactive models”, Int. J. of Eng.Education, Vol. 29(6), p. 1331-1347.
[32] Sánchez, A., Redondo, E., Fonseca, D., and Navarro, I., 2013,
“Construction processes using mobile augmented reality. A study case in
building engineering degree”, Advances in Information Systems and
Technologies, Vol. 206, 2013, pp. 1053–1062.
[33] Kaufmann, H., and Dünser, A., 2007 “Summary of usability evaluations of
an educational augmented reality application”. In Proceedings of HumanComputer Interaction Internacional Conference, Lecture Notes in
Computer Science, Vol. 4563, R. Shumaker (Ed.), Springer-Verlag Berlin
Heidelberg, pp. 660–669.
[34] Di-Serio, A., Ibáñez, M., and Kloos, C., 2013, “Impact of an augmented
reality system on students' motivation for a visual art course”, Computers
& Education, Vol. 68, pp. 586-596.
[35] Hassenzahl, M., and Tractinsky, N, 2006, “User experience a research
agenda”. Behaviour & Information Technology,Vol. 25(2), pp.91-97.
[36] Norman, D., Miller, J., and Henderson, A., 2005, “What you see, some of
what's in the future, and how we go about doing it”, HI at Apple Computer.
Conf. on Human Factors in Computing Systems (CHI '95), I. Katz, R.
Mack, and L. Marks (Eds.), ACM, New York, NY, USA.
[37] Sale, J., Lohfeld, L., Brazil, K., 2002, “Revisiting the quantitativequalitative debate: Implications for mixed methods research”. Quality and
Quantity, Vol. 36(1), pp.43-53.
[38] Vigo, M., Aizpurua, A., Arrue, M., and Abascal, J., 2011, “Quantitative
assessment of mobile web guidelines conformance”. Universal Access in
the Information Society, Vol. 10(1), pp.33-49.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[39] Pfeil, U., and Zaphiris, P., 2010, “Applying qualitative content analysis to
study online support communities”. Universal Access in the Information
Society, Vol. 8(1), pp.1-16.
[40] Tashakkori, A., and Teddlie, C., 2004, Foundations of mixed methods
research: Integrating quantitative and qualitative approaches in the social
and behavioral science, SAGE Publications Inc.
[41] Navarro, I., Galindo, A., and Fonseca, D., 2013, “Augmented reality uses
in educational research projects: The Falcones Project, a case study
applying technology in the humanities framework at high school level".
TEEM, Salamanca, Spain, p.411-416.
[42] Fonseca, D., Villagrasa, S., Redondo, E., and Navarro, I., 2013, "Estudio
del pefil de usuario y motivación del alumno para el uso de dispositivos
móviles en la visualización de modelos tridimensionales", XV Simposio
Internacional de Tecnologías de la Información y las Comunicaciones en
la Educación, Madrid, Spain. Ed. B. F. Manjón. pp:88-95.
[43] Martín-Gutiérrez, J., 2010, Estudio y evaluación de contenidos didácticos
en el desarrollo de las habilidades espaciales en el ámbito de la ingeniería,
Tesis doctoral, pp. 690-691.
[44] Redondo, E., Fonseca, D., Sánchez, A., Navarro, I., 2012, "Augmented
Reality in architecture degree. New approaches in scene ilumination and
user evaluation", International Journal of Information Technology and
Application in Education, vol.1(1), pp. 19-27.
[45] Nielsen, J., 1994 “Usability Laboratories: A 1994 survey”. Usability Labs
survey. Behaviour & Information Technology. Vol. 13. 1994.
[46] Bevan, N., 1999 “Quality in use: Meeting user needs for quality”, Journal
of System and Software, Vol. 49(1), pp. 89-86.
[47] Bevan, N., 1996, “Practical Issues in usability measurement”, Interactions,
Vol. 13(6), pp. 42-43.
[48] Nielsen, J., 1993, Usability Engineering, Morgan Kaufmann, San
Francisco, 1993.
[49] Davis, F., 1989, “Perceived usefulness, perceived ease of use and user
acceptance of information technology”, MIS Quaterly, Vol. 13(3), pp. 319340.
[50] Lewis, J., 1995, “IBM computer usability satisfaction questionnaires:
Psychometric evaluation and instructions for use”, International Journal of
Human-Computer Interaction, Vol. 7(1), pp. 57-78.
[51] Pifarré, M., and Tomico, O., 2007, “Bipolar laddering (BLA): a
participatory subjective exploration method on user experience”. In
Proceedings of the 2007 conference on Designing for User eXperiences
(DUX '07). ACM, New York, NY, USA, Article 2, 12 pages
163
Uso de arquitecturas software para recolectar
información de interacción en entornos eLearning
Juan Cruz-Benito1; Francisco José García-Peñalvo1; Roberto Therón1; Cristina Maderuelo2; Jonás Samuel Pérez-Blanco2;
Hinojal Zazo2; Ana Martín-Suárez2
1
Grupo de Investigación GRIAL
Departamento de Informática y Automática
Universidad de Salamanca
Salamanca, España
{juancb, fgarcia, theron}@usal.es
2
Departamento de Farmacia y Tecnología Farmacéutica
Universidad de Salamanca
Salamanca, España
{cmaderuelo, jsperez, hinojal, amasu}@usal.es
Resumen—Este trabajo presenta una arquitectura software
basada en servicios y desplegada en un entorno cloud que recoge,
analiza y presenta información extraída de un ecosistema de
aprendizaje cerrado como pueden ser los Mundos Virtuales. Esta
arquitectura es capaz de recopilar la interacción de los usuarios
dentro de la plataforma digital, organizar los datos de dicha
interacción y realizar mediciones, estimaciones y análisis básico
sobre los datos con el objetivo de dar información a los
responsables de la actividad docente acerca de los indicadores de
uso del entorno virtual y el grado de resolución de los alumnos de
determinados objetivos perseguidos por los docentes que plantean
estos escenarios y sistemas de aprendizaje. Para probar esta idea, se
presenta la aplicación de la capa de análisis de esta arquitectura
sobre un caso real, de modo que se puedan observar cómo podría
ayudar una arquitectura basada en capas de servicios en la
detección del cumplimiento de objetivos de aprendizaje, o en el
descubrimiento de conocimiento sobre el uso de los usuarios dentro
del entorno de aprendizaje.
Palabras clave—Arquitectura software; cloud; indicadores de
uso; análisis de uso; eLearning; Mundos Virtuales; Second Life
I.
INTRODUCCIÓN
El análisis de la interacción de los usuarios con los entornos
eLearning puede proporcionar conocimiento acerca de aspectos
desconocidos de los usuarios. Entre este conocimiento, es
posible destacar el descubrimiento de distintas habilidades,
conocer la velocidad de adquisición de conocimientos, los
deseos o gustos de los usuarios, sus hábitos de comportamiento,
los patrones de uso que siguen, etc. [1-4]. Estas características
pueden proporcionar al profesor un nuevo punto de vista acerca
de cómo reaccionan, sienten y utilizan los alumnos ciertos
ecosistemas de aprendizaje, de modo que pueda ser usado este
conocimiento adquirido para mejorar los entornos de
interacción, establecer perfiles entre los usuarios en función de
sus características (tanto desde un punto de vista personal, como
en grupos), o simplemente para detectar aquellas áreas de los
ecosistemas eLearning que deban ser mejoradas o adaptadas a
los distintos tipos de usuarios que pueden utilizarlas. En el caso
de este estudio, se plantea el uso de una arquitectura software
basada en servicios y desplegada en cloud que sea capaz de
medir y analizar datos extraídos de un entorno eLearning,
proporcionando a los profesores responsables de dicho entorno
eLearning la posibilidad de conocer las distintas características
de sus alumnos respecto a una actividad de aprendizaje,
pudiendo así llegar a evaluar si es posible establecer relaciones
entre ciertos indicadores de uso y la nota final obtenida en la
práctica o si es posible conocer los patrones de uso de los
alumnos a través de una herramienta de este tipo. El entorno
eLearning utilizado para este trabajo de investigación es un
laboratorio virtual dentro del Mundo Virtual privativo Second
Life [5]. Este laboratorio, conocido como Usalpharma Lab,
simula las instalaciones, equipamiento, documentación, y demás
elementos de un laboratorio que cumple con la normativa GLP
(Good Laboratory Practices) de la industria farmacéutica [6]. La
simulación virtual de un laboratorio de estas características se
debe a la imposibilidad económica de construir y mantener una
infraestructura de este tipo dentro de una Universidad, así como
ofrecer la posibilidad de proporcionar una experiencia inmersiva
y realista a alumnos de titulaciones relacionadas con el área de
Farmacia en un contexto real de trabajo como el que se da en la
industria. Este laboratorio, construido por personal relacionado
con el Departamento de Farmacia y Tecnología Farmacéutica de
la Universidad de Salamanca, lleva siendo usado desde 2011
para realizar actividades de formación con alumnos de posgrado
en asignaturas relacionadas con la Calidad en la Industria
Farmacéutica. La formación que reciben los alumnos en este
escenario virtual se basa en el aprendizaje de metodologías,
165
J.Cruz; F.J. García-Peñalvo; R. Therón; C. Maderuelo; J. S. Pérez; H. Zazo; A. Martín - Uso de arquitecturas software para recolectar información de interacción en entornos eLearning
normativas y procesos de auditorías en laboratorios de industria
farmacéutica. Para ello, los alumnos actúan dentro de las
instalaciones virtuales como auditores externos que se encargan
de evaluar el cumplimiento del laboratorio de estas medidas
GLP. En el caso que se presenta en este trabajo, se muestra
cómo se ha incluido una arquitectura software que monitoriza la
interacción de los usuarios dentro del laboratorio virtual [7],
ofreciendo información a su vez sobre la consecución de los
objetivos marcados en la práctica (número de errores detectados,
tiempo usado, etc.) [8]. De este modo los alumnos pueden
acceder al laboratorio virtual cuando ellos deseen (dentro de un
plazo acordado con el profesor), realizando una inspección
totalmente autónoma (sin presencia del docente), y sin
limitación de número de accesos, hora o lugar de conexión. Una
vez finalizado el plazo acordado para la inspección del
laboratorio virtual, los alumnos entregan un informe que indica
las deficiencias o puntos de la normativa que se incumplen, para
que el profesor evalúe la práctica. En el caso descrito en este
artículo, se trata del primer año de implantación de esta
arquitectura software, por lo que las interacciones monitorizadas
por el sistema no se han tenido en cuenta para evaluar la
actividad, aunque puedan suponer una fuente de conocimiento
acerca de la actividad de los usuarios dentro del laboratorio, Esta
experiencia piloto fue llevada a cabo durante el mes de Marzo
del 2014, y en ella participaron 9 alumnos del Máster
Universitario en Evaluación y Desarrollo de Medicamentos de la
Universidad de Salamanca, concretamente dentro de la
asignatura de Garantía de Calidad en el Laboratorio de Análisis
en la Industria Farmacéutica. Esta experiencia es la que se
tomará como base para probar los conceptos presentados en este
trabajo de investigación. Por ello, y como objetivo principal de
este trabajo de investigación, se plantea utilizar una arquitectura
software basada en servicios para medir la interacción de los
usuarios dentro del laboratorio virtual que se encuentra dentro
del Mundo Virtual Second Life, analizando distintas
características de uso del mismo, observando finalmente si esta
interacción medida tiene algún tipo de relación con la nota final
obtenida en dicha práctica.
Este trabajo de investigación se divide en las siguientes
secciones: esta primera (Introducción) trata de presentar al lector
el contexto de la investigación, así como los rasgos básicos del
caso de estudio y sus particularidades. Por su parte, la segunda
sección (Materiales y Métodos) describe qué datos se miden
dentro del laboratorio virtual y qué procesos se realizan para
conseguir los objetivos marcados. A continuación, la tercera
sección (Resultados y Discusión) presenta los resultados
obtenidos en la etapa de análisis y explica cómo estos resultados
pueden ayudar a determinar cierto conocimiento o son válidas
para evaluar la actividad en un futuro. Por último, se incluye una
sección de Conclusiones, donde se expondrán los conceptos y
apartados más relevantes del trabajo.
166
II. MATERIALES Y MÉTODOS
A. Materiales
Para realizar este trabajo de investigación, se ha hecho uso
de una arquitectura software basada en servicios implementada
durante el año 2014 por varios miembros del equipo de este
trabajo de investigación [7] . Esta arquitectura se basa en capas,
de modo que desacopla sus servicios en niveles específicos de
funcionalidad. Entre estas capas destacan la de recuperación de
datos, la capa de persistencia, la capa de analítica, o la capa de
provisión de datos a usuarios u otros servicios. Esta arquitectura,
es capaz de recoger la interacción de los usuarios dentro de un
entorno virtual, y componer una descripción rica (basada en una
adaptación del protocolo RDF [9]) de la interacción ocurrida,
para después poder almacenarla en la capa de persistencia
(basada en bases de datos documentales NoSQL como
MongoDB [10]), y finalmente proporcionar la posibilidad de
establecer un análisis de datos de algún tipo acerca de los
objetivos alcanzados por los alumnos y mostrarlos a través de
vistas web a los profesores que desean conocer lo que ocurre
dentro del ecosistema de aprendizaje usado (Second Life) [8].
Los factores relacionados con la interacción o el uso por parte de
los usuarios sobre el laboratorio 3D que la plataforma es capaz
de analizar o determinar, y que pueden hacer posible
descubrimiento de la relación entre el uso y el rendimiento
académico son los siguientes: tiempo total de uso del sistema,
tiempo medio de sesión, número de sesiones, número de
interacciones recogidas (número de clics).
• Tiempo total de uso: Suma de todos los tiempos de
sesión que ha realizado el usuario dentro del sistema
como conjunto. Este tiempo nos da una orientación real
del nivel de engagement, dedicación, o compromiso que
ha tenido el alumno respecto a la actividad realizada en
las instalaciones 3D. En la subsección siguiente
(Métodos) se explicará detalladamente cómo se ha
llevado a cabo la estimación acerca del tiempo, ya que
como Second Life se trata de un sistema cerrado, no es
acceder a ningún tipo de archivo log del sistema, por lo
cual es necesario estimarlo de otras formas.
• Tiempo medio de sesión: El tiempo medio de sesión
puede ser un indicador fiable de la dedicación media del
usuario por conexión, es decir, permite conocer si el
usuario prefiere realizar visitas cortas (en cuanto a
tiempo) al sistema pudiendo realizar acciones de
auditoría pequeñas o sobre ciertos objetivos concretos, o
si prefiere realizar acciones de una duración media mayor
para cubrir más tiempo de análisis en cada una de ellas y
dedicar más tiempo a la búsqueda de detalles en
profundidad sobre las instalaciones.
• Número de sesiones: El número de sesiones puede ser un
indicador sobre la fidelización (si un usuario se conecta
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J.Cruz; F.J. García-Peñalvo; R. Therón; C. Maderuelo; J. S. Pérez; H. Zazo; A. Martín - Uso de arquitecturas software para recolectar información de interacción en entornos eLearning
frecuentemente al escenario de aprendizaje, es posible
que se sienta atraído de algún modo por él) y la evolución
del alumno frente al entorno virtual. Este dato de número
de sesiones, también puede indicar si el alumno necesita
mayor o menor número de conexiones al Mundo Virtual
para poder realizar sus actividades de auditoría de forma
satisfactoria.
• Número de interacciones recogidas (número de clics):
Esta medida puede ayudar a comprender la cantidad de
opciones barajadas por el alumno para encontrar las
deficiencias o no conformidades del laboratorio respecto
de la normativa GLP (pudiendo encontrar casos de
búsqueda indiscriminada de errores, u otros que denotan
una búsqueda ordenada y razonada). También nos puede
dar una medida de la actividad o inactividad del alumno
dentro del laboratorio, si es capaz de manejarse con
soltura o no dentro del mismo (por ejemplo estableciendo
ratios de clics por segundo, o clics por sesión).
Estas medidas, junto con otras que puedan extraerse a partir
de las mismas pueden permitir a los docentes conocer el uso del
Mundo Virtual por parte de los alumnos y observar si este
conocimiento adquirido tiene relación o no con la calificación
final obtenida en la actividad de aprendizaje.
B. Métodos
A continuación se detalla cómo se ha llevado a cabo los
distintos procesos que permiten a los profesores tener
conocimiento acerca de lo que ocurre dentro del Mundo Virtual:
• Recogida de datos: Como se ha indicado previamente,
conocer cualquier dato relacionado con la interacción
dentro del Mundo Virtual Second Life es una tarea
compleja. En el caso que nos ocupa, la interacción del
usuario propiamente dicha, se ha realizado una
interconexión (vía protocolo http) entre el entorno virtual
y la arquitectura software, de modo que sea posible
monitorizar a través de la capa de recogida de datos de la
arquitectura. Para llevar a cabo este cometido, la recogida
de datos del Mundo Virtual se organiza mediante una
adaptación del protocolo RDF, de modo que todo dato
recogido se expresa en el proceso de recolección en frases
de tipo sujeto (usuario) + verbo (acción que realiza) +
predicado (objeto implicado, momento temporal,
coordenadas virtuales, etc.). Estos datos enviados desde
el Mundo Virtual quedan guardados en una capa de
persistencia de datos dentro de la arquitectura (base de
datos MongoDB), de modo que es posible acceder a estos
datos analizarlos, pudiendo discriminar qué usuario ha
realizado qué acciones, en qué momento temporal o sobre
qué objeto concreto ha realizado alguna acción.
• Cálculo de factores de uso, sesiones y el tiempo de uso de
los usuarios: Una vez almacenados los datos de
XVI Simposio Internacional de Informática Educativa (SIIE’14)
interacción, es posible detectar el número (técnicas de
recuento, etc.) de acciones realizadas por cada usuario, el
ratio de uso de cada objeto, el tipo de interacción del
usuario y el entorno 3D (exploratoria, indiscriminada,
ordenada, etc.). Además de conocer qué objetos se usan y
por parte de qué usuarios, es posible conocer el tiempo de
sesión y de conexión de los usuarios dentro del Mundo
Virtual, ya que se ha implementado en la capa de
servicios de analítica una técnica de estimación del
tiempo. Concretamente, se sigue el mismo procedimiento
que usa el servicio Google Analytics para estimar las
sesiones y el tiempo de conexión de los usuarios en una
página o portal web. Esta metodología se basa en el
análisis de la consecución de eventos o acciones de un
usuario dentro de un entorno digital, y determina, que el
tiempo mínimo de conexión de un usuario dentro de un
sistema, es aquel que transcurre entre la aparición del
primer y el último evento de interacción. Para corregir
errores como la posibilidad de utilizar el tiempo que un
recurso digital se encuentre en reposo, es necesario
contemplar el concepto de sesión de usuario. Una sesión
de usuario se considera como aquel espacio de tiempo en
el que un usuario está conectado de manera continuada a
un sistema. Tomando el concepto de sesión, se puede
calcular de una forma más fiable el tiempo de conexión
al sistema, ya que solo se tiene en cuenta el tiempo de
uso efectivo, no distanciado en demasía en el tiempo
(diferencias inferiores a 30 minutos) [11, 12]. Por tanto,
el tiempo de uso de los usuarios se considera finalmente
como la suma del tiempo de las distintas sesiones, y el
tiempo por sesión se calcula como el tiempo transcurrido
entre el primer evento de interacción de la sesión y el
último.
III. RESULTADOS Y DISCUSIÓN
Esta sección muestran como ejemplo del funcionamiento de
la arquitectura los resultados obtenidos acerca de los indicadores
de uso en 9 alumnos del Máster Universitario en Evaluación y
Desarrollo de Medicamentos de la Universidad de Salamanca,
comparándolos con las notas obtenidas. De igual forma, en esta
sección se discute acerca de los resultados en términos de
validez y utilidad, y del rendimiento de la arquitectura para
realizar la recogida de datos y análisis de indicadores a través de
ellos, y su posible para evaluar una actividad .
A. Resultados de la medición de los Indicadores de Uso
Una vez realizada la práctica y evaluada la actividad por
parte de los profesores responsables de la asignatura, se ha
realizado una medición a través de la arquitectura software de
las distintas características de uso del entorno 3D, para poder
conocer si la actividad monitorizada por los servicios de
recogida de datos de la arquitectura se pueden relacionar con la
167
J.Cruz; F.J. García-Peñalvo; R. Therón; C. Maderuelo; J. S. Pérez; H. Zazo; A. Martín - Uso de arquitecturas software para recolectar información de interacción en entornos eLearning
nota final de los alumnos, o por el contrario, para determinar si
la interacción no tiene que ver tanto con la nota final (o por
ejemplo, en este caso tiene mayor relevancia la teoría de la
asignatura).
TABLA I.
RESULTADOS DE LA MEDICIÓN DE LOS INDICADORES DE USO
POR CADA ALUMNO Y NOTA OBTENIDA EN EL INFORME FINAL SOBRE LA
PRÁCTICA Y LOS FALLOS DETECTADOS DENTRO DEL LABORATORIO VIRTUAL
Nº
de
sesiones
Tiempo
medio por
sesión
(segundos)
Tiempo
total de uso
(segundos)
Nota del
alumno
(max 10
puntos)
Alumno
Número
de
interacciones
recuperadas
1
1096
3
327
983
4,3
2
1533
9
190
1716
4,6
3
800
2
541
1082
4,8
4
1184
4
522
2090
7,5
5
831
5
390
1952
7,7
6
685
3
310
931
4,3
7
960
3
491
1475
5,5
8
1555
7
285
1995
7,3
9
1191
9
168
1517
5,5
En la Tabla 1 es posible observar los distintos datos medidos
de cada alumno. Respecto a los resultados obtenidos de la
medición de indicadores de uso, como se observa en la tabla,
hay cierta disparidad en el tiempo de conexión de distintos
alumnos, así como también se observa bastante diferencia entre
unos alumnos y otros en el número de interacciones registradas.
En general, es posible afirmar que hay un factor especialmente
relacionado con la nota final, este factor es el tiempo dedicado a
la realización de la práctica. En ese caso se observa que los
alumnos (excepto uno, el alumno 2) que se han tomado más
tiempo en la observación de los puntos de control que se deben
revisar en el laboratorio son los que mejor nota han obtenido. En
cuanto a la cantidad de interacciones recuperadas, no es posible
determinar una relación directa con la nota, ya que se dan casos
de alumnos que tienen registradas multitud de interacciones pero
parece que no han interaccionado con los objetos concretos que
incluían algún fallo o deficiencia en cuanto a la normativa GPL.
Del mismo modo, parece que el número de sesiones no tiene una
relación directa con la calificación obtenida, ya que no se
observa ninguna dependencia; por lo tanto el tiempo medio por
sesión no tiene relación alguna tampoco.
B. Discusión acerca de los resultados
Tomando la comparación entre las mediciones realizadas y la
nota obtenida por los alumnos, es posible afirmar que esta
práctica por norma general, para realizarla de forma correcta
168
implica un tiempo prolongado de auditoría dentro del entorno
virtual (posiblemente debido a la cantidad de detalles presentes
en un laboratorio como el representado virtualmente). Esta
afirmación se debe a que todos los alumnos, excepto uno, que
habían aprobado la parte de redacción del informe final son los
que más tiempo se habían tomado en realizar las actividades de
inspección. A pesar de que haya tres de los indicadores que no
tienen una relación directa con la calificación obtenida en el
ejercicio práctico, hay que destacar que estos indicadores sirven
al profesor para hacerse una idea del tipo de comportamiento
que tienen los usuarios. No es igual que un usuario haya
interaccionado con muchos objetos (de manera acertada o no),
que un alumno haya interaccionado con muy pocos, ya que por
ejemplo, la interacción con el medio puede considerarse como
un síntoma de interés o curiosidad sobre el entorno virtual que le
rodea, expresado en número de clics sobre objetos del entorno
virtual. En cualquier caso, se puede considerar que la medición
de los indicadores de uso mediante una arquitectura software,
pueden indicar una relación entre los mismos y la nota final
obtenida. Además pueden proporcionar una idea clara de cómo
transcurre la actividad, permitiendo al profesor incluso controlar
qué alumnos pueden estar arriesgándose a una evaluación final
peor (alumnos con indicadores claramente inferiores al resto).
En cualquier caso, se observa que la medición y análisis (aunque
de un modo básico) de las variables que se pueden recoger de un
entorno como el que se presenta en el caso de estudio pueden
dar una información valiosa a los profesores o responsables de
una actividad académica, y que la arquitectura software basada
en capas de servicios que se ha presentado, tiene utilidad aún en
su fase inicial, y proporciona valor a los docentes que la han
usado.
IV. CONCLUSIONES
Este trabajo muestra cómo se puede aplicar una arquitectura
software basada en servicios para el soporte y análisis de
actividades de eLearning en un contexto como son los Mundos
Virtuales. Este trabajo se ha centrado principalmente en cómo
una arquitectura de este tipo puede incorporar funciones de
medición y análisis de la información extraída de un contexto
educativo digital para descubrir conocimiento acerca de cómo
los usuarios realizan sus actividades de aprendizaje dentro de un
ecosistema digital. Para ilustrarlo, se han medido tres
indicadores de uso del caso de estudio presentado, a fin de
observar si los docentes responsables de la actividad de
aprendizaje pueden extraer conocimiento sobre sus alumnos.
Así, este trabajo muestra cómo una arquitectura software puede
medir y analizar diversos factores relacionados con el
desempeño y realización de las actividades digitales,
permitiendo al profesor conocer cómo los alumnos realizan
actividades de aprendizaje, llegando a servir como apoyo a los
docentes en cuanto a la detección de conductas o usos que
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J.Cruz; F.J. García-Peñalvo; R. Therón; C. Maderuelo; J. S. Pérez; H. Zazo; A. Martín - Uso de arquitecturas software para recolectar información de interacción en entornos eLearning
puedan llevar al alumno una mala realización una actividad de
aprendizaje y poder aplicar medidas correctoras.
V. AGRADECIMIENTOS
Al Vicerrectorado de Política Académica de la Universidad
de Salamanca por la financiación del proyecto de Innovación
Docente 2013/201 bajo el que se ha podido desarrollar la
arquitectura software usada en este trabajo.
VI. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
C. Beer, K. Clark, and D. Jones, "Indicators of engagement," Proceedings
ascilite Sydney, 2010.
B. Dalgarno and M. J. W. Lee, "What are the learning affordances of 3‐D
virtual environments?," British Journal of Educational Technology, vol.
41, pp. 10-32, 2010.
M. Fetscherin and C. Lattemann, "User acceptance of virtual worlds,"
Journal of Electronic Commerce Research, vol. 9, pp. 231-242, 2008.
K. Krause, "Understanding and promoting student engagement in
university learning communities," Paper presented as keynote address:
Engaged, Inert or Otherwise Occupied, 2005.
L. Lab. (2014, Feb 28, 2014). Second Life. Available: http://secondlife.com
C. Maderuelo, J. S. Pérez-Blanco, H. Zazo, J. M. Armenteros del Olmo, J.
Cruz Benito, and A. Martín-Suárez, "Auditing Training Practice To
Postgraduate Pharmacy Students In A Virtual World," presented at the 19th
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Annual Conference of the European Association of Faculties of Pharmacy
(EAFP 2013), Ankara, Turkey, 2013.
[7] F. J. García-Peñalvo, J. Cruz-Benito, C. Maderuelo, J. S. Pérez-Blanco, and
A. Martín-Suárez, "Usalpharma: A Cloud-Based Architecture to Support
Quality Assurance Training Processes in Health Area Using Virtual
Worlds," The Scientific World Journal, vol. 2014, 2014.
[8] J. Cruz-Benito, R. Therón, F. J. García Peñalvo, C. Maderuelo, J. S. PérezBlanco, H. Zazo, et al., "Monitoring and feedback of Learning Processes in
Virtual Worlds through analytics architectures: A real case," in Sistemas y
Tecnologías de Información. Actas de la 9ª Conferencia Ibérica de
Sistemas y Tecnologías de Información. vol. I Artículos, Á. Rocha, D.
Fonseca, E. Redondo, L. P. Reis, and M. P. Cota, Eds., ed Barcelona,
España, June, 18-21, 2014: AISTI (Asociación Ibérica de Sistemas y
Tecnologías de Información), 2014, pp. 1126-1131.
[9] G. Klyne, J. J. Carroll, and B. McBride, "Resource description framework
(RDF): Concepts and abstract syntax," W3C recommendation, vol. 10,
2004.
[10] MongoDB, "Top 5 Considerations When Evaluating NoSQL Databases,"
ed, 2013.
[11] J. Cutroni. (2012, June, 20, 2014). Understanding Google Analytics Time
Calculations.
Available:
http://cutroni.com/blog/2012/02/29/understanding-google-analytics-timecalculations/
[12] Google. (2014, June, 20, 2014). How Sessions are calculated in Analytics.
Available: https://support.google.com/analytics/answer/2731565?hl=en
169
Domain-driven competence assessment in virtual
learning environments. Application to planning and
time management skills
Antonio Balderas1; Álvaro Galán-Piñero1; Juan Antonio Caballero Hernández2; Gregorio Rodríguez Gómez2; Juan
Manuel Dodero1; Manuel Palomo-Duarte1
1
Department of Informatics Engineering, University of Cadiz
School of Engineering, Campus Universitario de Puerto Real, 11510 Cadiz
[email protected], [email protected], {juanma.dodero, manuel.palomo}@uca.es
2
EVALfor Research Group University of Cadiz
Avda República Saharaui s/n,
11519 Puerto Real (Spain)
{juanantonio.caballero, gregorio.rodriguez}@uca.es
Abstract—The Learning Management Systems provide a set of
facilities for the lecturer to manage his courses. Unfortunately, they
have limitations when it comes to assessing generic skills. In most of
them, every activity is assessable but just with a simple grade and
there is not a direct link between activities and generic skills. In this
work we present two alternatives to solve this issue: an assisted
method based on a Model-driven architecture approach and a Rest
Web service that facilitates the assessment of generic skills. We
apply both approaches to a case study consisting in a Moodle-based
course where we assess the ability of plan and manage time of each
student. Results show that the approaches are complementary, the
Web service provides more detailed formative feedback, but the
Model-driven approach seems more scalable for courses with a
high number of students, where it is more difficult to assess their
generic skills.
Keywords—model-driven architecture; learning analytics;
generic skills assessment; learning management system; online
learning; technological support in online education; Rest Web service
I.
INTRODUCTION
In the past decade, the use of a sustained learning process in
Internet has raised significantly. With the increasing use of the
new technologies, besides the resources for getting them by the
students of any educational framework, both the universities and
other educational centres have been forced to move forward and
focused their advances in this environment. While these
technological changes have influence in our everyday life, there
are improvements in the use of theories which support the
development of learning tool [1]. An evidence of this increase in
the new technologies is the installation of Learning Management
Systems (LMS) in universities, high schools or education
centres.
Almost simultaneously, the attention on higher education
learning has turned from knowledge to skills. Projects like the
Tuning Educational Structures in Europe (supported by the
Lifelong Learning Program of the EU) show the importance of
using the concept of skills as a basis for learning outcomes [2].
The learning outcomes are skills, and students must be assessed
about these learning outcomes during the learning process [3].
Therefore, it is no enough for a new graduate to have knowledge
of an academic subject. Increasingly it is necessary for students
to gain those skills which will enhance their prospects of
employment [4].
Each student must be assessed on his development of skills.
Unfortunately, LMSs have limitations when it comes to
assessing skills. In most of them, every activity is assessable but
just with a simple grade (not according to different skills) and
there is not a direct link between activities and skills. For
instance, Moodle, one of the most popular LMSs, does not allow
assessing skills, and it is very difficult to link their activities to
skills. This way, student assessment without a proper computer
support will be time consuming task, specially if the number of
students is high. Could an assisted method facilitate the
assessment of generic skills for the lecturer? This paper presents
two alternatives to answer this question: the application of
Model-Driven Architecture (MDA) development approach to
assist the assessment of generic skills and a Rest Web service
that facilitates the manually assessment of generic skills.
The rest of the paper is organized as follows: Section 2
reviews the state of the art. Section 3 introduces the tools used in
this work: Gescompeval and EvalCourse. In Section 4 we
describe a case study of the assessment of one of the skills that is
more demanded in the business world: the ability of plan and
manage time [5]. In the last one, we provide a discussion along
with conclusions and future research lines.
171
A.Balderas; Á. Galán; J.A.Caballero; G.Rodríguez; J. M.Dodero; M.Palomo - Domain-driven competence assessment in virtual learning environments. Application to planning and time management skills
II.
STATE OF THE ART
Previous research evaluating students’ achievement have
demonstrated that many strategies promoting active learning are
comparable to lectures in promoting the development of
students’ skills [6]. The key hypothesis of active learning is that
if the learning algorithm is allowed to choose the data from
which it learns, to be curious, it will perform better with less
training [7]. In [8] the fundamental hypothesis tested was
whether the implementation of active learning methodologies,
such as cooperative learning and problem based learning,
favours the achievement of these two generic skills: teamwork
and planning and time management. The effect of active
learning on the generic skills was examined by comparing the
mean obtained in each generic skill measured both before and
after active learning methods were implemented. Results
showed no difference between the two means (beginning and
end) detected for the skill of planning and time management.
The authors concluded that students need some specific
preparation on ’study techniques’ and ’team work’ before using
them for active learning methodologies.
A working path to assess generic skills in engineering grades
is based on using assessment instruments. For example, a set of
rubrics were used in [9] to measure ability to function on teams,
communicate effectively, apply creativity, and demonstrate a
commitment to quality and timeliness. Another strategy is using
peer assessment procedures, where it is very common the use of
ePortfolios [10]. The last choice we can meet in the related
bibliography is about serious games. They are computer systems
that simulate situations based on real life to safely integrate
these experiences in university curricula [11], [12].
Acquiring new skills is the central goal of modern education
or knowledge management process. Therefore, it must be
embedded in any based-technology educational framework. But
none of these architectures offers this option. Distributed
Workbench for the Engineering of Learning Systems are a webbased workbench to support the 35 main tasks of the
Competency in an Instructional Engineering Method [13]. These
tools are used to define a set of skills associated with a
knowledge model that defines the content for a course. The
author summarizes that the major challenge is to integrate them
in a coherent, flexible, user-friendly, and scalable way, within
the new context provided by the semantic web and the ontologydriven architecture of TelELearning Operating System
(TELOS).
The increase of the usage of LMSs amongst institutions
generates new problems arising that need to be solved. The
multiplicity of platforms and approaches used for various
systems implementation difficults to manage them. In [14] a
study to overcome the aforementioned difficulties by using the
MDA approach is presented. Their goal was to define a
172
generalized model of LMSs consisting of features of all other
LMSs that can be mapped into it.
In [15] is developed an interaction analysis within online
educational contexts based on collaborative learning strategies.
The author stated that the interactions among learners were very
complex and they require an appropriate model to be deeply
investigated.
Through a MDA approach, our proposal is to automatically
obtain indicators from LMS logs to assess different generic
skills. Technology enhanced learning (TEL) environments
represent a promising alternative to traditional learning methods
in both face-to-face and distance learning situations. In order to
analyze the efficiency of these environments a common practice
consists in collecting interaction traces to record learners’
activity when using a learning tool [16].
The ability to plan and manage time is the skill assessed in
this experience. Already in 1983, a prospective study tested the
hypothesis that college grade point average (GPA) would be
predicted by time-management practices [17].
III.
SOFTWARE ARCHITECTURE
In this section two approaches are compared. Firstly, a Rest
Web service, that is, a non MDA approach through the
application of Gescompeval. Secondly, a MDA approach using
EvalCourse, a system to obtain indicators from the LMS. Once
conducted, we should be able to state if an assisted method
facilitates the assessment of generic skills for the lecturer. The
main limitation of the architecture is that the LMS has to be
based on Moodle.
The lecturer has assessed their students manually in the
ability of plan and manage time using Gescompeval.
Gescompeval is a Rest Web service used for managing skills
and learning outcomes. It allows lecturers assessing their
students in skills through assessment tools integrated in a LMS.
Secondly, once the course have finished, the lecturer has
extracted indicators about the students’ performance in this skill
using EvalCourse. EvalCourse is a software system that runs
assessment queries, providing in its output the indicators
requested. We compare the results obtained automatically with
those assigned directly by the lecturer.
A. Gescompeval
On one hand we have Gescompeval, a Rest Web service
implementing a MVC (Model View Controller) architecture. It
is used for managing skills and learning outcomes and retrieving
information of them using its API. The skills and learning
outcomes are in an educational context, therefore they refer to
abilities and/or skills which a student acquires in an activity,
course or career.
Gescompeval consists on a Web interface and a Web server.
The API of Gescompeval only offers resources to get data, not
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.Balderas; Á. Galán; J.A.Caballero; G.Rodríguez; J. M.Dodero; M.Palomo - Domain-driven competence assessment in virtual learning environments. Application to planning and time management skills
to post them, so a Web interface is necessary. Through the Web
interface the users can do CRUD (Create Read Update Delete)
operations and connect the skills with some learning outcomes
and vice versa. These connections are not used in other options,
but through the API we can get them and use them in order to
get information. For example, a use of this could be the next: in
a LMS, a lecturer gives a grade G to a skill C for a student S. If
the lecturer wants to get the grade of a learning outcome O
which is connected with the previous skill C, he can keep in
mind the grade of that skill through the connections to get an
average mean for the grade of the learning outcome O.
Once an application for creating an index of skills and
getting information is created, it has been integrated with a LMS
to improve the usability. This integration is called
Gescompeval_MD and it is a block extension for Moodle 2.X
that uses Gescompeval’s API for showing information about
assessments of skills and learning outcomes. This extension
allows assessing skills and learning outcomes through another
Web service focused on skills assessment called EvalCOMIX
and a Moodle block called EvalCOMIX_MD, which uses the
API of EvalCOMIX. This way, we will be able to know the
grade of each student in a certain skill/outcome.
created in Gescompeval Web service. After selecting and adding
them through a button, the desired skills will be included in the
course.
Secondly, a lecturer can connect some of the skills added to
the course with subdimensions of EvalCOMIX assessment tools.
To do that, the lecturer must select a subdimension of his
EvalCOMIX tools. An example of this is shown in figure 2.
After that, he will be able to link some skills and learning
outcomes included in the course with the subdimension
previously selected. Now, the skills will get the grades from the
subdimensions which they are connected with and will combine
those grades to get the final one.
Finally, the grades of each skill will be shown to the user to
provide formative feedback. There are two types of reports: a
global report of all students in the course and an individual one
of a certain student. Besides, through a check box a lecturer can
choose if the connections between skills and learning outcomes
must be kept in mind. These reports are dynamic graphics
developed using Google Charts. When the user places the mouse
over a graphic, some information is showed in a popup: code,
name and value of the skill/outcome and tasks of the course
where the skill/outcome has been developed.
Fig 1. Gescompeval architecture
EvalCOMIX is a Web service for e-Assessment that can be
integrated into a LMS. Firstly, EvalCOMIX supports the design
and management of assessment tools like Rating scales,
Checklists, Rubrics, etc. Secondly, when integrated into an elearning environment (Moodle, LAMS, etc.), it allows using the
previous defined tools to be used for assessment [18]. These
tools support assessment according to dimensions,
subdimensions and attributes. Each subdimension will be
connected with a skill or a learning outcome from
Gescompeval_MD. Getting the students’ grades in those
subdimensions, reports will be able to be showed.
Firstly, Gescompeval_MD allows to a lecturer include the
skills and learning outcomes that will be developed by the
students through LMS course’s activities. Previously, all the
skills and learning outcomes have been created in Gescompeval
Web service. For example, if a lecturer wants to include two
skills which are developed by the students of the course, he must
select those skills from a box which lists all the skills that are
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig 2. Selection of subdimension snapshot
B. EvalCourse
On the other hand we have EvalCourse. EvalCourse has been
developed to support lecturers when assessing students. It
obtains some indicators of the work of students in a LMS
(Learning Management System) which will be useful to get
information about the compliance or not of them in some skills
like the ability to planning and management time, leadership,
etc. At the moment, Moodle is the only LMS supported by this
software.
EvalCourse has been developed following a MDA approach.
The proposal started with a model of the domain to be
represented (the metamodel). Then, it continued through the
remaining phases that an Eclipse Modeling Framework (EMF)
project requires. EvalCourse is an assessment support
environment that executes queries written in SASQL, a Domain
173
A.Balderas; Á. Galán; J.A.Caballero; G.Rodríguez; J. M.Dodero; M.Palomo - Domain-driven competence assessment in virtual learning environments. Application to planning and time management skills
Specific Language (DSL) to tackle with the complexity of
customizing online learning assessments [19].
EvalCourse is presented to the user as a RCP application,
which means that it consists on a desktop application based on
the Eclipse framework but it is neither so heavy nor has so many
features, it has just the necessary to run EvalCourse. One of the
most important factors we have tried to achieve is the ease of
use because it is directed to any lecturer with or without
computer skills. This way, the user just has to download the tool,
write the query and press a button in order to get the indicators.
Fig 3. EvalCourse architecture
Figure 3 shows the process we follow to obtain the different
results. Firstly, once we have created an EvalCourse project
inside the RCP application, we must indicate with a textual
query the information we want. Then, EvalCourse satisfies user
queries analyzing LMS logs, offering the results in different
formats. Internally it invokes Gephi, an open source graph
visualization software, and Pentaho is a suite of open source
Business Intelligence products which provide data integration,
OLAP services, reporting, data mining, etc. which we use it to
make multiple transformations to finally present the results in a
XML and CSV file, a bar chart and a pie chart.
The user has two options to indicate the course he is
referring to:
1. At the end of the query he indicates the id of the course.
To do this the configuration with the database must be indicated.
The connection with a possible central computer which has the
LMS installed could be a problem. For example, in a university,
all the lecturers may not have permission to access to it. For this
reason, a second option has been developed.
2. This other option consists on making a backup of the
course we are referring to inside the LMS. The user indicates at
the end of the query that the course comes from a backup file.
This backup file must be added to our EvalCourse project.
174
IV.
CASE STUDY
In this section we introduce the scenario of our case study. It
was developed in an elective course on Functional Programming
of the degree on Computer Science and Engineering in
University of Cadiz (Spain), in 2013/14 academic year. Six
students enrolled the course, being all of them were final (fifth)
year students. Therefore, we can think that passing this course
was a priority for them to join professional world.
The assessment of the students was done manually using
Gescompeval and we later applied EvalCourse. This course was
coordinated by one author of this paper, who anonymized
student’s data. We assess students’ performance in the skill of
planning and time management. The lecturers involved have
some experience in skills assessment because in every subjects
of this, a subject tab with all the skills developed is designed.
A. Gescompeval
Firstly, we have used EvalCOMIX and Gescompeval to get
grades for the developed skills. To do that we have created an
assessment tool with EvalCOMIX which has two dimensions
with one subdimension each one (figure 4). One subdimension is
used for assessing the practical content of the assessed exercise,
while the other one assesses the time of submission. The content
is assessed with four attributes: correctness, efficiency, speed of
execution and applied knowledge. They can be assessed with
none (one or no exercise has the attribute), some (at least two
exercises have it) and all (every exercise has it). On the other
hand, the time of submission is assessed with one single attribute
with four values: delayed (submitted after deadline), average
planning (submitted one or two hours before deadline), good
planned (submitted one day before) and excellent planning
(more than two days before).
Fig 4. EvalCOMIX tool snapshot
Once the tool is designed, we define the skills that we are
going to use in Gescompeval. Later, we include them in the
course and finally connect them with the subdimensions of the
tool in this way:
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.Balderas; Á. Galán; J.A.Caballero; G.Rodríguez; J. M.Dodero; M.Palomo - Domain-driven competence assessment in virtual learning environments. Application to planning and time management skills
• Practical situations subdimension with Ability to apply
knowledge in practical situations
• Time subdimension with Ability to plan and manage time
TABLA I.
anon4
anon5
anon7
anon8
anon9
anon10
GRADES OBTAINED WITH GESCOMPEVAL
Plan and manage time
91.75
50.50
66.67
58.75
42
25.25
Knowledge in practical situations
94
94
96
94
100
100
Finally, after assessing the students, through Gescompeval
reports we have obtained grades shown in table 1. The grades
range from 0 (minimum) to 100 (maximum).
With these grades, we can see that all the students have a
high grade in applying knowledge in practical situations,
because their grades are very high (from 94 to 100). However,
we can also see that those students do not have so high grades in
plan and manage time, because only anon4 has a high grade
(91.75), the rest have less of 67 points. With a conventional
assessment, every student should have high grades, but with this
assessment method, an important skill like planning and
managing time is assessed and considered for the grade too..
Evidence Milestones_list:
get students
show milestones
in assignment.
Listing 1. Code to retrieve students' performance in assignments
delivered their assignments on time, delayed or even if they have
some pending assignment. We can ask for that information with
the SASQL code showed in listing 1. Then, we obtain
information in several formats. Attending to figure 5, we can see
which students have delivered all their assignments on time, in
this case only 3 students. In table 2, we can see the same
information more detailed.
Also, table 2 shows an interesting insight. Except for anon5,
who can be considered an exception, we realize that those
students who have delivered all their assignments on time, have
more access to the course than the rest (anon4 and anon8). And
the same applies to the opposite case, those who have the lowest
ratio have accessed the course less often. We could assume that
this is directly related with the interest in a course.
TABLA II.
Name
anon4
anon5
anon7
anon8
anon9
anon10
Ratio
100
100
50
100
75
50
ASSIGNMENTS OF THE STUDENTS
Milestones
4
4
3
4
4
4
In-time
4
4
2
4
3
2
Pending
0
0
1
0
0
0
Access
218
78
135
171
149
117
Secondly we present the students’ participation in a forum
(table 3). It has been extracted with the SASQL-code 2. If we
compare both reports, assignment and forum, we can extract
some important information. Again student anon5 has not
accessed the forum many times, like with the assignments. But
he has the highest collaboration figure, like he had all the
assignments in time. Regarding these two cases, we could
assume that student anon5 checks the LMS very frequently.
Such information could indicate that he manages the time quite
well and the number of times he has started a debate in the
forum could mean that he is a good leader.
Evidence forum_interaction:
get students
show interaction
in forum.
Listing 2. Forum interaction code
TABLA III.
Fig 5. Ratio of assignments delivered on time
B. EvalCourse
When applying EvalCourse to the same course, the first
aspect to analyze consists on checking if the students have
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Name
anon4
anon5
anon7
anon8
anon9
anon10
Debate-starter
1
3
1
0
0
3
PARTICIPATION IN FORUM
Debate-participation
2
1
3
0
2
1
Total
3
4
4
0
3
4
Access
64
36
75
48
28
41
Student anon4 is the one with more accesses to the LMS,
while the number of his collaborations in the forum is fine. It
175
A.Balderas; Á. Galán; J.A.Caballero; G.Rodríguez; J. M.Dodero; M.Palomo - Domain-driven competence assessment in virtual learning environments. Application to planning and time management skills
seems that he has to make a bigger effort than the rest to fulfill
the objectives.
C. Comparison
Once we have obtained all the indicators from EvalCourse, it
is time to interpret them to contrast with the grades assigned
directly by the lecturer using Gescompeval. If we took only the
set of activities delivered on time as the indicator linked
competition with planning, we would say that there are 3
students who have achieved the level of maturity in this skill
(anon4, anon5 and anon8).
However, if we take into account two indicators at the same
time: number of submitted on time tasks and an above-average
number of accesses to the virtual campus, only the student anon4
would fulfill both indicators.
These are examples of interpretations that the lecturer could
assume with the obtained indicators, but the validity of the
application of these indicators to a particular skill is outside the
scope of this work. What the lecturer stated, is that the
application of EvalCourse allowed him to refine the assessment
and it successfully assisted the assessment task. Actually, this is
what concerns our work. Of course, this work requires deeper
research, but it is a valid first approach. It shows that the
indicators are there, and the lecturer just has to investigate how
to interpret them. If the lecturer manages to refine the indicators,
he would be able to obtain an objective assessment of skills in
massive online courses using EvalCourse.
V. CONCLUSION
Generic skills are important in most professions. Their
development enables students to integrate successfully in
employment and social contexts. Unfortunately, in the academic
context assessing certain competencies is a complex and/or a
subjective task. In recent years several alternatives to solve this
issue have been presented. In this paper we have made a
comparative study between two different approaches to assess
the work done in a course supported by a LMS.
On the one hand the lecturer applied Gescompeval_MD.
Gescompeval_MD allows a lecturer to include the competencies
and learning outcomes that will be developed by the students
through course’s activities. Besides, the lecturer can connect
some of the competencies added to the course before with
subdimensions of EvalCOMIX assessment tools. To do that, the
lecturer must select a subdimension of his EvalCOMIX tools.
After that, he will be able to link some competencies and
learning outcomes included in the course with the subdimension
previously selected. Now, the competencies will get the grades
from the subdimensions which they are connected with and will
do an average of those grades to get the final one. In summary,
the lecturer conducted this process in a manual way and
achieved its goal effectively.
176
On the other hand the lecturer applied EvalCourse once the
course finished. EvalCourse was been developed following the
MDA approach to deal with vocabulary and key concepts of an
educational domain model. In EvalCourse, the lecturer wrote a
couple of queries in an assessment-specific domain language to
obtain two listings with the indicators related to the activities
submitted by the students, as well as several figures that support
them.
Results are promising, the reports of Gescompeval provided
the students with formative feedback about the skills they
developed. The feedback was composed of specific values
because it came from the assessments done manually by the
lecturer. As a future work, the possibility of exporting these
reports with customize options would add more feedback to the
lecturer and it could be a more specific information.
Besides, the assisted assessment provided by EvalCourse
was really useful for the lecturer. He could refine the previously
done assessment using Gescompeval without much effort.
Furthermore, he got many indicators that could somehow be
applied to the assessment of generic skills. The course in which
both tools were applied had a small number of students.
Although Gescompeval was very useful for the lecturer and let
him perform a very strict assessment of generic skills, this
labour might present scalability problems if the course had a
higher number of students.
We can conclude that our proposal can be applied to assess
skills of students in terms of their interaction with LMS in other
computer-supported learning experiences of any educational
level and topic. For the time being, the main limitation to
perform a new experience is that the LMS has to be based on
Moodle. Obviously, we need further study to get a stronger
conclusion on the validity of our proposal. So we will apply our
system to a course with a high number of students interacting in
a LMS. Whereas previously, trying to assess generic skills was
intractable.
VI. ACKNOWLEDGMENT
This work funded by the European Union under the
OpenDiscoverySpace (CIP-ICT-PSP-2011-5) project.
VII. REFERENCES
[1]
[2]
[3]
O. Graven and L. MacKinnon, “A survey of current state-of-the art support
for lifelong learning,” in Information Technology Based Higher Education
and Training, 2005. ITHET 2005. 6th International Conference on, July
2005, pp. F2C/19–F2C/25.
J. Gonzalez and W. Robert, Tuning Educational Structures in Europe Final Report - Pilot Project - Phase 1.1em plus 0.5em minus
0.4emUniversity of Deusto, 2003.
J. Palás, M. Nolla, A. Oriol, and A. Gual, “Proceso de Bolonia (I):
educación orientada a competencias,” Educación Médica, vol. 13, no. 3,
pp. 127–135, 2010.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.Balderas; Á. Galán; J.A.Caballero; G.Rodríguez; J. M.Dodero; M.Palomo - Domain-driven competence assessment in virtual learning environments. Application to planning and time management skills
[4]
S. Fallows and C. Steven, “Building employability skills into the higher
education curriculum: a university-wide initiative,” Education + training,
vol. 42, no. 2, pp. 75–83, 2000.
[5] J. A. Leroux and S. Lafleur, “Employability skills: The demands of the
workplace,” The Vocational Aspect of Education, vol. 47, no. 2, pp. 189–
196, 1995.
[6] C. C. Bonwell and J. A. Eison, Active Learning: Creating Excitement in
the Classroom. 1991 ASHE-ERIC Higher Education Reports.1em plus
0.5em minus 0.4emERIC, 1991.
[7] B. Settles, “Active learning literature survey,” University of Wisconsin,
Madison, vol. 52, pp. 55–66, 2010.
[8] J. E. Perez Martinez, J. Garcia, I. Muñoz Fernandez, and A. Sierra Alonso,
“Active learning and generic competences in an operating systems course,”
International Journal of Engineering Education, vol. 26, no. 6, pp. 1484–
1492, 2010.
[9] E. M. Cooney and K. Reid, “Assessment rubrics for tac-abet interpersonal
skills,” in Proceedings of the 2004 American Society for Engineering
Education Annual Conference. Session 2149, 2004.
[10] M. Faulkner and S. M. Aziz, “Stimulating self assessment and reflection in
first year engineering using ePortfolios,” The Journal of the Education
Research Group of Adelaide, vol. 2, no. 2, pp. 5–17, Aug. 2011.
[11] S. A. Petersen and M. A. Bedek, “Challenges and Opportunities in
Evaluating Learning in Serious Games: A Look at Behavioural Aspects,”
in Serious Games Development and Applications.1em plus 0.5em minus
0.4emSpringer Berlin Heidelberg, Jan. 2012, pp. 219–230.
[12] F. Borrajo, Y. Bueno, I. de Pablo, B. n. Santos, F. Fernández, J. Garcìa, and
I. Sagredo, “SIMBA: A simulator for business education and research,”
Decision Support Systems, vol. 48, no. 3, pp. 498–506, Feb. 2010.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[13] G. Paquette, “An ontology and a software framework for competency
modeling and management,” Educational Technology & Society, vol. 10,
no. 3, pp. 1–21, 2007.
[14] Z. Bizonova, D. Ranc, and M. Drozdova, “Model driven e-learning
platform integration,” 2nd PROLEARN Doctoral Consortium in
Technology Enhanced Learning Crete, Greece, September, vol. 18, pp. 8–
15, 2007.
[15] M. Repetto, “A methodological proposal to analyse interactions in online
collaborative learning environments,” in Technology Enhanced Learning
Crete, Greece, September 18, 2007, p. 40, 2007.
[16] H. Chebil, J.-J. Girardot, and C. Courtin, “An ontology-based approach for
sharing and analyzing learning trace corpora,” in ICSC.1em plus 0.5em
minus 0.4emIEEE Computer Society, 2012, pp. 101–108.
[17] B. K. Britton and A. Tesser, “Effects of time-management practices on
college grades.” Journal of educational psychology, vol. 83, no. 3, p. 405,
1991.
[18] I. Sáiz, D. C. Sánchez, Á. R. L. Rodrìguez, G. R. Gómez, M. A. G. Ruiz,
B. G. Noche, V. Q. Serra, J. C. Ibáñez et al., “Evalcomix en moodle: Un
medio para favorecer la participación de los estudiantes en la eevaluación,” RED, Revista de Educación a Distancia. Special numberSPDECE, 2010.
[19] A. Balderas, I. Ruiz-Rube, M. Palomo-Duarte, and J. M. Dodero, “A
generative computer language to customize online learning assessments,”
in First International Conference on Technological Ecosystem for
Enhancing Multiculturality. TEEM 2013, 2013, pp. 141–147.
177
Cuestionario de Evaluación del Soporte al Aprendizaje
Autorregulado en Software
Mario Manso Vázquez; Manuel Caeiro Rodríguez; Martín Llamas Nistal
Departamento de Ingeniería Telemática
Universidad de Vigo
Vigo, España
[email protected], [email protected], [email protected]
Resumen—La herramienta que los estudiantes emplean a la
hora de poner en práctica la autorregulación de su aprendizaje son
las estrategias. La aplicación de estas estrategias no depende de las
herramientas materiales empleadas sino de los conocimientos del
propio estudiante, pero la utilización de herramientas avanzadas
permite una mayor eficiencia y eficacia a la hora de aplicar las
estrategias de aprendizaje y autorregulación. Existen herramientas
específicas enfocadas a ofrecer soporte a los procesos de
autorregulación del aprendizaje, pero no todas cumplen con este
cometido de igual forma. Asimismo, existen herramientas genéricas
que pueden ofrecer soporte a estos procesos. Creemos que es
posible ofrecer soporte a la autorregulación del aprendizaje
mediante la utilización de herramientas software, pero es necesario
elegirlas herramientas y evaluar el nivel de soporte ofrecido. Por
ello se ha estudiado la teoría pedagógica centrada en la
autorregulación del aprendizaje en una búsqueda por comprender
los mecanismos de la autorregulación y definir los criterios de
diseño de herramientas software que ofrezcan soporte a los
procesos de autorregulación del aprendizaje. En base a esto hemos
creado un cuestionario para la evaluación del soporte al
aprendizaje autorregulado que permita evaluar las herramientas
desde este punto de vista, que presentamos en esta publicación.
Palabras clave—Aprendizaje Autorregulado; Estrategia
Aprendizaje; Evaluación de herramientas; Cuestionario.
de
I. INTRODUCCIÓN
Las competencias de autorregulación del aprendizaje y del
aprendizaje autónomo en general son vitales en el marco actual
de la educación. Existen numerosos proyectos pedagógicos para
la promoción del aprendizaje autorregulado (Self-regulated
Learning SRL), así como proyectos tecnológicos para ofrecer
funcionalidades software que den soporte a los procesos de
autorregulación del aprendizaje.
Las estrategias de autorregulación del aprendizaje, aparte de
poder ser vistas como métodos o técnicas, describen las acciones
que los estudiantes estratégicos realizan, ya sea por conocer las
estrategias como tales o por haber desarrollado sus propios
métodos de organización y estudio. Son la dedicación y el uso
adecuado de estas estrategias los que finalmente hacen que un
estudiante obtenga buenos resultados en un entorno exigente. En
último término, todo se reduce a su comprensión de las
estrategias, su capacidad para emplearlas
metacognitiva y su voluntad de hacerlo.
de
forma
A. Proyectos de Promoción de la Autorregulación
En pedagogía se evalúan el conocimiento y la utilización de
las estrategias a través de cuestionarios para conocer de
antemano las capacidades de un estudiante y sus costumbres, de
cara a detectar posibles necesidades de algunos estudiantes. Para
cubrir las deficiencias detectadas con los cuestionarios y mejorar
así el rendimiento académico, a los estudiantes se les enseñan las
estrategias de aprendizaje y autorregulación a través de cursos
de verano, cursos específicos en paralelo con el resto de
asignaturas, o introduciendo estos contenidos en cada asignatura,
enseñando las estrategias más relevantes para cada materia.
Existen también manuales de técnicas de estudio y estrategias,
pero por lo general son muy descriptivos y formales, no
resultando efectivos por ser poco atractivos. Hay un proyecto
que está obteniendo buenos resultados llamado “Comprometerse com o estudar na Universidade: Cartas do Gervásio ao Seu
Umbigo” [1] que enseña las estrategias desde la perspectiva del
alumno, de forma empática y a través de una historia que les
resulta familiar.
En cualquier caso no se promueve la utilización de
herramientas software para la aplicación de estrategias, ya sea
por desconocimiento o por no confiar en la capacidad de las
herramientas software para ofrecer soporte SRL, por lo que se
emplean herramientas tradicionales. Por ello es imprescindible
conocer el grado de soporte ofrecido por las herramientas
existentes.
B. Evaluación del Soporte Software al SRL
La evaluación del soporte a la autorregulación del
aprendizaje ofrecido por herramientas software puede ser algo
más bien difuso, dependiendo de cómo se mida o evalúe. Los
procesos de aprendizaje y de autorregulación del mismo son
llevados a cabo por el propio estudiante, y son sus acciones las
que determinan su éxito. Teniendo en cuenta que las
herramientas que los estudiantes emplean en último término para
guiar este proceso son las estrategias de autorregulación y
aprendizaje, parece lógico emplearlas como elemento clave para
179
M. Manso; M. Caeiro; M. Llamas - Cuestionario de Evaluación del Soporte al Aprendizaje Autorregulado en Software
extraer los requisitos que han de cumplir las aplicaciones para
darles soporte y, en consecuencia, estos requisitos para evaluar
el soporte ofrecido por las aplicaciones.
Sin embargo, la única propuesta que hemos encontrado que
trate el análisis del nivel de soporte a la autorregulación del
aprendizaje que pueden ofrecen las herramientas software es el
proyecto TELEpeers [2]. Como veremos, en este proyecto
desarrollado por varias universidades han analizado la
incorporación del aprendizaje autorregulado a los entornos de
aprendizaje tecnológicos estableciendo los criterios necesarios
para ofrecer soporte a la autorregulación, y creando un
cuestionario para evaluar en qué medida este soporte es ofrecido
por las herramientas, todo ello basado en un análisis de la teoría
de autorregulación, sin atender a las estrategias en concreto.
C. En Esta Publicación
Comenzamos con un breve repaso a la teoría del aprendizaje
autorregulado y las estrategias para seguir con la relación entre
éstos y las herramientas software en la sección III. La sección IV
está dedicada a trabajos relacionados. La sección V está
dedicada a la obtención de los criterios para el soporte SRL que
junto con la VI dedicada al análisis de los elementos de un
cuestionario y las escalas sitúan al lector para la sección VII
destinada al cuestionario de evaluación de soporte SRL en
software. La sección VIII está dedicada a trabajos futuros y
conclusiones.
II. APRENDIZAJE AUTORREGULADO Y ESTRATEGIAS
A. Modelo de Aprendizaje Autorregulado
Hay varias teorías acerca del aprendizaje autorregulado,
aunque todas comparten una visión similar. De entre todos los
autores importantes, nosotros hemos seguido los modelos de
Zimmerman y Pintrich, que siguen siendo utilizados por la
mayoría de expertos. Según Zimmerman, "la autorregulación se
refiere a pensamientos, sentimientos y comportamientos
autogenerados que están orientados a conseguir objetivos" [3].
Pintrich sostiene que el SRL es "un proceso activo y
constructivo en el que los estudiantes definen objetivos para su
aprendizaje, y luego tratan de monitorizar, regular y controlar su
cognición, motivación y comportamiento, guiados y encauzados
por sus objetivos y las características contextuales del entorno"
[4].
Como hemos sintetizado en [5], "el proceso de
autorregulación está basado en la consciencia de los estudiantes
sobre sus habilidades y limitaciones, sus objetivos centrados en
tareas y el uso de estrategias apropiadas. Los estudiantes pueden
mejorar su rendimiento académico empleando estrategias para
controlar y regular aspectos de su cognición, motivación y
comportamiento, para elegir y construir sus entornos de
aprendizaje y para establecer objetivos y monitorizar su
cumplimiento".
180
El modelo de Zimmerman propone la existencia de tres
fases:(1) fase previa o de premeditación, en la que se realiza el
análisis de la tarea, planificación y se establecen las creencias
motivacionales; (2) realización, durante la que se ejercen el
autocontrol y la auto-observación; y (3) autorreflexión, en la que
se realizan los juicios personales de evaluación y las
autorreacciones.
Pintrich por su parte propone cuatro fases: (1)
premeditación, planificación y activación, (2) monitorización,
(3) control y regulación y (4) reacción y reflexión, y cuatro
áreas: cognición, motivación/afecto, conducta y contexto,
estableciendo un modelo muy completo.
Nosotros hemos optado por un modelo integrador en el que
tenemos en cuenta tres fases y cinco áreas. Las fases son: (1)
premeditación, planificación y activación, (2) ejecución,
monitorización y control y (3) evaluación, reflexión y reacción.
Esto es así debido a que los elementos de cada fase son
concurrentes dentro del episodio de aprendizaje. En cuanto a las
áreas, contamos con cinco: cognición, metacognición,
motivación/afecto, comportamiento y contexto (social y
entorno). Se han separado cognición y metacognición que
aparecen integradas en el modelo de Pintrich debido a que los
procesos de cada una son muy diferentes [6], además de que la
mayoría de autores las consideran por separado.
B. Estrategias de Autorregulación y Aprendizaje
Existen varias definiciones del concepto de estrategia, y no
todos los autores comparten la misma visión. Gu [7] seleccionó
las definiciones más relevantes. Nosotros emplearemos la de
Nisbet y Shucksmith, aunque hay otras perfectamente válidas.
Según ellos las estrategias de aprendizaje son "secuencias
integradas de procedimientos cuya selección apropiada y
adaptación flexible cubre las necesidades de una situación de
aprendizaje específica" [8]. Nosotros "preferimos por ahora una
aproximación amplia, considerando las estrategias como
métodos y procedimientos que los estudiantes pueden emplear
para afrontar su aprendizaje de la manera más efectiva y
competente, para planificar, monitorizar y evaluar las cinco
áreas del SRL" [5]. En cualquier caso, consideraremos dos tipos
de estrategias: las de autorregulación del aprendizaje y las de
aprendizaje cognitivas.
Las estrategias de autorregulación del aprendizaje son las
estrategias metacognitivas (planificación, automonitorización y
autoevaluación), de control de conducta (gestión del tiempo,
búsqueda de ayuda, etc.), de control de motivación (activación
del interés, atribución causal, etc.) y de control de contexto
(evaluación de la tarea, control de cambios, etc.).
Las estrategias de aprendizaje cognitivas son también
conocidas en algunos casos como técnicas de estudio. Proveen
una estructura para el aprendizaje cuando la tarea es compleja.
Algunos ejemplos son las estrategias para búsqueda, selección,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Manso; M. Caeiro; M. Llamas - Cuestionario de Evaluación del Soporte al Aprendizaje Autorregulado en Software
adquisición, procesamiento, transformación y memorización de
información, comprensión lectora, resolución de problemas, etc.
Como ya hemos resaltado en [5], "la mayoría de estas estrategias
no son implementables o integrables completamente en
software, ya que involucran acciones internas e interacciones
con elementos externos que el estudiante ha de hacer por sí
mismo”.
III. APRENDIZAJE AUTORREGULADO Y HERRAMIENTAS
SOFTWARE
Como hemos visto, la autorregulación del aprendizaje
implica muchas actividades de registro de información,
organización, evaluación, reflexión, etc. Existen multitud de
herramientas software que, siendo genéricas o habiendo sido
creadas específicamente para ello, ofrecen potencialmente
soporte a muchas de las tareas implicadas en los procesos de
autorregulación del aprendizaje. Lo realmente complejo es saber
a qué nivel ofrecen este soporte. Pondremos aquí algunos
ejemplos de tipos de herramientas en principio adecuadas:
A. Herramientas específicas
• Tutores inteligentes con soporte a la autorregulación: un
buen ejemplo de este tipo de herramienta es MetaTutor
[9], "un sistema de tutor inteligente basado en agente que
fomenta el uso de los procesos SRL".
• Portfolios electrónicos: estas herramientas permiten a los
estudiantes compilar su trabajo y mostrar sus progresos y
logros. Se usa para obligar al alumno a reflexionar sobre
su aprendizaje. Buenos ejemplos pueden ser Digital
Portfolio y Mahara ePortfolio.
• LMS con funcionalidades SRL: son LMS que soportan
generalmente la monitorización y el control del
aprendizaje, así como el trabajo colaborativo. Un ejemplo
de este tipo de herramienta es ILIAS, de la Universidad
de Colonia.
B. Herramientas genéricas
• Gestores de tareas: existen multitud de gestores de tareas
con funcionalidades muy interesantes, especialmente
para la planificación. Algunos cuentan con herramientas
de gestión del tiempo. Algunos ejemplos son Wunderlist,
ClockingIt, etc.
• Gestores de proyectos: muchos de estas aplicaciones son
demasiado complejas, pero algunas tienen una elevada
usabilidad y son sencillas de usar. Un ejemplo puede ser
Asana.
• Control del tiempo: existen herramientas para controlar el
tiempo empleado en cada tarea. Permiten definir
proyectos y tareas y controlar el tiempo de cada una. Lo
ideal sería que estuviesen integrados en un gestor de
XVI Simposio Internacional de Informática Educativa (SIIE’14)
•
tareas, pero hay algunos independientes o standalone
como TimeEdition.
Herramientas de trabajo colaborativo: existen muchas
como Docs de Google o Office Online de Microsoft que
permiten trabajar de forma colaborativa o ayudar o
recibir ayuda de compañeros o profesores.
IV. TRABAJOS RELACIONADOS: PROYECTO TELEPEERS
El proyecto TELEpeers [2] ha sido desarrollado por un
consorcio formado por varias universidades europeas, entre ellas
la Universitat de Barcelona y la Universidade Católica
Portuguesa. Está centrado en la evaluación del "potencial de
entornos de aprendizaje mejorados con tecnología (Technology
Enhanced Learning Environments o TELEs) para dar soporte al
aprendizaje autorregulado" [10]. Un TELE puede ser desde un
curso online en un LMS hasta un curso de blended learning o
una herramienta multimedia.
A. Los Cuestionarios
Han empleado tres fases: planificación, ejecuciónmonitorización y evaluación; y cuatro aspectos: cognitivo,
motivacional, emocional y social. Han dejado fuera la voluntad
por ser independiente de las herramientas. Analizan la
motivación y la emoción por separado debido a que la
motivación "está relacionada con los objetivos que persigue un
estudiante”, mientras que “la emoción está relacionada con las
reacciones no racionales a eventos" [10].
Han desarrollado dos cuestionarios diferentes: el Peer
Review Evaluation Tool (PRET) orientado a expertos y el
TELEStudents-SRL, para los estudiantes. El PRET consta de
tres partes, una de preguntas generales paca la comparación
entre TELEs, "un conjunto de 43 declaraciones de aspectos
relevantes del SRL" divididos por fases y aspectos, y
declaraciones resumen donde los evaluadores pueden anotar
sugerencias o impresiones tanto del cuestionario como del
TELE. El TELEStudents-SRL es más sencillo y su objetivo es
conocer las impresiones de los estudiantes, saber si les ha sido
útil el TELE y qué puntos les han ayudado. Indican que es
necesario dado que los expertos no pueden "evaluar hasta qué
punto el TELE puede ayudar realmente a los estudiantes a
autorregular su aprendizaje". Consta de cuatro partes:
descripción del TELE, información personal, cuestionario y
preguntas generales.
B. Resultados
Se han evaluado varias herramientas en contexto e
incluyendo el entorno completo, i.e., las clases presenciales en
blended learning. Los tipos de herramientas analizados fueron
un portfolio electrónico, un LMS normal, un LMS con soporte
SRL, una herramienta de streaming de vídeo, un weblog
genérico, una página web estática y un entorno de aprendizaje
181
M. Manso; M. Caeiro; M. Llamas - Cuestionario de Evaluación del Soporte al Aprendizaje Autorregulado en Software
semipresencial. Salvo la página web estática, todas las
herramientas han obtenido puntuaciones medias-altas o altas.
Nos ha llamado la atención que las puntuaciones han sido
bastante altas en general, y que las diferencias entre
herramientas con funcionalidades específicas para dar soporte al
SRL y otras herramientas educativas normales no son grandes, si
bien es cierto que las primeras SRL destacan en algunos
aspectos. En cualquier caso, las puntuaciones obtenidas por
herramientas normales son bastante altas lo que lleva a pensar
que se ha dado bastante valor a la forma en que se han usado las
herramientas inducida por la finalidad de cada proyecto
individual, dedicado al fomento de la autorregulación del
aprendizaje.
El proyecto trata muchos de los requisitos necesarios para
dar soporte al SRL, pero otros relevantes no han sido incluidos,
como por ejemplo en lo relativo a la planificación, distinguir los
conceptos de objetivo y tarea. Aparte de esto, hay preguntas
claramente orientadas a herramientas de entrega de contenidos
que bajan la puntuación a cualquier herramienta de otro tipo, lo
cual altera el resultado del cuestionario si tenemos en cuenta que
no está separado por funcionalidades sino por fases y aspectos.
También incluye aspectos sociales que, si bien no figuran
explícitamente en la teoría de autorregulación del aprendizaje, sí
son relevantes en cuanto a que afectan a competencias sociales
relacionadas.
V. OBTENCIÓN DE LOS CRITERIOS DE DISEÑO PARA EL
SOPORTE A LA AUTORREGULACIÓN
De cara a la obtención de unos requisitos de diseño concretos
para ofrecer este soporte parece necesario establecer
previamente los criterios en los que se han de basar estos
requisitos. Antes de presentar nuestra propuesta veremos
primero la desarrollada dentro del proyecto TELEpeers.
A. Criterios Encontrados en la Literatura
Bartolomé y Steffens [11] se han basado en estudios de la
literatura para identificar los criterios necesarios para que un
entorno educativo mejorado con tecnología (Technology
Enhanced Learning Environment o TELE) ofrezca soporte al
SRL. Según ellos son únicamente tres:
1. Debe fomentar en los estudiantes la planificación de
actividades, así como la gestión del tiempo: para ello los
estudiantes deberán desarrollar habilidades de
planificación para elegir entre diferentes tipos de
actividades, canales de comunicación y formas de
interacción, así como habilidades para elegir el
momento temporal en el que realizar una actividad y el
tiempo a dedicar a la misma. Afirman que "la capacidad
de la tecnología de fomentar estas habilidades dependerá
de la capacidad de presentar información en diferentes
modos y en sus opciones de interacción" [11].
182
2.
Debe ofrecer una realimentación adecuada a los
estudiantes que permita la automonitorización del
alumno: la información de las actividades que están
realizando debe permitir a los estudiantes extraer
conclusiones acerca de su progreso. La tecnología debe
poder registrar las actividades de los estudiantes.
3. Debe proporcionar a los estudiantes criterios para la
autoevaluación: de cara a extraer conclusiones acerca de
los resultados obtenidos, los estudiantes necesitan
criterios con respecto a sus objetivos originales o a las
competencias. Para esto sugieren la existencia de un
"espacio de evaluación basado en registros de
resultados, información de criterios y medios de
comunicación". Resaltan la importancia de la
participación de otros compañeros.
Estos criterios abarcan de forma generalista algunos
requisitos que afectarían a un pequeño conjunto de las
estrategias más importantes. Nos parece importante entrar más
en detalle a la hora de definir los requisitos, de forma que se dé
soporte a un conjunto mayor de estrategias, se perfilen en mayor
medida las necesidades de cada estrategia y se permita así la
evaluación del nivel de soporte para cada una de ellas.
B. Nuestros Criterios
En base al estudio exhaustivo de la teoría de autorregulación
del aprendizaje y la metacognición y apoyándonos en nuestros
conocimientos de ingeniería del software, en [5] hemos tratado
de definir los criterios de diseño necesarios para ofrecer soporte
a la autorregulación, tratando de enfocarlo de forma práctica y
detallada.
Desde un punto de vista práctico, lo que los estudiantes
emplean a la hora de autorregular su aprendizaje y a la hora de
aprender son las estrategias. Por ello las hemos escogido como
base para el estudio de nuestros criterios, teniendo siempre en
cuenta la teoría de autorregulación del aprendizaje. Contando
con que hay innumerables estrategias de múltiples autores, que
se han encontrado estrategias equivalentes entre sí (únicamente
con pequeñas diferencias debidas probablemente a la percepción
del autor) y que no todas las estrategias son fácilmente
implementables en software, ha sido necesario escoger un
conjunto óptimo de entre las estrategias recopiladas. Esta
selección se ha realizado en tres pasos: (1) se han agrupado las
estrategias equivalentes y cada grupo se ha unificado en una
única estrategia; (2) se han descartado aquellas estrategias no
implementables en software, en su mayoría de control volitivo y
emocional; (3) se ha revisado la literatura para escoger las
estrategias más relevantes, especialmente las más comúnmente
empleadas en los cursos de promoción de uso de estrategias.
Una vez hecha esta selección de estrategias, se ha estudiado
su aplicación y las necesidades que ésta generaría si se realizase
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Manso; M. Caeiro; M. Llamas - Cuestionario de Evaluación del Soporte al Aprendizaje Autorregulado en Software
empleando una herramienta software, tratando de conseguir
varios objetivos:
• La herramienta no ha de imponer limitaciones en la
aplicación de las estrategias, i.e., debe habilitar la
utilización de las estrategias sin tener que modificar éstas
para adaptarlas a las restricciones o limitaciones
funcionales de la herramienta (e.g., la gestión de tareas y
objetivos no se puede ver limitada por un número de
niveles de anidamiento de tareas y objetivos demasiado
pequeño).
• El software debe permitir al usuario elegir el uso de las
estrategias.
• El software debe ofrecer ventajas con respecto a la
implementación de la estrategia con herramientas
tradicionales.
• El software debe agilizar la utilización de estrategias
(mejora del rendimiento y de la eficiencia).
Por último, ha de tener una usabilidad alta, pero esto no ha
sido incluido ya que debe ser analizado por separado.
VI. EVALUACIÓN DE SOFTWARE: TIPOS DE PREGUNTAS Y
ESCALAS
Una de las herramientas más comunes a la hora de evaluar
cualquier sistema o herramienta software es el cuestionario, que
permite obtener información comparable. Es habitualmente
empleado para medir la usabilidad y otras cuestiones relativas a
la interacción con el usuario. Existen varios tipos de
cuestionarios, pero los autocumplimentados son los más
empleados, dado que permiten encuestar a un gran número de
personas, no existe el sesgo de un entrevistador, el coste es bajo
y se pueden estandarizar. Por otro lado, dependen en gran
medida de cómo estén redactadas las preguntas, del tipo de
pregunta/respuesta elegida (abierta o cerrada) y de los códigos,
puntuaciones y escalas de cara a su fiabilidad y objetividad.
A. Tipos de preguntas
Las preguntas abiertas son aquellas en las que la respuesta
es libre, y permiten que el usuario o experto realice comentarios,
propuestas, o matice respuestas de alguna pregunta cerrada
anterior. Son especialmente útiles para obtener información
compleja. Tienen las desventajas de ser difíciles de codificar, y
requerir bastante tiempo para su procesado.
Las preguntas cerradas son aquellas en las que las posibles
respuestas vienen especificadas. Son las más empleadas para lo
que nos ocupa y en ellas es posible emplear varias
codificaciones y escalas. Cuando se usan escalas es habitual
emplear afirmaciones en lugar de preguntas.
B. Escalas
Lo más común es que se empleen escalas de puntuación por
intervalos, que pueden ser definidas por el investigador o
XVI Simposio Internacional de Informática Educativa (SIIE’14)
escogidas entre escalas ya establecidas. Las escalas suelen tener
entre 5 y 9 puntos, permitiendo así una puntuación neutral,
aunque a veces esto trata de evitarse para obligar al encuestado a
posicionarse. De entre las escalas establecidas, habitualmente se
emplean la de Likert o la de Guttman.
La escala de Likert [12] es una escala analógica verbal que
mide el grado de acuerdo o desacuerdo que el encuestado tiene
con respecto a la afirmación establecida. Originalmente creada
para medir actitudes, es muy usada en psicología y ciencias
sociales.
La escala de Guttman [13] emplea cuatro o cinco frases que
expresan un hecho favorable o desfavorable con respecto al tema
a tratar de forma creciente, de manera que si el encuestado está
de acuerdo con una frase estará de acuerdo con todas las
anteriores.
Ambas escalas miden la percepción subjetiva u opinión del
sujeto, que puede ceñirse o no a la realidad. Por tanto, la
fiabilidad de las respuestas a la hora de realizar una evaluación
dependerá del grado de conocimientos y experiencia del sujeto
con respecto al tema tratado en el cuestionario, y del enfoque
presentado en la pregunta.
VII. CUESTIONARIO DE EVALUACIÓN DE SOPORTE A LA
AUTORREGULACIÓN
El cuestionario desarrollado se basa en los criterios
determinados previamente, por lo que realmente se podría decir
que evalúa el soporte ofrecido a la aplicación de estrategias de
autorregulación que han sido el constructo principal, a pesar de
que cuenta también con elementos no puramente estratégicos.
Uno de los objetivos principales perseguidos durante la
elaboración de este cuestionario es alcanzar un nivel alto de
objetividad y eliminar en la medida de lo posible las
valoraciones subjetivas. Aunque el cuestionario sea cubierto por
expertos en las típicas peer reviews, puede no ser fiable debido
al planteamiento de preguntas poco concretas con respuestas que
impliquen necesariamente una valoración subjetiva personal,
especialmente si parte de los expertos están implicados
directamente en el desarrollo de la herramienta a evaluar.
A. Descripción
Se trata de un cuestionario autocumplimentado de 74 ítems
cuyas preguntas han sido creadas y ordenadas según las fases y
áreas de autorregulación. Teniendo en cuenta que hay estrategias
que abarcan las tres fases y esto hace que las preguntas relativas
a las mismas estén muy separadas en el cuestionario,
posteriormente éste se ha reordenado según las estrategias y
funcionalidades manteniendo la clasificación anterior de cara al
análisis de resultados. De esta forma, todas las preguntas
relativas a una funcionalidad o estrategia concreta están juntas,
permitiendo el uso de preguntas llave que ahorran mucho tiempo
a la hora de realizar el cuestionario. Por otro lado las preguntas
183
M. Manso; M. Caeiro; M. Llamas - Cuestionario de Evaluación del Soporte al Aprendizaje Autorregulado en Software
TABLA I.
Fase
Área
Tipo
EJEMPLOS DE PREGUNTAS DE VARIOS TIPOS EMPLEADAS EN EL CUESTIONARIO.
Llave Pregunta
1 Metacognición Dicotómica
Sí
1 Metacognición
No
¿Cuántos niveles de anidamiento de tareas/objetivos permite la >9 (5)7-9 (4)5-6 (3)3-4 (2)
herramienta?
2 (1)1, no anidable (0)
No
La herramienta permite registrar las estimaciones temporales
para cada tarea, objetivo, recurso o contenido.
No
La ayuda se solicita y se resuelve en contexto. (5)
La herramienta permite solicitar ayuda a otros usuarios para una La ayuda se solicita y resuelve sin contexto (foro o
similar). (2)
tarea o actividad concreta.
0: No
1
2
Conducta
Contexto
Valor
Opciones
Opciones
siguen manteniendo la clasificación por áreas y fases antes
mencionada.
B. Preguntas
Se han elegido preguntas cerradas por permitir una fácil
codificación y permitir el uso de escalas. La redacción de las
preguntas ha sido realizada con los expertos en mente y está
hecha de forma que alguien que conozca las estrategias pueda
realizar el cuestionario sin tener ninguna duda. Posteriormente
ha sido refinada para que cualquier usuario de una herramienta a
analizar pueda realizar el cuestionario sin problemas, para lo que
se han incluido algunos elementos aclaratorios.
Se han tenido en cuenta los sesgos más habituales (error de
tendencia central, deseabilidad social, sesgo de proximidad,
error lógico, etc.) a la hora de crear el cuestionario para evitarlos
en la medida de lo posible.
C. Respuestas
Se han elegido varios tipos de respuesta en función de la
pregunta y de la información que se pretende obtener con ella:
• Dicotómica (sí o no): elegida para las preguntas llave y
para todas aquellas que por ser directas y simples lo
permiten. La puntuación asignada será 5 al sí y 0 al no.
• Opciones: se trata de una respuesta en la que el usuario
ha de elegir una de las opciones concretas. Es posible
tratarla como una variante avanzada de la dicotómica en
la que hay varias opciones con puntuaciones diferentes, y
de forma parecida a la escala Guttman, las respuestas
están ordenadas, en este caso de mayor soporte a menos,
siendo la última un No.
• Valores: cada respuesta corresponde a un valor o un
rango de valores, y están ordenadas de mayor a menor
siendo la última 0/No.
184
Respuesta
La herramienta permite planificar el aprendizaje mediante
gestión de tareas, objetivos, recursos, etc.
Sí (5)No (0)
De forma específica, y lo fomenta. (5)
De forma específica pero no lo fomenta. (4)
De forma no específica (campo sin semántica). (2)
No (0)
•
Subjetiva: respuestas basadas en la escala de Likert. Han
sido incluidas en la primera versión del cuestionario pero
las preguntas han sido modificadas o separadas en varias
preguntas concretas con respuestas dicotómicas, de
opciones o de valores, tratando de evitar las opiniones.
• Respuesta corta: esta respuesta de nombre autoexplicativo ha sido empleada únicamente al final del
cuestionario en sendas preguntas acerca de propuestas,
mejoras o sugerencias para la herramienta y para el
cuestionario.
Para la mayoría de preguntas de opciones se han creado
rúbricas específicas con puntuaciones asociadas según el valor
funcional de cada opción de respuesta. Se muestran algunos
ejemplos en la Tabla 1.
D. Puntuación
Se ha empleado un sistema de puntuación simple en el que
cada respuesta tiene un valor que se sumará al final al resto. La
doble clasificación de preguntas comentada anteriormente
permite distinguir rápidamente en qué destaca cada herramienta.
Por un lado se obtiene la puntuación para cada fase y área, y
por otro para cada funcionalidad concreta. Esto permite no
descartar una herramienta por obtener una mala puntuación
general, ya que puede destacar en alguna funcionalidad concreta
y ofrecer un buen soporte para un conjunto de estrategias.
VIII. CONCLUSIONES Y TRABAJO FUTURO
Para la creación de este cuestionario se han elaborado
preguntas, rúbricas y se han elegido los tipos de respuesta más
acordes con el deseo de maximizar la objetividad de la
evaluación del soporte a la autorregulación.
A. Refinar el Cuestionario
El cuestionario se ha aplicado a varias herramientas
obteniendo unos resultados preliminares prometedores. Por el
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Manso; M. Caeiro; M. Llamas - Cuestionario de Evaluación del Soporte al Aprendizaje Autorregulado en Software
momento los resultados obtenidos coinciden con las
percepciones de los expertos implicados en los análisis con
respecto a herramientas conocidas, pero es necesario hacer más
pruebas para verificar si las puntuaciones otorgadas son
adecuadas o si es necesario ponderar alguna pregunta o bien
aumentar el rango de puntuación de 5 a 7 o 9 para marcar más
las diferencias entre algunas respuestas de las rúbricas.
Probablemente se comparen los resultados con los del proyecto
TELEpeers.
En base a los resultados que se obtengan se revisarán los
criterios detallados de diseño de herramientas y se modificarán,
añadirán o eliminarán elementos.
B. Validar el cuestionario
Una vez se considere que la herramienta de evaluación está
lista se procederá a su validación. Se creará un grupo de
discusión o focus group para evaluar varias herramientas
conocidas, comparar resultados y verificar la validez de los
resultados obtenidos, si procede. Es probable que de este trabajo
surja alguna mejora para la herramienta de evaluación.
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
IX. AGRADECIMIENTOS
Esta investigación ha sido financiada por el Ministerio de
Ciencia e Innovación español bajo la beca ‘‘Methodologies,
Architectures and Standards for adaptive and accessible elearning (Adapt2Learn)’’ (TIN2010-21735-C02- 01), el
European Regional Development Fund (ERDF) y el Gobierno
Regional de Galicia bajo el proyecto CN 2012/260
"Consolidation of Research Units: AtlantTIC".
X. REFERENCES
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[10]
[11]
[12]
[13]
P. Rosario, J.C. Nuñez, and J.A. González-Pienda, Comprometer-se com o
estudar na Universidade: Cartas do Gervásio ao seu Umbigo. Coimbra,
Portugal: Almedina, 2006, pp. 119-130.
TELEpeers Consortium. "The Project", TELEpeers Project. Internet:
http://www.lmi.ub.es/telepeers/telepeers.php, [June 2014].
B.J. Zimmerman, "Becoming a Self-Regulated Learner: An Overview",
Theory Into Practice, vol. 41, no. 2, pp. 64-70, 2002.
P.R. Pintrich, "The role of goal orientation in self-regulated learning", in
Handbook of self-regulation, M. Boekaerts, P.R. Pintrich, and M. Zeidner,
Eds. San Diego: Academic Press (CA), 2000, pp. 451-502.
M. Manso, M. Caeiro, and M. Llamas, "Analysis of Self-Regulated
Learning Strategies Oriented to the Design of Software Support", in
Frontiers In Education (FIE), Madrid, 2014, Aprobada. Pendiente de
publicación.
P. Solano, J.C. Núñez, J.A. González-Pienda, and P. Rosário, "El
aprendizaje autorregulado como medio y meta de la educación", Papeles
del Psicólogo, vol. 27, no. 3, pp. 139-146, 2006.
Y. Gu, "Learning Strategies: Prototypical Core and Dimensions of
Variation", Studies in Self-Access Learning Journal, vol. 3, no. 4, pp. 330356, 2012.
J.D. Nisbet and J. Shucksmith, Learning Strategies. Florence, USA: Taylor
& Frances/Routledge, 1986.
F. Bouchet, R. Azevedo, J.S. Kinnebrew, and G. Biswas, "Identifying
Students’ Characteristic Learning Behaviors in an Intelligent Tutoring
System Fostering Self-Regulated Learning", in 5th International
Conference on Educational Data Mining 65, 2012, pp. 65-72.
TELEPEERS consortium, "Tool to evaluate the potential of Technology
Enhanced Learning Environments to Support Self-Regulated Learning",
2005.
K. Steffens and A. Bartolomé, "Technologies for Self-Regulated
Learning", in Self-Regulated Learning in Technology Enhanced Learning:
An European Perspective, Carneiro et al., Ed. Rotterdam,Boston,Taipei:
Sense Publishers, 2011, pp. 21-31.
R. Likert, A Technique for the Measurement of Attitudes, 140th ed.:
Science Press, 1932, pp. 1-55.
L. Guttman, "The basis for scalogram analysis", in Measurement and
Prediction, vol. 4, Stouffer et al., Ed. New York: Wiley.
185
Optimización de prácticas de laboratorio utilizando
videojuegos serios
Milagros Huerta; José María Portela; Andrés Pastor; Néstor Mora
Departamento de Ingeniería Mecánica y Diseño Industrial
Escuela Superior de Ingeniería, Universidad de Cádiz
Cádiz, España
[email protected]
Resumen—En el presente trabajo se describe cómo se ha
implementado el uso de “videojuegos serios” para la realización de
prácticas de laboratorio. La idea ha surgido pensando en aquellas
asignaturas masificadas, donde la ratio de alumnos por grupo es
más grande de lo deseable para que el alumno pueda aprender de
una manera rápida y eficaz los conceptos principales que la
práctica en cuestión requiere, y luego llevarlos al laboratorio de
forma presencial. Para analizar los resultados (el grado de
aprendizaje de las prácticas) se han tenido en cuenta diferentes
grupos de alumnos y diferente metodología para la realización de
las prácticas.
Palabras clave—Innovación Docente; Videjuegos Serios (Serious
Games); E-learning; Prácticas de Laboratorio, Nativos Digitales
(Digital Native)
I. INTRODUCCIÓN
Al igual que los padres estaban preocupados cuando sus
hijos comenzaban a utilizar los videojuegos [1], los docentes
debemos adaptarnos a las necesidades de nuestros estudiantes
“Nativos Digitales”, teniendo en cuenta las diferentes
características que tienen entre ellos [2]. La forma de aprender
que tienen estos alumnos es diferente a la que se tenía antes de
la “era digital”. Están acostumbrados a tener mucha información
“con un clic”. Les atrae todo lo que se refiera a las nuevas
tecnologías [3].
En pleno siglo XXI, casi todos los jóvenes universitarios
españoles tienen teléfono móvil de última generación, con
aplicaciones de videojuegos, y por supuesto, están en alguna red
social. Cuando se trata de clases “masificadas”, es muy difícil
llamar la atención de muchos de ellos, pues al tener estos
dispositivos en sus manos, en el instante en el que se “aburren”
en el aula, se conectan a su móvil y dejan de prestar atención en
el aula. En un futuro, podremos captar su atención a través del
teléfono móvil [4].
Si esto sucede en el aula de teoría-problemas, es peor aún si
nos vamos al laboratorio, donde en lugar de haber 2 alumnos por
práctica, nos encontramos que, debido al coste económico, se ha
de asignar más alumnos de los deseables en cada puesto del
laboratorio. Por este motivo, en la Escuela Superior de
Ingeniería de Cádiz, concretamente en la titulación “Grado en
Ingeniería de Diseño Industrial y Desarrollo del Producto”, para
los laboratorios de la asignatura “Resistencia de Materiales”, se
ha implementado de forma experimental en el curso académico
2013-2014, el uso de los “videojuegos serios”. El motivo por el
que se ha realizado esta experiencia es para intentar un mayor
acercamiento a los alumnos y motivarlos en lo que a la
realización de las prácticas de laboratorio se refiere. También
influye en gran medida, el encontrarse con un elevado número
de alumnos matriculados en la asignatura y disponer de pocos
grupos de laboratorio, esto supondría que muy pocos alumnos
comprenderían lo que se está haciendo y el resto se limitarían a
copiar los datos y presentar el informe final solicitado por el
profesorado.
Las prácticas de laboratorio sobre las que se ha realizado esta
experiencia consisten en la medición de tensiones, mediante
galgas extensométricas, de elementos estructurales sometidos a
diferentes esfuerzos (utilizando también elementos de diferentes
materiales) para que el alumno pueda comparar los resultados
medidos experimentalmente con los resultados calculados según
la teoría explicada en clase. Concretamente, las dos prácticas
Virtualizadas en este trabajo son para elementos sometidos a
tracción (variando las cargas y los materiales) y a flexión (sólo
variando las cargas).
Lo que pretende esta práctica es que los alumnos aprendan
principalmente dos cosas: por un lado que practiquen cómo se
aplican las cargas en los elementos estructurales y, por otro lado,
que puedan comprobar cómo varían los esfuerzos en un
elemento estructural cuando se somete a diferentes cargas (en
este caso una carga de tracción o un momento flector, según la
práctica que estén realizando) o cuando el material es diferente,
y así poder comparar los resultados calculados según las
fórmulas desarrolladas en las clases de teoría, con los resultados
que han obtenido experimentalmente.
En la Figura 1, se puede observar una de las escenas del
videojuego, siendo ésta una fotografía real del laboratorio. Se
trata del pórtico sobre el que se deben colocar los elementos
estructurales con los que se va a trabajar (en este caso una viga
de sección rectangular que va a someterse a flexión) con el
gancho sobre el que se colocará la carga, y el amplificador de
medida, que indica el valor dado por las galgas extensométricas,
187
M. Huerta; J.M. Portela; A. Pastor; N. Mora - Optimización de prácticas de laboratorio utilizando videojuegos serios
para que el alumno pueda calcular la tensión final a la que está
sometido el elemento.
Las prácticas de laboratorio tienen un peso del 5% de la nota
final de la asignatura. Para calificar la realización de las mismas,
no basta con haber asistido a ellas, sino que se realiza un
cuestionario tipo test de preguntas teóricas sobre lo que se
pretende que hayan aprendido en las mismas.
Fig. 1. Una de las escenas del Videojuego, fotografía real del laboratorio
En cursos anteriores se les pedía que hicieran un informe
sobre las prácticas, pero se ha comprobado que el informe sólo
lo hacía un alumno del grupo (no siempre enterándose de lo que
hacía) y el resto lo copiaban, no mostrando interés por las
prácticas. Por este motivo, desde el curso 2012-2013 se optó por
cambiar la forma de evaluación, para poder comprobar si de
verdad habían comprendido lo que habían realizado en el
laboratorio.
En los puntos siguientes se describen los Objetivos buscados
en este Proyecto, la Metodología utilizada para implementar el
Proyecto, los Resultados obtenidos finalizando con las
Conclusiones que se ha sacado tras analizar los resultados.
II. OBJETIVOS
A. Acercarnos a los alumnos con nuevas tecnologías
En primer lugar, se pretende utilizar los videojuegos serios
como método de aprendizaje, para acercarnos a los alumnos que
tenemos actualmente en las aulas, los llamados “Nativos
Digitales”.
Este proyecto es una continuación de otros anteriormente
realizados, en los que siempre se va buscando la Innovación
Docente y la mejora continua en el aula, observando los hábitos
y costumbres de las nuevas generaciones que están llegando a la
Universidad.
188
La Era Digital en la que nos encontramos requiere una
actualización de la metodología docente en el aula y el uso de la
herramienta de videojuegos es muy bien recibido por parte del
alumnado. Los videojuegos, además de entretener, sirven para
adquirir destrezas y conocimientos, siempre y cuando se realicen
de una forma adecuada [5-6].
B. Aprovechamiento de las Prácticas de Laboratorio
Ante la masificación en las aulas que estamos teniendo en los
últimos años en la Universidad, concretamente en la Escuela
Superior de Ingeniería de Cádiz, y la imposibilidad de aumentar
los números de grupos de laboratorio, por el coste económico
que ello supone y en los tiempos de crisis en los que nos
encontramos, se ha optado por la utilización de la plataforma <eAdventure> para virtualizar algunas de las prácticas y así
asegurarnos que todos los alumnos realizaban la práctica,
aunque fuera de una manera “no presencial”.
Al comenzar el curso, contábamos con un total de 66
alumnos matriculados en la asignatura, y disponiendo tan solo
de 3 grupos de laboratorio y dos puestos de trabajo. Con estos
números, se tendría que poner a 11 alumnos a la vez en uno de
los puestos del laboratorio, lo cual supondría que sólo dos o tres
comprenderían el contenido y finalidad de la práctica y el resto
se limitarían a cubrir el expediente con una alta posibilidad de
distracción (pues no hay espacio físico para ver lo que los
compañeros están realizando) y posteriormente copiar los
resultados de sus compañeros.
Para poder hacer que todos los alumnos se pudieran acercar
al puesto de trabajo, dentro de cada grupo de laboratorio se les
dividió en subgrupos de 3 alumnos cada uno, para que realizaran
la parte de la práctica de “toma de datos”. Para el resto de la
práctica, interpretación de los resultados y cálculos con los datos
tomados en la práctica, no hacía falta estar delante del puesto de
trabajo, dejándolo libre y sentándose en otro lugar del
laboratorio.
C. Mejora en la Calidad Docente
Al haber muchos “subgrupos” de laboratorio, el profesor
tendría que hacer la misma explicación tantas veces como
grupos totales de alumnos hubiera.
Separar a los alumnos en subgrupos ya se había realizado el
curso anterior, y resultó realmente agotador para el profesor,
pues tenía que estar repitiendo cada 30 minutos lo mismo.
Además, resta calidad en la explicación, ya que después de
repetir tantas veces lo mismo, llega a un momento en el que se
puede omitir involuntariamente parte de lo explicado a los
grupos anteriores o dar una información adicional por una
pregunta de un grupo.
D. Optimización de los recursos
El hecho de virtualizar unas prácticas de laboratorio no es
algo novedoso, pero puede ser costoso y laborioso. En este
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Huerta; J.M. Portela; A. Pastor; N. Mora - Optimización de prácticas de laboratorio utilizando videojuegos serios
proyecto se ha optado por la plataforma <e-Adventure>, pues
además de tratarse de software libre, no necesita ningún tipo de
conocimientos de programación, lo que simplifica el proceso de
creación de los videojuegos, haciendo que no sea necesario
grandes conocimientos de informática y cualquiera que tenga
interés pueda realizar sus propios videojuegos.
III. METODOLOGÍA
A continuación se describen los diferentes pasos que se han
ido realizando para la implementación de este Proyecto de
Innovación, para lo que se ha contado con un alumno becario
que se ha implicado al máximo en la realización del proyecto.
Hay que mencionar que este alumno se encuentra finalizando
sus estudios de Ingeniería Informática de Gestión, por lo que las
prácticas de laboratorio a virtualizar se le han ido explicando a
lo largo del proyecto, ya que nada tienen que ver con sus
estudios.
A. Conocimiento de la Plataforma <e-Adventure>
Para dar a conocer la Plataforma <e-Adventure>, tanto para
alumnos, como para profesores de la Escuela Superior de
Ingeniería, se invitó a uno de los miembros del grupo de
investigación e-UCM (creadores de la plataforma y cuyo
objetivo principal es la investigación en nuevos métodos,
técnicas y herramientas que faciliten la producción de software
aplicado al e-learning) [7], a impartir un seminario, de manera
que expusiera de manera clara y concisa las ventajas de utilizar
esta herramienta en la docencia universitaria.
El principal objetivo de esta fase era dar a conocer el
potencial de la plataforma, para poder decidir el alcance que
tendrían los videojuegos a desarrollar. El manejo en sí de la
plataforma se iría aprendiendo con el desarrollo del primer
videojuego.
Aunque la plataforma está preparada para que cualquiera que
tenga unos conocimientos mínimos de informática (o cierta
inquietud por aprender nuevos programas informáticos), pueda
utilizarla, se seleccionó a este alumno de la titulación de
Ingeniería Informática de Gestión, por la inquietud que mostró
por aprender más cosas de informática y poder aplicar sus
conocimientos en un Proyecto de Innovación Docente.
De hecho, con sus conocimientos de la carrera, ha aportado
ideas nuevas para facilitar la aleatoriedad de los datos, sin
complicar demasiado los escenarios en los que se trabaja y esa
idea se pretende utilizar en proyectos futuros.
B. Análisis del entorno donde se implantarán las prácticas
Lo primero que se ha hecho es analizar la primera práctica y
ver las diferentes fases en las que se distribuye la misma. Se ha
ido al laboratorio y se han realizado las fotografías necesarias
para poder implementarlas luego en el videojuego, considerando
todas las posibles variables, así como la salida de los datos.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
También se ha preparado un diagrama de flujo sobre las
diferentes fases en las que se va a desarrollar la Práctica Virtual,
para el mejor desarrollo del mismo, como se puede ver en la
Figura 2.
C. Desarrollo del primer Videojuego
Esta fase ha sido la más larga. En ella se han desarrollado
todas las escenas necesarias para que se ejecute bien el
videojuego siguiendo el diagrama de flujo anteriormente
mencionado. Además, mientras se realizaba la primera práctica
se ha estado aprendiendo a manejar la plataforma, por ese
motivo se ha tardado más. Esta misma fase para el segundo
videojuego ha sido mucho más rápida, pues además de ya
conocer el funcionamiento de la plataforma, se ha partido de la
primera práctica, haciendo sólo los cambios en las fotografías y
en los diálogos necesarios para la nueva práctica.
Como ya se ha visto anteriormente, en la Figura 1 se puede
ver una de las escenas que se ha encontrado el alumno cuando ha
realizado la Práctica Virtual. Al tratarse de fotografías reales de
lo que se va a encontrar cuando vaya presencialmente a la
práctica, le da más realismo al trabajo.
Fig. 2. Diagrama de flujo del Videojuego.
189
M. Huerta; J.M. Portela; A. Pastor; N. Mora - Optimización de prácticas de laboratorio utilizando videojuegos serios
D. Implementación de la primera Práctica Virtual
Tras finalizar la realización de la práctica y comprobar el
correcto funcionamiento de todas las variables así como los
diferentes escenarios en los que se puede encontrar el alumno, el
siguiente paso consiste en implementarlo en el Aula Virtual que
utiliza la Universidad de Cádiz (Moodle). La plataforma <eAdventure> está preparara para poder trabajar en este entorno,
por lo que ha resultado fácil implementarlo, ya que se puede
exportar como un objeto SCORM [8].
El principal problema que se presenta en esta fase es la
configuración del Java, para lo que se preparó un manual de
usuario en el que todos los alumnos tenían acceso a él. A pesar
del manual de configuración del Java, hubo alumnos que no
pudieron realizar la práctica virtual antes de llegar al laboratorio.
En lugar de presentarse esto como un problema, se aprovechó
para poder analizar el aprendizaje entre los alumnos que sí
habían podido realizar la Práctica Virtual y los que no.
Por otro lado, al finalizar la práctica, se genera un informe en
el que se indica, en cada una de las partes evaluables de la
práctica, qué ha sabido realizar bien el alumno y donde ha
fallado. De esta manera, se puede volver a repetir la práctica
(siempre y cuando el profesor permita esta opción), y así se
puede comprobar si los puntos en los que se falló la primera vez
se han asimilado o no.
Para el curso 13-14, el objetivo de esta Práctica Virtual no ha
sido evaluar al alumno, sino que el alumno acceda a la Práctica
Presencial sin problemas, sabiendo desenvolverse bien. Por este
motivo, se les ha dejado que realicen la práctica todas las veces
que hayan necesitado, para entenderla bien.
Para el curso 14-15, para aquellos alumnos repetidores que
soliciten realizar la práctica sólo Virtualmente, sí se evaluará lo
realizado en la Práctica Virtual, además del Cuestionario Final
de Contenidos.
E. Realización de encuestas sobre la Práctica Virtual
Se solicitó a los alumnos que una vez finalizada la Práctica
Virtual realizaran una encuesta, para evaluar su grado de
satisfacción y saber qué les había parecido, para comprobar
(entre otras cosas) si se sentían preparados para realizar la
Práctica Presencial sin ayuda del profesor, a lo que el 84%
respondió que sí se sentían totalmente preparados o casi, y un
16% respondió que estaban medianamente preparados, ver Fig.
3. Se puede observar que ningún alumno respondió que no se
sintiera preparado para la realización de la misma.
La encuesta constaba de una amplia batería de preguntas,
ofreciéndole al alumno también la oportunidad de colaborar con
sus propuestas de mejora.
Parte de las preguntas que se hicieron en esta encuesta
estaban encaminadas a compararlas con los resultados del
cuestionario de contenidos de la práctica. En el apartado de
resultados se hace un análisis de esta comparativa.
190
En la Figura 3 se muestran algunas de las preguntas
realizadas en la encuesta, en la que se puede ver que el grado de
dificultad que han tenido para entender lo que tenían que hacer
era bajo (1 = muy difícil; 5 = muy fácil), y casi todos se sentían
muy preparados para realizar la práctica presencial (1 = muy
poco
preparado;
5
=
muy
bien
preparado).
Fig. 3. Gráfico con algunas preguntas de la Encuesta
F. Realización de la Práctica Presencial
En esta fase, se convocó a los alumnos para que fueran
realizando la práctica presencial en subgrupos de un máximo de
3 alumnos. Al tener tan sólo dos puestos de trabajo para esa
práctica, se tuvieron un total de 12 sesiones a lo largo de la
mañana. Cada 30 minutos llegaba un grupo nuevo para hacer su
toma de datos. Como la mayoría habían realizado la Práctica
Virtual, el profesor no tuvo que explicar apenas nada sobre la
misma ya que los alumnos que habían realizado la práctica
virtual, tenían perfectamente claro lo que tenían que hacer y lo
hacían con más agilidad que los alumnos del curso anterior o
que los que no habían realizado la Práctica Virtual.
Fig. 4. Comparación de tiempos de desarrollo en las dos prácticas.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Huerta; J.M. Portela; A. Pastor; N. Mora - Optimización de prácticas de laboratorio utilizando videojuegos serios
G. Repetición de todo lo anterior con la segunda práctica
Todo lo anterior se ha repetido con una segunda práctica,
reduciendo considerablemente los tiempos de preparación, pues
tanto lo aprendido para la realización de la primera práctica
como el material elaborado han servido bastante, como puede
apreciarse en la Figura 4.
Por un lado, el tiempo de aprendizaje de la plataforma ya no
es necesario; por otro lado, tanto el diseño de la Interfaz Gráfica
como la Lógica del videojuego, se han reducido a la mitad, pues
se ha utilizado lo ya realizado para la primera práctica teniendo
que cambiar pocas cosas, por tratarse de prácticas de laboratorio
parecidas.
Uno de los problemas surgidos al realizar la primera Práctica
Virtual fue que no se podían dar muchas variables de entrada,
pues el esquema interno del videojuego se complicaba bastante
por cada variable de entrada que se daba. Pues bien, a la hora de
realizar la segunda práctica se ha implementado una novedad,
para poder realizarla con muchas opciones de datos de entrada y
de salida, de forma que no se complique demasiado el esquema
interno del videojuego. Esto ha sido gracias a los conocimientos
informáticos del becario, Alejandro Bienvenido, pues ha sido el
promotor de esta idea.
H. Seminario para exponer este trabajo
En la Escuela Superior de Ingeniería, al final del semestre, se
celebran reuniones de coordinación del grado (una por cada
titulación, a la que asisten los profesores que imparten docencia
en esa titulación), en la que se evalúan los resultados de las
asignaturas, posibles mejoras así como las novedades
implementadas en el curso.
Al tratarse éste de un tema tan novedoso y a su vez tan
desconocido para muchos, y con el objeto de obtener el mayor
número de asistentes posibles, se ha aprovechado esta reunión
en la titulación en la que se ha implementado esta experiencia
Grado en Ingeniería de Diseño Industrial y Desarrollo del
Producto para exponer este trabajo.
Tras una breve explicación de la experiencia casi todos los
profesores comentaron que les había gustado y el 50% de ellos
estaba interesado en formar grupos de trabajo para conocer
mejor la plataforma <e-Adventure>, ya que estarían dispuestos a
implementar esta metodología en sus laboratorios en un futuro
próximo.
IV. RESULTADOS
Con relación a los resultados obtenidos con esta experiencia,
a los alumnos se les ha realizado dos tipos de cuestionarios o
encuestas:
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A. Cuestionario sobre la Virtualización
El primero de ellos es para ver el grado de satisfacción con la
experiencia de realizar la práctica virtual antes de presentarse en
el laboratorio.
Este cuestionario está formado tanto por preguntas de
respuesta concreta (como por ejemplo la edad, sexo, si es
alumno repetidor o si ha tenido dificultad para comenzar la
práctica), como por preguntas que solicitan una valoración. Para
estas últimas, la escala escogida ha sido numérica, estando
comprendida entre los valores del 1 al 5, siendo 1 la puntuación
más negativa y 5 la más positiva.
Al no ser un cuestionario obligatorio, tan sólo el 53% de los
alumnos lo han respondido. Aunque a la hora de realizar la
práctica todos han entrado y salido muy satisfechos con el
trabajo realizado en la misma, cuando se les ha solicitado una
respuesta voluntaria a dicho cuestionario, el número de alumnos
que han participado ha sido escaso.
En general, las respuestas a este cuestionario han sido muy
positivas. Todos los alumnos han valorado esta experiencia
como algo que les gustaría que se implementara en más
asignaturas de la carrera.
El único problema que han tenido para la realización de la
práctica es la configuración de la máquina Java, pero este
problema sólo se da la primera vez, ya que una vez configurado
y probado su funcionamiento, sirve para cualquier otra práctica
que se realice con esta plataforma.
Con respecto a los alumnos repetidores, han comentado que
con la realización de la Práctica Virtual, han comprendido cosas
que el curso anterior habían hecho de manera autómata, sin
entender el motivo por el que lo hacían. Esto se entiendo porque
por un lado, todos y cada uno de ellos tenían que hacer la
práctica, mientras que el curso pasado, los grupos estaban
formados por 6 alumnos, con lo que uno era el que la hacía y los
demás miraban; por otro lado, al realizar la Práctica Virtual, se
han sentido protagonistas y como si estuviesen en “clases
particulares”, ya que el videojuego está preparado para que antes
de comenzar a realizar la práctica uno solo, se pueda realizar
paso a paso con ayuda del “Profesor Virtual”.
B. Cuestionario sobre los Contenidos
El otro cuestionario ha sido el mismo que se realizó el curso
anterior, para comprobar si habían adquirido los conocimientos
requeridos en las prácticas.
Este cuestionario sí lo han respondido todos. Esto se
entiende, como se ha explicado anteriormente, si tenemos en
cuenta que forma parte de la evaluación final de la asignatura
(un 5% de la nota final de la asignatura).
No se puede comparar directamente los resultados de ambos
cuestionarios, pues el primero era anónimo y este no. Pero sí se
puede destacar que si el curso pasado la nota media de este
191
M. Huerta; J.M. Portela; A. Pastor; N. Mora - Optimización de prácticas de laboratorio utilizando videojuegos serios
cuestionario estaba en un 6.8 sobre 10, en este curso la nota ha
mejorado considerablemente, pues ha sido de un 8.4 sobre 10.
Este aumento en la nota media no es atribuible a los alumnos
repetidores, pues de los 66 matriculados en este curso, tan sólo
13 son repetidores (se trata de una titulación nueva para la
Escuela Superior de Ingeniería de Cádiz y este es el segundo
curso que se imparte esta asignatura).
Si bien es cierto que a la hora de preparar la Práctica Virtual,
se ha tenido en cuenta los puntos en los que fallaron más los
alumnos en cursos pasados, motivo por el cual también se puede
ver mejorara la nota de este cuestionario. Pero al fin y al cabo,
éste es el principal objetivo de este proyecto, que los alumnos
adquieran los conocimientos que el profesor pretende transmitir,
y si además lo hacen de una manera para ellos “divertida”, pues
aún mejor.
V. CONCLUSIONES
Una vez analizados los resultados, cabe destacar que la
experiencia ha sido bastante provechosa, tanto para los alumnos
como para los profesores implicados.
Los alumnos se han divertido mientras aprendían. Los
conocimientos adquiridos con esta experiencia los recordarán ya
que han aprendido que no “estudiado”, pues le han puesto
interés y ganas. Además, se les ha visto más motivados con el
resto de la asignatura, ya que las prácticas que se han
virtualizado iban directamente relacionadas con el tema que se
estaba estudiando en el momento. Es por esto por lo que también
se ve muy importante hacer una buena planificación de cómo y
cuándo se van a realizar las mismas.
Se tendrá en cuenta las propuestas de mejora recogidas en la
Encuesta realizada a los alumnos tras la realización de las
prácticas. Además, se está estudiando la manera de incentivar la
participación en esta encuesta, para que la respondan todos ellos
y tener un mejor “feedback”.
Para el próximo curso, los alumnos repetidores que hayan
participado en esta experiencia tendrán la opción de escoger sólo
realizar la Práctica Virtual, para recordar lo aprendido, teniendo
como sistema de evaluación la nota obtenida en dicha práctica
con el cuestionario habilitado para ello.
Merece la pena el esfuerzo realizado durante el curso dados
los resultados obtenidos, no hay que olvidar que una buena parte
del trabajo ya está hecha (además es reutilizable para los
próximos cursos), por lo que se seguirá virtualizando las
prácticas que en este curso no se han podido realizar. Esta
experiencia se quiere implementar en la misma asignatura de
diferentes Grados que se imparte en la ESI (G. en Ingeniería
192
Aeroespacial, G. en Ingeniería en Tecnologías Industriales,
incluso en una asignatura del G. en Ingeniería Química…).
Aunque no es novedoso el uso de laboratorios virtuales en la
ingeniería, es la primera vez que se realiza este tipo de prácticas
en los laboratorios de la Escuela Superior de Ingeniería de la
Universidad de Cádiz. Se pretende seguir implementando estas
prácticas en más asignaturas, para lo que se le dará la suficiente
difusión a este trabajo y a los resultados obtenidos en esta
experiencia.
VI. AGRADECIMIENTOS
A la Unidad de Innovación Docente de la Universidad de
Cádiz por aprobar el Proyecto de Innovación Docente titulado
“Laboratorios Virtuales, basados en Videojuegos, como
complemento a la formación en las ingenierías” para poder
realizar este trabajo.
A Alejandro Bienvenido Fernández, por haber trabajado en
la realización de este proyecto, implicándose más de lo que la
beca le requería.
A los creadores de la Plataforma <e-Adventure>, por su
ayuda desinteresada a la hora de resolver dudas y problemas
surgidos durante el desarrollo del proyecto.
A los alumnos que han cursado la asignatura “Resistencia de
Materiales” del Grado de Ingeniería de Diseño de Industrial y
Desarrollo del Producto de la Universidad de Cádiz en el curso
2013-2014, por las aportaciones que han realizado para la
mejora del proyecto.
VII. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
Prensky, Marc, “Don't Bother Me Mom--I'm Learning!: how computer and
videogames are preparing your kids for 21st century success and hoyw you
can help” Paragon House US, 2006. ISBN 1-55778-858-8
Zur, O. & Zur, A. “On Digital Immigrants and Digital Natives: How the
Digital Divide Affects Families, Educational Institutions, and the
Workplace”. Zur Institute - Online Publication 2011. Consultada en junio
2014 http://www.zurinstitute.com/digital_divide.html.
Prensky, Marc, “Digital Game – Based Learning” Paragon House US,
2007. ISBN 1-55778-863-4
Pablo Lavín-Mera, “Mobile Game Development for Multiple Devices in
Education”, International Journal of Emerging Technologies in Learning
(iJET), 2009, vol 4, pp.19-26
Prensky, Marc, “From Digital Natives to Digital Wisdom: Hopeful Essays
for 21st Century Learning”, US, January 2012. ISBN 978-1-4522-3009-2
B.D. Coller, “Effectiveness of using a video game to teach a course in
mechanical engineering”, Computers & Education 53, 2009 pp. 900–912
Fernández-Manjón, Baltasar, “e-UCM (Grupo de Investigación en elearning), UCM”, Revista Iberoamericana de Informática Educativa,
Número 15, Enero-Junio 2012, pp 37-46.
Del Blanco, Angel, “Análisis del Uso del Estándar SCORM para la
Integración de Juegos Educativos”, IEEE-RITA Vol. 6, Núm. 3, Ago.
2011, pp 118-126
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Model-driven processes and tools to design GLO for
CS education
Renata Burbaitė; Kristina Bespalova
Faculty of Informatics
Kaunas University of Technology
Studentų 50, 51368 Kaunas, Lithuania
[email protected], [email protected]
Abstract— The paper introduces processes and tools to design
generative learning objects (GLO) through feature model (FM)
transformations for CS education. In the first stage, to represent
the variability of CS education, we apply feature-based modelling
using FAMILIAR and SPLOT tools. In the next stages we present
processes and newly developed tools to design GLO through highlevel transformations. Case study demonstrates our methodology in
ARDUINO-based e-learning environment.
Keywords— feature models; model transformation; generative
learning objects
I. INTRODUCTION
In recent years, researching in e-learning is very intensive.
Among other issues, research on various aspects of the
educational content is a key topic. The educational content as an
independent unit of the course is usually called learning object
(LO) in the scientific literature. The main intention of using LOs
in multiple educational contexts is the content reuse and
interoperability.
We analyse the GLOs as a ‘new generation LOs’ that come
from the generative technology with extended capabilities (we
use heterogeneous meta-programming as a generative
technology [1]). This technology enables to express a variety of
learning aspects (content, pedagogical, social, and technological
aspects defined in [1] as the learning variability) through
parameterization explicitly. As the learning content in
informatics is a program or its parts, GLOs of this type are the
best choice for CS education conceptually and practically.
In this paper, we have adopted feature-based modelling to
build the tools for the semi-automatic development of the GLO.
The main contribution of this paper is (1) feature-based
modelling as applied to the CS education domain, (2) the
domain models (3) processes and tools to design GLO through
high-level transformations.
The paper’s structure is as follows. In Section II, we review
the related work. Section III presents framework to design
GLOs. Section IV outlines modelling of CS education domain.
Section V presents GLO design processes and Tools. Section VI
provides a case study with experiments to use GLO, to teach CS
within the educational ARDUINO-based [2] robot environment.
Section VII evaluates and concludes the main result.
II. RELATED WORK
In a wider context, LO is considered as an abstraction or a
model to support reusability and interoperability among
extremely large e-learning communities [3]. In general, elearning covers a wide spectrum of tools, technologies,
methodologies and standards. Among multiple ideas and
approaches proposed and dealt with in this branch of research,
the generative learning objects (GLOs) should be mentioned in
the first place. Boyle, Leeder, Morales and their colleagues [4]
have introduced the GLO concept and approaches based on it
aiming to enforce the reuse potential in the e-learning domain.
Here, the term ‘generative’ should be understood as a
property of the learning content to be produced and handled
either semi-automatically or automatically under support of
some technology. The contribution of GLOs in e-learning is that
the extremely wide community involved in learning has received
a sign to move from the component-based reuse model (it
basically relates to the use of LOs) to the generative-based reuse
model, which relates to the use of GLOs. For example, the
source [5] defines the GLO as “an articulated and executable
learning design that produces a class of learning objects”. In
general, this definition satisfies our vision in this paper. GLOs
being reusable and executable items may also offer new
opportunities to create individual and highly adaptable learning
content.
In software engineering, the terms of ‘feature’ and ‘featureoriented modelling’ are widely exploited in the context of the
Product Line approach [6, 7]. GLOs are, in fact, domain
program generators [8], i.e., higher-level programs that generate
other programs adapted for specific applications. The metalanguage processor manipulates with the program instances or
some parts of the instances as well as with data structures. In
general, the output is a family of the related program instances.
Though, in general, program generators cannot be created in any
case and for any domain, their role is growing continuously. The
ability to design program generators should be directly
connected with a domain variability modelling and managing.
193
R. Burbaitė; K. Bespalova - Model-driven processes and tools to design GLO for CS education
As variability modelling is the main focus now [9], the metaprogramming-based approaches follow the same trend too.
Meta-programming [8] is a generative technology that allows
achieving the aims of automation. It deals with how to perform
manipulating programs as data. The result of the manipulation is
the lower-level program. At the core of this manipulation is
parameterization. There are many different views to understand,
or to deal with this approach. Examples are generative
programming [10], aspect-oriented programming, etc. To
specify the GLOs, we use heterogeneous meta-programming in
the mode of structural programming (for more details, see [8]).
A great deal of reviewed papers considers the feature
concept as the basis for a feature-oriented modelling. The
modelling should be guided by the clearly stated goal. In our
case, the goal is to extract the relevant data and represent them
into some generic form (e.g. Feature diagram considered as a
domain model [11, 12]) to facilitate the construction of GLOs.
At this level, the domain model describes two general aspects:
domain commonality and domain variability.
A feature diagram is a graphical notation for feature models
represented as a tree-like or directed acyclic graph [8]. Feature
diagrams as a domain model enable to express structural,
functional, behavioural variability in the unified way using
feature types and relationships. A feature diagram, when linked
to concrete problem domain tasks aiming to build generators, is
seen as a high-level model to specify and create meta-programs.
III. FRAMEWORK TO DESIGN GLOS
As it was stated in the previous section, the concept of GLOs
has been introduced to support to enhance and enforce
reusability in the domain. The GLO concept in our approach
models domain variability. We represent the latter at two levels:
feature models and meta-program-based GLO. Both are
executable specification and the second is derived from the first
through model transformations.
With respect to reusability in mind, the transformation
processes should be handled and managed as effectively as
possible. Here, for this purpose, we introduce and apply the
reuse-based framework borrowed from the SWE domain, which
is known as design-for-reuse (DfR) and design-with-reuse
(DwR) [13]. We outline the framework in Fig. 1 DfR includes
the processes of CS education domain modelling and the
processes of GLOs design. To model the domain (which is
highly heterogeneous), we use the expert’s knowledge taken
from the CS education research, the known domain analysis
methods resulting in the creation of feature models (see Section
IV) to design GLOs. The designed GLO, in fact, represents a
family of LO instances (similarly to program families in Product
Line Engineering [6], [14]).
DwR includes generation of LOs as the educational content
derived automatically from the GLO specification using the
194
meta-language processor. Then the produced LOs in the target
language are compiled and transferred into the educational
environment for use. In our research, we use PHP as the metalanguage and ArduinoC as the target language (for details, see
Section VI).
Fig. 1. Conceptual framework for GLO design and use in CS education
IV. MODELLING OF COMPUTER SCIENCE EDUCATION DOMAIN
In the context of the research, by modelling we mean the
extraction from the CS education domain a set of models as
input data to enabling then the creation of GLOs through
transformations using the known tools FAMILIAR [15] and
SPLOT [16] and newly developed tools [17].
For successful modelling of the domain, it is necessary to
express the domain explicitly. In our research, we use TPACK
(Technological Pedagogical Content Knowledge) framework
[18] (see Fig. 2), which describes the CS learning domain.
Fig. 2. TPACK framework [18].
We use the dual fundamental principles known in software
engineering as “separation of concepts” (separation of concerns)
and “integration of concepts” to construct our modelling
approach. The dual means that principles are typically applied
both: firstly separation and then integration.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
R. Burbaitė; K. Bespalova - Model-driven processes and tools to design GLO for CS education
The principle of separation of concepts might be stated as the
premise that entities (e.g. in our case, concepts as sub-domains
related to GLOs such as learning objectives, motivation,
pedagogical models, learner’s preferences, content, technology,
etc.) should contain the essential attributes and behaviors
inherent to their nature, but should be void of attributes and
behaviors not inherent to their nature. The domain analysis
methods (FODA [8], [19], SCV [20, 21], etc.) are actually built
upon the explicit use of separation and integration of the
introduced concepts.
TABLE I. FEATURE TYPES AND CONSTRAINTS FOR FEATURE MODEL
REPRESENTATION
Features and Notation
constraints
FAMILIAR
SPLOT
Mandatory
(AND)
FM ( A : B
C
In Table I, we present feature types and constraint notation
for the feature model representation using tools FAMILIAR and
SPLOT.
; )
Optional
FM ( A : [B]
XOR
[1..1]
[C]
; )
group
FM ( A : (D|B|C) ; )
OR
[1..*]
group
FM ( A : (D|B|C)+ ; )
Constraint
<excludes>
FM ( A : [D] [B]
;(D -> !B) ; )
[C]
Constraint
<requires>
FM ( A : [D] [B]
;(B -> C) ; )
For the identification of the domain variability we use SCV
(Scope-Commonality-Variability) principle based on a theory of
sets [20, 21]. Modelling should be supported by the adequate
tools.
The selection of tools highly depends on the processes and
models used. As we use feature models to model our tasks at the
high abstraction level, we have selected the feature-oriented
tools FAMILIAR [15] and SPLOT [16]. FAMILIAR (FeAture
Model script Language for manIpulation and Automatic
Reasoning) is a Domain-Specific Language (DSL) that is
dedicated to the large scale management of feature models and
that complements the existing tool support. S.P.L.O.T. is a Webbased reasoning and configuration system for Software Product
Lines. The system benefits from mature logic-based reasoning
techniques such as SAT solvers and binary decision diagrams to
provide efficient reasoning and interactive configuration services
to SPL researchers and practitioners.
[C]
Three main principles of FODA (Feature Oriented Domain
Analysis) are used: 1) identification of domain boundaries and
context; 2) feature-based modelling of the context; 3) featurebased modelling of sub-domains within the domain [8], [19].
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Using the introduced feature modelling notion and selected
methods and tools, we have developed and verified the
following models as separate entities for our domain: learning
objectives, motivation, pedagogical methods, assessment, and
learner’s preferences. Then those models are specialized and
aggregated (after each transformation of the models verification
follows). The aggregated model serves as the context to the
teaching content. We model the content at the higher-level of
abstraction (i.e. using the feature concepts) similarly using the
previously described methodology. The created models are input
data for the next processes, i.e. the GLO design (see Fig. 1 and
Section V).
V. GLO DESIGN PROCESSES AND TOOLS
In Fig. 3, we present overall processes of the proposed
approach along with the tools used. Here, the modelling
processes and tools are combined with the GLO design
processes and tools. Processes are driven either by the external
data (i.e. created models) to be supplied by the user or the
internal data created by the processes themselves. Processes are
supported by the adequate tools. To support more general
processes, we use the known and proven tools (FAMILIAR,
SPLOT); whereas to support the task-specific processes, we use
our tools.
In terms of model transformations, the FAMILIAR tools
enable to perform two types of M2M transformations: 1)
transformation lowering the abstraction level; 2) transformation
preserving the same abstraction level. The FAMILIAR tool’s
editor supports the first transformation that, in fact, is the
specification process, in which the input model is described by
195
R. Burbaitė; K. Bespalova - Model-driven processes and tools to design GLO for CS education
the informal requirements of a domain task and the output model
is represented formally by feature diagrams. The FAMILIAR
modelling facilities support the modelling process in which we
are able to perform some needed manipulations (e.g., feature
composition, merging, etc.) on input models that were created
through the specification process. The important property of the
used tools is that the specification yields the graphical
representation of the output model(s); whereas the modelling
processes use the textual language and yield the textual
representation of the output model(s).
As both tools (FAMILIAR and SPLOT) are compatible (i.e.
they use the same textual representation of feature models), we
are able to use the straightforward connection of the tools (see
Fig. 3). We can describe the use of the verification tools SPLOT
in terms of M2M transformation too. Indeed, the input model(s)
is (are) feature model(s) with the following property:
correctness = true or false; (meaning undefined); whereas the
output model(s) is (are) the same feature model(s) with the
following property: correctness= true.
Now we put some ideas on the task-specific processes and
tools, i.e. GLO design. There are also two processes (see right
part of Fig. 3): transformation and generation. The tool MePAG
(Meta-program Automatic Generator) we have developed
supports the transformation model-to-GLO (i.e. transformation
lowering the abstraction level). The transformation process is
semi-formal because not all input data used we are able to
present formally. The reason is that we use the heterogeneous
meta-programming paradigm [8], in which the meta-language
(ML) and the target language (TL) both are abstract (not
formal). Furthermore, not always it is possible to synthesize a
meta-program (GLO in our case) fully automatically, or such a
mode is merely unreasonable due to the complexity issues.
Fig. 3. Modelling and design processes and tools for the development of the
GLOs.
A standard ML-processor (e.g. PHP-processor in our case,
though other languages such as C++, Java can be used in the role
of a ML (see, e.g. [8])) serves as a generating tool to provide the
experimental validation of a synthesized meta-program. This
process may be multi-cycle with a feedback possible. This may
happen due to some semantic or syntactic inconsistency
introduced by the designer when such an interleaving is needed.
196
The technique enables to develop a higher-level executable
specification (i.e., GLO) from which LO are generated on
demand automatically, at the use phase.
Fig. 4. Architecture of GLO design tools
In Fig. 4, we present the architecture of the MePAG tool.
The tools support the development of heterogeneous metaprograms semi-automatically. Therefore, the tools can be used
for other applications too. In our case, the tool enables to
synthesize GLOs from the aggregated input feature model (FM)
and supplementary data (see Fig. 4).
Yet another fact is important to highlight here. The format of
internal representation of models within the MePAG might be
compatible with the internal/external format of FAMILIAR
(SPLOT), or not. As the latter format has yet not been
standardized, here we have accepted that those formats are
incompatible, thus the additional transformation (T) is needed.
This transformation results in transforming the format of FM
into the intermediate code (IMC) of the tools.
The MePAG engine transforms the IMC model into the GLO
template using the prescribed transformation rules. The rules
specify the correspondence between adequate elements of two
models: the application task model and the solution domain
model (i.e. meta-programming-based models). We do not
present the transformation rules in detail here; instead, we
explain some principles of creating the rules. For example,
variant point in the feature model corresponds to meta-parameter
name, variant corresponds to the meta-parameter value, and
constraints in the feature model specify the relationships among
the meta-parameters.
The structure of a GLO consists of two interrelated parts:
meta-interface (serving for specifying the task variability space
expressed through parameters and their dependencies) and metabody (for specifying implementation details). The development
of the meta-interface is the most crucial part in terms of the solid
number of code lines and parameter dependencies as compared
to the design of the meta-body. Furthermore, it is possible to
create the meta-body only after creation of the meta-interface.
Therefore, the tools enable to build the meta-interface
automatically; while the template of the meta-body is created by
the tools and the completion of the process is performed by the
designer.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
R. Burbaitė; K. Bespalova - Model-driven processes and tools to design GLO for CS education
Legend:
Activity: Case study - CT; Practise – PS.
PriorityLevel: Priority High – PH; Priority Intermediate – PI; Priority Low – PL.
Method: Project-based - PR; Problem-based – PB.
Level: Advanced – AD, Intermediate – IT; Beginner – BG.
Objective: Sequential algorithms - SA; Binary Addition – BA.
Text: Simple text string - ST; Binary addition components’ string – BC.
Fig 5. Feature model of GLO “Scrolling text on LCD”, created using FAMILIAR.
VI. CASE STUDY: USE OF GLOS WITHIN THE ARDUINO-BASED
ENVIRONMENT
We use two different robot-based teaching environments:
Lego NXT and Arduino [2] to teach the CS topics. We have
designed three GLOs to demonstrate our methodology and tools
in the ARDUINO-based e-learning environment as follows:
Scrolling text on LCD, Light follower and Traffic light. To
develop GLO, we need first to specify the domain tasks using
feature models (i.e., see a feature model of GLO “Scrolling text
on LCD” in Fig. 5) to enable variability modelling and
correctness checking by using FAMILIAR [15] and SPLOT
tools [16] (see Table II, for the main characteristics of the
models).
The GLOs’ quality depends on quality of models starting
with the earliest designing stages. Structural metrics of FMs are
important factors of external quality. Computing methods of
structural metrics are based on BDD (Binary Decision
Diagrams). SAT Solver algorithms are used to evaluate a
consistency of FMs, the number of dead features and possible
configurations [10], [22]. We define model quality metrics
below: 1) number of features defines the total number of
features in a feature model; 2) number of mandatory features
defines commonality of the domain; 3) number of core features
defines the number of features that appear in all configurations;
4-5) number of XOR and OR features groups defines variability
of the domain; 6) number of Cross-Tree Constraints (CTC)
represents the number of constraints excludes and/or require in
the feature model; 7) Constraints Representativeness (CTCR) is
a number of variables in the CTC divided by the number of
XVI Simposio Internacional de Informática Educativa (SIIE’14)
features in the Feature Diagram; 8) Tree Depth defines the
length of the longest path from the root to leaf features in the
feature model; 9) number of valid configurations defines the
number of all possible and valid configurations that can be
derived from the feature model; 10) Variability Degree is the
number of valid configurations divided by 2n, where n is the
number of features in the model.
TABLE II. FEATURE-MODEL CHARACTERISTICS OF DEVELOPED GLO
Scrolling text on Light
LCD
follower
Traffic
light
Model
metrics
1
3
1.
# Features
29
41
44
2.
# Mandatory features
9
10
12
3.
# Core features
10
11
14
4.
# XOR groups
6
7
8
5.
# OR groups
1
1
2
6.
#Cross-Tree Constraints
(CTC)
12
7
14
7.
CTCR, %
0.66
0.24
0.39
8.
Tree Depth
4
3
5
9.
Valid Configurations
192
87480
97200
10. Variability degree, %
3.5763
E-5
3.9781
E-6
5.5252
E-7
11. Consistency
+
+
+
12. # Dead Features
None
None
None
No
Task
2
Note. For model feature metrics, see [23];
197
R. Burbaitė; K. Bespalova - Model-driven processes and tools to design GLO for CS education
The next phase is to transform the devised models to GLO,
which are highly reusable and adaptable automatic content
generators. Based on variability, valid configurations of feature
model (see Table II) predefine the possible space for reuse and
adaptation when the models are implemented.
In Fig. 6, we present the screen snapshot of the MePAG [16]
when we use it for the task “Scrolling text on LCD”. Here, the
user sees user interface to solve the task. As the tool is
experimental, the user interfaces reflect the main tool’s
functionality and capabilities only.
In Table III, we summarize main characteristics of the GLOs
(in fact meta-programs). We present those characteristics
separately for meta-interface (MI) and meta-body (MB). GLOs
have been developed in two modes: manually and using the
developed MePAG tools. Note that design efforts are evaluated
without experimental validation, which is fully automatic. GLOs
have been created by three designers (with 3-4 years of
experience in meta-programming) independently manually and
using the MePAG tools. In Table III, we present the average
values.
to fuel robots to demonstrate how programs are transformed to
real task processes.
TABLE III. COMPARISON OF CHARACTERISTICS OF GLO DESIGNED BY HUMAN
AND TOOLS
Average efforts
MB
MI
in min
generated manual
By
(LOC/KB) (LOC/ KB) (LOC)
Manual
GLO attributes MI
manual
Task
Scrolling text on LCD 125/5.19
125/5.32
74
30
Light follower
176/7.54
176/7.71
112
41
2
Traffic light
221/9.98
221/10.2
91
46
2
MePAG
2
MI- meta-interface; MB- meta-body; LOC- lines of code in PHP; MePAG tools are available to test from
Website [17]
VII. EVALUATION AND CONCLUSION
In this paper we have presented the CS education domain
semi-formally using feature-based notion, enabling reuse at the
higher level of abstraction. This level has also enabled us to
formulate transformation rules to transform the models into
GLO specifications and, on this basis, to develop the design
tools. The main advantage of the proposed approach is the
extension of the generative reuse dimension by semi-automatic
generation of GLO, i.e. meta-programs.
The approach has also some limitations as follows: the
approach only enables the creation of GLO semi-automatically;
though the developed tools are target language independent, they
are meta-language dependent (in our case specifically targeting
to PHP).
Effectiveness of the approach (tools) has been proven not
only through scientific experiments we have carried out but also
in the real use (in the robot-based educational settings where
meta-programs are GLOs to provide the content for teaching CS
topics [24]). The robot-based environments enable to implement
the visual transformation of a real task into its physical process,
thus providing a high level of motivation and effective learning.
VIII. REFERENCES
[1]
[2]
[3]
[4]
Fig 6. MePAG user’s view for actions.
All GLOs have not only been created and experimentally
approved by automatic generating using the PHP processor, but
also they were used in real educational settings as LO generators
198
[5]
[6]
[7]
V. Štuikys, R. Burbaitė, R. Damaševičius, “Teaching of Computer Science
Topics Using Meta-Programming-Based GLOs and LEGO Robots,”
Informatics in Education-An International Journal, Vol12_1, 2013, pp.
125-142.
12M. McRoberts, “Beginning Arduino,” Apress, 2010.
O. Liber, “Learning objects: conditions for viability,” Journal of Computer
Assisted Learning, vol. 21, no. 5, 2005, pp. 366-373.
D. Leeder, T. Boyle, R. Morales, H. Wharrad and P. Garrud, “To boldly
GLO-towards the next generation of Learning Objects,” in World
Conference on E-Learning in Corporate, Government, Healthcare, and
Higher Education, vol. 2004, no. 1, 2004, pp. 28-33.
Reusable learning objects, “What are GLO‘s,” Online: http://www.rlocetl.ac.uk/whatwedo/glos/whatareglos.php.
K. Pohl, G. Bockle and F. van der Linden, “Software Product Line
Engineering,” Springer-Verlag, 2005.
M. Mendonça, “Efficient reasoning techniques for large scale feature
models,”Doctoral dissertation, University of Waterloo, 2009.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
R. Burbaitė; K. Bespalova - Model-driven processes and tools to design GLO for CS education
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
V. Štuikys and R. Damaševičius, “Meta-Programming and Model-Driven
Meta-Program Development: Principles, Processes and Techniques,”
Springer, 2013.
7R. Capilla, J. Bosch and K. C. Kang, “Systems and Software Variability
Management,” Springer, 2013.
K. Czarnecki, U. Eisenecker, “Generative Programming: Methods, Tools
and Applications,” Boston: Addison-Wesley, 2000.
K. C Kang, S. G. Cohen, J. A. Hess, W. E. Novak, A. S. Peterson,
“Feature-oriented domain analysis (FODA) feasibility study,” CMU/SEI90-TR-21, Carnegie-Mellon Univ, Software Engineering Inst., 1990.
M. Acher, B. Baudry, P. Heymans, A. Cleve, and J.L. Hainaut, “Support
for reverse engineering and maintaining feature models,” in Proceedings of
the Seventh International Workshop on Variability Modelling of Softwareintensive Systems, ACM, 2013.
J. Sametinger, “Software Engineering with Reusable Components,”
Springer, New York, 1997.
D. L. Parnas, “On the Design and Development of Program Families,”
Software Engineering, IEEE Transactions, vol. 2 no. 1, 1976, pp. 1–9.
M. Acher, P. Collet, P. Lahire and R.B. France, “FAMILIAR: A domainspecific language for large scale management of feature models,” Science
of Computer Programming, vol. 78, no. 6, 2013, pp. 657-681.
M. Mendonca, M. Branco and D. Cowan, “SPLOT: software product lines
online tools,” in Proceedings of the 24th ACM SIGPLAN conference
companion on Object oriented programming systems languages and
applications, 2009, pp. 761-762.
K. Bespalova, R. Burbaitė, V. Štuikys, “MePAG tools,”
http://proin.ktu.lt/metaprogram/MePAG/
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[18] M. Koehler, and P. Mishra, “What is technological pedagogical content
knowledge (TPACK)?,” Contemporary Issues in Technology and Teacher
Education, vol. 9, no. 1, 2009, pp. 60-70.
[19] M. Harsu, “A survey on domain engineering,” Tampere University of
Technology, 2002.
[20] J. Coplien, D. Hoffman and D. Weiss, “Commonality and variability in
software engineering,” Software, IEEE, vol. 15, no. 6, 1998, pp. 37-45.
[21] R. Capilla, J. Bosch and K.C. Kang, “Systems and Software Variability
Management,” Springer, 2013.
[22] D. Batory, “Multilevel models in Model-driven engineering, product lines
and metaprogramming,” IBM Systems Journal, vol. 45, no. 3, 2006, pp.
527-539.
[23] E. Bagheri and D. Gasevic, “Assessing the maintainability of software
product line feature models using structural metrics,” Software Quality
Journal, vol. 19, no. 3, 2011, pp. 579-612.
[24] R. Burbaitė, R. Damaševičius and V. Štuikys, “Using Robots as Learning
Objects for Teaching Computer Science,“ X World Conference on
Computers in Education, 2013, pp.101-110.
199
Using semantic web services technology for simulating
collaborative learning activities:
An approach based on ITSs’ and e-Learning standards extension
Maha Khemaja
PRINCE, ISITC, H Sousse
University of Sousse
Tunisia
[email protected]
Abstract—Nowadays, collaboration between peers in any
learning environment is increasingly becoming a very important
issue as it allows deeper learning and achievement of higher levels
of learning outcomes. However, during effective execution of a
learning process, there is no guarantee that effective collaboration
between peers will occur as intended by the teacher. In this paper,
we provide an approach based on Semantic Web Services
technology to intelligently simulate collaborative learning activities.
This approach takes account previous, current and intended one's
learner context by characterizing the collaborative state of the
environment as well as the learning levels of learners accordingly to
bloom's taxonomy.
Keywords—Collaborative Learning Simulations; Inteligent LD
activities; IMS LD; e-learning standards; ITS; peer model.
I.
INTRODUCTION
In Learning contexts, collaboration between peers becomes a
very important issue that supports new active learning
approaches as Project, Problem or Game based learning.
However, during execution of a learning process, there is no
guarantee that effective collaboration takes effect between peers.
This is particularly due to the peers passive attitude and/or their
very constrained schedules.
Social science and ethnography have help in developing
models to be used by software engineers for implementing
efficient collaborative processes in Computer Supported
Collaborative Working/Learning (CSCW/CSCL) [1, 2]. We can
name, for example, the trefoil model, the Denver model and the
GTA model [3]. However, collaborative implemented processes
are intended to help humans to interact with each others with no
guarantee of effective occurrence of collaborative activities.
So, on the one hand, within physical and/or virtual
Collaborative Learning (CL) environments providing
collaborative learning processes (CLP), the learner could feel
lonely and do not receive relevant support from his peers.
On the other hand, Learning Management Systems (LMSs)
augmented with Intelligent functionalities as e.g. Intelligent
Tutoring Systems (ITS) or iLMS allow human behavior
simulations.
So, in this paper, we consider that: (1) one’s learner outcomes
and skills are best achieved when CLPs are enriched by
automatically adding simulated collaborative activities. (2)
Outcomes quality, CLPs efficiency and also learning time saving
depends strongly on diversity of interactions of the learner with
her/his simulated peers and also on modeled and implemented
skills and behavior of those simulated peers. (3) Automatically
providing users with new collaborative activities from those
already developed will also depend on the flexibility and
interoperability of the underlying learning system or
environment in use.
Many research works have proved that Learning Systems
(LMSs, ITSs or iLMSs) based on SOA architecture best suit
interoperability issues especially when they use Web services
based infrastructures. Additionally, we assume that Semantic
Web Services (SWS) based approaches make semantic based
discovery, composition and execution of Web services more
feasible. They could, therefore, allow more efficient
development or adaptation of collaborative simulated behavior
as well as more general user centric or context aware
collaborative learning environments. We also noticed that:
1) LMSs are the most e-learning standard compliant
systems.
2) CSCL tools could be stand alone systems or fully
integrated with LMSs
3) ITSs are rarely collaborative or standard compliant.
They are mostly standalone applications.
4) Context-aware applications have not previously
considered simulated collaborative behavior especially
for learning activities.
201
M. Khemaja -Using semantic web services technology for simulating collaborative learning activities: An approach based on ITSs’ and e-Learning standards extension
Therefore the principal aim of this paper is to propose a SWS
based approach and methodology with four main issues:
1. The first one focuses on proposing an integrative and
flexible learning environment architecture considering
ITSs, LMSs and CSCL functionalities and learning
standards.
2. The second issue deals with the proposal of simulated
behavior models taking account the system's context
including learner’s skills, learning domain and learners’
knowledge levels. In order to help maintaining a logical
progression of learning and collaboration, learners’
knowledge levels as well as the simulated behavior
should be compliant to bloom’s taxonomy.
3. The third issue considers
context-awareness,
collaborative activities and simulated behavior
adaptability mechanisms for enriching the user’s
experience.
4. The fourth issue deals with the technical and functional
architecture proposed which is based on SWS
technology.
The rest of the paper will be structured as follows:
In section II, we will present three different but inter-related
states of the art of e-learning standards and LMSs, CSCLSs and
ITSs. A discussion and comparison of those systems by
considering collaboration, adaptability as well as context
awareness criteria will be used as principal guide lines for a
systems’ conceptual model proposal.
In section III, we will firstly focus on context awareness and
user centric collaborative learning requirements. We will
secondly focus on the simulated peer model and behavior
accordingly to bloom’s taxonomy knowledge levels. We end this
section by proposing a context model as well as a contextawareness adopted mechanism including the simulated behavior.
In section IV, we will describe the conceptualization of the
overall approach via SWS technology and explain how to
associate services to automatically handle collaborative
simulated activities.
In section V, we define and implement a case study as a proof
of concept.
In section VI, we discuss related works and we show that we
have treated different aspects.
Finally in section VII, we conclude and give some
orientations to our future works.
II. OUR STARTING POINT : LMSS, E-LEARNING STANDARDS,
CSCLSS AND ITSS
In this section we focus on basic concepts and design models
related to LMSs, e-Learning standards, CSCLS and ITSs. Our
aim is to show differences and similarities and to provide an
integrative meta-model of these systems which we will consider
202
as the main software infrastructure for the intended learning
environment.
A. Virtual learning environments and main e-learning
standards
A learning environment is a location (virtual or not) where
learning could take place. It could be a classroom, a workplace
or a virtual software called Virtual Learning Environment (VLE)
[18]. A VLE allows learning scenarios execution by making use
of learning resources and invoking learning services to generate
specific learning outcomes. Tutors/trainers could interact with
learners by providing them with support activities (hints,
demonstrations, assessments). Major VLEs have been developed
accordingly to specifications and frameworks as the e-Learning
Framework (ELF) [4], the IMS Abstract Framework [9] and the
Open Knowledge Initiative (OKI) [8]. The basic idea of these
frameworks is to offer a set of guidelines and reusable services
descriptions to be implemented by developers.
Other kinds of specification and standards have been also
provided for helping learning scenarios design and insuring
interoperability between different VLEs. Those specifications
are mainly implemented by the so called authoring tools which
are used independently from VLEs.
As part of this trend, the Instructional Management System
Global Learning Consortium (IMS GLC) had proposed, since
2003, the Learning Design (LD) specification which is a
conceptual framework that supports pedagogical diversity and
innovation as well as exchange and interoperability of e-learning
material [18]. The IMS LD specification, have been considered
as the most relevant Educational Modeling Language (EML)
[10]. It is also considered as an integrative or extending layer to
many existing specifications such as the IMS Learner
Information Package-(IMS LIP), the IMS Reusable Definition of
Competency or Educational Objective (RDCEO), [7] ...
Finally, it is worth noting that long before e-learning
standards development many education scientists have proposed
some learning consensus. In this paper we focus on the Bloom’s
taxonomy [23] which had been largely adopted and/or adapted
by e-learning researches or other consortia (e.g. the Bologna
three-cycle system) for Intended Learning Outcomes
Specification.
B. CSCL Systems
CSCLs focus on how CL supported by technology facilitates
knowledge sharing and distribution among a community of
learners. Moreover, they are considered as partly arising from
CSCW systems [3]. So, CSCLSs could be based on
Communication, Edition, Coordination and workflows, or
Networked interactions. Actions carried out by a user faced to
the other actors are characterized by the time and location in
which they occur. And finally many types of cooperative work
consider participants and artifacts on which participants interact.
Several relationships could be identified as Direct
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Khemaja -Using semantic web services technology for simulating collaborative learning activities: An approach based on ITSs’ and e-Learning standards extension
communications, Mutual understanding, Artifact manipulation
and Retro-actions.
C. Intelligent Tutoring Systems
ITSs are considered as a subclass of e-learning systems that is
designed to simulate a “real” teacher’s behavior [5]. They are
based on Artificial Intelligence techniques to model human
knowledge and behavior, to make reasoning and solve problems.
ITSs are generally composed of several components, modeling
and implementing [11] (1) The domain model- (2) The
pedagogical model, (3) The learner model, (4) The interface
model, (5) The errors model.
Approaches used for building ITS components, focus on
defining and designing knowledge and functionalities of ITS
models (i.e. concepts, facts, procedures, strategies and rules) to
be used in a deductive or inductive manner by an inference
engine either to assess the learner or to dynamically and
automatically adapt the instruction and contents presented to the
learner as intended by the pedagogical model.
D. Discussion and Proposed model
A comparison between previously presented types of learning
systems, and considering comparison criteria such as standard
compliance and human behavior simulation or also adaptability
allow us to infer the following conclusions:
Firstly, LMSs provide interoperability and flexibility thanks
to their standard compliance. They could equally provide CL
services but they do not normally allow intelligent behavior
simulations. Secondly, CSCLSs provide collaborative
capabilities but they could not be based on standards and so lack
interoperability issues. Moreover, like LMSs they do not
integrate intelligent behavior. Thirdly, ITSs could cover a part of
LMSs and CSCLSs’ needs especially because they allow human
behavior modeling and simulation and provide interesting
learners models which can be enriched by adding learners’
behavior especially for simulating collaborative activities.
Therefore, we propose in this paper, to integrate ITSs features
into those of LMSs and CSCLSs in a standards compliant
manner for (1) personalization and adaptation of LP to learners
needs or to the learning contexts and (2) provision of intelligent
collaborative support for enhancing learners’ experience.
In our proposal, the IMS LD specification concepts and
behavior are all retained. However, we have made some
extensions to respond to the previously elucidated requirements.
Extension points as illustrated in (Fig.1), deal with the following
concepts: Role, Activity, Outcome, Conditions, Service,
Learning Objectives and Learning Objects.
The LD Role concept is firstly extended, by additional roles
inspired from those in ITSs which are the “Expert Role” and the
“Pedagogical Role”. It is extended, secondly to integrate
collaborative learning aspects with “Group”, “Group Member”
and “Group Role” concepts which are inspired from CSCLSs
concepts. It is thirdly extended to integrate the concept of
XVI Simposio Internacional de Informática Educativa (SIIE’14)
“Simulated Peer Role” which is unlike in that in ITSs, is
intended to implement simulated learner’s peer behavior
especially when they interact with the learner.
The concept of Activity is decomposed as in CSCLs into
more atomic “Actions” operating on “Artifacts” and having or
not retro-actions accordingly to defined “Rules”. The concept of
“Outcome” is then considered as a final result of acting
operations on Artifacts. The Conditions concept is extended by
the “Rules” concept to model specific Rules related to social,
behavioral and group aspects. And finally the concept of
Services is extended to take account collaborative activities.
Therefore, “Communication”, “Coordination” and “Production”
services constitute the added categories of services.
Although those necessary extensions made to LD, the
resulting LD model continues to integrate the other learning
specifications. Therefore, we will consider IMS LIP for Learners
and Peers modeling, RDCEO for Learning objectives and
prerequisites modeling, and LOM for modeling and indexing
domain specific resources and artifacts. The bloom’s taxonomy
will however be referenced whenever cognitive levels and skills
with associated action verbs should be defined. This latter point
will be detailed in the following sections.
Fig.1. LD with extension points and concepts
III.
REQUIREMENTS OF CONTEXT AWARENESS WITHIN USER
CENTRIC COLLABORATIVE LEARNING ENVIRONMENTS
Context awareness is considered as the ability of software
that adapts according to its context as well as changes to that
context over time [20].
Many researchers have provided taxonomies of features of
context aware applications. Those features vary from
“presenting information to the user” to “automatically trigger
services execution when the right combination of context
elements occurs”. CL environments usually face rapid evolving
of learners' learning objectives as well as interactions’ contexts
with peers and the environment.
In order to provide effective collaboration, we have to choose
what kind of context to define for our system and determine
what context awareness behaviors should we support. We focus
especially on cases where learner's peers are passive and where
the learner should be supported by the system.
203
M. Khemaja -Using semantic web services technology for simulating collaborative learning activities: An approach based on ITSs’ and e-Learning standards extension
The main question is how context could be relevant to peer’s
simulating behaviors during collaborative learning activities and
how we should model it?
A. Proposed context model
Many definitions of context have been elucidated by
researches in this domain. We retain the following definition
which we will apply later while defining our specific view of
context:
“Context is any information that can be used to characterize
the situation of an entity. An entity is a person, place or object
that is considered relevant to the interaction between a user and
an application, including the user and application themselves”
[20].
rules, it requires however a relevant model for pedagogical
expertise and decision making. We choose therefore a formal
representation illustrated in Table I.
Table I: Formal description samples
Rules for context analysis
Logical rule
∀ Activity A, ∀ Learner L, ∀ Group G, ∀ Pedagogic_Decision D
Is_Collaborative (A, True) ˄ Cardinality_Activ_Members(G,MA,x) ˄
(x=1)→Equivalent(D,"simulate peer")
Rules for learning scenario adaptation
Logical rule
∀ Activity A, ∀ Learner L, ∀ Group G, ∀ Pedagogic_Decision D
Is_Collaborative (A, True) ˄ Cardinality_Activ_Members(G,MA,x) ˄ (x>1) ˄
(x<Group_Number)→Equivalent(D,"assign_different_assessment")
Rules for simulating peers behavior
Logical rule (1)
∀ Activity A, ∀ Bloom_Level BL, ∀ Action Ac1, ∀ Artefact Ar, ∃ Action Ac2
Is_Bloom_Level (A, BL) ˄ Is_Bloom_Level (Ar, BL) ˄ (Is_Bloom_Level (Ac1, BL)
˄ (Is_Bloom_Level (Ac2, BL2) ˄ ( BL2>=BL) →Is_Selected (Ac2)
Logical rule (2)
∀ Context C, ∀ Artefact Ar, ∀ Action Ac2, ∀ Current_State S1, ∀ Desired_State S2,
Current_State(Ar,S1) ˄ Effect(Ac2, Ar, S2) →Is_Selected (Ac2)
Fig. 2. The proposed Context Model
As illustrated in Fig.2, contextual entities of our model are
(1) the actor, (2) the learning activity or the pedagogical
situation, (3) the environment (4) the location (5) the time, and
(6) events which are main sources of dynamicity and context
changes.
B. The system’s functional model and context awareness
adopted mechanism
As illustrated by Fig.3, the system’s components interact and
communicate with each others to exchange contextual data
accordingly to a “Perception-Decision-Action” loop composed
of 7 steps:
The system uses the user’s interface as well as his previous
achievements for context detection (1); context data is analyzed
(2) to update the learner’s context (3) and to allow reasoning and
making pedagogical decisions (4). Pedagogical decisions could
either instantiate simulated learners (5) with actions that they
should execute (6) or adapt the learning scenario (7).
Fig.3. The functional model of our future system.
We notice therefore that (1) context awareness mechanism is
driven by the analysis capacity, strategies and rules implemented
to make pedagogical decisions (2) whether the decision is to
adapt the learning scenarios or to instantiate a simulated peer
behavior, this could not simply done by means of "if-then-else"
204
More specifically, as Bloom’s taxonomy represents a
classification of learning objectives, each learning objective is
characterized by a set of action verbs attesting the ability of the
learner to carry them correctly. To simulate learners’ behavior,
we associate actions to each action verb (Fig.4.) and Each action
is described by the artifact, precondition, post condition, effect,
etc.
Accordingly to the pedagogical situation, rules are therefore
applied to infer the relevant action to execute.
Fig.4. Simulated behavior based on bloom’s taxonomy level of knowledge.
IV.
CONCEPTUALIZATION OF THE PROPOSED APPROACH AND
IMPLEMENTATION MODELS
In this section, we will describe the conceptualization of the
overall approach via SWS technology and explain how to
associate services to automatically handle collaborative
simulated activities.
Firstly, we are convinced that Web services [22], are suitable
to meet requirements of our specific VLE thanks to their
capabilities to allow better interactions between actors or peers
in heterogeneous environments. Moreover interoperability
represents an important issue particularly for allowing
interactions between CSCLs, ITSs and LMS services where
learners’ interactions have to be stored and assessed.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Khemaja -Using semantic web services technology for simulating collaborative learning activities: An approach based on ITSs’ and e-Learning standards extension
Unfortunately, Web services capabilities are not suitable to
support adaptability of those applications especially when we
need additional collaborative activities or learners’ behavior
simulations. For that aim, we apply an extra semantic layer to
our Web services based solution, obtaining thus a Semantic Web
services (SWS) based infrastructure.
SWS stand for combining concepts, techniques and issues
from both Semantic Web and Web services[6]. Their main aims
are to transform Web services descriptions into more machineunderstandable descriptions. This could enable a more dynamic
usage of Web services as automatic discovery, selection,
composition, invocation and monitoring.
In order to validate our approach we have chosen the WSMO
(Web Service Modeling Ontology) framework which provides
the following components for modeling a SWS based
application [17]:
Ontologies: They provide terminology of the information
used by all other components including domain ontologies.
Goals: They identify objectives that a client may have when
consulting a Web service.
Web services: constitute Semantic descriptions of Web
services as post and pre conditions, capability, interfaces and
effects.
And finally Mediators: Which serve as connectors between
components with mediation facilities for addressing
heterogeneities.
We have also applied the following methodological steps :
(1) Identify all services to be provided by the system and
describe their semantics with the services ontology. (2) Define
the ontological layer mainly composed of domain ontologies
providing all concepts to be used by Web services. (3) Identify
heterogeneity problems and define corresponding mediators.(4)
proposed a technical architecture for the target system execution
environment. Let us start by the ontological layer.
The set of ontologies that we have defined, is composed of a
subject matter or taught domain ontology, the context ontology,
the pedagogical ontology, the services ontology, the goals
ontology, the Bloom’s behavior ontology and finally the IMSLD
extended ontology (Fig.5).
The subject matter ontology is intended to conceptualize the
domain to be learned. A specific aspect of our domain ontology
is that each one of its concepts could be multi-viewed
accordingly to its level of difficulty and relationship to bloom’s
taxonomy level.
The purpose of the context ontology, is to retrieve
information about the user’s context, the pedagogical situation,
his/her profile (skills, needs ,…) , his current activity as well as
his needs for collaboration.
The pedagogical ontology aims to define relevant knowledge
for pedagogical decision making. It is domain independent.
Examples of decisions that would be made are to instantiate a
XVI Simposio Internacional de Informática Educativa (SIIE’14)
simulated learner with defined skills and capabilities or to adapt
the learning scenario.
The bloom’s behavior ontology describes bloom’s levels and
their corresponding action verbs.
The IMS LD extended ontology describes semantics of
learning scenarios. It also references the other e-learning
ontologies.
The services ontology describes semantics related to all
actions corresponding to bloom's taxonomy verbs as well as
already existent learning services as defined in section II.
Fig.5. Ontology interactions
Fig.6. The target system's architecture
(b)
(a)
(c)
(e)
(d)
(f)
Fig.7. Results of queries applied on the services ontology
Goals ontology instances will be inferred during the context
analysis step (Fig.3.) and the system makes decisions about
which next action or activity to be carried out. Thanks to the
205
M. Khemaja -Using semantic web services technology for simulating collaborative learning activities: An approach based on ITSs’ and e-Learning standards extension
ontologies interaction model (Fig.5) and SWS technology, a
relevant service will be triggered to fulfill goal instances as
illustrated in Fig.6.
V.
CASE STUDY
As a proof of concept we consider integrating the social
network Flickr services in our system and using it to learn the
Anatomy of the Human body organs. Collaborative projects are
proposed to students for assembling organs pictures and
information to form a human body or a human anatomy system.
Semantics of Flickr services, services operations, Artifacts and
related bloom levels are depicted respectively in Fig.7.(a),(b),(c)
and (d).
A possible simulated peer behavior as illustrated in Fig.7 (e),
is to trigger one service operation on artifacts in Fig.8 (f).
VI.
RELATED WORK
Many research works had focused on analysis of IMS LD
specification and other e-Learning specifications for
collaborative learning, adaptive or also context-awareness issues
[12, 13]. For instance, the work in [14] had proposed a set of
requirements for adaptive support for collaborative learning and
so had evaluated the IMS LD specification to determine whether
it can serve as a basis for implementing adaptive support.
Authors in [15] had criticized IMS LD regarding CSCL and had
proposed an extension of the activity and method
conceptualization. [16] suggested adding a special type of
services called “group services” to extend the capacity of LD for
providing Unit of Learning (UoL) based on collaborative
learning patterns.
Adaptivity and context awareness represent another issue
addressed by several authors as [21] who had proposed a
framework based on ontologies. Context-awareness is this work
had been addressed by the use of context elements for
personalizing the learning process.
Works in [24] have used context to control the learner’s
activities in two ways : Choosing the next activity according to
context or altering the way the next activity is conducted.
As a conclusion of this section, presented works have
addressed specific aspects related to ours, however we didn’t
find any concrete and relevant related work combining ITS like
feature with collaborative learning activities by extending the
IMS LD specification.
Moreover, none of the presented works have considered
learner’s peer simulations by adopting bloom’s cognitive
taxonomy levels and have implemented systems based on the
SWS technology for adaptivity, context awareness and
simulation of learner’s peers behavior accordingly to bloom’s
cognitive taxonomy.
206
VII. CONCLUSION AND FUTURE WORKS
In this paper, we showed that e-learning standards provide
more efficient systems when they are combined and/or applied
to ITSs and CSCLs. Moreover, using ITSs features, provides
possibilities for simulating the intelligent collaborative behavior
of tutors or peers according to a specific learner.
This was made possible by modeling simulated role behavior
and knowledge. Moreover modeling context and context
awareness features by making use of SWS technology provide a
flexible framework with large possibilities for combining and
orchestrating collaborative atomic actions.
We aim in the future take into account possibilities of
automatically enriching knowledge and behavior of virtual roles.
For that aim, automatic machine learning techniques could be
applied. Moreover, we are developing as an extension of this
work, more generic interaction models based on semantic state
machines and domain ontologies to integrate automatically
collaborative actions related to new adopted tools.
Experimentations are for instance done on some social network
tools (e.g. Flickr) which we are using for learning.
VIII. REFERENCES
[1] Stahl, G., Koschmann, T., & Suthers, D. (2006). Computersupported collaborative learning: An historical perspective. In R.
K. Sawyer (Ed.), Cambridge handbook of the learning sciences
(pp. 409-426). Cambridge, UK: Cambridge University Press.
Available at http://GerryStahl.net/cscl/CSCL_English.pdf
[2] Borghoff, U. M., & Schlichter, J. H. (2000). Communication
Systems and Shared Information Spaces. In Computer-Supported
Cooperative Work (pp. 285-325). Springer Berlin Heidelberg.
[3] Jourde, F., Laurillau, Y., Nigay, L., & Moran, A. (2008,
September). Conception de systèmes collaboratifs multimodaux:
analyse comparative de notations. InProceedings of the 20th
International Conference of the Association Francophone
d'Interaction Homme-Machine (pp. 121-128). ACM.
[4] Blinco, K., Jon Mason, J., Neil McLean, N., & Scott, W. (2004).
Trends and Issues in E-learning Infrastructure Development: A
White Paper for alt-i-lab 2004 Prepared on behalf of DEST
(Australia) and JISC-CETIS (UK).
[5] T.Murray: «An overview of Intelligent Tutoring System authoring
tools Updated Analysis of the State of the Art”. Retreived from:
http://citeseerx.ist.psu.edu/
[6] Stefan Dietze, Alessio Gugliotta, and John Domingue: «A
Semantic Web Service Oriented Framework for Adaptive Learning
Environments». Spring Berlin book chapter Volume 4519/2007
ISBN 978-3-540-72666-1 Pages 701-715.
[7] http://imsglobal.org
[8] Kumar, V., Merriman, J., & Thorne, S. Open Knowledge Initiative
Final Report.
[9] IMS Global Learning Consortium. (2003). IMS Abstract
Framework: White Paper. IMS Whitepaper.
[10] Koper, R., & Manderveld, J. (2004). Educational modelling
language: modelling reusable, interoperable, rich and personalised
units
of
learning. British
Journal
of
Educational
Technology, 35(5), 537-551.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Khemaja -Using semantic web services technology for simulating collaborative learning activities: An approach based on ITSs’ and e-Learning standards extension
[11] C. Buche C. Querrec, R.Deloor, P. Chevallier MASACARET :
« A pedagogical multiagent system for virtual environment for
training Special Issue « Cyberworld and education » (JDET), 2(4)
:4161.
[12] Davinia Hernandez Leo, Juan I. Asensio Perez, Yannis A.
Dimitriadis, "IMS Learning Design Support for the Formalization
of Collaborative Learning Patterns» Advanced Learning
Technologies, IEEE International Conference on, pp. 350-354.
[13] C. Tattersall : «Using IMS Learning Design to model collaborative
learning
activities».
Available
at
http://dspace.learningnetworks.org/handle/1820/680.
[14] A.Paramythis : «Adaptive Support for Collaborative Learning
Design : Are we There Yet? ». Available at: http://www.fim.unilinz.ac.at/staff/paramythis/papers/Paramythis_ACS_Workshop_A
H2008.pdf.
[15] M.Cairo, L. Anido, M. Llamas : «A critical Analysis of IMS
Learning
Design»
Available
at
http://wwwgist.det.uvigo.es/~mcaeiro/thesis/references.htm.
[16] D.Hernandez, J.I. Asensio, Y.Dimitriadis : «IMS Learning Design
support for the formalization of Collaborative Learning Flow
Patterns». In: Proceedings of the 4th International Conference on
Advanced Learning Technologies (Aug.30-Sep.1, 2004, Joensuu,
Finland), pp.350-354. IEEE Press (2004).
[17] WSMO, (2005) "Web Service Modeling Ontology Project
Deliverables". WSMO Project.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[18] Booth, A. G., & Clark, B. P. (2009). “A service-oriented virtual
learning environment”. 17(3), 232-244.
[19] Dey, A. K., and Abowd, G. D. (1999) “Towards a Better
Understanding of Context and Context-Awareness”. Technical
report git-gvu-99-22, Institute of Technology, Georgia, June 1999.
[20] Abowd, G. D., Dey, A. K., Brown, P. J., Davies, N., Smith, M., &
Steggles, P. (1999, January). Towards a better understanding of
context and context-awareness. In Handheld and ubiquitous
computing (pp. 304-307). Springer Berlin Heidelberg.
[21] Jovanović, J., Gašević, D., Knight, C., & Richards, G. (2007).
Ontologies for effective use of context in e-learning
settings. Educational Technology & Society, 10(3), 47-59.
[22] Alonso, G., Casati, F., Kuno, H., & Machiraju, V. (2004). Web
services (pp. 123-149). Springer Berlin Heidelberg.
[23] Huitt, W. (2011). Bloom et al.'s taxonomy of the cognitive
domain. Educational Psychology Interactive. Valdosta, GA:
Valdosta
State
University.
Retrieved
[date],
from http://www.edpsycinteractive.org/topics/cognition/bloom.ht
ml [pdf].
[24] Derntl, M., & Hummel, K. A. (2005, March). Modeling contextaware e-learning scenarios. In Pervasive Computing and
Communications Workshops, 2005. PerCom 2005 Workshops.
Third IEEE International Conference on (pp. 337-342). IEEE.
207
Supporting technology-enhanced learning innovations
Lessons from three cases of the ELIG Learning@Work Exploratorium Lab
Ana Faria1; André Malho1; Andreas Meiszner3; Kelwyn Looi2; Pascale Hardy4
1
SCIO – Sociedade do Conhecimento, Inovação e Organização
Porto, Portugal
2
Pearson
London, United Kingdom
3
ELIG – European Learning Industry Group
Vienna, Austria
Pearson
London, United Kingdom
4
Laureate Online Education
Amsterdam, The Netherlands
Abstract—This paper will present three selected cases from the
ELIG Learning@Work Exploratorium Lab that show how
learning theories can contribute to new ways of using ICT for
learning in practice, how to scout bottom-up and support
grassroots innovators in Technology Enhanced Learning (TEL),
and how innovation support might be replicated, mainstreamed,
transferred or sustained. The ELIG Learning@Work
Exploratorium Lab is organized as a part of the HoTEL (Holistic
Approach to Technology Enhanced Learning) that is a Support
action of the 7th Framework Programme and aims to design,
develop and test an “Innovation Support Model” in the area of
TEL, to enhance the speed and quality of innovation in TEL in
Europe.
Keywords—Innovation support; exploratorium labs; technology
enhanced learning; grassroot innovation; bottom-up
I. INTRODUCTION
The ELIG Learning@Work Exploratorium Lab is organized
as a part of the HoTEL (Holistic Approach to Technology
Enhanced Learning) that is a Support action of the 7th
Framework Programme and aims to design, develop and test an
“Innovation Support Model” in the area of TEL, to enhance the
speed and quality of innovation in TEL in Europe. The ELIG
Learning@Work Exploratorium Lab builds on the ideas,
suggestions, experiences collected and presented within the
initial screening and data collecting process of the HoTEL
project [1] to discuss, analyse, and explore:
•
How learning theories have contributed to new ways of
using ICT for learning in practice, and with a particular
focus on learning at work, or education provided by
corporates.
• How to scout bottom-up innovative uses of ICT for
learning and how to support grassroots innovators.
• How innovation support might be replicated,
mainstreamed, transferred or sustained.
The findings presented in this paper have been obtained
from the ELIG Learning@Work Exploratorium Lab that has
been assessing a number of practical and theoretical
implementations of innovation support tools and analytical
frameworks to a number of TEL cases. The practical
implementation of the innovations within the ELIG
Learning@Work Exploratorium Lab attempted to work with the
TEL cases in real learning scenarios, so as to test the innovation
support tools and analytical frameworks and to explore how to
accelerate the innovation cycle of such cases. The theoretical
assessment of the TEL cases within the Lab attempted to
evaluate the cases, so as to develop a series of recommendations
for improvement and – again – to attempt understanding the
likely impact of such recommendations on the innovation cycle
of the cases.
II. UNDERLYING ASSUMPTIONS AND STATE OF THE ART
As known from the literature, the field of TEL is seen to be a
diverse and multi-level domain that involves many types of
players, often from different cultures and operational contexts,
with differing and sometimes opposite approaches to pedagogy
209
A.Faria; A. Malho; A.Meiszner; K. Looi; P. Hardy - Supporting technology-enhanced learning innovations - Lessons from three cases of the ELIG Learning@Work Exploratorium Lab
and the task of education [2] [3]. Therefore the HoTEL Project
starts from the underlying assumption that innovation in the field
of TEL may take very different forms than the classic paradigm
that moves from research through prototypes to massive
commercial exploitation. In the field of TEL, innovation may
frequently start in a classroom or in a community of practice, or
may be the result of massive use of a technology not born for
educational purpose. Consequently, any type of innovation
support must fit into the variety of modes and contexts in which
innovation may emerge, and have different, adaptable ways to
support it. Therefore the project assumes that the road to success
for a TEL innovation depends, to a large extent, on the
possibility to be understood and supported by some categories of
stakeholders that are not always the same (e.g. industrial
investors, school leaders, publishers, policy makers, teachers’
networks, student associations, and consultants). Not all of such
stakeholders might ultimately influence every kind of TEL
innovation with similar leverage, though it is assumed that it is
important to consider the full spectrum of involved interests to
select the most crucial representatives of stakeholders to
discuss/support the innovation development. Furthermore, what
appears a big success in a certain context may not work at all in
another context, like for example in another country, socioeconomic environment, organization, or sector. It is therefore
seen to be fundamental to identify not only “what works” but
also “where” and “under which conditions”, so to distinguish
between success factors that are relatively “unique”, specific to
the context, and others that can more easily be found or
reproduced in other contexts. These views are also supported by
findings from [4] that show that innovations have a nature of
integrality and multi-diversity as the applications envisioned
usually require for different development pathways per involved
technology. Thus a number of different methods might be used
to analyse TEL innovations and according to their nature
(incremental, disruptive or systemic), types (technical,
technology push), business (market pull), learning practices
(bottom-up) and social aspects (social needs pull) [4] [5] [6] [7].
Based on these considerations, a number of “structuring
assumptions” has been taken as the basis for the method that had
been adopted for the test of the HoTEL Innovation Support
Model:
1.
2.
210
The recognition of an existing diversity of innovation
paths, along with innovation channels, start points,
contexts, expected outcomes, success criteria and, in
general, every single step and factor of the support
model and the setting.
The recognition of an existent difficulty on measuring
‘success’ within a TEL innovation setting. How is
success defined? Do we use pedagogical, technological,
socio-economic, business-economic, or other criteria to
determine what can be considered as being a success?
3.
4.
Embedded flexibility and adaptability of the support
model in order to match different stages of innovation
development and different contexts and innovation
paths. The support model must take the various key
factors from every context, stakeholder, and user, to
integrate them into the innovation, so that a unique
experience is produced. This unique experience feeds
every actor of the setting (i.e. Higher Education,
Workplace Learning, and Informal Learning in
Networks), including the model and the innovation
themselves, making a full iterative cycle.
The core concept in the support model is that of a
“multi-stakeholder
ecosystem”
(with
different
stakeholder representatives according to the nature of
the innovation proposed) that analyses and eventually
tests the proposed innovation from a multi-perspective
approach, identifying all the strengths and the
weaknesses from each relevant stakeholder’s
perspective. This test might be either:
a) Practical, on the ground, with real users and in a
real context-setting;
b) Theoretical, with a deep-thinking test bench by
experts and qualified users.
5.
6.
Context-sensitivity of the analysis and support action
proposed, in order to distinguish transferable from nontransferable success factors, according to a well-defined
set of criteria.
If implemented, the innovation must take from the
support model all the required input for a fresh start,
making a two-step implementation phase. With this
approach, the implementation makes use of all the
lessons learnt and best practices from the theoretical
phase with the Lab, but it will not be restricted by them
when it comes to a market-context, which might take
into account an additional set of success criteria and
specific implementation conditions.
III. METHODOLOGY
This section provides an overview about the method,
activities and results from the ELIG Learning@Work
Exploratorium Lab as presented within this paper. Firstly, the
HoTEL project wide methodology that had been applied to the
ELIG Learning@Work Exploratorium Lab will be presented.
Subsequently to this, an introduction into the Pearson Efficacy
framework, an analytical tool that has been tested within the Lab
as a tool so to guide grassroot innovators and to potentially
support the replication of TEL innovation support, will take
place.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.Faria; A. Malho; A.Meiszner; Kelwyn Looi; Pascale Hardy - Supporting technology-enhanced learning innovations - Lessons from three cases of the ELIG Learning@Work Exploratorium Lab
A. HoTEL project wide methodology
In accordance with the overall HoTEL project methodology,
the ELIG Learning@Work Exploratorium Lab is tangling as well
the practical implementation of innovations as also the theoretical
assessment of existing innovative cases and attempts to provide
an innovation-friendly environment. The HoTEL project
methodology is following the 8 steps that are foreseen in the
operation of the model as presented in Figure 1.
Moreover the HoTEL project methodology has been
designed alongside three general phases, to be implemented in
the following section:
1.
2.
3.
A discovery phase: To discover an innovation and the
model needs to contain a format to describe the
innovation in a structure format so that different
innovations can be compared with each other. Here we
need a set of categories to use to describe the innovation.
An analysis phase: here we need an analysis which
shows what makes the innovation an innovation. This
has to be done from a full multi-stakeholder view, so
that the innovation is described and analysed from
different perspectives.
A transfer and support phase: This phase aims to see
how an innovation can be either transferred to another
context or how an innovation can be further developed
within the same context. A number of matching
exercises need to be done, e.g. mapping stakeholders
from the originating context to the new context, isolating
critical success factors for the innovation and
transferring them to the new context, etc.
The running of the Labs consists in a process lasting one
academic semester and the implementation of the three phases
had been distributed across this semester alongside the following
actions [8]:
1.
2.
3.
4.
5.
6.
6.1
6.2
7.
Selecting the Innovations to be tested
Selection of Innovators
Initial Contact with Selected Innovators
First Interaction: Self-Assessment
First Interaction: Review
Concept Proof & Piloting
Innovations Practically Implemented
Innovations Theoretically Implemented
Second Interaction: Reporting & Review
The theoretical assessment of existing innovative cases had a
European scope, while the practical implementation of
innovations has been focusing on the greater Porto area,
Portugal. The practical implementation was supported through
regular engagement with local stakeholders from the target
group through inter-alia regular weekly physical meet ups and
virtual follow up actions that took place in between beginning
and mid 2014. The practical implementations did provide
relevant expertise, such as technical experts, business plan
experts, or learning design experts so to foster grassroots
innovation support and to closely and continuously monitor and
analyse progress and provide recommendations as required.
Towards the peek of the practical implementations and
theoretical assessments an international multiplication seminar
was organized in Porto so to allow participants to report on their
progress and to evaluate the outcomes, and to involve local
stakeholder and external reviewer from the ELIG
Learning@Work Exploratorium Lab network.
Fig2. Pearson Efficacy Framework - Likelihood of impact
Fig 1.HoTEL Innovation Support Model (v0.1)
XVI Simposio Internacional de Informática Educativa (SIIE’14)
211
A.Faria; A. Malho; A.Meiszner; K. Looi; P. Hardy - Supporting technology-enhanced learning innovations - Lessons from three cases of the ELIG Learning@Work Exploratorium Lab
B. The Pearson Efficacy framework
As a baseline analytical framework the Lab has been drawing on
the Pearson’s Efficacy Framework that attempts to understand
the impact that learning offers and to allow for measurable
impact [9]. The potential applicability of this framework so to
support innovation had been initially explored within a
workshop held at the 2013 Online Educa Berlin conference with
overall positive responses. The Efficacy Framework has been
developed by drawing on best practices about delivery from
Pearson, and from the public and private sectors. The framework
allows Pearson to identify the likelihood of impact for a learner
of its products, services, internal processes and initiatives.
Efficacy has direct and obvious applications for those who are
designing and delivering products, services and solutions to
learners. The Efficacy Framework has two purposes: to
understand whether products and services deliver efficacy, and
to identify a path to improve efficacy. This is outlined below in
Figure 2, with the four key questions asked as part of the
framework and a set of ratings for identification.
IV. FINDINGS
The findings presented in this section each have a particular
focus with regards to HoTEL project objectives. The first case
illustrates the lessons learnt from case one, the DBA program of
Laureate Online Education that is delivered jointly with the
University of Liverpool (UK). This case provides some insights
on how learning theories could contribute to new ways of using
ICT for learning in practice, and notably within a work
environment. The second case presents some lessons learnt from
the ‘Learnovation Lab’ that provided support and coaching to
Innovators from the Education field in the wider Porto (PT) area
so to scout bottom-up innovative uses of ICT for learning and to
support grassroots innovators. The third case provides some
lessons learnt on how the Pearson Efficacy framework might be
used as an analytical tool so to guide grassroot innovators and to
potentially support the replication of TEL innovation support.
A. Case 1: Laureate Online Education – innovative use of
learning theories.
The first case presents some lessons learnt on how learning
theories could contribute to new ways of using ICT for learning
in practice, and notably within a work environment. The case
illustrates the lessons learnt from the DBA program of Laureate
Online Education (Laureate), which is a 100% online program
that is delivered jointly with the University of Liverpool (UK).
The online Doctor of Business Administration (DBA) from
the University of Liverpool/Laureate is a professional doctorate
for senior working professionals that intend to advance their
careers by bringing real workplace challenges to the classroom
and creating actionable knowledge. This programme is designed
212
to prepare students to carry out research-based professional
practice.
The Laureate case shows how learning theories can be
combined with basic from the shelf ICT solutions so to deepen
the learning experience and to learn within a mixed practice and
theory focused environment with other DBA students and
experienced researchers, while being supported and challenged
by the faculty in a rigorous and scholarly environment. The case
also strengthens the application of learning analytics as
important support for the deployment of learning processes in
formal educational settings. Learning analytics also facilitate the
implementation of personalization mechanism through the use of
recommendations to select or adapt a learning path based on the
learner’s profile, previous activities and the desired learning
outcomes [10]. The pedagogy is an explicit part of the value
proposition of the DBA highlighting that action learning and
action research as learning theories can contribute to new ways
of using simple and mature ICT solutions for supporting
learning within a work environment, while encouraging the
development of doctoral-level thinking and research skills across
key contemporary management areas. Furthermore, the use of
collaborative environments in educational settings favours the
implementation of collaborative learning approaches where
learners work together to solve a problem, complete a task or
create a product [10].
B. Case 2: The Porto ‘Learnovation Lab’ – supporting bottomup and grassroot innovators
The ‘Learnovation Lab’ has been exploring how to scout
bottom-up innovative uses of ICT for learning and to support
grassroots innovators. The Learnovation Lab has been providing
support and coaching to Innovators from the Education field in
the wider Porto (PT) from beginning to mid of 2014. In a format
similar of an idea contest, the Learnovation Lab aimed to
support the development of ideas into concepts, through the
introduction and use of innovation support tools, such as the
protocols from the EU FP7 funded HoTEL research project15,
or the Pearson Efficacy framework (see ‘Case 3’). Forthcoming
adult and VET trainers and teachers were the target group of the
contest, which was promoted through communication channels
and physical presentations at HE and training institutions.
The Learnovation Lab drew upon the concept of idea
management, which is a structured process of generating,
capturing, discussing and improving, organising, evaluating and
prioritizing valuable insight or alternative thinking. Depending
15
The EU funded HoTEL research project is a support action of the
7th Framework Programme that aims to design, develop and test a
support model for innovation in the area of TEL. The protocols
developed within this project are available from the project website at
http://hotel-project.eu.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
A.Faria; A. Malho; A.Meiszner; Kelwyn Looi; Pascale Hardy - Supporting technology-enhanced learning innovations - Lessons from three cases of the ELIG Learning@Work Exploratorium Lab
on its application area, this concept can be supported by
different technologies. In the Education, and particularly in
workplace learning, the implementation of idea management has
a paramount relevance for innovation and to improve the quality
of the teacher/trainer actions in the learning process. Such
implementation or solutions help educators to get involved in
new peers’ networks and define new teaching strategies and
prepare their selves for facing new challenges in the different
educational levels. This is also possible through social
networking tools which gives opportunity for rapid and efficient
contact and information exchange. Its adoption provides support
to the learning processes based on two-level interaction:
between participants and, among participants with the contents
[10].
From the idea contest it could be observed that participants
adopted a range of different innovation paths, and depending on
variables such as the context and stakeholders – which appeared
to be a key-factor for the innovator achieve the intended
outcomes. Communication between innovators and the
Learnovation Lab support team appeared to be an essential
aspect for idea formulation, concept development, or the
subsequent implementation approach. Some relevant points such
as a clear understanding of objectives, a presentation of benefits,
and negotiation of involvement further appeared to increase or
decrease the level of commitment and success. Keeping the
complexity of the support process moderate by breaking down
complex topics, such as the use of anaylitical tools like the
Pearson Efficacy Framework, in well-defined and clearly
understandable chunks further appeared to positively impact
outcomes as well as autonomous self-directed application.
C. Case 3: The Pearson Efficacy Framework – guiding
grassroot innovation and support replication of TEL
innovation support
This final third case provides some lessons learnt how the
Pearson Efficacy framework might been used as an analytical
tool to guide grassroot innovators and to potentially support the
replication of TEL innovation support. The Pearson Efficacy
framework has a rigorous focus on learner outcomes from the
start, ensuring that the appropriate capabilities are considered to
measure the impact of the innovation. It is upon this baseline
model with efficacy at its core, that replication of TEL
innovation support can occur with fidelity, to increase both the
speed and quality of innovation to serve the needs of the learners
in mind.
Some lessons could be taken while testing it with teachers
and trainers in both, workshop environments and as a day-to-day
support tool for enterprise support. For instance, practical
examples, particular those that have a local relevance and using
cases, appeared to be a valuable vehicle so to allow for the
autonomous self-directed application of the Efficacy Framework
as an analytical tools. What could be also seen is that
XVI Simposio Internacional de Informática Educativa (SIIE’14)
localization might not be neglected, and in particular with
regards to foreign or uncommon language as a barrier. Thus
localization, such as using local relevant examples, or a
translation of any type of information might be considered.
This case has shown that while the Efficacy framework
appears to provide a good baseline analytical tool so to support
TEL innovators, more specificity is required in order to identify
the specific actions that lend themselves to support innovation.
For example, a framework such as the Innovation Index in Alive
in the Swamp [11], focuses on the interrelationship between the
three axes of effective pedagogy, system change and technology
to assess the impact of digital innovations in education.
V. ACKNOWLEDGMENT
The research presented in this paper has been supported from a
number of sources. First of all special thanks goes to the
different experts, contributors, and case owners who dedicated
part of their time to participate in the ELIG Learning@Work
Exploratorium Lab. Second to this we also like to thank the local
participants in the ‘Learnovation Lab’ and to provide valuable
insights on innovation support. Finally a special thanks goes to
the wider HoTEL project partnership and for the supporting data
and baseline methodology provided.
VI. REFERENCES
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
A. Meiszner, A. Faria, A. Malho, A. Melro, F. Nascimbeni, K. Looi, V.
Vasanthakumar and V. Kamtsiou (2014), “How to support grassroots
innovators and scout bottom-up innovative uses of ICT for learning?
Lessons from the ELIG Learning@Work exploratorium lab”, ECER 2014
conference "The Past, the Present and Future of Educational Research in
Europe", in press.
P. Kampylis, S. Bocconi, and Y. Punie, “Towards a mapping framework of
ICT-enabled innovation for Learning”, JRC Scientific and policy reports,
2012.
V. Kamtsiou, and F. Nascimbeni, “Report from the European forum on
learning futures and innovation. The role of technologies, the challenge of
scalability and mainstreaming”, Brussels: The Committee of Regions,
March 2013.
K. Jari, “Futures of innovation systems and systemic innovation systems:
Towards better innovation quality with new innovation management tools”,
University of Turku: Writer & Finland Futures Research Center, 2011.
ISBN 978-952-249-126-8.
R. Tierney, W. Hermina, and S. Walsh, “The pharmaceutical technology
landscape: A new form of technology roadmapping”, Technol. Forecast.
Soc. Change, 2012. doi:10.1016/j.techfore.2012.05.002.
B. Vojak, and F. Chambers, “Roadmapping disruptive technical threats and
opportunities in complex, technology-based subsystems: The SAILS
methodology”, Technol. Forecast. Soc. Change 71, 121-139, 2004.
J. Rigby, Y. Nugroho, K. Morrison, and I. Miles, “Global review of
innovation intelligence and policy studies”, Society Driven Innovation: A
project for DG Enterprise and Industry, January 2008.
D. Burgos, A. Carrasco, and S. Limpalaër, “D 4.4.1
learning
exploratorium labs methodological framework”, HoTEL project, 2013.
M. Barber, and S. Rizvi, “The incomplete guide to delivering learning
outcomes”, London: Pearson plc, 2013.
213
A.Faria; A. Malho; A.Meiszner; K. Looi; P. Hardy - Supporting technology-enhanced learning innovations - Lessons from three cases of the ELIG Learning@Work Exploratorium Lab
[10] C. Nápoles, L. Montandon, N. Rodrigues, L. Valentín, A. Carrasco, K.
Konya, D. Burgos, and S. Aceto, “D 1.1.2 Emerging technologies
landscape: Report on field research results”, HoTEL project, 2013.
214
[11] K. Donnelly, and M. Fullan, “Alive in the swamp: Assessing digital
innovations in education”, London: Nesta Operating Company, 2013.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Diseño y Evaluación de Materiales Educativos
(SPDECE)
Prefacio a la línea temática sobre Diseño y Evaluación
de Materiales Educativos (SPDECE)
La línea temática de Diseño y Evaluación de Materiales Educativos desarrolla el XI Simposio Pluridisciplinar sobre Diseño y
Evaluación de Contenidos Digitales Educativos (SPEDECE’14). Esta línea se centra en la investigación sobre los nuevos medios
electrónicos de formación y educación basados en el diseño de contenidos digitales. Los temas que trata incluyen cómo conseguir
aumentar la flexibilidad y reutilización de los contenidos para ser usados en diferentes contextos, cómo organizarlos en repositorios,
cómo utilizarlos como apoyo en nuevos entornos y métodos pedagógicos, especialmente los basados en competencias, y cómo
utilizarlos en la evaluación de resultados de aprendizaje. Los temas principales a tratar en esta línea son:
• Diseño, evaluación y uso de recursos educativos reutilizables.
• Repositorios, colecciones y agregadores de recursos educativos.
• Teoría y práctica del diseño técnico-pedagógico de recursos y actividades de aprendizaje
• Interoperabilidad y estándares para la creación de contenidos y diseños de aprendizaje
• Patrones de diseño didáctico para la reutilización
• Analítica y minería de datos en repositorios de contenidos de aprendizaje
• Analítica y minería de datos en redes sociales de aprendizaje on-line
• Aspectos y estudios pluridisciplinares e interdisciplinares del eLearning
• Diseño de courseware, contenidos y cursos masivos en abierto
• Aplicaciones del diseño y evaluación de contenidos educativos en enseñanza superior y enseñanzas medias
• Integración de repositorios y sistemas informáticos de gestión de contenidos educativos
• Experiencias y evaluación del aprendizaje colaborativo en entornos abiertos (wikis, forjas de software, comunidades)
• Descripción y explotación de contenidos educativos con metadatos y semántica
Esta línea agrupa 6 trabajos (4 artículos largos y 2 artículos cortos) organizados en 2 sesiones temáticas: MOOCS y juegos serios,
y diseño y evaluación.
Manuel Prieto
Juan Manuel Dodero
Coordinadores de la Línea Temática sobre
Diseño y Evaluación de Materiales Educativos
XVI Simposio Internacional de Informática Educativa (SIIE’14)
217
Method for analysing the user experience in MOOC
platforms
Jordán Pascual Espada1; Cristina Castillo Rodríguez1; Vicente García Díaz2; Rubén González Crespo1
1
Universidad Internacional de la Rioja
[email protected], [email protected], [email protected]
2
Universidad de Oviedo,
Universidad Internacional de la Rioja
[email protected]
Abstract— MOOCs have recently become very popular, since
some of these massive online courses can reach thousand students.
Faculty members from top universities deliver courses through
MOOC platforms: Coursera, Edx, Miriada X, etc. Apart from the
content, many other factors can influence the quality of a course;
for instance, a bad user experience of a Web MOOC platform can
lead students to drop out an interesting and well-organised course.
MOOC platforms require much effort to care for the user
experience. This research aims to develop a specific method for
evaluating the user experience of MOOC platforms. The method is
based on the general principles of Web user experience and
highlights the aspects influencing MOOCs. The system proposed in
this paper calculates a quantifiable index, useful for comparing
different MOOC platforms, quantifying the quality evolution of the
user experience, and promoting further studies so as to determine
the impact of the user experience on students: satisfaction in
surveys, enrollment figures, dropout rates, among others.
Keywords— MOOC; e-learning; user experience; evaluation
systems
I.
INTRODUCTION
MOOC is an acronym that stands for “massive open online
course”, coined in 2008 by Dave Cormier [1], from University
Prince Edward Island, and Bryan Alexander, from the National
Institute for Technology in Liberal Education. They used this
term when one of their online courses reached more than 2,000
enrollments, although other preceding online courses could have
also been considered MOOCs due to their impressive enrollment
figures.
MOOCs are a modality of open learning that is based on the
publication of online courses covering a wide range of themes
and topics through learning platforms [2]. Most of these courses
have a clear structure and combine different types of learning
material, such as text documents, presentations, videos, audio
recordings, learning forums, etc. [3]. A common feature of these
courses is the use of assessment tests so as to certify students’
course completion and knowledge acquisition [4, 5]. Due to the
high number of students, the evaluation process can become a
difficult task; that is why many MOOCs use automated
assessment methods, for example, quizzes or tests, or through
XVI Simposio Internacional de Informática Educativa (SIIE’14)
peer-review systems where students themselves are in charge of
grading other partners’ tests.
As their massive nature stands for, MOOCs are aimed at
providing unlimited registrations or, in case of being limited,
MOOCs often guarantee a huge number of students in a course,
which, on the other hand, could be difficult in a face-to-face
learning context. Generally, online courses offer many
advantages for reaching huge enrollment figures. Apart from
being interested in the course content, students usually decide to
enroll in a MOOC because it requires no attendance, it can be
accessed from every part of the world with an Internetconnection device, and it offers flexibility for adapting lessons
to students’ needs.
A. Types of MOOCs
Today there is a great amount of active MOOCs on the
Internet, most of which with a huge number of enrolled students,
but not all of these courses follow the same approach [6]. There
are different kinds of MOOCs with some common features but
based on different structure and methodology.
The most common MOOCs are usually classified as
“xMOOC”. These have a close relationship with the university
context and their structure and methodology are not so different
from university courses. These courses are usually taught by
elite faculty members, and almost all top universities own a
great number of xMOOC courses. xMOOCs allow people to
acquire first-level knowledge about a concrete theme and to earn
a course completion certificate that proves that knowledge
acquisition.
Another kind of MOOCs is the commonly known as
cMOOC. These courses are based on the approach of George
Siemens [7], whose research studies are focused on digital
learning and Connectivism theory. The philosophy of these
courses lies on generating learning by means of the idea and
information exchange as well as the participation of a group of
people. They have a more open structure that meets a
personalised training, fostered and motivated by the activity of
the student. Due to cMOOCs structure, these courses do not use
assessment tests because they might not turn out to be adequate
219
J. Pascual; C. Castillo; V. García; R. González - Method for analysing the user experience in MOOC platforms
as, on the other hand, knowledge acquired by the student is hard
to prove. The courses following this structure usually receive a
great involvement from the participants, who actively seek new
resources and materials for the course or for improving the
existing resources. cMOOCs are great online communities
where participants interact and discuss in groups for creating and
improving the course content. Most of these courses are possible
because today information exchange among members from a
community is a highly efficient process, and this is due to the
correct use and exploitation of current ICTs.
The third kind of MOOCs is the task-based MOOC. These
MOOCs tend to be a mix of the previous ones, i.e., xMOOCs
and cMOOCs. They emphasise the use of students’ skills to
complete activities or solve problems; therefore, they follow a
practice-driven method. In these courses, students can consult a
set of learning materials and must carry out several tasks. Not all
task-based MOOCs follow exactly the same approach; some of
them require students to complete successfully the activities so
as to keep on making progress in the lesson. Besides, students
can get support from the instructors or the community itself in
order to solve problems or doubts.
B. Impact and follow up
The different kinds of MOOCs have a great impact on the
society in general, since it is rather usual to find more and more
people attending these courses for acquiring new knowledge on
particular themes. Currently, there is also evidence of the great
impact of MOOCs, as claimed by the interest of top universities
around the world in teaching MOOC courses [8, 9]. Most of
these universities have many of these courses, some of which
with an outstanding high number of enrollments, for instance,
more than 150,000 enrolled students [10], although not all of
them completed the course. In fact, the success of these courses
is usually low, and in many cases the students achieving the
course completion certificate in xMOOCs ranges from 5% to
10% [11]; thus, the percentage of dropout or people not
interested in obtaining the certificate is very high.
Several studies about students’ behaviour in different stages
of the course have checked user-behaviour patterns in these
courses. In the concrete case of MITx Circuits and Electronics
6002x [12], around 50% of students completed the first week
successfully. Several factors might influence: there are people
enrolled in these courses just because they are more interested in
exploring the course content rather than completing the course;
others might find the course content very difficult and decide to
drop out before starting it; or enrolled people might face several
problems for using the course platform and finally decide to
drop out [13]. In this study the evolution of students that actively
completed the course was followed up. It was observed that 60%
of active students drop out the course in the mid-term tests,
though after this period the dropout rate was significantly
reduced since only 22% of students that took mid-term tests did
not take the final exam.
220
Other studies are more optimistic and show a rate of 25%
students that completed the course [14]. Nevertheless, it is
difficult to obtain an accurate measurement of this factor due to
the great amount of MOOC platforms, to the varied situations
that might take place, and to the lack of result publication in the
main MOOC platforms. Despite few studies, it is difficult to find
results showing a success rate of more than 10% [15].
Today most universities and entities around the world have
MOOC courses and learning platforms hosting them. However,
several platforms gather a great number of courses coming from
different universities and centres. These platforms choose
carefully the list of their courses, as they only accept courses
with a concrete structure and proposed by competent and skilled
faculty members. It is estimated that some of these platforms
reject more than 90% course proposals [10]. These great-scale
platforms can collect a huge volume of information that could be
useful for students so as to prevent them from visiting several
websites and from learning how to work with different work
environments. In these platforms students can quickly search for
courses so as to compare them and to select the ones that best
meet their requirements and needs. The different courses can be
assessed and recommended so that the rest of platform users can
obtain a valuable feedback.
These great MOOC platforms are highly regarded today and
have a worldwide impact, but these are not the only platforms
existing since many other platforms have a more institutionalcentred nature or are more focused on concrete knowledge areas
[9]. By nature, institutional-centred platforms have a lower
global impact than huge MOOC platforms. In conclusion, there
are many different aspects motivating the students’ participation
in a MOOC or the creation of these courses by faculty members,
universities and organisations [16].
Some of these huge and popular MOOC platforms with a
great impact today are: Coursera, EdX, Miriada X, and Udacity
[17]. The following figure (Fig.1) shows global statistics on
platform usage.
Fig. 1. Global statistics on the most popular MOOC platform usage in 2013.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. Pascual; C. Castillo; V. García; R. González - Method for analysing the user experience in MOOC platforms
Many determining factors are required so that a MOOC
platform can be effective and widely used by students: content
quality, kinds of materials, and other aspects not related directly
to the content, but with the technical aspects of the platform. In
fact, these last aspects can contribute to obtain a very good or
very bad user experience [18, 19]. A bad user experience can
spoil an interesting course; that is why big MOOC platforms
invest much effort to improve the user experience in their
platforms.
Generally, there exist several mechanisms and rules for
measuring factors related to user experience in web applications
[20]. Different analysis tools measure and assess factors related
to user experience in web platforms of different themes and
topics (tourism platforms, electronic shops, etc.) [21, 22]. These
specific systems emphasise above all the most relevant aspects
depending on the nature of a specific web platform. Mechanisms
measuring accurately the user experience in great MOOC
platforms still have not been designed. However, general
mechanisms for evaluating Web user experience can be applied.
Once the total results are obtained, certain factors can be
conferred a greater level of relevance, especially upon those
factors influencing the user experience in MOOC platforms.
C. Research aim
This paper mainly aims to create a mechanism for assessing
user experience particularly in the case of MOOC platforms,
based particularly on those general principles of web user
experience influencing more unfavourably the usability of
MOOC platforms. This new mechanism will allow us to assess
quantitatively the tendency of MOOC platforms to produce
usability failures. After a thorough analysis and application of a
method, a “failure coefficient influencing user experience” will
be obtained with the aim of quantifying its quality in different
MOOCs in order to: make comparisons, track the improvements
of a platform, classify new emerging platforms, or promote
further studies determining the user experience impact on
students, for example: satisfaction in surveys, enrollment
figures, dropout rates, among others.
II.
THE MOST POPULAR MOOCS
The most relevant MOOCs existing today are listed and
described below.
Coursera, <https://www.coursera.org/>, the most popular
online open course platform today, was founded in 2011 by
academics at the University of Stanford with the purpose of
reaching people all over the world. At the beginning, the
language of the courses was exclusively English, but now
courses are taught in some other languages, i.e., Spanish,
German, French, Italian, and Chinese. Coursera has been
establishing work relationships with other universities, so
content courses now belong to different universities. Currently,
this platform owns more than 630 active courses (currently in
XVI Simposio Internacional de Informática Educativa (SIIE’14)
progress or with a set start date) and more than 7,000,000 of
registered users.
Edx, <https://www.edx.org/>, another popular MOOC
course platform, was founded by the Massachusetts Institute of
Technology (MIT) and by Harvard University in 2012.
Currently, there are more than 40 universities and institutions
around the world participating in Edx courses. More and more
courses taught in different languages have been included. There
are today more than 200 active courses.
Miriada X, <https://www.miriadax.net/>, is a platform that
was born at the beginning of 2013 and was funded by Santander
Bank and Telefónica enterprise. It owns hundreds of online open
courses focused on large theme areas. Several universities,
mainly from Spain and other Ibero-American countries,
participate in this platform. It is one of the main MOOC
platforms not only in Spain but also in the European context.
Currently, it has more than 90 active courses and more than
600,000 users.
Udacity, <https://www.udacity.com/>, unlike the previous
ones, is a collective for-profit organisation, supported with
venture capitalist funds and founded by Sebastian Thrun, David
Stavens and Mike Sokolsky. Udacity’s services range from open
MOOCs to other commercial courses requiring the payment of
some tuition fees. Several top universities around the world
teach some courses through this platform, such as the case of the
University of Stanford. It has more than 400,000 students and
over 40 active courses.
Other platforms are worth to be mentioned, for instance,
MIT,
<http://www.mitx.org/>,
and
Udemy,
<https://www.udemy.com/courses/>, with a great popularity in
Europe.
III.
MATERIAL AND METHODS
Some of the most popular MOOC platforms were selected
for this research with the aim of analysing which factors have a
negative impact on the user experience. This study is focused on
aspects not related to the course content (learning materials,
tests), but on platform technical aspects, common to the
infrastructure used for the MOOC courses management. MOOC
platforms selected for this study were analysed thoroughly by
using different powerful tools for automated analysis, which
generated a report with all the information related to the
analysed MOOC platform. The parameters with an impact on
the user experience were selected, since these tools are mainly
generic and throw a great amount of data that are often difficult
to interpret. The results of the chosen factors were compared,
based on the results obtained by the different MOOC platforms
analysed in this study.
MOOC platforms were evaluated by using the following
tools: SortSite, achecker and pigdom. SortSite implements an
accessibility validation engine and checks against WCAG 1.0,
2.0 and Section 508 standards, which are the two most relevant
221
J. Pascual; C. Castillo; V. García; R. González - Method for analysing the user experience in MOOC platforms
standards for accessibility to date. The engine for usability
detection is based on the two most important usability guidelines
on web technology: W3C Best Practices [22] and Usability.gov.
In addition, style guides of the main worldwide search engines,
i.e., Google Search, Bing Search and Yahoo Search, were also
applied. Standardization analysis of web technologies used for
the site development is checked against W3C HTML/XHTML
Validation and W3C Style Guide.
7.
8.
9.
TABLE I. FAILURE RESULTS – MOST POPULAR MOOCS
Issue
MOOCs (popular 1)
Coursera
EdX
1
2
Miridia
dax
1
Other usability failures
4
10
10
Serious page-and-content search
failures
Other page-and-content search failures
4
1
4
3
7
9
Serious accessibility failures
4
10
18
Other accessibility failures
2
6
6
Potential accessibility problems
http://achecker.ca/checker/index.php
Guidelines: WCAG 2.0 (Level AA)
Standardized technology failures
34
261
452
4
8
13
Other standardized technology failures
2
9
3
Serious usability failures
Content loading speed
http://tools.pingdom.com/
11.
12.
13.
TABLE II. FAILURE RESULTS – OTHER MOOCS
93/100
Very high
76/100
High
90/100
Very
high
The results obtained from the most popular MOOC platforms
are shown in Table I.
The results obtained in other relevant and widely used
MOOC platforms are shown in Table II.
The twenty most frequent failures in the MOOC platforms
analysed in this study are listed below.
1. No links returning to the “home page” of the site in all
the pages.
2. Links not identifiable or hard to be perceived by users
because of their graphic aspect (font, images, etc.).
3. Links with general and non-descriptive messages such
as “click here”.
4. Font size not highly recommended, i.e., less than 12
points.
5. Not following WCAG 2.0 standards with regard to
contrast between background colour and text colour; this
problem increases when dealing with visual-impairment
users.
6. Too long URLs.
222
10.
Some parts of the page only using specific JavaScript
events for mouse, and not usable from keyboard or
touch screen.
Menus with many options, not manageable for users;
according to what established in usability standard if a
menu has more than 10 options, a sub-menus
classification must be set.
Too long titles of the pages —more than 67 characters—
causing index and search problems. Some engines are
not prepared for processing too long texts.
Images not including height and width attributes, which
causes visualisation problems in many screens.
Pages with no key words that are useful for searches
(local or global) and automated index.
Some pages not containing a main title, or containing
more than one, and not following, therefore, the style
guides of Google, Bing and Yahoo search engines.
Several different pages with the same titles were also
found.
Use of not allowed, deprecated or obsolete HTML
attributes.
MOOCs (others)
Issue
Udemy
Udacity
MIT
1
2
1
Other usability failures
9
6
10
Serious page-and-content search
failures
Other page-and-content search failures
4
3
3
4
4
6
Serious accessibility failures
9
11
15
Other accessibility failures
3
6
4
Potential accessibility problems
http://achecker.ca/checker/index.php
Guidelines: WCAG 2.0 (Level AA))
Standardized technology failures
762
229
578
9
19
48
Other standardized technology failures
6
26
7
Content loading speed
http://tools.pingdom.com/
83/100
High
70/100
High
70/100
Alta
Serious usability failures
14. Bad formatting in HTML code of the pages, which may
lead to visualisation problems and data loss in many
browsers.
15. Too long descriptions in the site, not in accordance with
the style guides of Google, Bing and Yahoo search
engines.
16. CSS using absolute positions, which causes visualisation
problems of the page in many devices, particularly in
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. Pascual; C. Castillo; V. García; R. González - Method for analysing the user experience in MOOC platforms
17.
18.
19.
20.
reduced-size screen devices, such as tablets and small
laptops.
Images not containing alternative texts that could be
used when no images appear or in specific screen
readers for visual-impairment users.
No language identification in the site, which might cause
problems in specific screen readers for visualimpairment users.
Many development failures in the HTML code, which
can cause the incorrect visualisation of the site or
provoke some failures of the screen reader for blind
users.
Partial incompatibility with some of the most popular
browsers.
IV.
A weight coefficient was determined for the different
parameters analysed in this study. This coefficient is assigned
depending on the influence of every parameter on the final user
experience, for instance, serious usability failures must have
more weight than “other security failures”, since they have a
greater impact on the final user experience.
Fig.2 shows a global comparison among different parameters
by using the corresponding weight coefficients.
Fig.3 shows a star-shaped image of the number of problems
found in each category.
RESULTS
It is extremely complex to configure a totally perfect
website, since the absence of failures is very uncommon,
especially in great size web platforms containing a lot of pages,
videos, links, images, etc.
As many different results in the analysed factors might be
obtained, it is difficult to carry out a global analysis. On the
other hand, there is no reference indicating relatively the number
of failures among platforms with similar features so as to
determine whether the results from the analysis are good,
standard or bad.
Fig. 3: Star-shaped diagram showing the number of problems found in every
category.
Fig. 4: Classification of the coefficient of failures influencing the user
experience.
Fig. 2: Global comparison of the analysed parameters according to the
corresponding weight coefficient.
A useful classification system was subsequently defined so
as to delimit a MOOC quality. This system uses the number of
problems detected in each section in order to check the usability
level by determining the level of user experience of a MOOC,
compared to other similar platforms.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Finally, with the aim of establishing a single comparison
framework among MOOC platforms, an equation was
performed to shorten in a unique and easily interpretable
coefficient the amount of usability problems of the platform. To
calculate the coefficient of failures influencing the user
experience, the results obtained in the analysed categories and
the final weight assigned to each category according to its
influence on the user experience were also used. A classification
of MOOC platforms was carried out for comparing those
223
J. Pascual; C. Castillo; V. García; R. González - Method for analysing the user experience in MOOC platforms
platforms taking into account the aforementioned coefficient of
failures influencing the user experience (Fig.4).
According to the results obtained in this study, Coursera is
the MOOC platform with a lowest coefficient of failures
influencing the user experience. Therefore, it holds the best
position, far below the average and σ = 1. Edx and Udacity
platforms have a coefficient close to the midpoint. On the
contrary, the platforms with significantly negative results are
Miriada X and MIT MOOC platform.
V.
VI.
224
[3]
[4]
[5]
CONCLUSIONS AND FUTURE WORK
This paper was aimed at anlysing the most popular MOOC
platforms. The analysis has taken into account most of the
features and elements that have an impact on the Web user
experience, emphasising those features that might have a great
influence on MOOC platforms. The assessment mechanism
proposed in this paper is particularly useful, since the user
experience in a MOOC platform is a relevant factor because of
its potential significant influence on the activity and the
satisfaction of students.
Thanks to the data obtained in the analysis, a quantitative
classification system has been designed to allow us to compare
and classify some of the most popular MOOC platforms
according to their features related to the user experience. It is
extremely difficult that a great size platform can fall for the use
of elements influencing unfavourably the user experience;
therefore, it is difficult to know the number of failures set up in a
good, reasonable or bad limit. This classification system allows
us to set a specific useful framework for comparing web
platforms in a very concrete area: MOOC platforms. The
framework proposed in this paper can be used as a reference for
classifying new MOOC platforms and also for obtaining a
quantitative result permitting the analysis of the impact on
students as far as the improvement of MOOC user experience is
concerned (greater satisfaction in surveys, greater number of
enrollments, etc.).
Future work could propose an automated feedback system
allowing us to update the analysis results automatically, based
on concrete periods of time, so as to carry out a simpler follow
up of the platform evolution.
Additionally, further research for the development of a
specific guide for the heuristic evaluation of MOOC platforms
might also be set. The results of this evaluation system could be
standardized and included in the proposed analysis so as to
generate a global evaluation process combining automated and
manual validations for determining almost the totality of
potential problems of the site.
[1]
[2]
REFERENCES
D. Cormier, "The CCK08 MOOC – Connectivism course, 1/4 way", 2008.
[Online]. Available: http://davecormier.com/edblog/2008/10/02/the-cck08mooc-connectivism-course-14-way/
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
D. H. Johnson, “Teaching a MOOC: Experiences from the front line,”
Digital Signal Processing and Signal Processing Education Meeting
(DSP/SPE), 2013 IEEE. pp. 268–272, 2013.
P. Pernias Peco and S. Lujan-Mora, “Architecture of a MOOC based on
CourseBuilder,” Information Technology Based Higher Education and
Training (ITHET), 2013 International Conference on. pp. 1–8, 2013.
M. Llamas, M. Caeiro, M. Castro, I. Plaza, and E. Tovar, “Use of LMS
functionalities in engineering
education,” Frontiers in Education
Conference (FIE), 2011. pp. S1G–1–S1G–6, 2011.
M. Kang, K. Asakimori, A. Utsuki, and M. Kaburagi, “Automated text
clustering system on responses to open-ended questions in course
evaluations,” Information Technology Based Higher Education and
Training, 2005. ITHET 2005. 6th International Conference on. pp.
F4B/18–F4B/22, 2005.
Á. Fidalgo Blanco, M. L. Sein-Echaluce, and F. J. García Peñalvo,
“MOOC cooperativo. Una integración entre
cMOOC y xMOOC
Cooperative MOOC. An integration between cMOOC and xMOOC,”
2013.
G. Siemens, Connectivism: A learning theory for the digital age.
Elearnspace,
2004,
[Online].
Available:
http://www.elearnspace.org/Articles/connectivism.htm.
K. Goldschmidt and J. Greene-Ryan, “Massive Open Online Courses in
Nursing Education,” Journal of Pediatric Nursing, vol. 29, no. 2, pp. 184–
186, Mar. 2014.
F. Hegyesi and G. Kartyas, “Mooc in higher education,” Emerging
eLearning Technologies and Applications (ICETA), 2013 IEEE 11th
International Conference on. pp. 119–122, 2013.
L. Pappano, The Year of the MOOC,Education Life, The New York
Times,
2012.
[Online].
Available:
http://www.nytimes.com/2012/11/04/education/edlife/massive-openonline-courses-are-multiplying-at-a-rapidpace.html?pagewanted=all&_r=0
S. Gee, MITx - the Fallout Rate, I Programmer, 2012. [Online]. Available:
http://www.i-programmer.info/news/150-training-a-education/4372-mitxthe-fallout-rate.html
Circuits & Electronics 6.002x , MITx, Last access 2014 [Online].
Available: https://6002x.mitx.mit.edu
P. Reusch, “On the scope and the structure of e-learning platforms at
universities,” Intelligent Data Acquisition and Advanced Computing
Systems (IDAACS), 2013 IEEE 7th International Conference on, vol. 02.
pp. 738–741, 2013.
S. Kovalchik , Udacity aims to teach 160,000+ students statistics,
sifnificance
stat,
2012
[Online].
Available:
http://www.significancemagazine.org/details/webexclusive/2098135/Udaci
ty-aims-to-teach-160000-students-statistics.html
K. Jordan, MOOC Completion Rates: The Data, Researching Education
and
Technology,
2014
[Online].
Available:http://www.katyjordan.com/MOOCproject.html
K. F. Hew and W. S. Cheung, “Students’ and Instructors’ Use of Massive
Open Online Courses (MOOCs):
Motivations and Challenges,”
Educational Research Review, DOI: 10.1016/j.edurev.2014.05.001 , 2014.
M. McIntire, Plato’s Massive Open Online Cave?, Gaede Institute 11th
Annual Conference, MOOCing the Liberal Arts ?, 2014
J. Miller, “The user experience [Internet],” Internet Computing, IEEE, vol.
9, no. 5. pp. 90–92, 2005.
H. Tokkonen and P. Saariluoma, “How user experience is understood?,”
Science and Information Conference (SAI), 2013. pp. 791–795, 2013.
Z. Wang, X. Zhou, H. Wang, H. Ni, and R. Wu, “A Quantitative
Evaluation Model of Group User Experience,” Computational Intelligence
and Industrial Application, 2008. PACIIA ’08. Pacific-Asia Workshop on,
vol. 1. pp. 918–923, 2008.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
J. Pascual; C. Castillo; V. García; R. González - Method for analysing the user experience in MOOC platforms
[21] C. Olaverri-Monreal, A. E. Hasan, and K. Bengler, “Semi-automatic user
stories generation: To measure user experience,” Information Systems and
Technologies (CISTI), 2013 8th Iberian Conference on. pp. 1–6, 2013.
[22] G. Toms, C. Dufour, and S. Hesemeier, “Measuring the user’s experience
with digital libraries,” Digital Libraries, 2004. Proceedings of the 2004
Joint ACM/IEEE Conference on. pp. 51–52, 2004.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[23] J. Rabinm, C, McCathieNevile (Eds), W3C Mobile Web Best Practices
1.0,Basic Guidelines, W3C Recommendation 29 July 2008. [Online].
Available:http://www.w3.org/TR/mobile-bp/
225
Implementación de la evaluación continua en
videojuegos educativos
Qué, cómo y dónde evaluar
Natalia Padilla-Zea1; Nuria Medina Medina1; Francisco L. Gutiérrez Vela1; Patricia Paderewski Rodríguez1; José R.
López-Arcos1; María P. Núñez Delgado2; José Rienda Polo2
1
Grupo de Investigación GEDES. CITIC-UGR
Universidad de Granada
Granada, España
[email protected], [email protected], [email protected], [email protected], [email protected]
2
Dpto. de Didáctica de la Lengua y la Literatura
Universidad de Granada
Granada, España
[email protected], [email protected]
Resumen—Para que los videojuegos educativos continúen
incorporándose a los procesos de enseñanza/aprendizaje es
necesario continuar avanzando, por un lado, en su eficacia
educativa y, por otro, en la facilidad de uso para el profesor. Esta
facilidad de uso abarca muchos aspectos; uno de ellos es la
evaluación del aprendizaje conseguido por los alumnos. En un
ambiente educativo donde la evaluación continua es una exigencia y
la adquisición de competencias se convierte en el elemento de
análisis, los docentes han visto incrementado, enormemente, el
trabajo que supone para ellos la evaluación de sus alumnos. Y este
problema crece cuando la cantidad de alumnos es muy elevada, ya
que el tiempo disponible para atender necesidades del proceso de
aprendizaje disminuye a medida que aumenta el tiempo empleado
en la toma de notas y el análisis de los datos para dar una
calificación. Por este motivo, en este trabajo abordamos el aspecto
de la evaluación de competencias por medio de una evaluación
continua, presentando una propuesta que incluye dicha evaluación
como parte del propio juego. Esta propuesta, que está en línea con
las últimas leyes de educación españolas, hace referencia a qué
evaluar en cada punto del juego, cómo hacerlo y dónde realizar la
evaluación en sí, mostrando que estas tres cuestiones no tienen que
coincidir en el tiempo.
Palabras clave—videojuegos educativos; evaluación continua;
evaluación por competencias; comprensión lectora
I.
INTRODUCCIÓN
Hace ya varios años que, en los ámbitos relacionados con la
educación, se tiene constancia de un cierto nivel de
desmotivación en los estudiantes. Este hecho, como ya sabemos,
supone un problema dentro y fuera de las aulas debido a las
dificultades que, derivados de ello, se producen en el proceso de
enseñanza / aprendizaje. Además, estos procesos de enseñanza /
aprendizaje son ya de por sí complejos, por lo que es muy
importante tratarlos, estudiarlos y modificarlos de forma que el
aprendizaje de los estudiantes sea más efectivo.
Se ha demostrado que la motivación puede cambiar la
actitud de una persona ante una tarea que, a priori, podría
resultar tediosa. Por tanto, si se actúa sobre la motivación de tal
forma que ésta se aumente, podemos conseguir que la persona
afectada realice dicha tarea de una forma más eficiente. Un
ejemplo de este tipo de tareas son los procesos de aprendizaje,
los cuales exigen distintos niveles de esfuerzo para alcanzar las
metas marcadas. Y, en este ámbito, el uso de los videojuegos
constituye una herramienta para motivar más y mejor a un
estudiante. Así, está suficientemente aceptado que el uso de
videojuegos proporciona suficiente atractivo como para
aumentar la motivación en los estudiantes, en contraposición con
la desmotivación que se puede observar en la aulas cuando se
utilizan únicamente las herramientas tradicionales [1][2].
Cuando los videojuegos están específicamente diseñados
para enseñar hablamos de videojuegos educativos (VJEs). Un
videojuego educativo, siempre que esté bien diseñado, permitirá
involucrar al jugador en la experiencia de juego y, por ende, en
la experiencia educativa que subyace. Por esta razón, el
videojuego es un poderoso instrumento de enseñanza que, usado
de forma complementaria con otros métodos de instrucción
tradicionales, puede conseguir que la motivación de los
estudiantes no decaiga a medida que se progresa en la materia
estudiada. Por ello y, sin intención de ser exhaustivos, es
necesario que el VJE esté especialmente diseñado para la
materia a enseñar, permita la adaptación según distintos factores
y favorezca la evaluación del proceso realizado.
Sin embargo, aunque el VJE esté bien diseñado, podemos
encontrarnos con el problema de cómo hacer la evaluación del
progreso de un estudiante cuando utiliza dicho videojuego. Es
227
N. Padilla; N. Medina; F. L. Gutiérrez; P. Paderewski; J. R. López; M. P. Núñez; J. R. Polo - Implementación de la evaluación continua en videojuegos educativos - Qué, cómo y dónde evaluar
decir, cómo puede el profesor valorar el aprendizaje que ha
obtenido el estudiante sin tener que realizar, por ejemplo,
pruebas de conocimiento externas al propio juego. Algo que hay
que valorar es, precisamente, que el estudiante no tenga la
sensación de estar dentro de dicho proceso de aprendizaje y de
estar siendo evaluado porque esto podría disminuir la
motivación que, a priori, habríamos conseguido con el VJE.
Además, hay que tomar en consideración que la evaluación
continua requiere un coste tiempo/esfuerzo por parte de los
profesores/maestros muy alto; a veces, excesivo.
Por ello, en particular, en este trabajo nos centramos en el
apartado de evaluación, el cual constituye un problema
importante para los docentes, sobre todo, cuando se trata de
grupos grandes o masificados. Cuando usamos un VJE, el
proceso de evaluación se puede automatizar en base a las reglas
que los docentes consideren adecuadas, librándoles de la
aplicación manual de dichas fórmulas y, de esta forma, de una
carga de trabajo considerable. De esta forma, conseguimos que
el profesor se centre en el proceso de enseñanza/aprendizaje en
sí, teniendo más tiempo para atender las necesidades de los
alumnos. Además, podemos conseguir que se involucre también
en el desarrollo del VJE porque es él quien realmente puede
establecer de modo acertado qué, cómo y dónde evaluar.
Aunque hay diversas corrientes a este respecto, la que está
tomando más peso consiste en realizar la evaluación mientras el
usuario/estudiante está jugando. Además, no hay que olvidar
que, en nuestros días, el proceso de evaluación ha dado un giro y
ya no sólo se evalúan los conocimientos sino las competencias
adquiridas.
En este trabajo, presentamos una propuesta metodológica
para construir videojuegos educativos efectivos en ambos
procesos: el proceso de aprendizaje y el proceso de evaluación.
Concretamente, en la sección II presentamos las particularidades
de la evaluación en VJE y las ventajas de su utilización. En la
sección III manifestamos la necesidad de conectar la parte
educativa con la historia y las reglas del juego, y explicamos
cómo se puede realizar esto de forma gráfica mediante el
etiquetado educativo del grafo de juego. En la sección IV se
presenta cómo se realiza la evaluación en sí para, una vez hecho
esto, presentar la aplicación de esta propuesta (sección V) en el
diseño de una parte de una aventura gráfica. Finalmente, en la
sección VI, presentamos las conclusiones y trabajos futuros.
II. EVALUACIÓN DEL APRENDIZAJE POR MEDIO DE VJE
La evaluación del aprendizaje es siempre un elemento
fundamental, tanto para los profesores, como para los padres y
los alumnos. Pero cuando se utilizan videojuegos en entornos
educativos se convierte un aspecto crítico.
En una charla en AERA 2010 [3], Gee argumentó que, en un
videojuego bien diseñado, la evaluación como tal no tiene
sentido. Hacía referencia a la realización de un examen sobre
228
estrategias y tácticas a una persona que hubiera alcanzado el
nivel 80 Paladin en el World of Warcraft. Evidentemente, los
videojuegos están diseñados para que la evaluación de las
acciones del jugador se realice de forma intrínseca y continua a
lo largo del juego. Por tanto, cada batalla, reto o acción del juego
es, en sí misma, una evaluación, por lo que evaluación y éxito
están indisolublemente ligados, y la idea de hacer una
evaluación posterior, además de la propia del juego, tiene poco
sentido. Esta idea, que también ha sido expresada por otros
autores (p.e. [4], [5]), nos lleva a determinar que, como en un
videojuego “normal”, la evaluación (continua) en un VJE debe
estar embebida en el propio juego. Y, con esto, nos estamos
refiriendo también a la evaluación educativa.
Ya desde 1970, la legislación española ha promovido la
evaluación continua en los procesos de aprendizaje [6],
intentando que dicha evaluación sea parte del proceso de
aprendizaje y no un apéndice del mismo. No obstante, parece
que esta idea no ha terminado de calar o, en su defecto, no ha
sido fácil de aplicar, porque en las leyes sucesivas se ha hecho
también referencia a este aspecto [7], fomentando el aprendizaje
activo y participativo del alumnado. Por su parte, la LOCE [8]
mantiene la necesidad de una evaluación continua y añade la
idea de competencia que, según Perrenoud [9], citado en [10], es
la capacidad para movilizar diversos recursos cognitivos para
hacer frente a un tipo de situaciones. Y es que la evaluación
continua permite detectar las dificultades en el momento en que
se producen, averiguar sus causas y, en consecuencia, adaptar las
actividades de enseñanza y aprendizaje [11].
Aunque ha sido un proceso lento, estos nuevos conceptos y
procedimientos se usan ya en los centros educativos, con el
consiguiente incremento de trabajo para los docentes. Si bien ese
modelo de formación está centrado en el trabajo del estudiante,
su éxito depende, en gran medida, de la utilización de recursos
adecuados y el diseño de una evaluación adecuada [10].
Llegados a este punto y, cambiando el contexto a una mente
más Informática que Educativa, nos damos cuenta de que
muchas de las apreciaciones anteriormente descritas son
extrapolables, fácilmente, a una evaluación mediada por
computador. Recapitulando, podríamos decir que, en lo que
concierne a la evaluación, las características que hay que
observar son: incorporación de la misma como parte intrínseca
al proceso de aprendizaje, participación activa del alumno,
detección (inmediata) de las dificultades y adaptación del
proceso de aprendizaje a las necesidades detectadas. Si todo esto
lo unimos a la necesidad de motivación, podemos afirmar que un
VJE, siempre que se diseñe de forma adecuada, reúne los
requisitos para dar respuesta a estas exigencias. En la base de
esta premisa, presentamos la propuesta de este trabajo.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
N. Padilla; N. Medina; F. L. Gutiérrez; P. Paderewski; J. R. López; M. P. Núñez; J. R. Polo - Implementación de la evaluación continua en videojuegos educativos - Qué, cómo y dónde evaluar
III. ETIQUETADO EDUCATIVO DEL GRAFO DE JUEGO
A menudo, de forma experimental o comercial, se lanzan
videojuegos educativos en los que la parte educativa es escasa,
aparece mal diseñada o está en discordancia con la parte lúdica
del juego. Para paliar esta problemática, venimos trabajando en
un proceso de diseño que sistematiza y documenta las etapas y
pasos que deben acometerse para desarrollar un videojuego
educativo balanceado [12]. Es decir, un videojuego donde exista
un equilibrio perfecto o casi perfecto entre diversión y
aprendizaje, o lo que es lo mismo entre la parte educativa y la
parte de juego.
Como parte de este proceso de diseño, los retos y fases del
juego se estructuran, visualmente, como un grafo. En este grafo
se contemplan las relaciones entre las distintas acciones y se
indican, si las hay, las restricciones que aparecen entre ellas.
Puesto que “aprender jugando” es una de las formas más
naturales de formarse, esta relación no debe ser difícil de
conseguir, siempre y cuando se plantee desde las etapas más
tempranas del desarrollo del videojuego. Por este motivo, en el
presente artículo proponemos como punto de partida el
etiquetado del grafo de juego con las tareas educativas que se
trabajan en cada escena.
A. Nodos del juego dónde se trabajan las tareas educativas
Para marcar los nodos del juego donde se trabajan las
distintas tareas educativas, es necesario identificar previamente
qué objetivos educativos se pretenden alcanzar y, más
específicamente, haber descompuesto dichos objetivos en las
tareas específicas que contribuyen a la superación de los
mismos. Cuando realizamos esta descomposición, puede ocurrir
que haya algunas tareas que contribuyan a la superación de
distintos objetivos. Esto implica que dicha tarea puede estar
asociada a varios objetivos. De forma similar, una escena del
juego se puede asociar a distintas tareas educativas, si ésta
contribuye a practicarlas. Además, puede ocurrir que haya nodos
del juego que no tengan asociada ninguna tarea educativa.
Fig. 1. Tareas educativas trabajadas en cada nodo.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Este etiquetado se representa, gráficamente, como cuadrados,
tal como se puede apreciar en la Fig. 1.
B. Nodos del juego donde se evalúan las tareas educativas
En contextos de enseñanza sencillos, la evaluación de una
tarea educativa podrá hacerse en el mismo nodo donde el
estudiante ha ejercitado dicha tarea, competencia o habilidad. A
menudo, el profesor actúa de este modo en el aula: les pone un
ejercicio a sus estudiantes, que realizan de forma independiente
y, después, evalúa la realización del mismo, bien sobre lo hecho
o bien en base a una prueba posterior.
Sin embargo, según hemos identificado en experiencias
previas, existen diversas razones por lo que esto puede no ser
adecuado o, ni siquiera, posible. Las principales razones de la
imposibilidad de evaluar justo después de trabajar una tarea se
dividen en dos causas:
Fig. 2. Evaluación de las tareas educativas.
• Tareas distribuidas: Una tarea educativa puede estar
distribuida en distintos nodos del grafo de juego. No nos
referimos a que una misma tarea se ejercite en varios
nodos; esto es evidente que ocurrirá. Con tarea
distribuida nos referimos a una tarea que requiere pasar
por varios escenarios, recogiendo un grupo de objetos y/o
realizando un conjunto de actividades parciales que
únicamente toman sentido como un todo. Un ejemplo de
este tipo de tareas podría ser el aprendizaje de un código
de comunicación en un mundo extraterrestre, que se va
adquiriendo paulatinamente y no puede evaluarse hasta
haber superado varios niveles y ya se es capaz de
construir frases inteligibles.
• Evaluación en espera de datos: En muchos casos, una
tarea educativa, aunque se realice completamente en un
nodo del grafo de juego no puede ser evaluada hasta
alcanzar otro nodo del grafo de juego, ya que hasta ese
instante no se dispondrá de la información necesaria para
su evaluación. Por ejemplo, tras ejercitar las operaciones
229
N. Padilla; N. Medina; F. L. Gutiérrez; P. Paderewski; J. R. López; M. P. Núñez; J. R. Polo - Implementación de la evaluación continua en videojuegos educativos - Qué, cómo y dónde evaluar
matemáticas en una escena, el personaje que instruye da
al jugador la operación matemática cuyo resultado
desvela la clave del tesoro. No sabremos si ha aprendido
la operación hasta que llegue al tesoro e introduzca el
resultado.
Puesto que, como acabamos de explicar, la evaluación y la
ejercitación de la parte educativa no coinciden fielmente, se hace
necesario etiquetar sobre el grafo, también, el momento en que
se realiza la evaluación de cada tarea educativa. Estas etiquetas
se marcan en forma de rombos, tal como se ve en la Fig. 2.
C. Restricciones de evaluación
Junto a la evaluación, es frecuente que vengan asociadas una
serie de restricciones que el equipo docente, en colaboración con
el equipo de desarrollo del videojuego, debe especificar. Estas
restricciones limitan cuándo evaluar una tarea educativa y, en
términos generales, tiene como objetivo final asegurar, en la
medida de lo posible, que los resultados satisfactorios del
estudiante/jugador se han obtenido por una vía educativa y no
casual.
IV. PROCESO DE EVALUACIÓN
Una vez realizado el etiquetado educativo del grafo de juego,
el proceso de evaluación se divide en dos etapas: 1)
monitorización de las tareas educativas y restricciones, y 2)
aplicación de las reglas de evaluación.
Es decir, cuando el jugador llega a un escenario etiquetado
en el grafo de juego con un rombo, significa que existen una o
más evaluaciones que pueden ser disparadas en ese escenario.
Tal y como se ha descrito anteriormente, las restricciones son las
que marcarán si cada disparo se produce o no finalmente. Y,
sólo en caso afirmativo, se procederá a aplicar la fórmula de
evaluación previamente detallada.
Para comprobar una restricción, el sistema debe haber
monitorizado y recogido un conjunto de datos relativos a la
misma. Así, por ejemplo, asociada a una restricción se pueden
almacenar tiempos o pasos/acciones realizadas en el juego. Por
otro lado, del mismo modo que las restricciones pueden llevar
datos asociados que definen su actuación, en los nodos donde se
trabajan las tareas educativas también será necesario medir
algunos datos.
Para recopilar, podemos resumir el proceso de evaluación
como sigue:
1) Cada vez que el jugador llega a un nodo que trabaja una
tarea educativa (rectángulos en Fig. 1 y 2): se registra la
actuación del jugador almacenando todos los datos de
interés, al tiempo que se activa la monitorización de
todas las restricciones necesarias para su evaluación.
2) Cada vez que el usuario llega a un nodo restricción
(líneas discontinuas en Fig. 2): si dicha restricción ha
230
sido activada, se registrará la actuación del usuario en
ese nodo, almacenando todos los datos de interés.
3) Cada vez que el usuario llega a un nodo que evalúa una
competencia (rombos en Fig. 2): se aplica la regla de
evaluación de cada tarea educativa incluida en el
rombo, siempre que se cumplan a) y b):
a) se haya trabajado la tarea a evaluar (almacenando,
por tanto, los datos significativos).
b) se hayan completado las restricciones oportunas
(almacenando, por tanto, los datos significativos).
La fórmula de evaluación de cada competencia será definida
por el equipo docente de forma que sea posible su aplicación
automática en base al conjunto de datos monitorizados. Después,
la evaluación global de una tarea educativa, se obtendrá
haciendo la media con todas las puntuaciones disponibles para
dicha tarea.
Finalmente, la evaluación de un objetivo educativo
dependerá de los resultados obtenidos por el estudiante en las
distintas tareas educativas en las que se ha descompuesto el
objetivo. En este cómputo, el peso de cada tarea educativa (pi)
puede ser regulado por los docentes, de modo que unas tareas
pueden influir más que otras en la consecución del objetivo
educativo. Al mismo tiempo, una misma tarea educativa podría
estar contemplada en distintos objetivos con distintos
porcentajes de influencia.
V. APLICACIÓN DE LA PROPUESTA: UNA AVENTURA GRÁFICA
PARA LECTURA COMPRENSIVA
Para ejemplificar la propuesta, a continuación presentamos
cómo se aplica nuestra propuesta a un videojuego educativo
particular. En concreto, estamos diseñando una aventura gráfica
para entrenar las competencias de la lectura comprensiva. Esta
aventura gráfica está ambientada en la Alhambra de Granada,
monumento insigne de la ciudad mundialmente conocido.
A continuación, mostramos cómo se ha aplicado la propuesta
descrita en las secciones anteriores a este ejemplo.
A. Nodos del juego donde se trabajan las tareas educativas
Nos centraremos en una pequeña parte del juego en el que se
trabajan fundamentalmente tres objetivos educativos (Fig. 1): 1)
comprensión literal, 2) comprensión interpretativa y 3)
comprensión global.
A su vez, cada uno de estos objetivos se desglosa en varias
tareas de lectura. Por ejemplo, en la “comprensión literal” se
engloban 5 tareas educativas tales como: “identificar datos
concretos en textos de distinto tipo” (CL.1) o “sintetizar el
contenido esencial de un texto” (CL.4). En el objetivo de
“comprensión interpretativa” encontramos las tareas: “Aplica
conocimientos previos para hacer inferencias en la lectura”
(CI.2), “Capta en los textos los datos relativos al espacio” (CI.4)
o “Extrae información de fotos e imágenes que acompañan a los
XVI Simposio Internacional de Informática Educativa (SIIE’14)
N. Padilla; N. Medina; F. L. Gutiérrez; P. Paderewski; J. R. López; M. P. Núñez; J. R. Polo - Implementación de la evaluación continua en videojuegos educativos - Qué, cómo y dónde evaluar
textos” (CI.5), entre un total de 7. Finalmente, en el objetivo de
“comprensión global” se recogen 13 tareas, como son:
“Comprende la información de forma interrelacionada” (CG.1) o
“Sabe organizar gráficamente las ideas del texto” (CG.8).
En el escenario de juego que se representa en el grafo de la
Fig. 1, el protagonista (jugador/estudiante) encuentra a un león
parlante dentro de la Alhambra y éste le solicita una foto de la
Fuente de las Cabezas Cortadas a cambio de mostrarle la puerta
misteriosa que dará comienzo a la aventura central del
videojuego. Puesto que el protagonista no sabe a qué sala se
refiere el león, éste tendrá que leer un cartel informativo que hay
en la Sala de los Abencerrajes (donde la leyenda cuenta que
ocurrió la decapitación de 37 caballeros). Además, tendrá que
conseguir una cámara de fotos. El mecanismo para superar este
segundo sub-reto del juego será pedirle prestado el aparato a una
turista que deambula haciendo fotografías del bello monumento.
Como puede observarse en el grafo (Fig. 1), en la escena
donde el león le hace la singular petición (“...tráeme una
fotografía de la Fuente de las Cabezas Cortadas. Si lo haces, te
enseñaré un secreto...”) se está trabajando la tarea educativa
CL.1 (porque el protagonista tiene que identificar el dato literal:
“Fuente de las Cabezas Cortadas”) y la tarea CI.4 (porque tiene
que inferir que se trata de una sala).
Sobra mencionar que, en esta fase del proceso de diseño, la
colaboración entre los profesores y los desarrolladores de
software será bastante estrecha y que, de este entendimiento
multidisciplinar, dependerá en gran medida el éxito del proyecto
educativo. Con esta intención, en trabajos previos hemos
construido herramientas de autor que facilitan el intercambio de
ideas y conceptos entre diseñadores y docentes [13].
B. Nodos del juego donde se evalúan las tareas educativas
Como comentamos en la sección II, hay dos causas por las
que la evaluación puede no realizarse justo después de terminar
una tarea. A continuación mostramos cómo ocurre en nuestro
ejemplo:
• Tareas distribuidas: En nuestro videojuego de lectura
comprensiva la tarea CL.1 (identificación de un dato
literal) cabe esperar que sea recurrente. De hecho, tan
solo en la Fig. 1 aparece en tres nodos (1.1, 1.2 y 1.2.1).
• Evaluación en espera de datos: Fijémonos en el nodo
1.2.1. Allí, el protagonista lee un cartel informativo en la
Sala de los Abencerrajes que le explica la leyenda de las
decapitaciones. La lectura del texto se trabaja en ese
escenario, pero no podemos darla por buena hasta que el
jugador haga la fotografía a la Sala de los Abencerrajes,
lo cual ocurrirá en el nodo 1.2. En ese momento, la
capacidad de síntesis (pues el cartel es bastante extenso)
y la capacidad de identificar que esa es la “Sala de las
Cabezas Cortadas” podrán ser evaluadas positivamente,
XVI Simposio Internacional de Informática Educativa (SIIE’14)
lo que corresponde a las tareas CL4(1.2.1) y CL1(1.2.1),
respectivamente.
Nótese cómo la tarea CL1(1.1) no se evalúa hasta el nodo (1)
y, del mismo modo, cómo las tareas CL.1(1.2.1) y CL.4(1.2.1)
se posponen hasta el nodo (1.2).
C. Restricciones de evaluación
Imaginemos que el protagonista de nuestro videojuego hace,
por azar, una foto a la Sala de los Abencerrajes. El nodo (1.2)
tiene asociada la evaluación de CL1 (1.2.1) que corresponde a
haber leído el cartel para saber que en dicha sala es dónde hay
que hacer la fotografía. Puede que el jugador ni siquiera haya
conocido aún al león parlante e, incluso, puede que nuestro
protagonista no haya leído siquiera el cartel que se va a evaluar
¿Debería, entonces, dispararse la evaluación de la competencia
CL1(1.2.1) anotada en el rombo del nodo (1.2)? En este caso, es
indudable que la respuesta es negativa. Para casos como este, se
utilizan las restricciones, las cuales son representadas en el grafo
usando líneas discontinuas.
Como puede observarse en la Fig. 2, dos líneas discontinuas
entran en el citado rombo de evaluación, una procedente del
nodo (1.1) donde el león solicita la foto y otro con origen en el
nodo (1.2.1) donde se lee el cartel informativo. De este modo, se
asegura que la evaluación sea coherente con las actuaciones del
jugador.
D. Proceso de evaluación
La evaluación global de la tarea educativa CL.1, por
ejemplo, se obtendrá haciendo la suma con todas las
puntuaciones disponibles para dicha tarea.
En nuestro caso:
CL.1 = CL.1(1.1) + CL.1(1.2) + CL.1 (1.2.1)
(1)
ya que la identificación literal de un dato es una tarea que se
practica en dichos tres nodos.
Para facilitar la inclusión de nuevas actividades del juego
que trabajen una tarea educativa, podemos normalizar esta suma,
dividiendo el resultado por la máxima puntuación posible. De
esta forma, tenemos siempre un valor entre 0 y 1 que nos
permite comprender mejor cuánto se ha aprendido.
Por su parte, la evaluación del objetivo educativo
correspondiente, es decir, CL, dependerá de los resultados
obtenidos por el estudiante en CL.1, CL.2., CL.3, CL.4 y CL.5,
donde pi será el peso de cada uno de los componentes en la
consecución del objetivo final:
CL = p1*CL.1 + p2*CL.2 + p3*CL.3 + p4*CL.4 + p5*CL.5 (2)
La suma de pi será 1.
VI. CONCLUSIONES
La investigación relacionada con el uso de VJE en las aulas
ha permitido demostrar, razonablemente, que los videojuegos
231
N. Padilla; N. Medina; F. L. Gutiérrez; P. Paderewski; J. R. López; M. P. Núñez; J. R. Polo - Implementación de la evaluación continua en videojuegos educativos - Qué, cómo y dónde evaluar
aportan una motivación adicional que favorece la implicación de
los alumnos en el proceso de enseñanza/aprendizaje. Por ello, su
uso complementario a los métodos tradicionales supone una
mejora en el proceso y, por tanto, en los resultados de
aprendizaje.
Partiendo de esa premisa, este artículo se centra en la parte
de evaluación de competencias y conocimientos adquiridos. Esta
evaluación viene a complementar, de nuevo, la evaluación
convencional, aportando un extra de información que puede
facilitar la labor de los docentes, desde distintos puntos de vista:
por una parte, puede recopilar, procesar y analizar grandes
cantidades de información, sobre todo en entornos masificados o
con grupos grandes; por otra parte, este resultado de evaluación
puede apoyar el resto de las pruebas realizadas por el profesor,
con objeto de afianzar o modificar, si es necesario, la evaluación
previa.
Siguiendo en la línea de hacer que los VJE sean parecidos a
los videojuegos comerciales, esta evaluación se plantea implícita
al avance en los retos del juego. De esta forma, superar las
escenas de contenido educativo supondrá, por una parte, avanzar
en la historia del juego y, por otra, haber aprendido o entrenado
el contenido o competencia asociada. Esto elimina la necesidad
de hacer evaluaciones externas al juego para comprobar su
eficacia.
Como particularidad de la evaluación planteada, presentamos
la necesidad de contemplar tres elementos en el proceso
evaluativo: qué evaluar, cómo evaluarlo y dónde evaluarlo.
Como se ha podido comprobar en el trabajo, estos tres elementos
pueden no coincidir en el tiempo. Para resolver este problema,
hemos presentado un mecanismo de etiquetado del grafo de
juego que permite la implementación de la evaluación de forma
satisfactoria y permite cumplir estas restricciones.
Para ilustrar la propuesta, hemos mostrado cómo se ha
aplicado en una pequeña parte de la aventura gráfica que,
actualmente, estamos diseñando para que alumnos de 8 a 9 años
aprendan las competencias relacionadas con la lectura
comprensiva.
Como parte del proceso de diseño iterativo de VJE que
seguimos, nuestro siguiente hito será la implementación de una
fase del juego para hacer las pruebas pertinentes en relación a la
eficacia educativa del juego, su eficacia motivacional (si es
jugable) y, en particular para este trabajo, si permite evaluar las
competencias adquiridas durante el juego. Esto implica conocer
y valorar también la opinión de los profesores que estarán
232
presentes en las diferentes pruebas y podrán conocer también la
factibilidad de esta forma de evaluación y emitir sus comentarios
que ayudarán en las siguientes etapas.
VII. AGRADECIMIENTOS
Este artículo ha sido parcialmente financiado por la Junta de
Andalucía, con el Proyecto de Excelencia P11-TIC-7486,
cofinanciado por fondos FEDER, por el Ministerio de Ciencia e
Innovación de España, con el proyecto CICYT VIDECO
(TIN2011-26928) y por Red Iberoamericana CYTED 513RT0481.
VIII. REFERENCIAS
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
J. Pindado, “Las posibilidades educativas de los videojuegos. Una revisión
de los estudios más significativos”, Universidad de Málaga.
http://www.sav.us.es/pixelbit/pixelbit/articulos/n26/n26art/art2605.htm
V. Marín Díaz, “Los videojuegos y los juegos digitales como materiales
educativos”, Revista de Medios y Educación, vol. 43, 2013, pp. 231-232.
R. C. Frey, “Computer games as preparation for future learning”.
Assessment in Game-Based Learning. New York: Springer Berlag, 2012.
D. Ifenthaler, D. Eseryel, X. Ge, “Assessment in Game-Based Learning:
Foundations, Innovations, and Perspectives”. New York: Springer Berlag.
2012.
S. Arnab, T. Lim, M. B. Carvalho, F. Bellotti, S. De Freitas, S. Louchart,
N. Suttie, R. Berta, A. De Gloria, A. “Mapping learning and game
mechanics for serious games analysis”. British Journal of Educational
Technology, 2014, doi:10.1111/bjet.12113
Ley
General
de
Educación
(Ley
14/1970).
https://www.boe.es/diario_boe/txt.php?id=BOE-A-1970-852
Ley Orgánica de Ordenación del Sistema Educativo (LOGSE), de 1990.
https://www.boe.es/buscar/doc.php?id=BOE-A-1990-24172
Ley
organica
de
Calidad
de
la
Educación.
http://www.boe.es/buscar/doc.php?id=BOE-A-2002-25037
P. Perrenoud, “Diez nuevas competencias para enseñar”. Barcelona: Graó,
2014.
F. Vidal González, “Evaluación continua”, Revista Supervisión 21, vol. 25,
2012.
S. Castillo Arredondo, “Sentido educativo de la evaluación en la Educación
Secundaria”. Madrid: UNED.
N. Padilla-Zea, F. L. Gutiérrez Vela, J. R. López-Arcos, A. Abad-Arranz,
P. Paderewski, “Modelling Storytelling to be used in Educational
Videogames”. Computers in Human Behaviors, vol. 31(1), 2014, pp.461474.
N. Padilla-Zea, F. L. Gutiérrez Vela, N. Medina- Medina, C. González,
“Involving teachers in the educational video games design process”, 2nd
International Workshop on Interactive Design in Educational Environments
(IDEE 2013).
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Evaluación de la accesibilidad en las plataformas
MOOC en español: UNED COMA, COLMENIA y
Miriada X
Francisco Iniesto; Covadonga Rodrigo
Departamento de Lenguajes y Sistemas Informáticos
Universidad Nacional de Educación a Distancia (UNED)
Madrid, España
[email protected], [email protected]
Resumen—El presente artículo desarrolla una metodología en el
análisis de la accesibilidad de los cursos MOOC y para ello se ha
centrado en el análisis del nivel de accesibilidad de tres de las
plataformas MOOC en español: UNED COMA, COLMENIA y
Miriada X, para lo cual se han usado cuatro pautas distintas de
evaluación:
herramientas
automáticas,
simuladores
de
discapacidad, herramientas de testeo y finalmente a través del
contenido educativo.
Palabras
Clave—Accesibilidad,
MOOC,
herramientas
automáticas, simuladores de discapacidad, herramientas de testeo,
recursos educativos.
I.
interactivos (test, autoevaluaciones,…) en estos cursos añade
una nueva dificultad a los requerimientos de accesibilidad, ya
que se incluyen nuevos elementos que amplían la brecha digital
(y no sólo a las personas con discapacidad).
El análisis de la accesibilidad es el objetivo del presente
trabajo, que se ha circunscrito al estudio de algunas de las
plataformas MOOC disponibles en español. A continuación se
describen las propias plataformas, las pautas de la evaluación
realizada así como las herramientas escogidas, finalizando con
las conclusiones principales del estudio.
II.
INTRODUCCIÓN
El cambio desde las plataformas educativas cerradas a
entornos de aprendizaje abiertos, como es el caso de los MOOCs
(Cursos online masivos y abiertos) es reflejo de la evolución de
la educación abierta en Internet que ha posibilitado que miles de
personas de todo el mundo sigan diferentes iniciativas
educativas [1] [2]. Pero la calidad en la enseñanza no viene
garantizada por el uso de las nuevas tecnologías sino que
cualquier nueva metodología de enseñanza a través de Internet
supone tanto un cambio tecnológico como de capacitación para
todos los agentes involucrados.
En España crece cada año el número de estudiantes con
discapacidad que utilizan productos de apoyo y/o requieren
adaptaciones para disfrutar de los recursos ofrecidos en la
educación superior existiendo una proporción creciente de los
mismos que tienen una discapacidad oficialmente reconocida y
que elige las universidades de educación a distancia para sus
estudios (como ejemplo la matrícula en la UNED fue de ocho
mil estudiantes en el curso 2012/2013, aproximadamente la
mitad de los estudiantes universitarios con discapacidad en
España).
A pesar de su carácter eminentemente aperturista, el propio
acceso a los MOOCs y sus plataformas puede suponer una
dificultad añadida para este colectivo, debiendo además
desarrollar nuevas competencias específicas y cambiantes. La
introducción de contenidos audiovisuales y elementos
LAS PLATAFORMAS MOOC: UNED COMA,
COLMENIA Y MIRIADA X
Se han elegido estas plataformas las cuales han sido
prolíficas en el desarrollo de cursos MOOC en español [3], [4]
con una importante labor realizada en 2013 donde en nuestro
país a octubre de ese año había casi cien cursos MOOC
disponibles:
•
•
•
La plataforma UNED COMA fue una de las primeras
plataformas libres de MOOCs en español que permite la
creación y gestión de cursos masivos de una manera autónoma,
sencilla e intuitiva y que dispone de un sistema propio de
calidad [5] y [6].
COLMENIA es una comunidad que agrupa a diversas
comunidades de aprendizaje como son UnX (la primera
comunidad Iberoamericana de emprendimiento) y Weprendo
(una comunidad móvil de emprendimiento digital), que tienen
en común el sistema de enseñanza a través de cursos MOOC.
Miríada X es una plataforma MOOC surgida a principios de
2013. Está promovida por Telefónica Learning Services
y Universia siendo esta última la mayor red de universidades de
habla hispana y portuguesa.
III.
METODOLOGÍA DE ANÁLISIS DE LA ACCESIBILIDAD
El análisis de la accesibilidad presentado en este trabajo se
basa en la metodología recogida en trabajos y en guías ya
publicadas [7], [8] [9] y [10] para lo que se realiza una selección
de un conjunto de páginas Web como ejemplo representativo de
233
F. Iniesto; C. Rodrigo - Evaluación de la accesibilidad en las plataformas MOOC en español: UNED COMA, COLMENIA y Miriada X
cada una de las plataformas y de los recursos educativos como
son:
•
•
•
•
•
•
Página de inicio de la plataforma.
Página de formulario.
Página característica del curso.
Página de foro del curso.
Un recurso educativo de producción propia y característico
Los videos o píldoras.
Los cursos seleccionados han sido: "España+Francia+Cerca
I" de UNED COMA, "Emprendimiento y Desarrollo de
Aplicaciones de Realidad Aumentada" de COLMENIA y
"Estrategias de Marketing Online. Community Manager" de
Miriada X.
La metodología de evaluación propia se divide en cuatro
pautas:
•
•
•
•
Evaluación mediante herramientas automáticas.
Evaluación mediante simuladores de discapacidad.
Evaluación mediante herramientas de testeo.
Evaluación a través del contenido educativo.
La metodología tiene un enfoque automático por lo tanto los
resultados muestran especialmente los problemas de
accesibilidad relativos a la discapacidad visual. La normativa
aplicable son las pautas de accesibilidad para contenido Web
WCAG 2.0 [11].
A. Evaluación mediante herramientas automáticas
Las pautas WCAG 2.0 se organizan en cuatro principios
fundamentales para la accesibilidad del contenido: perceptible,
operable, comprensible y robusto. Dichos principios son
importantes para la realización de la validación automática
siguiendo las pautas WCAG 2.0 para lo cual se ha realizado el
test online de eXaminator al conjunto de las páginas
seleccionadas. La herramienta eXaminator adjudica una
puntuación entre 1 y 10 como un indicador rápido de la
accesibilidad de las páginas y a su vez incorpora valoraciones
según su impacto en una serie de perfiles de usuarios. Las
valoraciones individuales sirven para obtener una calificación
para cada uno de los perfiles y la calificación final de la página
se obtiene promediando las 5 calificaciones parciales
correspondientes a la limitación total para ver, grave para ver, de
los miembros superiores, para comprender y limitaciones
derivadas de la edad
Esta herramienta proporciona distintos baremos del conjunto
de pruebas realizadas siendo categorizados como "excelentes" o
"muy bien" aquellos puntos que se han aplicado de una manera
correcta y "regular", "mal" y "muy mal" aquellos que
proporcionan problemas de accesibilidad según las pautas. Al
finalizar el análisis la herramienta ofrece una nota calculada
como baremo ponderado. Los resultados se observan en la Tabla
I.
234
La validación con eXaminator detecta que las tres
plataformas tienen gran cantidad de errores muy malos o críticos
lo cual les lleva a tener notas medias. En algún caso, es incluso
la propia página de inicio de la plataforma o del curso la primera
que adolece de problemas críticos de accesibilidad. Estas
páginas son obligadas para el acceso de cualquier estudiante y
deberían ser (conceptualmente) las primeras en ser accesibles.
Al observar con detenimiento los resultados positivos
obtenidos hay que destacar que las tres aplicaciones comparten
algunos puntos como son que no se usan atributos para controlar
la presentación visual y que las páginas contienen un elemento
title.
TABLA I RESULTADOS OBTENIDOS DE LA VALIDACIÓN AUTOMÁTICA.
UNED
COMA
Excelente
muy bien
y bien
Regular
Mal
Muy
Mal
Nota
Inicio
Formulario
Curso
Foro
Valor Medio
COLMENIA
Inicio
Formulario
Curso
Foro
Valor Medio
Miriada X
Inicio
Formulario
Curso
Foro
Valor Medio
7
7
7
6
1
1
1
2
4
2
4
4
1
3
3
1
6.6
5.8
5.9
6.2
6.1
5
5
7
6
2
3
2
1
7
8
7
5
6
4
1
5
4.5
4.7
5.4
6.2
5.2
4
6
4
6
1
3
3
3
4
8
5
8
7
4
6
4
4.2
4.5
4.1
4.5
4.3
En el caso de UNED COMA y COLMENIA comparten
además que no hay elementos link para navegación y se usan
elementos de encabezado.
UNED COMA tiene positivamente en su plataforma que se
identifica el idioma principal de la página y que todos los
formularios tienen un botón de envío.
Las evaluaciones particulares obtenidas en las plataformas
con la herramienta eXaminator se presentan en la Tabla II,
detallando cada perfil analizado. Se puede comprobar que en
UNED COMA las notas más bajas están relacionadas con la
limitación para comprender, en COLMENIA y Miriada X en las
limitaciones para ver y los miembros superiores.
Las tres plataformas desafortunadamente comparten un
conjunto importante de problemas ya que se especifican valores
absolutos para el tamaño de las fuentes, hay enlaces con el
mismo texto pero diferentes destinos, el primer enlace de la
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Iniesto; C. Rodrigo - Evaluación de la accesibilidad en las plataformas MOOC en español: UNED COMA, COLMENIA y Miriada X
página no lleva al contenido principal de la página, existen
elementos iframe sin title y hay imágenes sin alternativas
textuales.
En el caso de UNED COMA y COLMENIA comparten
casos donde se usa texto justificado en las CSS. En COLMENIA
y Miriada X se observa en los problemas el porqué se producen
las limitaciones en la vista y miembros superiores ya que se
asocian eventos a elementos no interactivos, hay formularios sin
botones de envío, no existen enlaces para saltar bloques de
contenido y falta el código de idioma en el atributo lang. Para el
curso de Miriada X algunos fallos importantes son que hay
enlaces cuyo contenido es sólo una imagen sin alternativa
textual, en casos se usan medidas absolutas para indicar el ancho
de un elemento, hay tablas sin celdas de encabezados y hay
tablas que contienen una o más tablas anidadas.
TABLA II.
UNED
COMA
Inicio
Formulario
Curso
Foro
Valor Medio
COLMENIA
Inicio
Formulario
Curso
Foro
Valor Medio
Miriada X
Inicio
Formulario
Curso
Foro
Valor Medio
RESULTADOS DIFERENCIADOS POR LIMITACIÓN.
Total
para
ver
7.2
6
6.5
6
6.4
Grave
para
ver
6.4
6.4
5.7
6.5
6.2
Miemb
ros
Compre
nder
Edad
6.9
5
5.8
6.6
6.1
5.7
5.4
5.3
5.8
5.5
6.5
6.2
6
6.1
6.2
4.5
4.2
4.5
5.3
4.6
4.7
5
5.7
6.7
4.4
4.2
4.2
4.9
5.7
4.7
5.2
5.2
6
7.1
5.9
5.2
5.5
6.2
7.1
6
4
4.3
3.6
4.3
3.3
4.3
4.7
4.5
4.7
4.5
3.6
4.2
3.5
4.2
3.9
4.3
4.6
4.3
4.6
4.4
4.6
4.8
4.8
4.8
4.7
B. Evaluación mediante simulador de discapacidad visual.
Para realizar esta evaluación simulando discapacidades se ha
utilizado aDesigner que es un simulador de discapacidad que
ayuda a los diseñadores a asegurar que el contenido y las
aplicaciones son accesibles y utilizables por personas con
discapacidad visual. Se realizan simulaciones en las distintas
páginas siguiendo dos opciones de simulación: simulador de
personas ciegas y simulador de personas con visión reducida.
Realizando las pruebas para el simulador de personas ciegas
la propia herramienta avisa que las páginas en su mayoría
pueden cumplir con las guías necesarias realizando algunas
modificaciones y que la estructura de la página es buena para
operar por usuarios ciegos. De los problemas encontrados
algunos ya han sido detectados por la herramienta automática
eXaminator y detalladas en el apartado anterior, como la
aparición de imágenes sin el atributo alt, que la página tenga
XVI Simposio Internacional de Informática Educativa (SIIE’14)
varios elementos html, el uso de medidas relativas para el
tamaño de la fuente y el uso de información textual redundante.
Sin embargo algunos problemas han sido encontrados
gracias al uso de esta herramienta, en el caso de las pruebas con
el simulador de personas con visión reducida el propio
simulador enfoca que hay problemas de distinción de colores,
encontramos que los entornos convergen en los errores
detectados principalmente en que la combinación de colores de
fondo y texto son difíciles de distinguir y las fuentes demasiado
pequeñas y con tamaño fijo.
Por todo ello, se podrían enunciar algunas recomendaciones
para mejorar la accesibilidad en ambos entornos que son de fácil
cumplimiento como mejorar la combinación de colores, evitar
el uso de fuentes fijas, evitar la redundancia de información en
los textos y enlaces con el mismo texto pero diferentes destinos.
C. Evaluación mediante herramientas de testeo.
Para este punto se ha usado la herramienta de testeo SortSite
que se trata de una herramienta que no sólo permite validar la
accesibilidad de una página Web sino que también comprueba
aspectos complementarios y necesarios como la usabilidad, SEO
(posicionamiento en buscadores), compatibilidad entre
navegadores, errores en el código, privacidad y validación de
estándares, lo que permite hacer una evaluación que engloba a
las anteriores en ámbitos necesarios para una persona con
discapacidad. No se ha tenido en cuenta el análisis de
accesibilidad que hace está herramienta puesto que no arroja
datos nuevos así como aquellos aspectos que no influyen en la
misma.
Diferenciando los resultados obtenidos por cada aspecto se
observan errores generales como la aparición de enlaces rotos en
todas las plataformas, el incorrecto uso de las cookies por la
ausencia de políticas de privacidad en ninguna de las
plataformas y fallo de las tres plataformas en términos de
estandarización con el W3C HTML/XHTML [12].
D. Evaluación a través del contenido educativo.
Para realizar la evaluación de la accesibilidad se han tenido
una serie de criterios propuestos por Sánchez Caballero [13]. En
el caso UNED COMA y el curso "España+Francia+Cerca" los
recursos que se proporcionan al usuario son en gran medida
documentos PDF, algunos de ellos son documentos escaneados
con imágenes que impiden completamente que el contenido sea
accesible. Los tipos de recursos proporcionados por UNED
COMA son: PDFs de documentos escaneados, de producción
propia y de producción externa, audio en formato mp3 y enlaces
a páginas y videos externos a la plataforma.
El curso “Emprendimiento y Desarrollo de Aplicaciones de
Realidad Aumentada” al ser un curso técnico proporciona
documentos de apoyo en formato comprimido o de la aplicación
informática que se aprende en el curso, además de guías de
235
F. Iniesto; C. Rodrigo - Evaluación de la accesibilidad en las plataformas MOOC en español: UNED COMA, COLMENIA y Miriada X
apoyo de producción propia en PDF. En "Estrategias de
Marketing Online. Community Manager" de Miriada X se
proporcionan documentos PDF de producción propia. En la
Tabla III se puede ver el análisis realizado sobre estos
documentos.
TABLA III.
ANÁLISIS SOBRE LOS RECURSOS EDUCATIVOS.
Estilo Sans-serif
Jerarquía visual
Contraste
Subrayado
Permitan adaptar
el volumen del
sonido
Texto, símbolos o
imágenes para los
materiales
auditivos
Las imágenes han
de ser de alta
resolución
Gráficos y tablas
con títulos y
resúmenes
UNED COMA
No, Times New
Roman
Correcto
Correcto
COLMENIA
Si, Calibri
Miriada X
Si, Calibri
Correcto
Correcto
Correcto
Correcto
Correcto
No Aplica
Correcto
Correcto, abuso
de colores
No Aplica
No Aplica
No
proporcionado
No Aplica
No Aplica
Baja resolución
Baja
resolución
Resolución
media
No
proporcionado
No
proporcionado
No
proporcionado
En el caso de las píldoras visuales o videos educativos
encontramos unanimidad en no ofrecer contenidos alternativos
como se puede ver en la Tabla IV.
TABLA IV.
ANÁLISIS SOBRE LOS VIDEOS EDUCATIVOS O PÍLDORAS.
Incluir subtitulado
Intérprete del
lenguaje de signos.
Incluir el
contenido del
audio en texto
IV.
UNED
COMA
No
No
COLMENIA
Miriada X
No
No
No
No
No, sólo
videos en
francés
No
No
RESULTADOS Y CONCLUSIONES
La importancia de los cursos MOOC estriba en la posibilidad
de acercar y facilitar una formación gratuita y abierta a
colectivos globales de personas ofreciendo al mismo tiempo
calidad formativa en un entorno de aprendizaje apoyando en el
uso intensivo de las TIC. Desafortunadamente los análisis
preliminares mostrados en este trabajo demuestran que se han
encontrado problemas graves para el acceso de este colectivo a
la educación facilitada en este tipo de plataformas. Observando
la última columna de la Tabla I se puede comprobar que todas
las plataformas analizadas en este estudio obtienen resultados
medios entre el 4 y el 6 que son muy mejorables.
Asimismo, es interesante observar el porcentaje de
cumplimiento de las pautas de accesibilidad de WCAG 2.0
236
calculado sobre el número de aciertos ("excelente" y "muy
bien") sobre el total de pruebas realizadas. Las plataformas
tienen valores medios distintos pero ninguna de ellas alcanza
valores que podrían considerarse razonables (superiores al 60%)
siendo para UNED COMA de un 50%, COLMENIA de un 31.5
% y Miriada X del 25.7%. Los resultados más bajos por
limitaciones para UNED COMA vienen derivados de las
dificultades en las pruebas de limitación para comprender los
textos escritos y en general la navegabilidad. En los casos de
COLMENIA y Miriada X en las limitaciones para ver y los
miembros superiores. La plataforma UNED COMA parece estar
mejor preparada para los estudiantes con dificultades de visión.
Las tres plataformas presentan errores comunes como la
aparición de enlaces rotos, el uso de las políticas de las cookies
y con estándares del W3C.
En cuanto a los contenidos educativos hay que ser
conscientes de que no hay estándares dentro de las propias
plataformas para crear un contenido educativo uniforme y
accesible lo que serviría para su mejor reutilización y obtener
resultados accesibles [14], es de destacar que incluso en varios
de estos portales son distintas Universidades las que trabajan y
producen el material, especialmente dramática es la falta de
accesibilidad total en los recursos audiovisuales.
Por tanto con el fin de superar estas barreras, es necesario
continuar con la alfabetización digital de estos colectivos y
lograr un seguimiento del alcance de los MOOCs entre ellos.
V.
AGRADECIMIENTOS
Se agradece la disponibilidad de acceso a las plataformas
UNED COMA, COLMENIA y Miriada X, así como el soporte
de la Cátedra de Tecnología y Accesibilidad UNED - Fundación
VODAFONE y a la Global OER Graduate Network (GO-GN).
VI.
[1]
[2]
[3]
[4]
[5]
[6]
REFERENCIAS
D. Cormier and G. Siemens, “Through the Open Door: Open Courses as
Research, Learn- ing, and Engagement”. EDUCAUSE Review, 45(4), 30–
39. Retrieved from http://www.educause. edu/ero/article/through-opendoor-open-courses-research-learning-and-engagement, 2011.
S. Haggard. “Massive open online courses and online distance learning:
review”.
GOV.UK
Research
and
analysis.
https://
www.gov.uk/government/publications/massive-open-online- courses-andonline-distance-learning-review, 2013.
M. Oliver, D. Hernández-Leo, V. Daza, C. Martín y L. Albó. "Panorama
actual de los Cursos Masivos Abiertos en Línea en las universidades
españolas". MOOCs en España. Cátedra Telefónica - UPF Social
Innovation in Education. Cuaderno Red de Cátedras Telefónica, 2014.
M. Gaebler, “MOOCs Massive open online courses. EUA paper”.
http://www.eua.be/Libraries/Publication/MOOCs_Update_January_2014.sf
lb.ashx, 2014.
T. Read and C. Rodrigo, “Toward a quality model for UNED MOOCs”.
eLearning
Papers.
http://www.openeducationeuropa.eu/en/elearning_papers n.º 37, 2014.
C. Rodrigo, T. Read, M. Santamaria, A. Sánchez-Elvira "OpenupEd Label
for MOOCs Quality Assurance: UNED COMA Initial Self-Evaluation ".
Libro de Actas del V Congreso Internacional sobre Calidad y Accesibilidad
XVI Simposio Internacional de Informática Educativa (SIIE’14)
F. Iniesto; C. Rodrigo - Evaluación de la accesibilidad en las plataformas MOOC en español: UNED COMA, COLMENIA y Miriada X
de la Formación Virtual CAFVIR 2014 ISBN edición impresa: 978-992940-497-7 ISBN Eds. L. Bengochea, R. Hernández, J. R. Hilera González,
p. 551 - 555, Antigua, Guatemala, 2014
[7] F. Iniesto, C. Rodrigo and A. Moreira Teixeira. "Accessibility analysis in
MOOC platforms. A case study: UNED COMA and UAb iMOOC". Libro
de Actas del V Congreso Internacional sobre Calidad y Accesibilidad de la
Formación Virtual CAFVIR 2014 ISBN edición impresa: 978-9929-40497-7 ISBN Eds. L. Bengochea, R. Hernández, J. R. Hilera González, p.
545 - 550, Antigua, Guatemala, 2014
[8] Guia de validación de accesibilidad Web v1.0. Ministerio de Hacienda y
Administraciones Públicas. Gobierno de España, 2014.
[9] Requisitos de accesibilidad de un campus virtual. Guía metodológica para
la implantación de desarrollos curriculares virtuales accesibles. Proyecto
ESVIAL. Servicio de Publicaciones de la Universidad de Alcalá, 2013.
[10] J.R Hilera, L. Fernández, E. Suárez, E.T. Vilar. "Evaluación de la
accesibilidad de páginas web de universidades españolas y extranjeras
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[11]
[12]
[13]
[14]
incluidas en rankings universitarios internacionales". Revista Española de
Documentación
Científica,
36(1):e004.,
2013
doi:
http://dx.doi.org/10.3989/redc.2013.1.913.M.
World Wide Web Consortium W3C, Web Content Accessibility Guidelines
(WCAG) 2.0, 2008.
XHTML2 Working Group Home Page. http://www.w3.org/MarkUp/
M. Sánchez Caballero, E-learning para todos. En: No Solo Usabilidad, nº 9.
ISSN 1886-8592, 2010.
S. Baldiris, O.C. Santos, C. Barrera, J.G. Boticario, J. Velez, R. Fabregat.
“Integration of educational specifications and standards to support adaptive
learning scenarios in ADAPTAPlan”. International Journal of Computer
Science and Applications (IJCSA). Special Issue on New Trends on AI
techniques for Educational Technologies, Technomathematics Research
Foundation, Volume 5,1, New Delhy, p.88-107, 2008.
237
Una experiencia de evaluación de diseños de materiales
educativos multimedia en Educación Primaria
Óscar Navarro1; Ana-Isabel Molina-Díaz2; MiguelLacruz3
1
Equipo de Orientación
CEIP San José de Calasanz
Tomelloso, España
[email protected]
2
Dep.Tecnologías y Sistema de la Inf.
E.S. de Informática de Ciudad Real
Universidad de Castilla-La Mancha
Ciudad Real, España
[email protected]
3
Departamento de Pedagogía
Facultad de Educación
Universidad de Castilla-La Mancha
Ciudad Real, España
[email protected]
Resumen: La presencia, cada vez mayor, de medios y materiales
multimedia en el proceso de enseñanza y aprendizaje de los
alumnos, demanda prestar una mayor atención al diseño y
elaboración de los mismos. En este trabajo se pretende analizar y
evaluar distintos formatos de presentación de contenidos
multimedia destinados a alumnos de Educación Primaria. El
objetivo final es proporcionar una serie de pautas de diseño
(guidelines) a la hora de elaborar este tipo de recursos. Para ello se
realizaron tres experimentos en los que se utiliza la técnica de
seguimiento ocular (eye tracking), se comparan dos formatos
distintos de presentación y se testea cual es la configuración más
adecuada. Una vez analizada la información recopilada en los tres
estudios, se ha podido concluir que se produce una mayor eficiencia
en el aprendizaje cuando las estructuras que se usan son menos
complejas, evitando distractores que no aportan información
relevante y perjudican en mayor o menor medida el proceso de
aprendizaje del alumno.
Palabras Clave: materiales multimedia; eye tracking; evaluación;
estudios empíricos; pautas de diseño
I. INTRODUCCIÓN
El importante desarrollo tecnológico producido en las
últimas décadas ha provocado un gran avance en todos los
ámbitos. En Educación, cada vez es más habitual la utilización
de materiales y recursos multimedia como elementos
indispensables integrados en el proceso de enseñanza y
aprendizaje del alumno. La incorporación de elementos como las
pizarras digitales, netbooks o internet en nuestra actividad
docente exige una mejora en la elaboración de recursos y
materiales multimedia. Las líneas de trabajo futuro en el ámbito
educativo se encaminan hacia una transición desde los
materiales educativos tradicionales (libros de texto) a la
incorporación de nuevos soportes, como los libros digitales u
otros materiales en formato electrónico [1].
Nuestro interés se centra en evaluar distintas configuraciones
y formatos de presentación de los materiales y recursos
educativos que resulten eficientes y efectivos en el proceso de
enseñanza, centrándonos, en particular, en la etapa de Educación
Primaria. Para ello se han realizado tres experimentos para
conocer la reacción, por parte de los niños, ante la aparición de
elementos distractores que pueden aparecer en una presentación
multimedia. Dicha experiencia de evaluación pretende servir de
base para la posterior definición de una serie de pautas de diseño
de materiales educativos multimedia.
En estos estudios se incluye la utilización de la técnica de
seguimiento ocular (en inglés, eye tracking) [2]. Dicha técnica
permite grabar fijaciones (puntos de estabilización de la mirada)
que realiza un individuo al visualizar un contenido mostrado en
pantalla. A partir de dichas fijaciones se pueden calcular una
serie de métricas entre las que destacamos el número de
fijaciones y el tiempo hasta la primera fijación en una
determinada parte de la pantalla (a la que llamamos área de
interés, AOI), el número de fijaciones y el tiempo total de todas
las fijaciones realizadas. Las AOIs son las partes de la pantalla
que contienen la información más relevante en las imágenes y
textos visualizados. A partir de AOIs, obtendremos distintas
239
Ó. Navarro; A.I. Molina; M. Lacruz - Una experiencia de evaluación de diseños de materiales educativos multimedia en Educación Primaria
métricas que permitirán evaluar y comparar distintas
configuraciones de los materiales mostrados. Esta técnica se ha
utilizado en distintos ámbitos, entre los que destacan la
publicidad y la evaluación de interfaces de usuario y páginas
web. En el campo educativo se han realizado menos estudios
[4], aunque parece crecer el interés en esta línea de trabajo. La
mayoría de investigaciones existentes se centran en las etapas de
Educación Secundaria y Universitaria. En los últimos años,
aunque en menor proporción, podemos encontrar trabajos
realizados con alumnos de Educación Primaria e incluso de
varios meses de vida [3,4,5].
Podemos encontrar varios trabajos en los que se hace
referencia a los principios de aprendizaje multimedia de Richard
Mayer [6,7,8,4]. En los estudios realizados y descritos en este
artículo, nos centraremos en evaluar, en particular, tres de los
principios formulados por este autor. El Principio de la
Señalización (Signaling Principle) hace referencia a que los
alumnos realizan un mejor aprendizaje cuando se añaden señales
que resaltan la organización de los elementos más relevantes. El
Principio de Coherencia (Coherence Principle), que plantea que
los alumnos aprenden mejor cuando las palabras, imágenes y
sonidos superfluos son excluidos de las presentaciones. Por
último, el Principio de Redundancia (Redundancy Principle),
indica que cuando se hace uso de distintos canales de
información a la vez, se puede producir incremento de la carga
cognitiva, lo cual no beneficia al proceso de aprendizaje. Los
estudios realizados también se pueden relacionar con las Leyes
de la Gestalt, concretamente el principio de simplicidad, que
expone que los elementos tienden a percibirse del modo más
simple que permitan las condiciones dadas [9].
Podemos encontrar diversos estudios que afirman que la
información redundante distrae la atención de los estudiantes
universitarios, dificultando su aprendizaje e influyendo en su
rendimiento académico [10,11]. También encontramos algunos
trabajos que valoran la inclusión de sonidos (audio) para
favorecer la asimilación de contenidos por parte de los alumnos,
más si cabe con edades como las consideradas en este trabajo (7
a 11 años). Hay estudios que tratan la adquisición de
conocimiento a través de múltiples canales, en los que se ha
utilizado la descripción mediante archivos de audio con alumnos
de edad similar [12] e incluso la sustitución de textos escritos
por otros hablados para contrastar su eficacia [13,14]. La
evaluación de materiales con presencia (conjunta o separada) de
textos e imágenes para mejorar el proceso de aprendizaje,
también ha sido estudiada mediante técnicas de seguimiento
ocular, desde estudios de Richard Mayer con un carácter más
teórico [7,8], hasta otros que corroboran dicho principios con
alumnos de etapas educativas similares [3], posteriores [15,16],
e incluso con preescolares [17].
Otro de los elementos en los que se centra esta investigación
es el uso del color. Según algunos autores que profundizan sobre
240
la usabilidad, en una presentación multimedia es importante la
utilización de colores que se diferencien claramente, que hagan
un contraste alto para poder distinguirlos por saturación, brillo y
tono [9,18]. En el caso de materiales dirigidos a niños se
recomiendan colores primarios y cálidos [19]. Podemos
encontrar otros estudios (con adultos) que emplean técnicas de
seguimiento ocular que analizan las posibilidades del uso del
color para que favorezcan la búsqueda de información relevante
a partir de texto y/o ilustraciones [2,20].
II. ESTUDIO EMPÍRICO
La presente investigación se llevó a cabo en el C.P San José
de Calasanz de Tomelloso (Ciudad Real). La dirección del
centro y los tutores del segundo nivel del primer ciclo de
Educación Primaria (2º) y del segundo nivel del tercer ciclo (6º)
colaboraron en estas prácticas. Se escogieron estos dos cursos ya
que constituyen dos momentos evolutivos muy representativos
de la Educación Primaria con diferencias psicoevolutivas y de
desarrollo muy marcadas, que no están tan delimitadas en otros
niveles. Se ha evitado el primer curso de esta etapa, dado que las
destrezas lingüísticas pueden presentar mucha diversidad,
mientras que en segundo hay más uniformidad al respecto.
En este trabajo se pretende analizar y valorar la presentación
de contenidos multimedia en distintos formatos con alumnos de
la etapa de Educación Primaria. Las hipótesis generales que se
pretenden contrastar son:
H0: No se producirá una mayor eficiencia en la retención de
contenidos si éstos se presentan con ausencia de elementos
disruptivos y distractores.
H1: Se producirá una mayor eficiencia en la retención de
contenidos si éstos se presentan con ausencia de elementos
disruptivos y distractores.
El planteamiento metodológico experimental es muy similar
en los tres estudios. Se va a realizar una breve descripción del
esquema común seguido en los tres experimentos, para a
continuación explicar de forma individual los aspectos más
específicos de cada uno.
A. Participantes
Los participantes fueron 49 alumnos de Educación Primaria,
25 del segundo nivel del primer ciclo (M = 7.55, SD = 0.29) y
24 del segundo nivel del tercer ciclo (M = 11.72, SD = 0.41),
todos españoles o hijos de inmigrantes escolarizados desde la
etapa de Educación Infantil.
Se realizó una prueba piloto con 8 alumnos, para ajustar los
tiempos de las presentaciones, y así conseguir que éstas tuvieran
la duración adecuada. Asimismo se hicieron varias pruebas de
calibración del dispositivo de seguimiento ocular (eye tracker)
con alumnos del segundo curso de Educación Primaria, ya que
generalmente estos alumnos presentan una atención más
dispersa.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Ó. Navarro; A.I. Molina; M. Lacruz - Una experiencia de evaluación de diseños de materiales educativos multimedia en Educación Primaria
B. Material educativo
Para la formación de los grupos se cumplimentaron el Test
de Felder, que permite identificar el estilo de aprendizaje, [21] y
el Test Breve de Kaufman (K-Bit) [22], que permite conocer el
Cociente Intelectual. Posteriormente se utilizó un cuestionario
con preguntas abiertas sobre los conocimientos previos de los
alumnos.
Los materiales presentados a los alumnos se componían de
presentaciones con imágenes, texto y sonido elaborados con
distinto software (Adobe Flash CS5, PowerPoint 2007, Gimp,
Sound Forge 8.0b y Tobii Studio 3.0.5.301). En función de cada
experimento e hipótesis a contrastar se confeccionaron
materiales en distintos formatos, en los que se incluyen textos y
narración oral en español e imágenes.
cumplimentaron las 44 preguntas, adaptando el lenguaje a la
edad de los alumnos, y dando las explicaciones pertinentes en el
caso de que algún alumno no comprendiera correctamente la
pregunta.
El objetivo consiste en establecer dos muestras homogéneas
a partir de estas dos pruebas realizadas (K-BIT y Test de Felder)
para cada uno de los cursos seleccionados (2º y 6º). A partir de
estas dos muestras se establece un Grupo Experimental en el que
se aplican formatos con presencia de elementos distractores y un
Grupo de Control con ausencia de dichos elementos. Más
adelante se hace referencia a los Grupos 1 y 2 y se especifica si
corresponden al Grupo de Control o Experimental.
Al finalizar la visualización, los participantes completaron
una actividad con la que se pretendía conocer el nivel de
asimilación de los contenidos mostrados. Dichos contenidos
están enmarcados en el anexo II del Real Decreto 1513/2006, de
7 de diciembre, por el que se establecen las enseñanzas mínimas
de la Educación Primaria. Concretamente los contenidos
pertenecen al bloque de contenidos número tres del área de
Matemáticas (Geometría), en el que se hace referencia a “la
identificación y descripción de las formas planas, sus elementos,
así como la situación en el plano de ángulos y giros, y el
reconocimiento de regularidades y simetrías” [23]. Se pueden
encontrar otros estudios centrados en el área de Matemáticas
[1,24], incluso alguno hace referencia expresa a las figuras
geométricas [2].
C. Equipamiento y espacios utilizados
Esta experiencia se realizó en cuatro dependencias del centro
educativo. Para el seguimiento ocular se utilizó un dispositivo
Tobii modelo X60, que requiere un software específico, Tobii
Studio 3.0.5.301, necesario para la calibración, el diseño de la
presentación, la recogida de datos y el posterior cálculo de las
distintas métricas.
D. Diseño experimental
Podemos observar en la Figura 1 un gráfico en el que se
detalla el proceso seguido en la primera de las experiencias
realizadas. Sin embargo el esquema utilizado es muy similar en
los tres experimentos.
En primer lugar se realizó el proceso de muestreo, en el cual
se ha utilizado el método de Muestreo por Cuotas [25], dado que
conocemos a los individuos de la población. Las características a
partir de las cuales se realiza dicho proceso son el cociente
intelectual y el estilo de aprendizaje. El primero se precisó a
través del Test Breve de Kaufman (K-BIT). Se realizó
individualmente, con una duración aproximada de quince
minutos. Permite la medida diferenciada de la inteligencia verbal
y no verbal, muy útil en el ámbito clínico y escolar. Respecto al
estilo de aprendizaje, se aplicó el Test de Felder en grupo. Se
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 1. Diseño del experimento 1.
Posteriormente, y ya de forma individual, los alumnos
realizaron un cuestionario de conocimientos previos sobre los
contenidos que iban a visualizar. Dicho cuestionario, como en
otras prácticas similares [3], consistió en preguntas abiertas en
las que tenían que dibujar y escribir sus conocimientos sobre los
contenidos que presentaron. Al finalizar dicho cuestionario
comenzó la fase de calibración del eye tracker, resultando ésta
muy favorable en prácticamente todos los casos, obteniéndose
medidas de calidad del muestreo superiores al 90%. Después de
calibrar se comenzó la presentación de contenidos en el monitor.
Una vez finalizada la presentación de contenidos, el alumno
cumplimentó el post-test, para evaluar los conocimientos
adquiridos durante la fase de visualización. Las actividades
propuestas tienen la misma estructura y características que las
realizadas en el centro educativo y que están acostumbrados.
Antes de presentar los materiales a los alumnos se dieron las
indicaciones necesarias, siempre en el mismo orden, con un
lenguaje y explicaciones sencillas y más claras para los alumnos
de 2º, dado que su desarrollo evolutivo requiere un trato distinto
que el dado a los niños y niñas de 6º curso.
241
Ó. Navarro; A.I. Molina; M. Lacruz - Una experiencia de evaluación de diseños de materiales educativos multimedia en Educación Primaria
Por último, en la Figura 1 podemos ver las variables
dependientes e independientes que intervienen en la
investigación. En los tres experimentos aparecen las mismas,
excepto una, que en el primer experimento es el color, en el
segundo la inclusión de texto redundante y en el tercero la
aparición de elementos disruptivos.
II.1 Experimento 1
Esta primera práctica se
centra en la evaluación del
uso del color en la
presentación de imágenes y
texto. El Grupo Experimental
(Grupo 2) visualizó una
imagen en color, en la que se
hizo uso de combinaciones
que hacen buen contraste, lo
cual favorece la percepción y
visualización
de
los
contenidos por parte del
alumno [9,18]. Se usan
colores primarios y cálidos,
más recomendables al crear Fig. 2. Post-test (Pt) y Tiempo Total (T).
contenidos dirigidos a niños,
frente a los tonos pastel,
como los presentados para el Grupo de Control (Grupo 1) [19].
Tal y como se comentó anteriormente, y basándonos en la
bibliografía de Richard Mayer, se tiene en cuenta el Principio de
la Señalización (Signaling Principle) que hace referencia a la
necesidad de agregar señales que resalten la organización de
elementos relevantes. Tenderemos a plantear situaciones que
tiendan a la sencillez y claridad para favorecer dicho aprendizaje
(principio de simplicidad Gestalt).
La hipótesis nula y la hipótesis alternativa que se pretenden
testear en éste primer estudio son las siguientes:
H0: No se producirá una mayor eficiencia en la retención de
contenidos si se incluye codificación con colores que hacen buen
contraste.
H1: Se producirá una mayor eficiencia en la retención de
contenidos si se incluye codificación con colores que hacen buen
contraste.
El bloque de contenidos al que se refieren los materiales
mostrados en ambos niveles es el mismo, “Interpretación y
representación de las formas y la situación en el espacio”. Sin
embargo, dichos contenidos tienen distinta naturaleza debido a
problemas que surgieron en la recogida de datos para el nivel de
6º de Educación Primaria y hubo que sustituir la presentación
elaborada en un primer momento.
242
II.2 Experimento 2
Para la segunda práctica
variaba la inclusión de texto
en la presentación. En ambos
casos se incorpora una
narración
oral
(audio)
idéntica. Para el Grupo
Experimental (Grupo 2)
únicamente
aparecen
imágenes y narración oral.
En cambio, para el Grupo de
Control (Grupo 1) se añade
otro elementro extra, un
texto escrito que repite las Fig. 3. Post-test (Pt) y Tiempo Total (T).
mismas palabras que la
grabación de audio.
Recurriendo otra vez a la bibliografía de Richard Mayer,
tendremos en cuenta el principio de la Redundancia
(Redundancy Principle). Según dicho principio la utilización de
imágenes y narración oral (audio), favorecerá más el aprendizaje
que si además se incluye texto escrito.
La hipótesis nula y la hipótesis alternativa que se pretenden
testear en este estudio son las siguientes:
H0: No se producirá una mayor eficiencia en la retención de
contenidos si éstos se presentan con imágenes y narración oral,
en vez de imágenes, narración oral y texto escrito.
H1: Se producirá una mayor eficiencia en la retención de
contenidos si éstos se presentan con imágenes y narración oral,
en vez de imágenes, narración oral y texto escrito.
Los contenidos trabajados son los mismos en ambos cursos,
pero con un nivel de complejidad distinto. En 2º se usan
imágenes y textos de mayor
tamaño, mientras que en 6º
se utilizan textos más
amplios y con letra más
pequeña, dado que han
cursado cuatro cursos más
en la etapa de Primaria y
han desarrollado más las
destrezas lingüísticas.
II.3 Experimento 3
En esta práctica se
incluye como variable la
aparición de elementos Fig. 4. Post-test (Pt) y Tiempo Total (T).
extraños, como imágenes
superfluas en el borde y
sonidos cada vez que aparece la siguiente diapositiva. Para el
Grupo Experimental (Grupo 1) aparecen estas imágenes
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Ó. Navarro; A.I. Molina; M. Lacruz - Una experiencia de evaluación de diseños de materiales educativos multimedia en Educación Primaria
superfluas, mientras que no es así para el Grupo de Control
(Grupo 2).
Según el principio de Coherencia (Coherence Principle),
que expone que una presentación multimedia favorecerá el
aprendizaje si se evita la aparición de elementos extraños.
Igualmente, también señalaremos el principio de simplicidad de
la Gestalt, y como en los casos anteriores se tenderá a buscar
formas simples, sin elementos disruptivos que puedan
distorsionar o desviar la atención, como los sonidos o imágenes
que no aportan información nueva en los bordes de la
diapositiva.
La hipótesis nula y la hipótesis alternativa que se pretenden
testear en este último estudio son las siguientes:
H0: No se producirá una mayor eficiencia en la retención de
contenidos si éstos se presentan sin elementos disruptivos, en
vez de aparecer con imágenes y sonidos superfluos.
H1: Se producirá una mayor eficiencia en la retención de
contenidos si éstos se presentan sin elementos disruptivos, en
vez de aparecer con imágenes y sonidos superfluos.
III. RESULTADOS
En la Figura 2 podemos ver los resultados del post-test y el
tiempo total de visualización de los contenidos para cada uno de
los grupos en el Experimento 1. El Grupo 1 representa a los
alumnos que visualizan las figuras que se distinguen con más
dificultad, frente a los del Grupo 2 para los que hemos usado la
codificación con colores que hacen mejor contraste. Se puede
observar que la puntuación del post-test es mayor para el Grupo
2 en los dos niveles, pero además se consigue en menos tiempo,
pues la duración de la visualización por parte del alumno es
mayor en el Grupo 2. Utilizando el valor calculado por la t de
Student para el post-test de 2º curso, con un nivel de
significación de 0,05, obtenemos un valor de t=1,92 (p=0,037),
mayor que el valor crítico. Por tanto, encontramos diferencias
significativas entre las muestras del Grupo 1 y Grupo 2 y
podemos afirmar que para el Grupo 2 la puntuación en el posttest es significativamente mayor. En cambio, en relación al
tiempo de duración de la presentación, el valor de t=0,88
(p=0,39) es menor que el valor crítico y no podemos considerar
que haya diferencias significativas entre ambos grupos.
Respecto a las métricas proporcionadas por el eye tracker,
nos centraremos en cuatro para cada AOI (nº y tiempo hasta la
primera fijación, nº y tiempo total de todas las fijaciones). Se
realiza antes la fijación en las AOI en el caso del Grupo 2
(t=2,29, p=0,017). Además, también comprobamos que el
tiempo total de visualización, calculado a partir del tiempo total
de las fijaciones generadas, de las AOI (t=1,98, p=0,032) y el
número de fijaciones (t=1,84, p=0,043) es menor para el Grupo
2, aunque el menor tiempo y número de fijaciones permiten
obtener mayor puntuación en post-test.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
En cuanto a los alumnos de 6º curso, y tal y como se puede ver
en la Figura 2, los resultados son similares a los obtenidos por
los alumnos de 2º: una mayor puntuación en menos tiempo para
el Grupo 2. Sin embargo, no encontramos diferen-cias
significativas para los resultados del post-test (t=0,91 y p=0,19).
No sucede así para el tiempo de visualización, donde
encontramos diferencias significativas con t=1,73 y p=0,05.
Respecto al tiempo hasta la primera fijación, no se puede afirmar
que haya diferencias significativas al obtener valores inferiores
al valor crítico. En cambio, igual que para 2º, el tiempo total de
visualización (t=2,098 y p=0,024) y el nº total de fijaciones
(t=2,03 y p=0,028) en las AOIs sí establecen valores para
afirmar que hay diferencias significativas. El Grupo 2 visualiza
las AOIs durante menos tiempo y menos veces.
En el Experimento 2 se visualiza por parte de los alumnos
una presentación con imágenes y narración oral, incluyendo
texto extra escrito en el caso del Grupo 1. Se observa claramente
en la Figura 3 que los resultados del post-test en ambos grupos
son muy similares. Donde se detectan claras diferencias, en un
principio, es en la duración total de las fijaciones generadas. En
los dos grupos, 2º y 6º, encontramos diferencias significativas en
las mismas métricas. En primer lugar haremos referencia al
tiempo total para 2º curso, donde aparece un tiempo bas-tante
menor para el Grupo 2, con un valor de t=2,82 (p=0,007). De
igual forma para 6º, el tiempo de duración total del Grupo 2 es
menor aunque con menos dife-rencia, el valor de t=1,79
(p=0,045). En cuanto a las métricas del eye tracker, podemos
afirmar que se visualiza antes, con bastante diferencia, las AOIs
en el caso del grupo 2, pues se obtienen unos valores
significativamente mayores para el grupo 1 en el tiempo que
transcurre hasta la primera fijación (t=3,99 y 0,001 para 2º,
t=3,67 y 0,001 para 6º), así como en el número de fijaciones
hasta la primera fijación en la AOI (t=3,75 y 0,002 para 2º,
t=4,67 y p<0,001 para 6º). También encontramos diferencias
significativas en el tiempo total de visualización por parte del
alumno (t=3,97 y p<0,001 para 2º, t=4,43 y p<0,001 para 6º) y
en el número de fijaciones (t=5,73 y p<0,001 para 2º, t=5,70 y
p<0,001 para 6º), manteniendo la mirada durante menos tiempo
en el caso del Grupo 2, y generando un número menor de
fijaciones.
Por último, en el caso de los materiales mostrados en el
Experimento 3, se muestran algunos elementos extraños que
incomodan la percepción de los niños y niñas (Grupo 2). Cada
vez que aparece una nueva diapositiva se escuchan sonidos
superfluos y se visualizan imágenes innecesarias en los bordes
que pueden distraer su atención. En esta práctica es en la que
más diferencia encontramos entre los dos cursos. Según se
puede observar en la Figura 4, el tiempo total de visualización es
menor para el Grupo 1 en ambos casos y la puntuación del posttest es muy similar para 2º curso y mayor en el Grupo 1 para 6º.
Comentaremos en primer lugar que para 2º no podemos concluir
243
Ó. Navarro; A.I. Molina; M. Lacruz - Una experiencia de evaluación de diseños de materiales educativos multimedia en Educación Primaria
que encontramos diferencias significativas ni en los resultados
del post-test (t=0,072 y p=0,47) ni en la duración total de la
visualización (t=0,60 y p=0,28). Sí podemos afirmar que los
alumnos fijan antes su atención en las AOIs en el caso del Grupo
1, si consideramos tanto el tiempo hasta la primera fijación
(t=4,15 y p<0,001) como el número de fijaciones (t=4,01 y
p<0,001) antes de señalar la mirada en un AOI. En cambio, en el
caso de los alumnos 6º, sí encontramos diferencias significativas
en el resultado del post-test (t=1,95 y p=0,035), aunque no en el
tiempo (t=1,32 y p=0,10). Atendiendo a las métricas del eye
tracker, e igual que con los alumnos de 2º, observamos que la
mirada se dirige mucho antes a las AOIs en el caso del Grupo 1,
y lo observamos tanto en el tiempo hasta la primera fijación
(t=6,33 y p<0,001) como en el número de fijaciones (t=7,25 y
p<0,001). Pero además es menor el tiempo total de fijación en
las AOIs (t=2 y p=0,031) y se efectúa un menor número de
fijaciones en el Grupo 1 (t=2,4 y p=0,014).
IV.
DISCUSIÓN
Analizando los valores obtenidos para 2º y 6º en el
experimento 1, con un nivel de significación de 0,05, podemos
afirmar que no aceptamos la hipótesis nula y sí la hipótesis
alternativa para ambos niveles educativos, lo cual indica que se
da una mayor eficiencia en la asimilación de los contenidos
cuando se incluye codificación con colores que hacen mejor
contraste en el formato de visualización y se favorece la
percepción visual de los principales elementos que se muestran.
En ambos casos (2º y 6º) se obtiene una mayor puntuación en el
post-test en un tiempo menor. Esta eficiencia también se refleja
en las métricas proporcionadas por el eye tracker, dado que se
visualizan las AOI durante menos tiempo y menos veces,
ofreciendo resultados favorables para el Grupo Experimental
(Grupo 2). Además, en el caso de 2º curso podemos concluir que
se realiza en menos tiempo la 1ª visualización en un AOI.
En el experimento 2 también aceptamos la hipótesis
alternativa, confirmando que se produce mayor eficiencia en la
retención de los contenidos educativos si se presentan con
imágenes y narración oral en vez de imágenes, narración oral y
texto escrito extra en pantalla. La puntuación del post-test es
muy similar pero en menos tiempo total. Además la mirada se
dirige mucho antes hacia las AOIs en el caso de alumnos del
Grupo Experimental (Grupo 2). Igualmente, en este grupo se
realizan menos fijaciones en las AOIs, en menos tiempo, tanto
para el curso de 2º como el de 6º.
Para el experimento 3, se valida la hipótesis alternativa
únicamente en el caso de 6º curso. Se produce una mayor
eficiencia en el aprendizaje al obtener mayor puntuación del
post-test en un tiempo similar. Por tanto, se favorece la
asimilación de contenidos multimedia cuando no aparecen
imágenes y sonidos superfluos que perjudican la atención. Sin
embargo, para 2º no podemos afirmar que exista una diferencia
244
significativa. Sí podemos determinar que la fijación en las AOI
se realiza antes en ambos casos, además de menos fijaciones y
menos duración total en dichas áreas.
En la mayoría de los casos, la aparición de elementos
distractores, ya sea con colorido no adecuado, exposición de
texto innecesario o aparición de imágenes o sonidos superfluos,
perjudica la asimilación de contenidos y materiales multimedia,
reduciéndose así su eficiencia. Además, se observa una
tendencia clara a fijar la mirada un menor número de veces y
antes en las áreas que contienen los elementos clave (AOIs)
cuando no aparecen estos elementos distractores. La duración
total de fijaciones de los contenidos es menor en el Grupo
Experimental, aunque de una duración suficiente como para
asimilar los contenidos.
V.
CONCLUSIONES Y TRABAJO FUTURO
Los resultados obtenidos están en consonancia con los de
estudios existentes (ya mencionados), y que analizan los efectos
de inclusión de elementos superfluos o redundantes que
perjudican la visualización por parte del alumno. Se corroboran
los principios de Mayer y otros autores al respecto. Sin embargo
en este trabajo la muestra empleada ha sido con alumnos de
Educación Primaria (entre 6 y 12 años). Apenas hay
investigaciones realizadas en esta etapa educativa, frente a
enseñanza secundaria o universitaria.
Teniendo en cuenta los resultados obtenidos, se puede
empezar a perfilar algunas pautas de diseño y elaboración de
materiales educativos multimedia para la Educación Primaria;
teniendo en cuenta que dichas recomendaciones han sido
probadas y, además, de forma objetiva (mediante el dispositivo
eye tracker). Estas pautas son:
• Se recomienda utilizar con todos los alumnos colores cálidos
y primarios, frente a los tonos pastel (no aconsejables), que
hagan un buen contraste y permitan diferenciar imágenes y
textos.
• Se debe evitar la inclusión de texto escrito redundante o
repetitivo, especialmente con alumnos de menor edad. Los
mayores muestran resultados similares aunque le dedican
algo menos de tiempo.
• Se recomienda evitar la inclusión de elementos extraños,
como sonidos superfluos o imágenes innecesarias alrededor
de las imágenes, principalmente en los cursos mayores, dado
que en estas edades prestan mayor atención a estos
elementos. Los alumnos de menor edad obtienen resultados
muy similares.
En futuras líneas de investigación nos planteamos estudiar
cómo influye en la presentación de contenidos multimedia la
aparición de otros distractores, tales como los elementos
emergentes o la posición de las AOIs en pantalla.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Ó. Navarro; A.I. Molina; M. Lacruz - Una experiencia de evaluación de diseños de materiales educativos multimedia en Educación Primaria
VI.
AGRADECIMIENTOS
Los autores quieren agradecer al Grupo CHICO de la UCLM
por facilitar el uso del dispositivo Tobii X60, así como a la
dirección, tutores y alumnos de 2º y 6º curso de Educación
Primaria del CEIP San José de Calasanz por haber participado
en la realización de dichos experimentos.
VII.
REFERENCIAS
[1]
Andrà C., Arzarello F., Ferrara F., Holmqvist K., Lindström P., Robutti O.,
Sabena C., “How students read mathematical representa-tions: an eye
tracking study”, Proceedings of the 33rd Conference of the Intern.Group
Psyc. of Math. Educ., Vol. 2, pp. 49-56, 2009.
[2] García-Hernández C., “Eye Tracking technology applied to the design of
safety and health signs at work”, ORP, A Coruña, 2008.
[3] Mason L., Tornatora M.C., Pluchino P., “Do fourth graders integrate text
and picture in processing and learning from an illustrated science text?
Evidence from eye-movements patterns”, Computers and Education, Vol.
60, pp. 95-109, 2013. .
[4] Mayer, R.E., “Unique contributions of eye-tracking research to the study of
learning with grafics”, Learning and Instruction, Vol. 20, pp. 167-171,
2010. .
[5] Sim G., Cassidy B., Read J.C., “Understanding the fidelity effect when
evaluating games with children”, Proceedings of the 12th Int. Conference
on Interaction Design and Children, pp. 193-200, 2013.
[6] Mayer R.E., “The Cambridge handbook of multimedia learning”,
Cambridge University Press, 2005.
[7] Mayer R.E., “The promise of multimedia learning: using the same
instructional design methods across different media”, Learning and
Instruction, Vol. 13, pp. 125-139, 2003.
[8] Mayer R.E.,“Multimedia aids to problem-solving transfer”, Interna-tional
Journal of Educational Research, Vol. 31, pp. 611-623, 1999.
[9] Ware C., "Visual thinking for design", Burlington: Morgan Kaufmann, pp.
65-85, 2008.
[10] Liu H., Lai M., Chuang H., “Using Eye-tracking technology to investigate
the redundant effect of multimedia web page son viewers’ cognitive
processes”, Computers in Human Behavior, Vol. 27, pp. 2410-2417, 2011.
[11] Van Gog T., Jarodzka H., Scheiter K., Gerjets P., Paas F., “Attention
guidance during example study via the model’s eye movements”,
Computers in Human Behavior, Vol. 25, pp. 785-791, 2009.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[12] Krejtz I., Szarkowska A., Krejtz D., Walczak A., Duchowski A., “Audio
description as an aural guide of children’s visual attention: evidence from
an Eye-tracking study”, Proceedings of the Sympo-sium on Eye Tracking
Research and Applications, pp. 99-106, 2012.
[13] Van Gog T., Scheiter K., “Eye tracking as a tool to study and enhance
multimedia learning”, Learning & Instruction,Vol.20, pp.95-99, 2010.
[14] Wiebe E.N. Anneta L.A., “Animation and narration: using Eye Tracking to
understand visual attention distribution”, Annual meeting of the American
Educational Research Association, Chicago, 2007.
[15] Mason L., Pluchino P., Tornatora M.C., N. Ariasi, “An Eye-tracking study
of learning from science text with concrete and abstract illustrations”, The
Journal of Experimental Education, Vol. 81, pp. 356-384, 2013.
[16] Yang, F., Chang, C., Chien, W., Chien, Y., Tseng, Y., “Tracking learners’
visual attention during a multimedia presentation in a real classroom”,
Computers and Education, Vol. 62, pp. 208-220, 2012.
[17] Evans M.A., Saint-Aubin J., “What children are looking at during shared
storybook reading: evidence from eye movement monitoring”,
Psychological Science, Vol. 16, pp. 913-920, 2005.
[18] Johnson, J., “Designing with the mind in mind: simple guide to
understanding user interface design rules”, Morgan Kaufmann, pp. 53-63,
2010.
[19] Romero, G., “Pautas de Diseño de Interfaces Gráficas Basadas en el
Modelo de Aprendizaje S.O.I., Plataformas: Microsoft, Linux.”, Docencia
Universitaria, Vol. IV, pp. 71, 2003.
[20] Ozcelik E., Karakus T., Kursun E., Cagiltay K., “An Eye-tracking study of
how color coding affects multimedia learning”, Computers and Education,
Vol. 53, pp. 445-453, 2009.
[21] Felder, R.M., Silverman, L.K., “Learning and Teaching Styles in
Engineering Education Application”, Engr. Education, Vol. 78, pp. 674681, 1988.
[22] Kaufman, A.S., Kaufman, N.L., “K-BIT: test breve de inteligencia de
Kaufman”, Tea, 2000.
[23] Real Decreto 1513/2006, de 7 de diciembre, por el que se establecen las
enseñanzas mínimas de la Educación primaria.
[24] Moreno R., Durán R., “Do multiple representations need explanations? The
role of verbal guidance and individual differences in multimedia
mathematics learning”, Journal of Educational Psychology, Vol. 96, pp.
492-503, 2004.
[25] Kish, L., “Muestreo de Encuestas”, Trillas, México, 1975.
245
Inferring the Student’s state in the absence of the
Teacher
Sérgio Gonçalves1; Davide Carneiro2; Javier Alfonso-Cendón3; Florentino Fdez-Riverola1; Paulo Novais2
1
Informatics Department
University of Vigo
Ourense, Spain
[email protected], [email protected]
2
CCTC / Department of Informatics
University of Minho
Braga, Portugal
[email protected], [email protected]
3
Department of Mechanical, Computing and Aerospace Engineering
University of Leon
Leon, Spain
[email protected]
Abstract— Traditionally, the Teacher-Student relationship is a
close one. The student spends several hours of a day in the presence
of the teacher and can talk, express doubts and pose questions.
These doubts, or the general feeling towards the object of learning,
are not only expressed explicitly but also implicitly. Indeed, the
teacher is constantly, even if in an unconscious way, reading the
state of the student in search for sings of doubt, frustration, stress
or fatigue. This information is then used by the teacher to adapt
their methods or to personalize their approach in function of each
student. These aspects, intuitively central in education, become less
efficient when learning takes place in a Virtual Environment.
Indeed, the growth of online courses, in which the student and the
teacher often never even meet, make learning more difficult for a
number of reasons. In this paper we analyse these reasons and put
forward an approach for inferring the student’s state that aims to
minimize the effects of the absence of the teacher.
Keywords— Context-awareness, e-Learning, Stress, Fatigue.
I. INTRODUCTION
Traditional teaching processes are characterized by a
proximity between teacher and student. A student has an almost
daily and personal access to the teacher, either inside or outside
the classroom. This has several known advantages: students feel
that they are being accompanied closely, that the teacher "cares",
that they can get help if and when they need it. This results in an
increased motivation from the students. Teachers, on the other
hand, benefit from this proximity by having a constant update on
the state of the students, on their worries, on their feedback
concerning each topic. All this contextual information, much of
it analysed in an unconscious way, allows the teacher to
intuitively assess the students and steer the methodologies and
strategies employed in order to optimize success.
However, when a student attends an electronic course or
makes use of an e-Learning platform, generally called Virtual
Environment (VE) [7] the interaction between student and
teacher, without all these non-verbal interactions [10], is poorer.
Thus, the assessment of the feelings, the state and the attitudes
of the student by the teacher becomes more difficult [4] [3], [9].
In that sense, the use of technological tools for teaching, with the
consequent teacher-student and student-student separation, may
represent a risk as a significant amount of context information is
lost. Since students’ effectiveness and success in learning is
highly related and can be partially explained by their mood
while doing it, such issues should be taken into account when in
an e-Learning environment. In a traditional classroom, the
teacher can detect and even foresee that some negative situation
is about to occur and take measures accordingly to mitigate it.
When in a virtual environment, similar actions are impossible.
With these issues in mind, in this paper we present a novel
approach to assess the state of students on an e-Learning
platform. It is characterized by being non-invasive, personal and
transparent. Our objective is indeed to assess the level of stress
or fatigue of students by analysing their behaviour when using
the e-Learning platform, i.e., their interaction patterns while
using the mouse and the keyboard. For that purpose a total of 12
features are extracted and analysed that fully describe the way
students use these peripherals.
To understand these effects several studies were conducted
with students of the University of Minho and surrounding highschools. These studies consisted in an ongoing collection of
247
S. Gonçalves; D. Carneiro; J. Alfonso; F. Fdez; P. Novais - Inferring the Student’s state in the absence of the Teacher
interaction data while the students performed their tasks
throughout the day (using the computer). Specific events or
constraints were introduced to induce stress and fatigue.
Posterior data analysis allows to understand how these
interaction patterns change in function of changes in the
student’s states. It is our conviction that the provision of
information about the state of the user will allow the teacher to
better manage the learning process, bring teachers and students
closer together despite the distance imposed by the e-Learning
tool.
II. RELATED WORDK
Several authors have looked at the drawbacks of VEs,
especially in what concerns their inability to convey important
contextual information. [1] analysed the influence of five user
characteristics - test anxiety, spatial intelligence, verbal
intelligence, personality and computer experience - on the sense
of presence. Also, [13] deal with the idea of the analysis of the
user’s behaviour and interpretations regarding the cultural
background, using accelerometers to uncover the user’s cultural
background by analysing his/her patterns of gestural expressivity
in a model based on cultural dimensions. [6] describe the
concept of multi-modal interaction as a way to communicate
between humans and computers using more than one modality
or communication channel (e.g., speech, gesture or writing).
Also important is the affective aspect of communication [2], [5]
that plays a very important role in communication. As noted by
[12] affect recognition is most likely to be accurate when it
combines multiple modalities, information about the user’s
context, situation, goal, and preferences.
Stress, fatigue and emotions, in particular, can play an
important (usually negative) role in education [11], [14]. In that
sense, its analysis in an e-Learning environment assumes greater
importance. Generally the assessment of these characteristics is
done either through questionnaires (an easily misleading
approach and certainly not a dynamic one) or through
physiological sensors (very accurate but invasive to the point of
making them impractical in e-Learning).
In [15], the authors studied emotion in users of e-Learning
platforms. They do it using four physiological sensors: hearth
rate, skin conductance, blood volume pressure and EEG
brainwaves. Despite its accuracy, this approach will never result
in a real-life application due to its invasiveness. Other less
invasive approaches also exist. [8] contains an overview of
different applications of the so-called Affective Computing [12]
field in e-Learning. They point out the use of facial expression
and speech recognition as potential ways to detect emotional
states. However, facial recognition requires a dedicated camera
of some quality to be placed in front of the user otherwise it will
be inaccurate. It is thus also invasive. Speech recognition, on the
other hand, is less invasive but is also much more prone to error,
248
being difficult to develop an accurate speech model given that
each individual has his own speech rhythm, tone, pitch or
intonation, aspects that are much cultural-dependent.
III. FROM THE INTERACTION WITH THE COMPUTER TO THE
INFERENCE OF THE STUDENT´S STATE
In this paper we seek to show that a relationship between
certain mental states and the way one interacts with the
computer exists. Specifically, we look at the relationship
between states of stress or fatigue and our use of the mouse and
keyboard. The idea, in itself, is not new: as the previous section
shows, performance measures have been previously used to
ascertain the state of an individual. What is however new is the
use of the mouse and keyboard for acquiring performance
measures, in what constitutes a non-invasive approach for the
problem that can be continuously used throughout the day, for
example in the workplace or in the classroom.
To this end a very simple logger application was developed
that runs in the background collecting system events related to
the mouse and the keyboard. These events allow later to compile
information describing the following features: Key Down Time,
Time Between Keys, Velocity, Acceleration, Time Between
Clicks, Double Click Duration, Average Excess of Distance,
Average Distance of the Mouse to the Straight Line, Distance of
the Mouse to the Straight Line, Signed Sum of Angles, Absolute
Sum of Angles, Distance between clicks. The whole process that
takes place between the collection of the data and the compiling
of the features is described in [16].
IV. PRACTICAL EXPERIMENTS
Two studies were conducted in the area of Braga, Portugal to
assess the feasibility and validity of this approach. In these
studies students were given tasks to carry out in a computer
using an e-Learning tool. Besides this, the previously mentioned
logger application was installed in order to continuously collect
the necessary data. Two types of studies were implemented,
described in the two following sub-sections.
A. Stress
In order to assess the effects of stress on the interaction
patterns with the computer, two scenarios were set up. In
Scenario A, an activity was performed whose main objective
was simply to assess the student’s knowledge on the selected
topics, with no effect on their marks: it was merely a way for the
teacher to evaluate the current state of the students. The activity
was performed without any constraints; the students were simply
requested to answer the questions that were provided on the
Moodle page. In a posterior week, the students were requested to
participate on Scenario B. Under this scenario they had to
perform another activity, now with some constraints. The
students were told by the teacher that this activity would be
effectively used for their evaluation, with an impact on the final
XVI Simposio Internacional de Informática Educativa (SIIE’14)
S. Gonçalves; D. Carneiro; J. Alfonso; F. Fdez; P. Novais - Inferring the Student’s state in the absence of the Teacher
score. Besides this, students were also told that they would have
a time limit to perform the activity. The students were thus given
the notion that they would be responsible for managing their
activity to maximize their score given the time available. The
students were also given personal passwords that they would
have to input in order to start the test, an abnormal occurrence.
While the students were performing the activity, the teacher
insisted regularly on the importance of their performance on
their final score and on the decreasing amount of time available.
This experiment allowed to collect student interaction data
under two different mental states. Six different classes
participated in the study, which resulted in 12 different moments
of data collection: one for each class and for each scenario. The
study involved a total of 74 students, 49 boys and 25 girls, aged
between 13 and 17.
B. Fatigue
Concerning the study of fatigue, the implementation of the
study is slightly different. Rather than comparing two moments
along the day, we wanted to observe the natural onset of fatigue
during the day, as students complete their tasks and the natural
effects of the circadian rhythm settle in. In that sense this study
consisted in the ongoing collection of data throughout the day,
from the morning to the end of the day. With this approach we
can not only determine how much fatigue affects the interaction
patterns of the students during the day but also the influence of
events such as a lunch break. Essentially, we will be looking for
decreases in the performance of the students, not only in terms
of task performance but also in their interaction with the
computer (e.g. slower mouse velocity, longer clickes, etc.). In
this study no specific constraints were used. Students had only to
carry out the tasks they were given in the e-Learning platform.
24 individuals participated in the study (19 male, 5 female) with
their age ranging between 18 and 25.
of two samples of independent observations tends to have larger
values than the other. The null hypothesis is thus: H0 = The
medians of the two distributions are equal. For each two
distributions compared, the test returns a p-value, with a small pvalue suggesting that it is unlikely that H0 is true. For each
feature, the data from the two scenarios is compared. In all the
tests, a value of α = 0:05 is used. Thus, for every Mann-Whitney
test whose p-value < α, the difference is considered to be
statistically significant, i.e., H0 is rejected. In this context, a
significant difference on the distributions of the data of a given
feature between the two scenarios means that the feature is
effectively influenced by stress.
A. Stress
Taking as first example the average time that a key is pressed
down while typing, the main conclusion is that a stressed student
tends to press the keys during a smaller amount of time. While
without stress the mean duration of this feature is of 102.85 ms,
under stress the mean value is of 97.8 ms (Figure 1). This same
trend was observed in 70.5% of the students. This does not
necessarily indicates that the student writes faster when under
stress, only that he spends less time pressing the keys.
V. RESULTS
This section summarizes the main results of these studies.
Given the space limitations, we do not address here all the
features considered. The main result is however clear: stress and
fatigue affect interaction patterns with the computer and allow
for the development of approaches such as the intended one.
The data gathered was analysed in order to determine
statistically significant differences between scenarios A and B,
in the case of stress, and between the beginning and the end of
each data collection period, in the case of fatigue. Measures of
central tendency and variability were calculated for all variables
of interest. Provided that most of the distributions are not
normal, the Mann-Whitney-Wilcoxon Statistical test was used to
test whether there are actual differences between the
distributions of the data for the two scenarios. This test is a nonparametric statistical hypothesis test for assessing whether one
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 1. The time (in milliseconds) during which a key remains down while
typing tends to decrease when students are under stress.
If we consider the distance to the straight line between
clicks, its average value is of 782.03 pixels without stressors,
decreasing to 549.752 pixels when under stressors. 87.1% of the
students behave like this while under stress (Figure 2). The value
of the median also decreases in average from 241.1 pixels to
104.07 pixels, with 80.65% of the students showing a decrease
in its value. These points out that when stressed, students move
their mouse more efficiently.
Evidently, the previous results could be explained by the
time limit, i.e., if the students have a time limit to conclude the
task, it is expected that they speed up. For this reason, the results
concerning the velocity of the mouse came as a surprise. Indeed,
both the velocity and acceleration decrease when under stress,
249
S. Gonçalves; D. Carneiro; J. Alfonso; F. Fdez; P. Novais - Inferring the Student’s state in the absence of the Teacher
which was unexpected. However, if we interpret these results in
the frame of the study they make sense. What we observe is that,
when under stress, students become generally more efficient. A
smaller velocity and acceleration of the mouse is in line with this
trend since it allows a more precise control of the mouse
(increased velocity would mean less efficient control of the
mouse). This explains these findings, in which a decrease in the
mean value of the velocity between each two clicks was
observed in 77.4% of the students, from 0.58% px/ms to 0.49
px/ms (Figure 3). The difference in the median was even more
striking, decreasing in 90.3% of the students, from 0.22 px/ms to
0.189 px/ms. Similarly to acceleration, a large number of
students showed this same tendency. Moreover, significant
statistical differences between the calm and the stressed data
have been observed in 81% of the students.
B. Fatigue
In what concerns fatigue, the expected results were observed,
i.e., a somewhat gradual decrease in the efficiency of the
interaction during the day. This is evidenced, for example when
we observe the data for specific students during the duration of a
day. Figure 4 depicts how the time each key is pressed down
while typing increases from around 87ms at the beginning of the
day, to around 90ms at the end of the day.
Fig. 4. The key down time tends to increase throughout the day (example for
one student).
Figure 5, on the other hand, shows a decrease in the velocity
of the mouse, equally indicating a poorer performance by the
end of the day.
Fig. 2. The students move their mouses more efficiently when under stress
(closer to the straight line between two consecutive clicks).
Fig. 5. The mouse velocity tends to decrease throughout the day (example for
one student).
VI. CONCLUSION AND FUTURE WORK
Fig. 3. Similarly to the acceleration, the value of the velocity of the mouse
decreases with stress.
250
From the results presented after the carrying out of this
research work it is possible to conclude that students’
performance decreases during the day and also that students,
when under stress, tend to behave in a more efficient way,
decreasing the number of unnecessary actions: they are more
focused on their task. The results also point out that: 1) generic
models can be developed that can, to a large extent, shape the
response of students to stress (since generalized trends were
observed); and 2) personalized models should not be disregarded
as responses to stress and fatigue are very individual, with each
student having his own particular response. We also show not
only that stress and fatigue do in fact influence performance in
the interaction with the e-Learning tool but also, and perhaps
more interestingly, that this influence can be quantified in realtime, using non-invasive and non-intrusive approaches. This
undoubtedly opens the door to the development of tools that can
natively incorporate notions of Context-Awareness to either
provide the teacher with information about the state of the
XVI Simposio Internacional de Informática Educativa (SIIE’14)
S. Gonçalves; D. Carneiro; J. Alfonso; F. Fdez; P. Novais - Inferring the Student’s state in the absence of the Teacher
students or, in a more futuristic view, to provide the e-Learning
tool with such information so that it can itself take actions
autonomously towards the improvement of the state of the
student and the efficiency of the learning process.
VII. ACKNOWLEDGMENT
This work is part-funded by ERDF - European Regional
Development Fund through the COMPETE Programme
(operational programme for competitiveness) and by National
Funds through the FCT - Fundação para a Ciência e a
Tecnologia (Portuguese Foundation for Science and
Technology) within project FCOMP-01-0124-FEDER-028980
(PTDC/EEISII/1386/2012). This work is part-funded by
National Funds through the FCT - Fundação para a Ciência e a
Tecnologia (Portuguese Foundation for Science and
Technology) within projects PEst-OE/EEI/UI0752/2011.
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
VIII. REFERENCES
[1]
[2]
[3]
[4]
[5]
I. Alsina-Jurnet, J. Gutiérrez-Maldonado, Influence of personality and
individual abilities on the sense of presence experienced in anxiety
triggering virtual environments. International Journal of Human-Computer
Studies, 68(10):788–801, 2010.
R. Beale, C. Creed, Affective interaction: How emotional agents affect
users. International Journal of Human-Computer Studies, 67(9): 755–776,
2009.
D. Campbell, Explorations into virtual architecture: a HIT Lab gallery.
IEEE Multimedia, 4(1):74–76, 1997.
T.J. Dodds, B.J. Mohler, and H.H. Bülthoff, Talk to the Virtual Hands:
Self-Animated Avatars Improve Communication in Head-Mounted Display
Virtual Environments. PLoS ONE, 6(10):e25759. 2011.
E. Hudlicka, To feel or not to feel: The role of affect in human-computer
interaction. International Journal of Human-Computer Studies, 59(1-2): 1–
32, 2003.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[14]
[15]
[16]
A. Jaimes, and N. Sebe, Multimodal human-computer interaction: A
survey. Computer Vision and Image Understanding, 108(1- 2):116–134,
2007.
J. Blascovich, Immersive Virtual Environment Technology as a
Methodological Tool for Social Psychology, Psychological Inquiry, 13(2):
103–124, 2002.
H. Lin, F. Pan, Y. Wang, S. Lv and S. Sun, Affective Computing in
Elearning, E-learning, InTech, ISBN 978-953-7619-95-4, 118-128, 2010.
L. Marucci, G. Mori, F. Paterno, and F. Costalli, Design Criteria for Usable
Web-Accessible Virtual Environments, Proceedings of the International
Cultural Heritage Informatics Meeting, Pennsylvania: Archives & Museum
Informatics, 2001.
A. Mehrabian, Basic dimensions for a general psychological theory:
Implications for personality, social, environmental, and developmental
studies, Cambridge: Oelgeschlager, Gunn & Hain, 1980.
S. Palmer, C. Cooper, and K. Thomas, Creating a Balance: Managing
Stress, London: British Library, 2003.
Picard, R. W. (2000). Affective Computing. The MIT Press.
M. Rehm, N. Bee and E. André, Wave like an Egyptian: accelerometer
based gesture recognition for culture specific interactions, BCS-HCI’08
Proceedings of the 22nd British HCI Group Annual Conference on People
and Computers: Culture, Creativity, Interaction - Volume 1, pages 13–22,
UK: 2008.
M. Rodrigues, F. Fdez-Riverola, P. Novais, Moodle and Affective
Computing - Knowing Who’s on the Other Side, ECEL-2011 - 10th
European Conference on E-learning, ISBN: 978-1-908272-22-5, pp. 678685, Brighton, UK, 2011.
L. Shen, M. Wang and Ruimin Shen, Affective e-Learning: Using
"Emotional" Data to Improve Learning in Pervasive Learning
Environment, Educational Technology & Society, 12 (2), 176–189.
D. Carneiro, P. Novais, J. Neves, Conflict Resolution and its Context:
From the Analysis of Behavioural Patterns to Efficient Decision-Making.
Law, Governance and Technology Series, vol. 18, 279 pages, 2014,
Springer. ISBN 978-3-319-06238-9.
251
La conexión de ideas: clave en el diseño y uso de
recursos educativos reutilizables.
Experiencia de la puesta en valor y el estímulo a las capacidades creativas y de innovación entre
dos centros educativos
Wilme Rodríguez1
Instituto de Educación Secundaria San Juan de la Rambla
Consejería de Educación, Universidades y Sostenibilidad del Gobierno de Canarias
San Juan de la Rambla (Tenerife), España
[email protected]
Resumen—La creatividad docente, vista como aspecto a
desarrollar en función del contexto social, los objetivos del centro y
el trabajo colaborativo entre personas e instituciones, resulta un
elemento valioso en el diseño, la evaluación y el uso de recursos
educativos reutilizables. En el presente trabajo se describe cómo el
alumnado de un primer curso de grado medio, especialidad de
Sistemas Microinformáticos y Redes de formación profesional,
incorpora en su formación los productos finales de un proyecto
innovador desarrollado en otro centro y en un nivel educativo
previo. La puesta en valor y el estímulo a las capacidades creativas
y de innovación, junto a la colaboración entre docentes, fueron
claves en el proceso.
Palabras clave—creatividad, innovación, recursos educativos,
compartir recursos, reutilización de recursos, formación profesional,
trabajo colaborativo.
I. INTRODUCCIÓN
En un sistema educativo en general y en el sistema educativo
español en particular, la Formación Profesional (FP), tiene por
finalidad preparar al alumnado para que desempeñe la actividad
propia de un campo profesional, facilitar su adaptación a las
modificaciones laborales que puedan producirse a lo largo de su
vida, y contribuir tanto a su desarrollo personal como al ejercicio
de una ciudadanía democrática. Al mismo tiempo, dentro del
marco de la Ley Orgánica para la Mejora de la Calidad
Educativa (LOMCE), la FP persigue la progresión del alumnado
en el sistema educativo y en el sistema de formación profesional
para el empleo, así como el aprendizaje a lo largo de la vida.
Las diversas leyes educativas[1] —LOMCE(2013), LOE
(2006), LOCE(2002), LOGSE(1990), LODE(1985), e incluso la
Ley General de Educación de 1970— hablan de la creatividad
en el proceso del aprendizaje. La LOMCE, en el apartado IV de
su preámbulo, establece que "las habilidades cognitivas, siendo
imprescindibles, no son suficientes; es necesario adquirir desde
edades tempranas competencias transversales, como el
pensamiento crítico, la gestión de la diversidad, la creatividad o
la capacidad de comunicar, y actitudes clave como la confianza
1. Profesor colaborador del Centro de Educación de Personas Adultas
Comarca Nordeste de Tenerife, desde febrero de 1995 hasta junio de 2014.
individual, el entusiasmo, la constancia y la aceptación del
cambio". No obstante, en una sociedad tan abierta, global y
participativa como la actual, que demanda nuevos perfiles de
ciudadanos y trabajadores más sofisticados y diversificados, se
exigen individuos en constante formación cuya fortaleza esté en
la mezcla de competencias y conocimientos diversos. La
creatividad, entendida como esa capacidad de establecer qué
competencias y conocimientos son necesarios en cada etapa de
la vida de una persona, representa un factor clave del
aprendizaje. La creatividad constituye el arte de inventar
posibilidades (Marina, 1993) según el contexto social, los
objetivos del centro, el trabajo colaborativo entre personas e
instituciones, etc.
Por otra parte, la globalización que vive nuestra sociedad y el
impacto de las nuevas tecnologías hacen que el modo en que las
personas aprenden, se comunican, concentran su atención o
abordan una tarea sea muy diferente al modo en que lo hacían
las generaciones anteriores. Esta nueva situación requiere de
modelos de enseñanza innovadores, creativos y que reutilicen
y/o adapten los recursos existentes para el aprendizaje a lo largo
de la vida, es decir, la flexibilidad y reutilización de recursos.
La presente comunicación describe, inicialmente, la
participación del Centro de Educación de Personas Adultas
Comarca Nordeste de Tenerife en el Proyecto "Aquí pintamos
todos", un proyecto de Educathyssen en colaboración con New
Art Academy, que ha constituido un paradigma de acción
formativa conjunta de estudiantes y profesores a lo largo del
curso 2012/2013. En segundo lugar, ejemplifica la reutilización
a lo largo del curso 2013/2014 de los productos públicos
creados, ejemplos de la flexibilidad creativa de cómo hacer uso
de recursos educativos de una etapa en otra etapa educativa.
II. CONTEXTO EDUCATIVO
A. Creación de los recursos
La Consejería de Educación, Universidades y Sostenibilidad
del Gobierno de Canarias, a través de distintas iniciativas, y en
253
W. Rodríguez - La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables
una visión compartida con el Consejo Escolar de Canarias y la
Comisión Canaria de Formación del Profesorado —órgano de
asesoramiento de la Consejería en este ámbito—, ha venido
promoviendo la autonomía de los centros educativos. Dentro de
esa autonomía, los centros han desarrollado sus propios planes
de formación, pues no podemos olvidar que son precisamente
ellos los que constituyen las unidades básicas del sistema
educativo. Muchos de estos planes de formación han estado y
están dirigidos a lograr que los docentes adquieran los
conocimientos tecnológicos y las capacidades y habilidades en
general con los que puedan obtener dos objetivos: el primero,
valerse de las nuevas tecnologías para transmitir a sus alumnos
conocimientos de cualquier ámbito educativo (así, por ejemplo,
el alumno será capaz de comprender mejor el uso de un producto
si tiene un modelo real que imitar, en lugar de limitarse a una
simple explicación del docente), y el segundo, enseñarles a usar
esas tecnologías que, con más o menos desarrollo, es más que
probable que les acompañen el resto de sus vidas (aprender el
uso de una impresora, de Internet, etc.).
Como ejemplo de la materia de la que estamos tratando se ha
de mencionar necesariamente al CEPA Comarca Nordeste de
Tenerife. Este centro, dirigido especialmente a adultos (en
muchos casos, padres de familia y abuelos) imparte formación
básica inicial y postinicial, así como bachillerato a distancia con
tutorización, el ciclo de grado superior en modalidad a distancia
de educación infantil, preparación de pruebas de acceso a ciclos
formativos y las cualificaciones profesionales de agricultura
ecológica, operaciones auxiliares de montaje y mantenimiento
de sistemas microinformáticos, operaciones Auxiliares de
servicios administrativos y generales, operaciones básicas de
restaurante y bar y la de servicios auxiliares de peluquería.
El CEPA Comarca Nordeste de Tenerife ha venido
desarrollando, en el marco de la autonomía de la que
hablábamos anteriormente, proyectos educativos de importancia,
entre los que se ha de mencionar, por su relevancia, el Proyecto
"Las tres C: Convivir, Compartir, Conciliar. Una apuesta por la
igualdad" (conformado por unidades didácticas enfocadas a
trabajar la educación para la igualdad tanto en las aulas de
adultos como en los centros de secundaria). Con este proyecto,
el mencionado centro participó dentro del marco del Programa
ARCE, y fue premiado en noviembre de 2012 con el "Segundo
Premio Irene: La Paz comienza en casa", en la modalidad de
profesorado o profesionales de la educación.
El CEPA ha venido mostrando una especial preocupación
por las nuevas tecnologías, y precisamente por ser un centro de
educación de adultos (de los cuales se espera que transmitan lo
aprendido a sus hijos y nietos), su orientación educativa en la
materia ha pivotado en muchas ocasiones sobre la buena práctica
en la utilización de aquéllas (uso seguro de Internet, por
ejemplo).
Dentro de la más reciente actividad creativa/formativa en la
que el CEPA Comarca Nordeste de Tenerife ha participado
254
destaca "Aquí pintamos todos"[2], un proyecto en el que un
grupo de profesores de toda España trabajó con su alumnado con
el fin de acercar las obras de la Colección Thyssen-Bornemisza
a un mayor número de usuarios y fomentar, al mismo tiempo, el
uso de las tecnologías del aprendizaje y el conocimiento. Dicho
proyecto, que dejó como resultado interesantes imágenes, se
realizó en colaboración con New Art Academy.
El proyecto, cuyo enlace con el Museo fue la profesora Dña.
Rosa María Sánchez Padilla, se desarrolló entre octubre de 2012
y mayo de 2013, aunque en el CEPA se concretó en dos únicas
sesiones de trabajo. El trabajo realizado en la unidad de
actuación de personas adultas (UAPA) Tegueste-Casco fue en
abril de 2013. Los objetivos para el centro educativo han sido
muy concretos:
• Dar a conocer/acercar a los estudiantes del centro de
educación de personas adultas las obras del Museo
Thyssen-Bornemisza.
•
Contemplarlas, SENTIRLAS, vivirlas y darlas a conocer
a la comunidad.
•
Adentrarse en las obras a través del uso de las
tecnologías actuales, pero con la perspectiva del pasado
y de sus autores.
•
Aprender a plasmar y canalizar los sentimientos y las
emociones.
Fig. 1. Escenas del trabajo de investigación y debate en la primera sesión.
El proceso fue muy simple. En una primera sesión de
trabajo, los alumnos del CEPA tomaron contacto con el Museo
Thyssen-Bornemisza y sus obras. En la segunda, realizaron en la
videoconsola Nintendo 3DS XL, con el programa New Art
Academy, o bien una interpretación propia de una obra del
XVI Simposio Internacional de Informática Educativa (SIIE’14)
W. Rodríguez - La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables
Museo, o bien una obra de inspiración libre (Fig. 6). De este
modo, dentro del proyecto el alumnado participante realizó 16
interpretaciones y 11 obras propias.
Las sesiones de trabajo, integradas en el currículo de cuatro
de las áreas de la Educación Secundaria Obligatoria que se
imparte en los CEPA, se integraron en el Aula de Informática de
la UAPA Tegueste-Casco, tal y como puede apreciarse en las
Fig. 1 y Fig. 2. Las áreas en las que se trabajó fueron: a)
Desarrollo Personal, b) Tecnología e Informática, c) Lengua
Castellana y Literatura y d) Trabajo y Sociedad. La memoria del
proyecto se encuentra disponible a través de la web del
proyecto[2]. Adicionalmente, acompañando a este artículo se
adjuntan algunos de los murales informativos que han
promocionado el trabajo realizado.
Se hace evidente la vinculación con el uso de las TIC, pues
se utilizó un dispositivo electrónico lúdico como es la Nintendo
3DS (Fig. 2). Sin embargo, el proyecto también permitió, desde
el ámbito de la Tecnología y la Informática, trabajar
competencias asociadas al tratamiento de imágenes, sonido,
licenciamiento de obras -analizar conceptos como la propiedad
intelectual, normativa vigente, etc.-, creación de planos -para
distribuir las otras en cada una de las exposiciones que se
programaron-, etc.
creativas y de innovación que se potencian desde el área del
Desarrollo Personal.
La organización, la planificación, el liderazgo, la elaboración
en muchos casos de presupuestos y el análisis de la viabilidad de
los mismos, etc., fueron elementos presentes. Y es que la
educación no solo se refiere a la transmisión de conocimientos,
sino también a las habilidades de comunicación y a las
habilidades sociales, que son importantes para el desarrollo
personal. Siguiendo esta idea, el alumnado plasmó por escrito
sus emociones, tanto a la hora de ver cada obra por primera vez,
como cuando tenía su trabajo terminado.
Fig. 3. Opinión de una estudiante participante en el proyecto.
Fig. 2. Escenas del trabajo con la Nintendo 3DS en la seguna sesión.
El hecho de crear camisetas, marcadores de libros y otros
subproductos derivados de lo que representaba una actividad
escolar lúdica hizo posible abordar conceptos propios del área de
Trabajo y Sociedad. Entre estos conceptos están la búsqueda
activa de empleo, la empleabilidad y el análisis de normativa
vigente. Naturalmente, y no menos importante, el proceso tenía
como fin una puesta en valor y un estímulo a las capacidades
XVI Simposio Internacional de Informática Educativa (SIIE’14)
La decisión creativa, junto al apoyo del equipo docente del
CEPA, dirigido por Dña. María del Carmen González Martín,
permitió que el proceso dejara de ser una actividad más del
alumnado y derivara en la realización de varias exposiciones que
buscaban el reconocimiento al trabajo de los alumnos y el
acercamiento y difusión de las obras del Museo ThyssenBornemisza. Para el alumnado ha supuesto:
1. Principalmente, descubrir el reconocimiento público
ante un trabajo terminado. ¿Qué mejor aliciente para una
persona que, tras reanudar su formación, convertirse en parte
protagonista de un proyecto creativo? La Fig. 3 es un ejemplo
que ilustra las sensaciones que vivió el alumnado.
255
W. Rodríguez - La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables
2. Descubrir nichos de empleo, como producto de la
creatividad. Las imágenes creadas se han reproducido en varios
tipos de materiales -piedra, tela, etc.- mediante diversos métodos
de serigrafía. Estos productos, distribuidos bajo licencia Creative
Commons no comercial, son ejemplos claros de ideas que
transmito desde el módulo de Trabajo y Sociedad.
Fig. 4. Cartel anunciador de la exposición en el IES San Juan de la Rambla,
donde se recoge el itinerario de las exposiciones previas.
Para el profesorado ha sido toda una aventura, en la que dos
sesiones de trabajo se transformaron en el viaje cuyas escalas se
ilustran en el cartel anunciador de la exposición del IES San
Juan de la Rambla (Fig. 4).
La Sala de Exposiciones Casa Prebendado Pacheco (Tegueste),
la Sala de Exposiciones Centro Ciudadano Tejina, el Centro de
Profesores de la Laguna, la Sala de Reuniones del Consejo
Escolar de Canarias, el Patio Central del Convento Sto.
Domingo (San Cristóbal de La Laguna) y, finalmente, el IES
San Juan de la Rambla, constituyen el camino que hasta finales
de 2013 ha recorrido el trabajo del alumnado. Actualmente,
existe una exposición itinerante de las obras en los colegios de la
zona en la que se enclava el CEPA. Pero, con un proyecto sin
dotación presupuestaria para el CEPA y el inestimable apoyo del
Museo Thyssen-Bornemisza, que mediante su área de formación
facilitó las 30 Nintendo 3DS y la autorización para reproducir
sus obras a los centros seleccionados, ¿sería posible dar un paso
más? Como docentes, ¿cabe la posibilidad de promover directa,
256
o indirectamente, las experiencias de otros centros educativos, y
en consecuencia el reconocimiento al trabajo de un alumnado
comprometido?
B. Conexión de ideas: reutilización de recursos
El Proyecto ha sido una puesta en valor y un estímulo a las
capacidades creativas y de innovación que profesores y alumnos
desarrollan a lo largo del proceso de aprendizaje. Una conexión
creativa entre varias partes, que surgió en un momento puntual,
difícil de explicar. Pues se sabe que, citando a Steb Job (1996),
«La creatividad simplemente consiste en conectar las cosas.
Cuando le preguntas a personas creativas cómo hicieron algo,
se sienten un poco culpables porque en realidad no crearon
nada, simplemente vieron algo. Les fue obvio después de un
tiempo. Eso es porque fueron capaces de conectar las
experiencias que habían tenido y las sintetizaron de formas
nuevas»[3]. Instituciones, profesorado y alumnado lo vieron
obvio, convirtiendo la exposición en el IES San Juan de la
Rambla en su séptima oportunidad de exhibir públicamente sus
trabajos.
Como persona que comparte docencia con el CEPA no podía
dejar de intuir y conectar la filosofía de apertura a la comunidad
que tiene el IES San Juan de la Rambla con la experiencia del
nordeste de Tenerife. Realizar una nueva exposición con los 27
cuadros en el norte de la Isla abriría las puertas a que el
alumnado de los dos centros educativos se conociera,
descubriera una forma diferente de acercarse a un museo y
aprendiera de una forma muy original diversos contenidos
curriculares. En efecto, para este alumnado mucho más joven, en
comparación con la media de edad del perfil de un estudiante de
la ESO en la modalidad de educación de adultos, estos son los
espejos donde reflejarse.
Naturalmente, esta conexión de ideas abre un aprendizaje
por reforzamiento, visto como la relación entre los estados del
ambiente que el alumno del IES percibe y las acciones que toma,
cuando se encuentra ante los modelos del alumnado del CEPA.
Corresponde a lo que en psicología se conoce como reglas
estímulo-respuesta o asociaciones. Este elemento es central ya
que el individuo por sí sólo es elemento suficiente para
determinar su propio comportamiento, siempre que tenga
modelos positivos de referencia.
III. EL QUÉ Y EL CÓMO
En el aprendizaje por recepción, el contenido o motivo de
aprendizaje se presenta al alumno en su forma final,
exigiéndosele sólo que interiorice o incorpore el material (leyes,
metodologías de trabajo, un teorema de geometría, etc.) que se le
presenta de tal modo que pueda recuperarlo o reproducirlo en un
momento posterior. Por tanto, bajo la óptica de la imitación en
el aprendizaje de los estudiantes del primer curso del ciclo
formativo de grado medio, en la especialidad de Sistemas
Microinformáticos y Redes, del módulo de Aplicaciones
Ofimáticas (AIF), se han incluido como modelo de actividades
XVI Simposio Internacional de Informática Educativa (SIIE’14)
W. Rodríguez - La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables
parte de los productos finales que el alumnado del CEPA ha
realizado. Es en definitiva, un uso de recursos educativos
adaptables diseñados para su reutilización, en el que el
licenciamiento.
El módulo AIF, claramente relacionable con la vertiente
creativa y de la empleabilidad que se desarrolla en el CEPA,
tiene también en su currículo el objetivo de la cualificación
profesional UC0222_2: facilitar al usuario la utilización de
paquetes informáticos de propósito general y aplicaciones
específicas. AIF es un módulo extremadamente práctico que
precisa de múltiples ejemplificaciones docentes. Entre la
concreción de ejemplos y uso de los recursos sean los siguientes
casos:
•
La video memoria, que se encuentra accesible desde la
dirección
URL
http://www.cepanordestetenerife.net/AquiPintamosTodos y que
se resume en la Fig. 5, forma parte de los ejemplos a tener en
cuenta en la actividad final del módulo 5 de AIF. El módulo está
dedicado a la manipulación de imágenes y vídeo, cuya
capacidad terminal es que el alumno pueda manipular
secuencias de vídeo analizando las posibilidades de distintos
programas y aplicar técnicas de captura y edición básicas.
•
Los carteles de las exposiciones (Fig. 4 y Fig. 7) son
también modelos de ejemplo utilizados en el módulo 6, dedicado
a la elaboración de presentaciones multimedia. Recuérdese que
las herramientas de este tipo pueden ser utilizadas, en niveles no
tan especializados, como programas para la edición de carteles,
trípticos, etc. Todos los carteles del proyecto han sido
elaborados con un programa de presentaciones multimedia.
Un proyecto sin dotación presupuestaria para el CEPA, pero
con el inestimable apoyo del Museo Thyssen-Bornemisza, que
mediante su área de formación facilitó las 30 Nintendo 3DS y la
autorización para reproducir sus obras a los centros
seleccionados como participantes en su Proyecto "Aquí
pintamos todos".
A. El proyecto en cifras
Desde el punto de vista del CEPA, el proyecto ha
representado: 30 Nintendo 3DS, 2 semanas de préstamo, 2
sesiones de trabajo con cada grupo utilizando la Nintendo 3DS,
3 horas de trabajo directo con el alumnado (investigando y
creando), 29 obras, 16 interpretaciones, 11 obras propias, 27
camisetas, 4 horas de vídeo, 13 gigabytes de documentación, 10
exposiciones, 3 municipios, meses en exposición, 1 pista de
audio inédita, 1 videomemoria de producción propia, etc. (Fig. 5
y Fig. 6)
Desde el punto de vista del alumnado de FP que ha utilizado
los productos finales representó un grupo de modelos a estudiar
e imitar inicialmente, para posteriormente mejorarlos —según
las competencias curriculares propias del nivel de FP—.
Fig. 5. Cartel resumen de la videomemoria del proyecto.
Las hojas de cálculo han permitido cuantificar el coste
económico que ha supuesto llevar a la práctica el proyecto en el
CEPA. Mediante la observación directa de los productos finales,
el alumnado del IES San Juan de la Rambla ha podido constatar
dimensiones, calidad de los materiales, metodologías de trabajo
-tipos de impresión en papel, serigrafía en tela o piedra-, etc.
Con estos conocimientos es mucho más fácil la elaboración de
documentos y plantillas mediante hojas de cálculo, módulo 3 de
AIF.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
B. Reconocimientos
De forma general se asume que la creatividad no puede ser
alterada y que las personas o grupos de trabajo pueden producir
trabajos creativos en cualquier momento y en cualquier campo.
Ninguna de estas suposiciones parece ser cierta (Vecina, 2006).
En esta ocación, una constelación de ideas particularmente
conectadas ha derivado en la experiencia expuesta. Por todo ello,
desde estas líneas una gratitud muy especial a la profesora Dña.
Rosa María Sánchez Padilla por su inquietud y visión al solicitar
la participación en el Proyecto.
Gracias al Museo Thyssen-Bornemisza, que a través de su
área de formación y en la persona de Dña. Ana Andrés
Cristóbal, facilitaron las máquinas y apoyaron la participación
del CEPA.
257
W. Rodríguez - La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables
Fig. 6. Una obra inédita (arriba) y una interpretación (abajo) tienen en
común un único proyecto: "Aquí pintamos todos".
Reconocer la apuesta de Dña. María del Carmen González
Martín, directora del CEPA Comarca Nordeste de Tenerife, y de
D. Adolfo López Hernández, director de IES San Juan de La
Rambla, por apostar por los intercambios de experiencias entre
centros educativos que tienen alumnos con perfiles de edad tan
diferentes.
Igualmente, agradecer a todas las personas y empresas que
han facilitado que sea una realidad el exponer en tantas salas y
en tan poco tiempo. ¡Parecía impensable contar con tantos
atriles, maniquís, vidrieras expositoras, etc. sin una partida
presupuestaria previa!
Y finalmente, un agradecimiento muy especial a todo el
alumnado partícipe en la experiencia. "Aquí pintamos todos" en
el CEPA ha sido una realidad gracias a todos ellos.
El proceso formativo de investigación, diseño y creación de
obras, así como el montaje de una de las exposiciones, pueden
seguirse en los diez minutos de duración que tiene la video
memoria del proyecto y que desde estas páginas se espera pueda
servir de ejemplo para acciones formativas como las que quien
suscribe ha podido realizar a lo largo del presente curso escolar
en el IES San Juan de la Rambla.
258
Fig. 7. Primera exposición: Casa Prebendado Pacheco (Villa de Tegueste)
IV. A MODO DE CONCLUSIÓN
Víctor Hugo, el escritor francés autor de obras como Los
miserables o Nuestra señora de París, decía que «lo que
conduce y arrastra al mundo no son las máquinas sino las ideas».
Estas líneas tienen como objetivo aportar las ideas y
experiencias del proceso vivido en el Proyecto "Aquí pintamos
todos", donde lo importante no fueron las herramientas y medios
puestos a disposición. Lo importante fueron las aportaciones y
las ideas de cada uno de los que participamos: instituciones,
profesorado y alumnado. Y es que, realmente..."aquí pintamos
todos".
V. REFERENCIAS
[1]
Boletín Oficial del Estado - Ley Orgánica 8/2013, de 9 de diciembre, para
la
mejora
de
la
calidad
educativa
(LOMCE):
https://www.boe.es/diario_boe/txt.php?id=BOE-A-2013-12886
Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOE):
https://www.boe.es/buscar/act.php?id=BOE-A-2006-7899
Ley Orgánica 10/2002, de 23 de diciembre, de Calidad de la Educación
(LOCE): http://www.boe.es/buscar/doc.php?id=BOE-A-2002-25037
XVI Simposio Internacional de Informática Educativa (SIIE’14)
W. Rodríguez - La conexión de ideas: clave en el diseño y uso de recursos educativos reutilizables
[2]
Ley Orgánica 1/1990, de 3 de octubre de 1990, de Ordenación General del
Sistema Educativo (LOGSE): http://www.boe.es/buscar/doc.php?id=BOEA-1990-24172
Ley Orgánica 8/1985, de 3 de julio, reguladora del Derecho a la Educación
(LODE): https://www.boe.es/buscar/doc.php?id=BOE-A-1985-12978
Ley 14/1970, de 4 de agosto, General de Educación y Financiamiento de la
Reforma Educativa: http://www.boe.es/buscar/doc.php?id=BOE-A-1970852
EducaThyssen, "Proyecto Aquí pintamos todos". 2012. [Consultado el
30/06/2014 en
http://www.educathyssen.org/proyecto_aqui_pintamos_todos]
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[3]
[4]
[5]
J. Marina, "Teoría de la inteligencia creadora". Barcelona: Anagrama.
1993.
J. Vecina "Creatividad. Papeles del Psicólogo". Núm. 1. VOL-27. 2006
[Consultado
el
30/06/2014
en
http://www.papelesdelpsicologo.es/vernumero.asp?id=1282]
G. Wolf, "Steve Jobs: The Next Insanely Great Thing", en la revista Wired
Digital Inc. The Condé Nast Publications Inc. 1996. [Consultado el
30/06/2014 en http://archive.wired.com/wired/archive/4.02/jobs_pr.html]
259
Informática Educativa (IE)
Prefacio a la línea temática sobre Informática Educativa
La línea temática sobre Informática Educativa articula los temas relativos a la aplicación de las tecnologías de la información y las
comunicaciones en educación. Más concretamente, esta línea considera de forma prioritaria los siguientes temas, sin constituir una
lista exhaustiva:
• Análisis del aprendizaje
• Aplicación de teorías pedagógicas al diseño de software educativo
• Aplicaciones de la web semántica en educación
• Aplicaciones de software educativo en campos concretos
• Aprendizaje a distancia, on-line e híbrido
• Aprendizaje colaborativo
• Aprendizaje con sistemas móviles/ubicuos
• Autoría de contenidos educativos
• Cursos masivos en abierto (MOOCs)
• Conocimiento abierto en contextos educativos
• Diseño y estandarización de tecnologías, lenguajes de modelado y metadatos educativos
• Diseño, desarrollo y evaluación de software educativo
• e-Evaluación: Teorías, métodos, herramientas y experiencias
• Entornos personalizados para el aprendizaje
• Formación de profesores en las TIC
• Gestión del conocimiento, de la tecnología y de las competencias en los contextos educativos
• Inteligencia artificial en educación
• Interacción persona-computador en contextos educativos
• Laboratorios virtuales y laboratorios remotos
• Metodologías y experiencias de uso de software educativo
• Minería de datos educativos
• Multimedia, hipermedia y visualización en educación
• Mundos virtuales educativos
• Robótica educativa
• Sistemas de cursos, herramientas y recursos basados en web
• Sistemas de gestión educativa: arquitecturas y plataformas
• Soporte del aprendizaje no formal e informal ligado al puesto de trabajo
• Videojuegos y simulaciones educativas
• Web social y comunidades de aprendizaje
Esta línea agrupa 10 trabajos (8 artículos largos y 2 artículos cortos) organizados en 3 sesiones temáticas: Juegos Serios y Cultura
Digital, Evaluación y Calidad y Movilidad.
Manuel Ortega
Pilar Rodríguez
José Luis Sierra
Coordinadores de la Línea Temática
sobre Informática Educativa
263
Serious game to develop and assess
teamwork competency
Mariluz Guenaga1; Andoni Eguíluz1; Alex Rayón1; Asier Núñez1; Elena Quevedo2
1
DeustoTech – Deusto Institute of Technology
University of Deusto
Bilbao, Spain
{mlguenaga, andoni.eguiluz, alex.rayon, asier.nunez}@deusto.es
2
Faculty of Psychology and Education
University of Deusto
Bilbao, Spain
[email protected]
I. INTRODUCTION
feeling for the user, with intrinsic motivation keeping the player
in, thus facilitating the non-game goals. We address these
aspects and take decisions to maintain the flow.
In this paper we present the main basis of teamwork
competency, the goals of the game, and how we relate both in
the serious game’s mechanics. We describe the game-design
process and methodology used, and how it affects the final
design. Some of the analyzed aspects of gamification are also
pointed out. This paper also give details on how we include
development mechanisms to assess and monitor teamwork
competency. The game collects, without interfering with the
user, the necessary data, not only for assessment, but to enable
the complete analysis of the project within the company in
which it is used, and its evolution in time.
Companies are dynamic organizations in continuous change.
This evolution has produced greater confidence on teams, and
has increased the complexity in terms of their composition and
skills required by their members. The way of working together
and creating efficient teams is an essential component of modern
organizations. This paper focuses on a project in progress named
“Let’s team!”, a serious game to develop and assess teamwork
competency in business contexts.
Serious games are games used for purposes more than mere
entertainment. In “Let’s team!” the “serious” part is the
development of teamwork competency. These games enable
learners to experience situations that are possible, but also
impossible, in the real world. In our case the interaction between
users happens both in synchronous and asynchronous way, in
the physical and in the virtual world. In spite of the fact that
there are many sectors where teamwork is important, we have
considered corporate environments for the first version.
In many cases, when we introduce the term “serious” related
to games it does not work, it becomes boring or discouraging,
and thereby lose its ability to entertain. Much of the potential of
serious games is due to the context of game-play and game-
Teamwork and related skills that are developed in group
contexts are often called “soft skills”. They are more difficult to
develop and measure than technical skills, yet they are on top of
the list of competencies that recruiters desire when they employ
graduates [1]. Traditional assessment techniques vary from
written teamwork tests, comprehensive assessment of team
member effectiveness, and valid assessment of learning in
undergraduate education [2].
The work carried out in higher education about teamwork
competency is important; however it does not guarantee that
skills are developed effectively for teamwork in an organization
[3]. Among the techniques for teamwork in organizations we
can find simulation strategies that allow experimental learning
[4][5], and blended learning strategies in which the benefits of
classroom and on-line training are combined [6].
The working method to develop teamwork competency in
the project is based on authors like Aryans, who have
investigated and confirmed the need of this competency [3]. The
development of the proposed methodology focuses on the
Abstract— In this paper we present the main basis of teamwork
competency, and how we integrate its development and assessment
in a serious game we are developing at the University of Deusto. We
describe the game-design process, methodology used, and how it
affects the final design. Some of the analyzed aspects of
gamification are also pointed out. It describes how we include
development mechanisms to assess and monitor teamwork
competency. The game collects, without interfering with the user,
the necessary data to measure teamwork competency, and to enable
the complete analysis of the project within the company in which it
is used.
Keywords— Serious game; teamwork competency; formal and
informal learning; lifelong learning.
II. TEAMWORK COMPETENCY
265
M. Guenaga; A. Eguíluz; A.Rayón; A. Núñez; E. Quevedo - Serious game to develop and assess teamwork competency
relational dynamics of the team members [7][8][9], and develops
a method to train aspects such as internal communication,
mutual respect and trust, conflict resolution, participation and
decision making, feedback, communication and leadership. In
the domain of interaction the methodology offers the possibility
of influencing factors such as:
• Listening as a key competency. Understand each other better
and allow the conversation to transform members of a team,
and so, lead to think in a different way.
• The culture of impeccability. The degree of fulfillment of the
commitments in a team and how team members solve
negotiations in working cycles.
• The emotional space and feed-back. The connectivity of
teams increases when a positive emotional space prevails
over the rate of negativity.
A. Review existing tools
Following we describe briefly different existing tools to
develop and assess teamwork competency.
CATME is a set of free web-based tools used as part of a
systematic assessment of a program’s effectiveness in
developing students’ teamwork skills [10] [11].
Self-Assessment TEAM Competency Tool is used to assess
the achievement of the learning outcomes from novice to expert
interprofessional teamwork competency, and it is based in a
simulation learning environment.
Team-Maker is a web-based software tool that surveys
students about criteria that instructors want to use when creating
teams, and uses a max-min heuristic to determine team
assignments based on distribution criteria specified by the
instructor.
TeamScene is a teamwork competency assessment tool for
leadership teams. It provides members the opportunity to assess
the effectiveness of how they work together to achieve their
business goals. Team members complete an online questionnaire
and then receive individual and group feedback. The leadership
team can then collectively prioritize the areas for improvement
so they can achieve better business results as a team.
SPARK is a web–based template which aims to improve
learning from team assessment tasks and make the assessment
fairer for students. They benefit because the web–based template
improves the confidentiality and the potential for accurate
assessment of relative contributions [12].
III. THE GAME
“Let’s team!” is a serious game that is being designed and
developed by DeustoTech Learning research group. It has been
conceived as a complementary resource for teamwork
development and assessment, used within a face-to-face training
plan, and not a game for independent players or learners.
266
DeustoTech Learning follows a three dimensional approach
to design educational serious games, where the pedagogical
objective, the gameplay and the technological development are
progressively integrated. For this purpose it is essential to form a
multidisciplinary team that deals the design of the serious game
from different perspectives: pedagogues, game-designers and
technical developers are the core of “Let’s team!” project.
The content, scope and pedagogical methodology definition
is led by a professional coach on teamwork competency. She has
long experience training high performance teams using
traditional face-to-face methods. Serious game opens new
possibilities to complement the tools for this purpose. She
contributes to the project with the theoretical background about
teamwork competency, as well as with techniques, activities and
processes implemented with teams. Game designers process this
knowledge and think up how to link it with game-dynamics. The
challenge is to make the most of serious games characteristics
and benefits, complement traditional techniques with a game
that enriches the experience, and not to reply the activities
carried out in the physical world.
Once defined and detailed the goals, scope and methodology
of the game, and envisioned the set of activities to be included,
we have to create the story around them. A team led by a gamedesigner has to decide the kind of game to be developed (i.e.
adventure, conversational, strategy, action, etc.), the script that
includes aforementioned activities and game mechanics and
dynamics that make learning fun. This is the most critical part of
the process, as it makes the difference between a funny and
educational serious game vs. and educational software, with no
entertainment elements.
A. Game design
The story that has been chosen for the game is based on a
combination of game genres: adventure, RPG, resource and time
management. The virtual world is based on an island, in a basic
situation in which you have to build a small evolving
civilization. Game is set in an indeterminate era of the past, with
competition for physical resources (gold, wood, stone, tools)
needed to achieve the objectives that are marked in the game
progressive challenges. Teams must have virtual meetings to
organize and share work, and actions of each player affect others
in the shared world.
Inside the game we have established a special mechanism of
time travel, which links the logic of what happens in the game
with the information that the game asks about real world. At
different moments the player can jump in time to give
information of current world, and go back in time to the point
where game was.
We have used the feature to limit the game actions according
to minutes available, thus avoiding that a user can spend much
time to play and have competitive advantage over others. That
is, in the same real-time all users have the same possibilities for
virtual game and its virtual actions.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Guenaga; A. Eguíluz; A.Rayón; A. Núñez; E. Quevedo - Serious game to develop and assess teamwork competency
In parallel, the technical development team is contributing
with the system architecture design, as well as the programming
of simple activities. The development process will involve final
users to test intermediate prototypes of the game. It is an
essential step to ensure interaction factors are properly
addressed: usability, engagement, learning, assessment, etc.
“Let’s team!” combines activities in the physical world with
activities and actions in the virtual world. The aim is the game to
affect the teamwork in their daily activity, and these activities
reflect in the game with consequences for individual players or
for the group. For instance, the opinion of team members after a
meeting at workplace should be registered in the game the next
time they play, and it can have a positive or negative influence
in the game progress. On the other hand, players should practice
what learned in the game in their daily dynamics (e.g. how to
organize a meeting, the work cycle, etc.), so they improve
teamwork in physical world. In Fig. 1 you can see an activity
where one of the players have to reproduce a relevant and
ineffective conversation that took place in the physical world,
and enrich it with information about “what I thought and didn’t
say” and “how I felt”. This enriched transcription will be
partially shared with peers so they can reflect on how others
perceived the conversation.
Fig. 1. Activity to reproduce a conversation from the physical world.
Designed activities are classified in categories: diagnosis,
listening, work-cycle, decision making and interaction.
Diagnosis activities designed to know the relation among
team members and the opinion of each member about him or
herself: the degree of confidence and emotions regarding other
team members, the opinion of players about themselves (their
contributions to the group, how they listen to the rest, their
strengths and weaknesses) and their feelings. These activities are
played at the beginning of the game and occasionally launched
to evaluate the progress in these aspects. Fig. 2 shows a
diagnosis activity where the player has to label his or her
confidence with other team members. She has to distribute (5x
num_team_members)/2 points with a maximum of five points to
another member. The activity, completed by all participants, will
give a picture about the relations of confidence, and if it is
XVI Simposio Internacional de Informática Educativa (SIIE’14)
proposed several times in the game we can observe its
progression.
Fig. 2. Diagnosis activity: label the confidence with other team members.
Activities focused on listening. When working in groups
listening is an important skill, and often we do not do it
properly. With that purpose we have designed activities that
focus on making players realize that what they say it is not
exactly what others listen and understand, because there are
many factors in the communication process that change the
perception. Realizing about this fact is the first step to enquire
and re-ask the conversational partner about what he or she
understands about what I say. Fig. 1 shows an activity to
develop listening skills.
The work cycle. When a team has to carry out a task there
are several phases: request, negotiation, development,
notification and evaluation. This is the core of “Let’s team!”
game, the proposal of a challenge that the team has to overcome.
The game enables players to start work-cycles and interact with
each other to complete the proposed challenge. This can happen
in the game or mixed with the physical world. To achieve the
goal the team has to organize the work, divide it among
members, integrate individual results, negotiate resources, etc.
Accordingly, efficient and effective individual and team work
will lead to successful achievement.
Decision making is a key event in a team. The game focuses
on the “multiple point of view” approach: the participation and
collaboration of team members in order to get a decision with
the best contributions of all, in opposition to the unique
approach prevailing in some organizations
Interaction activities are related to useless complaints,
productive requests and apologies. These are actions the player
can perform during the game in the work-cycle, and they
provide information about interaction among players, their
relations and roles in the team.
The basic mechanics of the game consist in getting materials
that are needed to build elements that in turn produce other
materials. Thus, the basic objects are:
• Coins: basic money used throug game.
267
M. Guenaga; A. Eguíluz; A.Rayón; A. Núñez; E. Quevedo - Serious game to develop and assess teamwork competency
• Wood: found naturally from trees, and produced in exchange
of money and time in the mill.
• Stones: found naturally from stone obstacles, and produced
with money and time in the quarry.
• Homes: built with time and materials depending on the type
of house: wood, stone, or wood and stone. Houses produce
coins (taxes) over time, and there are different houses of
growing complexity.
• Special buildings: City Hall, fountain, roads...
An important mechanism in the game is to establish
communication among players, when they need to ask "aid" to
other players to get some resources, either because they lack
time or because they need objects from other players. Levels are
designed trying to force this kind of communication.
The challenges depend on team size, and they are
algorithmically set according to different phases of game. There
are collective challenges for the team, and individual challenges
for each person. Some challenges can be achieved individually
and others need the cooperation of several team members.
The challenges are defined in terms of time and resources.
For example:
• Get X coin / wood / stones before a given time
• Build X houses of type Y before a given time
• Build X houses of type Y with limited resources
• Build special buildings within a certain time
• Build a given building with a minimum cooperation of X
members of team
Fig. 3. Game screen example.
268
Each player has a dairy time for game, limited by the
available energy, recharged every day. In this time slot, actions
can be performed for own personal challenges, affecting each
player's local area. Players can also visit shared space, where
cooperative challenges are resolved (some tasks require
cooperation among multiple players, or even all of them).
Deciding how the available energy is shared between personal
and collective challenges is one of the aspects that significantly
influence the measurement of teamwork aspects, in a very
similar way to real life.
It is not mandatory that all users play at the same time. The
game incorporates a synchronous communication channel (chat)
that can be used when two or more users are playing at the same
time. Players can also send offline messages to other players.
Those messages are presented when player comes back online,
and email notifications can also be configured. Through these
messages the team must communicate to address cooperative
tasks. In shared space actions, users can see on game screen
what other players are working on, to help making decisions.
Also game mechanics forces that some tasks or resources can
be asked from other players, allowing a space of cooperation on
personal tasks (for example, a player may realize that there is no
time to obtain a certain amount of wood, and ask other peers for
their own wood).
As for the teleport spot, it is normally deactivated. Game
progress allows certain times when it is necessary to measure
aspects of teamwork in real world. At that time, the teleport
machine opens and the player is encouraged to use it. A different
section of the game opens, with different types of interactive
forms, through which players can enter information about
performance in team meetings, opinions about their work, their
emotional state at the time, etc.
B. Data analysis
The general objective of the game is to develop teamwork
competency. For that purpose we assess player’s progress using
Learning Analytics techniques and tools. Learning Analytics
consist on gathering, filtering, processing and analyzing data to
obtain information about individual and group interaction,
predict students’ behavior, recommend and personalize learning
[13][14][15][16].
In this project the main indicator to measure is “confidence”
among team members, the goal is to improve it with training in
the real and virtual world. Confidence is measured as the
integration of three factors: communication, commitment and
the emotional aspects of relations. These factors increase or
decrease their scoring depending on players’ individual and
group interaction in the game. They are shown to the player as
icons (stars, suns and moons) that change their values according
to their interaction and achievements. At the beginning users
ignore the meaning of these icons, as the game progresses the
player has to realize what they mean, and in concrete points of
the story they are revealed.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
M. Guenaga; A. Eguíluz; A.Rayón; A. Núñez; E. Quevedo - Serious game to develop and assess teamwork competency
Learning Analytics has been previously used to improve
games development [17] and also to assess students’ progress
[18]. The use of Learning Analytics in a game gives not only the
opportunity to assess the achievements of the players, but to
gather data about the whole experience and process. This makes
a great difference with traditional assessment methods that focus
on final results. In a similar way “Let’s team!” registers relevant
data for later process that can be categorized as:
• Interaction: data about user interaction in the game, such
as game start and end, enter and leave and scenario, ask
for help, communicate with other players, etc.
• Score: the game registers the score in each measured
factor and how it changes along different rounds. Also
related data such as attempts or time needed to complete
tasks and levels is collected.
The game begins with a diagnosis of the team, with activities
that aim to identify relations, communication and feelings
among team members. Following, players face different
challenges that can be solved individually, and in some cases
they need to cooperate (define, discuss, negotiate, agree, etc.).
These are the key dynamics that emphasize the need to work
together and promote the development of teamwork
competency. Each activity influences one or more factors to
assess teamwork competency. For example, the global feeling of
team members after a meeting increases or decreases the score
of all of them in a positive or negative manner, and the
evaluation of partners about one player’s contribution in a
meeting or in a work-cycle affects that player’s score. A
particular aspect of teamwork competency is that group
interaction is even more important than individual achievements;
this is why fulfilling the objective of a task is only one aspect
that affects scoring, the process and interaction of team members
is crucial in the game.
Storing all possible data generated by users’ interaction is
very resource consuming and unnecessary. In a first version of
the game we have selected a set of data that contributes to
evaluate aforementioned indicators; these will be refined and
adjusted in successive design iterations of the game, as piloting
provides feedback from users.
C. Technology
There are many technological options to develop
videogames, programming languages, engines and tools that
ease the development. Nowadays the most extended option, and
the one chosen in the project, is JavaScript and HTML5.
HTML It is an open language, unlike other options such as
Flash. As it is native web technology there are few compatibility
limitations for the operations needed in our game, and it runs in
multiple platforms. For the same reason no plug-ins are needed
to use the game, just an HTML5 prepared browser is needed.
The first stage of game development has been developed and
tested in Windows PC, but Mac, Linux, or Android or iOS
XVI Simposio Internacional de Informática Educativa (SIIE’14)
devices with internet connection and modern browsers can be
also used. We have tested the game prototypes in some different
platforms, computers and mobile phones and tablets, and only
actual browsers and internet connection are needed for a correct
behavior.
Tools used for development have been standard code editors
for html, css and javascript. The most complex parts of the game
have been developed with Construct2, and adapted later. Server
technology is Apache on Linux, and the database for collection
of information and all the game logic is MongoDB.
IV. CONCLUSIONS AND FUTURE WORK
We have developed a serious game, "Let 's Team!", with all
the benefits that games provide related to engagement and
motivation, and the “serious” objective of developing and
assessing teamwork competency. The game takes place in
parallel in the physical and the virtual world, combining real
elements of the team behavior, with activities of those same
people in the game.
The game includes Learning Analytics techniques to assess
teamwork competency. It captures data from players’ interaction
with the system and among team members, and gives feedback
about their individual behavior and score, as well as about the
overall team score and performance.
“Let’s team!” is a valuable tool for the expert coach and
complements face-to-face dynamics. The game offers an
administrator view based on game analytics, a dashboard that
shows complex information about individual and team
performance. Needless to say that ethical and legal issues are
taken into account when participants adhere to the training
program.
The next step is to experiment with users in real settings, in
organizations that are involved in dynamics for teamwork
competency development. The aim is to measure the impact of
the game in team members and in coaches, as an innovative
teaching resource. The piloting is decisive to receive feedback
from users and redesign game dynamics to achieve the “serious”
and “game” objectives, that is, to be educational and fun. The
assessment, based on analytics, will also be adjusted to reflect
players’ progress according to their interaction with the game
and among team members.
V. REFERENCES
[1]
[2]
[3]
American Management Association (2010). AMA 2010 Critical Skills
Survey. Available at: http://www.p21.org
Hughes, R., Jones, S. Developing and Assessing College Student
Teamwork Skills. New directions for institutional research, no. 149, Spring
2011 © Wiley Periodicals, Inc. Published online in Wiley Online Library
(wileyonlinelibrary.com) • DOI: 10.1002/ir.380. p.53-64.
Viles Diez, Zarraga-Rodriguez y Jaca Garcia, 2013. Herramienta para
evaluar el funcionamiento de equipos en entornos docentes. IC, 2013 –
9(1): 281-304 – Online ISSN: 1697-9818 – Print ISSN: 2014-3214. Onmia
Sciencia. .http://dx.doi.org/10.3926/ic.399
269
M. Guenaga; A. Eguíluz; A.Rayón; A. Núñez; E. Quevedo - Serious game to develop and assess teamwork competency
[4]
Boone, C , Van Olffen, W., y Witteloostujin, A. (2005). Team locus-of
control composition, leadership structure, information acquisition and
financial performance: A business simulation study. Academy of
Management Journal, 48(5), 889-909
[5] Zantow, K., Knowlton, D.S., y Sharp, D.C. (2005). More than fun and
games: Reconsidering the virtues of strategic management simulations.
Academy of Management Learning & Education, 4(4), 451-458
[6] Osgurthorpe, R.T, y Graham, CR. (2003). Blended learning environments.
Definition and directions. The Quaterly Review of Distance Education,
4(3), 227-233.
[7] Echeverria, R. (2012). La empresa emergente. Granica.
[8] Echeverria, R. (2012). Ontologia del lenguaje. Granica
[9] Losada, M. (2008, December 9). Work teams and the Losada line: New
results. Positive Psychology News
[10] Loughry (2013), Assessing Teamwork Skills for Assurance of Learning
Using CATME Team Tools. Journal of Marketing Education.
[11] Layton, R. A., Loughry, M. L., Ohland, M. W., & Ricco, G. D. (2010).
Design and validation of a web-based system for assigning members to
teams using instructor-specified criteria. Advances in Engineering
Education, 2 (1), 1-28.
270
[12] Freeman, M., McKenzie, J. (2002). A Teamwork Competency Assessment
for Leadership Teams. British Journal of Educational Technology, 33 (5),
551-569.
[13] Siemens, G. (2010). What are Learning Analytics? Retrieved July 29,
2011,
from
http://www.elearnspace.org/blog/2010/08/25/what-arelearning-analytics/
[14] Campbell, J.P. and Oblinger, D.G. 2007. Academic Analytics.
EDUCAUSE Quarterly. October (2007).
[15] LAK, in 1st International Conference on Learning Analytics and
Knowledge, Banff, Alberta February 27–March 1, 2011.
[16] Horizon Report, 2013: http://www.nmc.org/publications/2013-horizonreport-higher-ed (02-07-2013)
[17] K. Hullett, N. Nagappan, E. Schuh, and J. Hopson, “Data analytics for
game development,” in Proceeding of the 33rd international conference on
Software engineering - ICSE ’11, 2011, p. 940.
[18] Á. Serrano-Laguna, J. Torrente, P. Moreno-Ger, B. Fernández-Manjón,
Application of Learning Analytics in Educational Videogames,
Entertainment
Computing
(2014),
doi:
http://dx.doi.org/10.1016/j.entcom.2014.02.003
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Using a videogame with augmented reality for an
inclusive logical skills learning session
Hendrys Tobar-Muñoz; Ramón Fabregat; Silvia Baldiris
Institut d’Informàtica i Aplicacions
Universitat de Girona
Girona, Catalonia, Spain
[email protected], [email protected], [email protected]
Abstract—Augmented Reality (AR) and Digital Game Based
Learning (DGBL) are two tendencies being applied broadly in
education around the globe. However, the implications on a
simultaneous application of them to inclusive learning have yet to
be observed. We designed an inclusive AR-enriched videogame for
Logical Math Skills Learning. We tested the game with a set of 20
students with diverse learning needs. Our experiment showed that
the performance on the game is similar for kids with different
needs. The results and feedback from teaching staff suggest that
AR and DGBL allow the integration of children with special needs
into the learning process.
Keywords— Game Based Learning, ADHD, Videogame,
Augmented Reality, Inclusive Learning, Mathematics, Learning.
I.
INTRODUCTION
In the last decade, Digital Game Based Learning (DGBL),
the “marriage” between educational content and computer
games [1] has started to be applied in instruction and
curriculums around the globe. This new educational paradigm
proposes games as pretty useful tools and vehicles of content for
learning and training. And as a matter of fact, it has been said
that it can have greater advantages in many learning scenarios
with digital natives [1]. DGBL is today being considered as a
main tool to be adopted by schools in the following two to three
years, as the Horizon Report 2012 claims [2].
Also, Augmented Reality (AR), a currently trending
technology that mixes virtual elements registered along real
world objects [3], is nowadays being introduced as an open,
massively-used technology, especially by mobile users around
the world [4]. Simple AR, the type of Augmented Reality that
uses relatively simple devices and techniques has also been
proposed as a technology for learning by the Horizon Report
2010 [5]. Nonetheless, there are still some obstacles to overcome
and enablers to exploit in order to a widespread adoption of
DGBL and AR.
For example, there is a strong opportunity to apply the
abovementioned technologies and theories for achieving an
Inclusive Learning. In our opinion, Digital Games and AR are
technologies that can and should be used to address the
principles of the Universal Design for Learning [6] since they
present properties that can foster learning in children with
different needs.
Given that Attention Deficit Hyperactivity Disorder (ADHD)
is a behavioral condition that makes focusing on everyday
requests and routines challenging and affects as far as 10% of
elementary school kids [7], we considered specially ADHD
implications for learning in our user-center design. We observed
ADHD as it is considered particularly special in kids because of
the lack of the right executive functions that control attention
and hyperactivity [8]. Note we have taken into account special
requirements of ADHD for the game design, however we
consider that addressing the special needs of this population
benefits all students as well.
In this paper, we explain an inclusive AR-enriched
videogame for Logical Math Skills Learning named Gremlings
in my mirror. We chose logical mathematical skills as they are
fundamental in math understanding in early childhood [9]. This
game is based on a set of design principles proposed on the basis
of ADHD treatment considerations and AR affordances.
In section 2, we present some of the work related to the
subject (AR and DGBL) and the input we had from pedagogy
and psychology experts. In section 3, we show the design and
development of the videogame, the decisions we took, the
observations we made and the proposals we came up with.
Finally, in section 4, we show highlights and conclusions of an
observation scenario we carried on using the videogame with 20
children with different ages and needs
II. RELATED WORK
Our work is based on several aspects: the considerations for
applying AR to education, the considerations for designing and
building games for learning, and the implications of considering
the needs of all students.
For that, our work started by completing a literature review
in order to recognize the current opportunities for Technology
Enhanced Learning (TEL) when applying AR and Digital
Games. With that, we came up with a set of conclusions and
theoretical foundations for our work.
271
H. Tobar R. Fabregat; S. Baldiris - Using a videogame with augmented reality for an inclusive logical skills learning session
On the one hand, we reviewed the literature to find out the
main characteristics of AR and the current hardware and
software tools for the development of AR applications. On the
other hand, we explored the pedagogical, and philosophical
foundations of DGBL basing our most basic findings in the
studies of Prensky [1], [10], [11] and James Paul Gee [12]–[15].
We also conducted two interviews to get deeper insight into the
implications of the work with ADHD children and the
instructions of Mathematics skills. These interviews and the
literature review findings fed up the game design. In this section
we show these findings separated in three topics AR, DGBL and
ADHD.
A. Augmented Reality
An Augmented Reality (AR) system is that which overlays
computer-presented material over the real world [16].
From a hardware perspective, some classifications of AR
systems have been proposed including Hand-held, Headworn
and Spatial devices with Projective, Video and Optical Seethrough displays [3], [17], [18].
From a software perspective we explored the most relevant
and useful API’s and frameworks in the market, including
ARToolkit, UnityAR, Vuforia, NyARToolkit, ARToolkit for
Unity and FLARToolkit.
Since we had experience with the Unity3D game engine, our
choices narrowed to UnityAR and NyARToolkit. After some
tests, we chose the latter since it seemed very stable and easy to
use when integrated with Unity3D (Utilities, C# language
scripts, simple API, etc.).
At the end of the review stage we found AR as a very
interesting-to-apply tool nowadays given the easiness of its
adoption in a society full of powerful devices (such as
smartphones and laptops).
AR has been labeled as a good tool for learning since it has
unique affordances that can affect the learning experience like
real-world annotation, contextual visualization and vision-haptic
visualization [19]. AR has been found to have a strong potential
to provide both powerful and contextual “in situ” learning
experiences [5], it allows Experimental learning without
displacing the learner [20], and it fosters participation of the
observer [21]. This is proven by a lot of AR Learning
Experiences (ARLEs) that have been found to be effective and
positive for the learning performance of students as found by
Santos et al. in their latest meta-analysis [19].
Furthermore, we found some previous experiences on the
application of AR to learning, specially some efforts applied to
ADHD, like [22] where authors show the usage of AR
courseware for ADHD students using cloud-computing and [23],
a study that showed the use of AR in the classroom with a
software using conventional assets like a computer and a
272
projector. Those efforts gave us an empirical background for our
study.
B. Digital Game Based Learning
Regarding Digital Game Based Learning (DGBL), we
mainly used theoretical referents to support the game design. For
that, we used Prensky’s work [1], [10], [11], [24] to orient the
game with the DGBL philosophy of learning by doing and fun
as the greatest motivator.
Later, we applied Gee’s properties in our Game Design as
described in [14], [25]. Gee claims that a good learning game:
• Allows the player to take advantage of the game system
to obtain their goals.
• Offers microcontrol mechanics to enhance the intimacy
feeling of the player.
• Offers Experiences to the learner for good learning
• Uses modeling, as for model the situations in game or
those from the real world.
• Allows the player to enact their own trajectory through
the game.
Also, the same author claims that Digital Games are good for
learning by mentioning the most important characteristics of a
game for learning in [25]. Those characteristics helped to design
our own principles.
Although scarce, DGBL has seen applications using AR
technologies in the last decade. Classical examples include the
Location-based AR experiences conducted by Klopfer,
Rosenbaum and Squire [26]–[28] and more recently some
authors have shown experiences applying new devices, and new
approaches to Image-Based AR like [29]–[31].
C. ADHD
Our literature review on ADHD led us to consider in the
design the model of executive functions [32] which states that
ADHD comes from a dysfunction on the “executive functions”.
These are functions of the mental apparatus that control other
functions. These functions include: Inhibition Control, Working
Memory, Planning, Cognitive Flexibility and Fluency.
Furthermore, we interviewed Dr. Ferrán Viñas, psychologist
and UdG’s professor who explained the most relevant aspects of
the syndrome and taught us the most common techniques for
intervention on ADHD kids. These techniques include:
• Operant Conditioning: According to McLeod [33],
Operant Conditioning means roughly changing of
behavior by the use of reinforcement which is given after
the desired response.
• Token Economy: According to [34], it consists in
providing reinforcers such as points, tokens, cards, etc.
associated to the realization of desired behavior.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
H. Tobar R. Fabregat; S. Baldiris - Using a videogame with augmented reality for an inclusive logical skills learning session
• Self-Instructions: According to Banús [35] SelfInstructions can be addressed in these steps: 1) The
therapist or monitor acts as a model and carries out the
task, while speaking aloud what they are doing; 2) The
kid carries out the task instructed by the therapist; 3) The
kid does it again by directing himself speaking aloud; 4)
The kid does it again but now verbalizing in a low tone;
5) The kid guides his own behavior by intern
autoinstruction while carrying out the task.
III. OUR PROPOSAL
The theoretical and empirical support the literature review
gave to this project was used to build an inclusive AR-enriched
videogame for Logical Math Skills Learning. For that, we
proposed a set of Game Design Principles. With those in mind,
we built a prototype with simple AR [36]. Our prototype is
classified as a Spatial Video-Displayed game under the
classification in [3], [17], [18].
In this section we show the game design, the description of
the development process and an overview of the final product in
its current version.
A. Game Design
For the game design, besides getting advice on ADHD, we
also asked for pedagogical advice. Thus, we consulted professor
Maria Antonia Canals, UdG’s professor emeritus and former
elementary Mathematics teacher.
Also, professor Canals helped us to understand what a kid
should have to effectively understand and apply Mathematics
and basic logical skills. She told us that math should come as a
result of a self-reflection process next to the interaction with an
object of learning. Canal’s work and materials can be consulted
in [9], [37].
With the experts input and literature review we proposed the
following Game Design Principles.
The Game Design principles we proposed for designing
Inclusive AR games are as follows:
• Comply with Gee’s properties: The game should
comply with James Paul Gee’s properties [14] as shown
previously.
• Comply with “Universal Design for Learning”
principles: By offering to children different ways to
acquire the information in the visual and auditory means.
• Design Learner-Centered Interaction: The game
should be centered on the player, according to their
background and context and should be aware of their
actions. The game should let the player microcontrol
[14], and also, should let a time for reflection about the
learning [1]. Content-centered games should be avoided.
Instead, Player/Learner centered games are preferred.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Be Fun/Appealing: The game should be as fun for the
kid, as possible. Because fun is the best motivator DGBL
experts recommend [1]. Also, the likes of the kid should
be taken into account (i.e. games and games genres the
kid likes from previous experiences).
• Augment: This game should augment some things from
the real world, especially if they represent something
important for the learning or if they allow a better control
within the game.
• Consider Executive Functions: The designer should
have in mind, the lack of attention, problems in retention,
and delay aversion ADHD kids show frequently [32].
• Avoid Frustration: If frustration comes, the kid will
likely abandon the game session, ergo, a highly usable,
interesting gameplay and appropriate satisfaction should
be offered within the game.
• Reward by “Token Economy”: The game allows the
kid to exchange tokens (coins, points, stars) into new
items, prizes or scenes.
• Promote Self-Learning: The kid should be as
autonomous as possible in the game session, interacting
exclusively with the games and other players. Also the
game should allow the kid to think about what they have
learned and to have meaningful experiences that allows
learning by means of cognitive conflict solutions. Stepwise games are recommended for Self-Instructions, in
such a way that the game performs an action and the kid
re-enacts it by repeating constantly into a game
mechanic.
• Induce “Operant Conditioning”: The game should
reward desired actions on the game that lead to learning.
When the game detects the kid is learning content related
or in-game stuff, they should be rewarded.
Note that the last three principles are complying with the
techniques suggested in the interview and abovementioned.
As these are design principles the “correct” application is
hard to acknowledge and it relies highly on the designer’s
experience. For example for our game we defined a set of levels
with progressive difficulty to promote Self-Learning. In each
level the kid learns something new and later levels expect the
kid to scaffold on the already learned abilities to continue. Also,
as the kid completes an action that ultimately leads them to win
the game, it rewards with coins. These are meant to be used to
purchase items (these feature is still not developed).
•
B. Game Development
After the design phase we started the Game Development
with the tools chosen. The design stated that the main form of
interaction was the use of previously defined markers. However,
even with NyARToolkit providing a great framework for
273
H. Tobar R. Fabregat; S. Baldiris - Using a videogame with augmented reality for an inclusive logical skills learning session
detecting AR markers into Unity, we had to build and AR
Interaction Framework over NyARToolkit and Unity3D for an
easier implementation of our proposed interaction types.
Fig. 1. Game's Architecture
With that in mind, our final software architecture looks as
shown in Fig. 1.
Note that with the use Unity3D as the Game Engine and over
the Interaction Framework we built a set of objects common to
all the mini-games in order to ease the development of the game.
The web version of the game is available at
http://bcds.udg.edu/Gremlings/.
In the game design phase, with the principles in mind and
inspired by Canals’ exercises, we proposed several game
concepts. In the end, we selected two mini-game game concepts,
one for fostering pairing and one for ordering (called It’s
Raining Gremlings and The Gremvolution respectively) both
included inside one game called Gremlings in my Mirror.
In It’s Raining Gremlings the kid uses the marker to guide
the falling gremlings to the Big Gremling with the right color
(Fig. 2- (1)). The gremlings fall forever so the kid has plenty of
time to think a strategy (Self-Learning). Following the
techniques abovementioned the game rewards with coins when
the kid advances or completes a scene (Token Economy and
Operant Conditioning).
In The Gremvolution (Fig. 2- (2)) the kid uses the marker to
place the gremlings in the right switches (the kid has to realize
that the gremlings should be ordered in size) or the bomb
explodes. Unlike the previous mini-game, this game is lost when
the bomb explodes, but the kid can try as many times as he or
she wants. The same coin rewards are applied.
We also constructed a standalone version of the game with a
system to record player’s milestones which we used to carry-on
the observation scenario we describe next.
IV. OBSERVATION SCENARIO
We conducted an observation scenario where we observed
children interacting with Gremlings in my Mirror.
Fig. 2. Snapshots of the mini-games in Gremlings in my Mirror. (1) is called
“It's Raining Gremlings” and (2) is called “The Gremvolution”
274
A. Setting
We allowed 20 students from a school to play the game
freely. The school integrates children with special-needs of
access to learning. The scenario had the help of the school’s
psychologists and professors who helped aiding students when
needed. However, they were instructed to not offer instructions
when not needed, as we think every student is able to complete
the game by mere playfulness and social interaction. From the
group of 20 children, 16 were kids with some special need 3
with ADHD, 1 with Autism, 7 with Mental Retardation, 1 with
Asperger, 1 with Microcephaly, 1 with Down Syndrome and 2
with Deafness.
We offered the game to the students and provided each one
with a printed AR-marker and let the game record the timestamp
when they reached an important milestone within the game (See
Fig. 3 and Fig. 4).
XVI Simposio Internacional de Informática Educativa (SIIE’14)
H. Tobar R. Fabregat; S. Baldiris - Using a videogame with augmented reality for an inclusive logical skills learning session
To observe and compare the students’ performance, we
divided the group in two: Kids with and without special needs.
We averaged the timestamps to compare both. As this was a
one-shot study our observations are preliminary. That said, we
were able to see that kids with special needs took slightly more
time than the others and that their performance is similar.
Fig. 3. Performance Graph in "It's Raining Gremlings"
Fig. 4. Performance Graph in "The Gremvolution"
B. Results
1) Students performances while gaming
We divided the group in two: Kids with and without special
needs. We averaged the timestamps to compare both (Fig. 3 and
XVI Simposio Internacional de Informática Educativa (SIIE’14)
Fig. 4). We concluded that kids with special needs took slightly
more time than the others and that their performance is similar.
It is noteworthy that all students clearly had problems at the
beginning of the session because they were not familiar with the
interaction method (the AR marker). Thus, they tended to use
the mouse or the keyboard to control the game which can be
difficult and could turn the game hard to use in a non-controlled
environment. Nonetheless, the students were not undermined by
that, they showed persistent to achieve the goals in the game.
Once they were able to use the game, they got acquainted with
it. This situation evidences that designers have to take special
considerations on User Experience and User Interface design for
a successful interaction, gameplay and finally learning.
2) Teacher’s Feedback
In order to obtain a more qualitative view of the results, we
interviewed the headmaster of the school who participated in the
experience.
When asked about the implications and importance of the
game aimed to its purpose: The logical-mathematical thinking,
she said (Comments here are translated from the transcript, the
original interview was held in Spanish):
“The motivation to use the game the kid shows helps them to
be very concentrated in it”
About children motivation: “
- “I totally think they enjoyed the experience because I saw
the kids joyful. First, when they were able to start the game, and
after that, when they were able to play it. Most of them did not
even want to leave the game. Just a few of the kids couldn’t find
a motivation to play the game, but the majority enjoyed it."
- “I think the players who did not enjoy the experience could
not do it because those were very particular cases (as a strong
Mental Retardation, for example).
About the mathematics learning:
- “Kids like ours, like ADHD, for example, have a lot of
difficult on cognitive processes, especially in mathematics.
Although they have difficulties in several cognitive areas, they
have the worst time on mathematics. But it was very surprising
how they achieved the game’s objective and that they did it in a
very short time (no more than 10 – 20 minutes per kid), when
they often have problems in solving problems taking more time
than that.”
About the technology:
- “Teachers nowadays have to use a lot of tools to maintain
the attention and achieve learning on students. And technology
has opened the possibility to achieve our learning goals.
Technology allows teachers to rapidly reach more pertinent,
timelier goals even with less effort. These tools are great tool for
us, because they allow the teacher to have a role of counselor
who presents the kid with goals and tools. The teacher won’t be
replaced ever, but technology is now our right-hand.”
275
H. Tobar R. Fabregat; S. Baldiris - Using a videogame with augmented reality for an inclusive logical skills learning session
About AR:
- “I think that kind of technology allows the kids to recognize
themselves which is one of the more important features of the
game. Also, by seeing themselves [reflected] in the game they
feel they are the protagonists in the game which is very
important.”
When asked about the autonomy in learning.
- “It is hard to define that. On one hand, the game allows the
kid to make decisions which is a part of autonomy. On the other
hand, since the game (and all games) has a closed set of goals
and rules which can be counterproductive for the kid’s
autonomy.”
When asked about the inclusiveness of the game
- “I think the game is applicable in any context, in any
student independently of their condition and with good results;
in fact, we had a very diverse group with kids with different
needs and the game showed good results.”
V. CONCLUSIONS & FUTURE WORK
We have shown a proposal including a set of Game Design
principles for AR Learning Digital Games for all students and a
videogame design, implementation and evaluation. Our proposal
is based in documental and empirical research on which we base
the game design principles for AR Learning Digital Games and
considering some features of ADHD syndrome for supporting
user-center design.
Using the proposed principles, we have presented
“Gremlings in my mirror” an inclusive AR-enriched videogame
for Logical Math Skills Learning. Also we show and as an
empirical study on the application of digital games with AR
from an inclusive vision.
Our observation scenario experience suggests that the Digital
Games achieves the inclusion of all children into the learning
process. All students achieved the goals of the game and felt
strongly motivated in the learning process which is convenient
for children with special needs.
As a future work, our Game Design Principles are yet to be
tested in other environments. Also, those principles have yet to
be fine-tuned and proven in other experiences to validate their
implications. We think some other observations on AR and
DGBL have yet to be observed using the game, thus we plan to
carry-on an experience to measure enjoyment, engagement and
motivation in participant children.
VI. ACKNOWLEDGMENT
We would like to thank the staff and students at the special
needs school “Niño Jesús de Praga”. Thanks to Dr. Ferrán Viñas
for his input into the project. This project was part of the
ARreLS (TIN2011-23930) funded by the Spanish Economy and
Competitiveness Ministry. This is part of the Catalonian funding
276
expedient coded 2014 SGR 1469. The first author thanks
Colombian Ministry of ICT and COLCIENCIAS for funding his
studies.
VII. REFERENCES
[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
[21]
M. Prensky, Digital Game-Based Learning, 1st ed. S. Paul, MN: Mcgraw
Hill Book Co, 2001.
L. Johnson, S. Adams, and M. Cummins, “The NMC Horizon Report 2012:
Higher Education Edition.,” Austin, TX, 2012.
R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and B. MacIntyre,
“Recent advances in augmented reality,” IEEE Comput. Graph. Appl., no.
December, pp. 34–47, 2001.
H. H.-K. Wu, S. S. W.-Y. Lee, H.-Y. H. Chang, and J.-C. J. Liang,
“Current status, opportunities and challenges of augmented reality in
education,” Comput. Educ., vol. 62, pp. 41–49, Mar. 2013.
New Media Consortium, “Two to Three Years: Simple Augmented
Reality,” in The Horizon Report 2010, New Media Consortium, 2010, pp.
21–24.
D. H. Rose and A. Meyer, Teaching every student in the digital age.
Universal Design for Learning. 2002.
American Psychiatric Association, Diagnostic and Statistical Manual of
Mental Disorders, Fifth. Arlington, VA: American Psychiatric Publishing,
2013.
A. E. Doyle, “Executive functions in attention-deficit/hyperactivity
disorder.,” J. Clin. Psychiatry, vol. 67 Suppl 8, pp. 21–6, Jan. 2006.
M. A. Canals, Lògica a totes les edats, 1st ed. Barcelona: Rosa Sensat,
2009, p. 109.
M. Prensky, What kids learn that’s positive from playing video games.
2004, pp. 1–15.
M. Prensky, “How to teach with technology: Keeping both teachers and
students comfortable in an era of exponential change,” Emerg. Technol.
Learn., 2007.
J. P. Gee, “What video games have to teach us about learning and literacy,”
Comput. Entertain., vol. 1, no. 1, p. 20, Oct. 2003.
J. Gee, “Why are video games good for learning,” Unpubl. manuscript.,
2007.
J. P. Gee, “Deep Learning Properties of Good Digital Games. How far can
they go,” in Serious games: Mechanisms and effects, 2009, pp. 65–80.
J. P. Gee, “Cats and Portals: Video Games, Learning and Play,” Am. J.
Play, vol. 1, no. 2, pp. 233–41, 2008.
R. T. Azuma, “Augmented reality: Approaches and technical challenges,”
… wearable Comput. augumented Real., 2001.
H. F. Tobar-Muñoz, R. Fabregat, and S. Baldiris, “AR Learning
Videogame For Kids With ADHD Symptoms,” Universitat de Girona,
2013.
D. W. F. van Krevelen and R. Poelman, “A Survey of Augmented Reality
Technologies, Applications and Limitations,” Int. J. Virtual Real., vol. 9,
no. 2, pp. 1–20, 2010.
M. E. C. Santos, A. Chen, T. Taketomi, G. Yamamoto, J. Miyazaki, and H.
Kato, “Augmented Reality Learning Experiences: Survey of Prototype
Design and Evaluation,” IEEE Trans. Learn. Technol., vol. 7, no. 1, pp.
38–56, Mar. 2014.
H. H. Adelsberger, Kinshuk, J. M. Pawlowsky, and D. Sampson,
Handbook on Information Technologies for Education and Training.
Springer, 2008.
E. Woods, M. Billinghurst, J. Looser, G. Aldridge, D. Brown, B. Garrie,
and C. Nelles, “Augmenting the science centre and museum experience,”
Proc. 2nd Int. Conf. Comput. Graph. Interact. Tech. Australas. South East
Asia, p. 230, Jun. 2004.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
H. Tobar R. Fabregat; S. Baldiris - Using a videogame with augmented reality for an inclusive logical skills learning session
[22] N. A. A. Aziz, K. A. Aziz, A. Paul, A. M. Yusof, and N. S. M. Noor,
“Providing augmented reality based education for students with attention
deficit hyperactive disorder via cloud computing: Its advantages,” in 14th
International Conference on Advanced Communication Technology
(ICACT), 2012, pp. 577–581.
[23] M. A. Mohd Azmidi Bin Abdullah, “Teaching ADHD Children using AR
(ADHD-Edu),”
01-May-2012.
[Online].
Available:
http://utpedia.utp.edu.my/3937/. [Accessed: 06-Mar-2013].
[24] M. Prensky, “Digital Natives Digital, Immigrants,” Horiz., vol. 9, no. 8,
2001.
[25] J. Gee, “Good video games and good learning,” Phi Kappa Phi Forum, pp.
33–37, 2005.
[26] E. Klopfer and K. Squire, “Environmental Detectives – The Development
of an Augmented Reality Platform for Environmental Simulations,” Educ.
Res. Technol. Dev., vol. 56, no. 2, pp. 203–228, 2008.
[27] E. Rosenbaum, E. Klopfer, and J. Perry, “On Location Learning: Authentic
Applied Science with Networked Augmented Realities,” Journal of
Science Education and Technology, vol. 16. pp. 31–45, 2007.
[28] K. D. Squire and M. Jan, “Mad City Mystery: Developing Scientific
Argumentation Skills with a Place-based Augmented Reality Game on
Handheld Computers,” J. Sci. Educ. Technol., vol. 16, no. 1, pp. 5–29, Feb.
2007.
[29] H. Lee, “Mathematical Education Game Based on Augmented Reality,”
Technol. E-Learning Digit. Entertain., 2008.
XVI Simposio Internacional de Informática Educativa (SIIE’14)
[30] M. Carmen Juan, M. Carrizo, F. Abad, and M. Gimenez, “Using an
Augmented Reality game to find matching pairs,” in WSCG 2011:
COMMUNICATION PAPERS PROCEEDINGS, 2011, pp. 59–66.
[31] J. Barreira, M. Bessa, L. C. Pereira, T. Adao, E. Peres, and L. Magalhaes,
“MOW: Augmented Reality Game to Learn Words in Different Languages
Case study: learning english names of animals in elementary school,” in
INFORMATION SYSTEMS AND TECHNOLOGIES, 2012.
[32] T. E. Brown, “Executive Functions and Attention Deficit Hyperactivity
Disorder: Implications of two conflicting views,” Int. J. Disabil. Dev.
Educ., vol. 53, no. 1, pp. 35–46, Mar. 2006.
[33] S. McLeod, “Skinner - Operant Conditioning,” SimplyPsychology, 2007.
[Online].
Available:
http://www.simplypsychology.org/operantconditioning.html. [Accessed: 08-Mar-2013].
[34] G. L. Flick, Managing ADHD in the K-8 Classroom: A Teacher’s Guide.
SAGE Publications, 2010.
[35] S. Banús Llort, “Entrenamiento en Autoinstrucciones,” 2013. [Online].
Available:
http://www.psicodiagnosis.es/areaespecializada/tecnicasdeintervencion/ent
renamientoenautoinstrucciones/index.php. [Accessed: 07-Mar-2013].
[36] S. Siltanen, “Theory and Applications of Marker-based Augmented
Reality,” 2012.
[37] M. A. Canals, Problemes i més problemes, 1st ed. Barcelona: Rosa Sensat,
2010, p. 149.
277
Outras formas de aprender: inserção de crianças na
cultura digital
Fernando Silvio Cavalcante Pimentel
Coordenadoria Institucional de Educação a Distância
Universidade Federal de Alagoas
Maceió-Alagoas, Brasil
[email protected]
Resumo— O presente artigo apresenta o resultado de uma pesquisa
qualitativa sobre como as crianças estão se apropriando das
tecnologias digitais para seus processos de aprendizagem.
Utilizando-se do método de pesquisa exploratória, de corte
transversal, foi aplicado um questionário com 381crianças entre 9 e
14 anos de idade, obtendo resultados significativos para a análise de
como as crianças estão usando as TDIC para estudar. Partindo do
pressuposto que estamos vivenciando uma cultura digital, faz-se
mister compreender como as crianças incorporam as tecnologias
disponíveis, principalmente àquelas que são implantadas nas
escolas por diversos programas governamentais. Os resultados
apontam para nuances significativas e revelam a necessidade de
uma readequação do currículo da formação dos professores, como
também nas políticas públicas de inserção das TDIC nas escolas, a
tempo que fornece subsídios para professores e alunos que desejam
usar esta ferramenta de forma pedagógica, aproveitando ao
máximo sua potencialidade.
Palavras-Chave—Cultura Digital, Aprendizagem em rede, TDIC
I. INTRODUÇÃO
A sociedade em rede apresenta-se com uma variedade de
incógnitas, descrevendo novos paradigmas relacionais ao mesmo
tempo em que, em alguns segmentos comunitários, observa-se
um “forte apego” a elementos tradicionais. Estas incertezas
conduzem a perspectivas de pesquisas empíricas que possam
promover a compreensão daquilo que realmente é oportuno e
que agrega valor à sociedade.
Pensar na cultura digital implica reconhecer que ela não é e
não será uma unanimidade. Nenhuma cultura jamais será uma
homogeneidade, sendo relevante considerar que reconhecer a
existência da cultura digital implica reconhecer que ela já é um
fato, já existe independente se ainda existem lugares no planeta
que ainda nem experienciaram a Revolução Industrial. Toda
cultura predispõe o conflito, a dicotomia e a complexidade.
Tendo como motivação a disposição de compreender os
impactos da cultura digital no meio escolar, esta pesquisa, de
cunho qualitativo e com base na metodologia de pesquisa
Survey, teve como objetivo analisar como as crianças estão se
apropriando das TDIC para seus processos de aprendizagem. A
maioria das pesquisas realizadas a partir de projetos de inclusão
digital ou de projetos de disseminação de tecnologia nas escolas
tem como foco a gestão administrativa ou os processos
formativos dos professores envolvidos em cada escola, mas
sobre a apropriação das (TDIC16) pelas crianças ou como elas
aprendem por meio deste artefato necessita de um olhar
minucioso, detalhado e sistemático. A medida que busca
responder a questão As crianças fazem uso das Tecnologias
Digitais de Interação e Comunicação?, os dados desta
investigação trazem elementos suficientes para uma retomada e
reflexão do que está sendo realizado enquanto política pública.
II. PERSPECTIVAS DA CULTURA DIGITAL
A inegável mudança social vivenciada nos últimos 30 anos,
tem revelado características de como a sociedade tem buscado
cada vez mais a integração e a inter-relação das pessoas e de
suas culturas. Por um lado, a globalização tem oportunizado que
pessoas e produtos possam transitar de