Experiencias con la evaluación por pares para los MOOC

Experiencias en la evaluación por pares para los MOOC
Desarrollo y experimentación de un sistema de evaluación por pares para un curso masivo
online
Enrique Sánchez Acosta
Juan José Escribano Otero
Departamento de informática,
automática y comunicaciones
Universidad Europea
Enrique Sánchez Acosta
Ingeniero de Software en Soft S.A
Doctorando en Tecnologías de Información Aplicadas
([email protected])
Juan José Escribano Otero
Director del departamento de informática,
automática y comunicaciones de la Universidad Europea
([email protected])
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Resumen
Aunque en un primer momento los MOOC (Massive Open Online Courses) no utilizaron la
evaluación entre pares, esta ha demostrado con creces los beneficios que puede llegar a
aportar para este tipo de cursos, mejora los procesos de aprendizaje, aumenta la capacidad de
emitir juicios y desarrolla algunas competencias académicas que otros instrumentos
evaluativos de los MOOC no poseen. En este artículo se analizará el resultado obtenido por
las plataformas más utilizadas para los cursos masivos online, detallando sus características y
limitaciones, así como la experiencia en la implementación y utilización de un sistema de
evaluación por pares para un curso de más de 7300 alumnos. Se detallarán sus inicios en la
realización de las rúbricas de definición y evaluación, junto a los resultados finales y las
consecuencias de la inclusión de este tipo de evaluación en los MOOC.
Palabras clave
MOOC, Evaluación, Pares, Rúbrica, Automatismo, Masivo
2
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Abstract
Although at first the MOOC (Massive Open Online Courses) did not use peer assessment, this
has fully demonstrated the benefits you can get to contribute to this type of course, improve
the learning process, increase the ability to make judgments academic skills and gets some
other evaluative instruments that MOOC don´t have. In this report the results received by the
most commonly used for massive online course platforms will be discussed, detailing its
features and restrictions, as considerably as the experience gained in the implementation and
use of a system of peer review for a course of more than 7300 pupils. Experience from its
origins in the recognition of the headings of definition and assessment, until the final results
and the shock of the inclusion of this type of evaluation will be detailed in the MOOC.
Keywords
MOOC, Evaluation, Pair, Rubric, Automatic, Massive
3
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Experiencias en la evaluación por pares para los MOOC
En primer lugar es necesario definir y enmarcar la evaluación por pares utilizada actualmente
en la mayoría de las revistas científicas dentro del contexto de los cursos masivos online. El
sistema de evaluación del trabajo científico por los miembros de la comunidad llamado de
revisión por pares (“peer review”) o sistema de arbitraje (“referee system”), es un proceso que
se inicia cuando un científico somete su trabajo en forma de artículo al editor de una revista
para ser publicado; este selecciona algunos especialistas (árbitros) quienes evalúan la calidad
del trabajo y definen si el producto de la investigación realizada por el científico tiene
potencial para ese propósito, o sí se debe hacer algún trabajo adicional antes de ser publicado
(Cuevas y Mestaza, 2002).
Sin embargo en los cursos masivos online este tipo de evaluaciones se ha desvirtualizado un
poco, de modo que tal y como puede observarse en la definición anterior dada por Cuevas y
Mestaza se especifica la palabra especialista, sin embargo, son los propios estudiantes quienes
tratan de evaluar a sus compañeros. Para demostrar que estas evaluaciones son igualmente
válidas que si las hiciera un especialista, las plataformas actuales que soportan los MOOC se
basan en la gran cantidad de evaluaciones que estos estudiantes pueden realizar de un
ejercicio, para determinar una calificación más igualitaria. De este modo, prácticamente todas
las plataformas soportan este tipo de evaluaciones y todas ellas permiten ampliar el número de
veces que se evalúa un trabajo a un número muy superior a 2.
Por otro lado, se hace difícil enmarcar la evaluación por pares dentro de los instrumentos de
evaluación utilizados en los MOOC, por ello se propone una división de estos instrumentos en
3 tipos fundamentales para poder definir mejor la evaluación por pares.
Herramientas basadas en automatismos: Este tipo de herramientas o instrumentos de
evaluación se basan en programas automáticos que analizan las respuestas mediante
herramientas informáticas que implementan un algoritmo prefijado de corrección. Con estas
herramientas, se persigue la fiabilidad de la corrección en tanto que una misma respuesta
recibirá la misma evaluación todas las veces que se someta al automatismo. Existen diferentes
tipos de instrumentos que pueden encajar en esta clasificación, pero la característica
fundamental es que no precisan intervención humana, lo que los hace especialmente
adecuados para el uso en MOOC. Algunos ejemplos podrían ser: Test de opción múltiple,
4
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Evaluación automática de conjuntos de problemas, Tareas de programación, Encuestas y
cuestionarios, Ensayos, Escala de valoración de actitudes, Exámenes escritos, Solución de
problemas , Comparación de gráficos e imágenes, Analizadores semánticos en respuestas de
texto libre, con o sin diccionarios y tesauros con los que comparar, etc.
El MIT (Massachusetts Institute of Technology) está investigando para su plataforma Edx
varios sistemas de análisis de textos o AEG (Automated Essay Grading) (Markoff, 2013) para
conseguir que los ensayos y las pruebas escritas sean también evaluados automáticamente.
Por supuesto también tiene gran cantidad de detractores como los agrupados dentro
HumanReaders.org que cuentan ya con más de 4.000 firmas de profesionales de diferentes
universidades de todo el mundo. Están llevando a cabo un llamamiento a todas las escuelas y
universidades para que dejen de utilizar herramientas automáticas de corrección de resúmenes
o exámenes escritos en pruebas importantes o fundamentales para la graduación de los
alumnos. Su argumento principal es que las computadoras no saben leer, no pueden medir los
elementos esenciales de la comunicación escrita: la precisión, el razonamiento, la adecuación
de las pruebas expuestas, el buen sentido, la postura ética, si el argumento es convincente, la
organización significativa, la claridad y veracidad, entre otros («Human Readers», 2013).
Sin embargo existe una gran cantidad de sistemas de este tipo funcionando actualmente en el
mercado, no hay que olvidar que las máquinas son mucho más consistentes y pueden evaluar
una gran cantidad de elementos en poco tiempo (Ezeiza, A, 2013). Actualmente, combinan
métodos algorítmicos de análisis gramatical con análisis semánticos y métodos holísticos
basados en búsquedas de textos. Por ejemplo, el sistema Summary Street (Steinhart, 2000)
compara resúmenes con el texto original, o el Computer Learner Corpora (Granger, Hung, y
Petch-Tyson, 2002) está recopilando una base de datos de textos de estudiantes sobre los que
comparar los análisis. El e-rater (Attali y Burstein, 2006) combina análisis estadísticos y
procesamiento de lenguaje natural para contrastar los resultados con su base de datos, analiza
cuestiones gramaticales, marcadores de discurso y contenido léxico utilizando unos 100
indicadores. Aseguran que sus resultados tienen una tasa de acierto comparándolos con
evaluadores humanos de entre el 84% y el 94%. Este sistema es impulsado por la empresa
ETS (Educational Testing Service) para desarrollar el programa Criterion. ETS utiliza este
sistema en algunas de las conocidas pruebas TOEFL (Test Of English as a Foreign Language)
emparejando máquina con evaluador humano para algunas pruebas de evaluación, lo que
5
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
supone un ahorro de una importante suma de dinero (Knoch, 2009).
Herramientas basadas en la autoridad: Son aquellas herramientas en las que interviene un
profesional o una persona versada en la materia. Son muy difíciles de implementar en un
MOOC, debido principalmente a la gran cantidad de alumnos matriculados en el curso, por lo
que este tipo de evaluaciones requerirían de una cantidad ingente de tiempo del profesor o
profesores. Sin embargo, a veces se delegan estas correcciones en profesores asistentes que
dinamizan y apoyan a los estudiantes. Cuando en lugar de corregir un profesor lo hace un
amplio conjunto de profesores, aparece el problema de la disparidad de criterios en la
corrección, que puede provocar que una misma respuesta reciba muy distintas evaluaciones
dependiendo del miembro del equipo docente que la evalúe, incluso, dependiendo del
momento en que lo haga. Para paliar este problema, es posible aplicar rúbricas muy
sofisticadas de evaluación que determinen un desarrollo más objetivo de las correcciones, se
pueden parametrizar los criterios e incluso apoyarse en descriptores. Pero, al final, el ser
humano evalúa en gran medida basándose en la intuición. Algunos autores piensan que es más
relevante la experiencia de los evaluadores, su origen o sus conocimientos que cualquier
descriptor o rúbrica que se determine, y por eso, más que dedicar horas y estudios a construir
escalas fiables y válidas, les parece más rentable gastar ese dinero y esfuerzo en la
preparación de las personas que vayan a evaluar las pruebas, su grado de acuerdo y la forma
en la que manipulan esas escalas (Ezeiza, A, 2013). Algunas técnicas de evaluación que
necesitan herramientas basadas en la autoridad son: Seminarios, Talleres, Exámenes prácticos,
Entrevistas, Debates, La coevaluación de las actividades realizadas en los cMOOC.
Herramientas basadas en la interacción social: Sin lugar a dudas el potencial comunicador
de las redes sociales está todavía por descubrir y debe ser estudiado más en profundidad
(Guerrero, 2010). Ahora es el momento en que se está comenzando a introducir este potencial
en el sistema educativo y aprovechar al máximo las oportunidades que nos brindan las redes
sociales, no solamente en cuanto a los MOOC se refiere sino también como herramienta de
apoyo a las clases tradicionales. Algunos instrumentos que encajan en este sistema de
interacción social son: Anecdotario, Portafolio, Wiki colaborativo, Gamificación o
motivación basada en juegos colaborativos, Encuestas y cuestionarios, Foros de discusión,
Proyectos, Talleres, Tareas, ejercicios y actividades o el conocimiento generado o
colaboración en el aprendizaje en los cMOOC y xMOOC.
Con estos datos se podría enmarcar la evaluación por pares a caballo entre las herramientas
6
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
basadas en la interacción social o basadas en la autoridad. Sin embargo dado que una parte
fundamental de las herramientas basadas en la autoridad es que la persona sea versada en la
materia, sería más acertado decir que los sistemas de evaluación por pares son una
herramienta de evaluación para los MOOC basada en la interacción social, tanto es así que en
la experiencia que se va a detallar en este estudio muchos de los alumnos comentaron en los
foros que ¿Cómo iban ellos a evaluar un trabajo sobre algo que están aprendiendo?, es decir,
no se les puede considerar autoridad.
Necesidad del estudio
La gran tasa de abandono que están teniendo los MOOC hace necesario estudiar la forma de
mantener a esos estudiantes durante todo el curso y así garantizar su aprendizaje. Sin embargo
entra en juego la pregunta de si es mejor disminuir la tasa de abandono o mejorar la calidad de
lo aprendido, algo que se preguntan la mayoría de las instituciones que se adentran en este
tipo de enseñanza online. La tasa actual de abandono de los MOOC está rondando el 95%,
pero esta puede deberse también a la propia "curiosidad" que están generando estos cursos en
la red. Los estudiantes quieren saber de qué se trata y las estadísticas actuales no muestran
estos datos. Resultaría interesante incluir en el registro una casilla que indicase si solo desea
probar el curso, algo así como "Estudiante oyente". Esto podría mejorar las estadísticas, al
menos en estos momentos iniciales en que los MOOC despiertan tantas expectativas (Acosta,
2013).
Hipótesis
Este experimento se realiza para determinar si la utilización de la herramienta de evaluación
por pares es útil o no para disminuir la alta tasa de abandono que tienen actualmente los
cursos masivos online.
Metodología
Para lograr dar respuesta a esta hipótesis se incluyó en un MOOC sobre videojuegos con más
de 7300 alumnos, una tarea de evaluación por pares. Gracias a esta muestra tan amplia y
diversa de alumnos (Ver Gráficos 1, 2, 3 y 4) se puede ratificar la posible extensión de estos
resultados a otros cursos masivos online
7
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Perfil Aun no
he comenzado
mi periodo
universitario
13%
Perfil Docente /
investigador
universitario
8%
Perfil
Perfil Personal
de
administración
y servicios de
universidad
1%
Perfil
Estudiante
universitario
40%
Perfil
Finalicé mi
periodo
universitario
38%
Gráfico 1.- Perfil de alumnos a los que se dirigió la evaluación por pares
Edad 0-17
3%
Edad
Edad 45-54
5%
Edad
35-44
18%
Edad 55-64
Edad 65-+
0%
0%
Edad 25-34
39%
Edad 18-24
35%
Gráfico 2.- Edad de alumnos a los que se dirigió la evaluación por pares
País España
País Colombia
País México
País Perú
Gráfico 3.- Nacionalidad de alumnos a los que se dirigió la evaluación por pares
8
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Sexo
Mujer
18%
Hombre
82%
Gráfico 4.- Sexo de alumnos a los que se dirigió la evaluación por pares
El experimento fue realizado sobre una plataforma en castellano donde existen multitud de
otros cursos masivos, algunos con tareas por pares y otros no. Estudios realizados en otras
plataformas ponen de manifiesto que la mayoría de los MOOC cuentan con una mezcla de
auto-evaluaciones, generalmente relegados a un solo tipo de instrumento evaluativo, los test
de opción múltiple, y evaluación por pares o entre iguales. (Ver Ilustración 1).
● 24 - MCQ (Multiple Choice Questions) y evaluación entre pares
● 114 - MCQ (Multiple Choice Questions) únicamente
● 10 - Evaluación entre pares únicamente.
● 7 - Otros.
Ilustración 1.- Análisis de evaluaciones por Katy Jordan (Jordan, 2013)
El curso se dividió en 6 módulos con una serie de lecciones cada uno, aproximadamente 10
lecciones con un vídeo en cada uno de ellas. La tarea de evaluación por pares fue introducida
9
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
en el segundo módulo y aunque aparecía en el plan de estudios inicial, mucho de los alumnos
no se habían dado cuenta de esta posibilidad y les pilló por sorpresa, lo que enfatizó un
descenso en la realización de estas tareas las primeras semanas del curso.
A los alumnos se les advirtió de que la finalización y su calificación se realizarían durante las
dos semanas siguientes al comienzo del módulo y que deberían evaluar al menos a un alumno
para poder ser calificados dentro de la plataforma. Aun así hubo muchos problemas con la
finalización de la misma debido a que ellos pensaban que tendrían hasta final de curso para
terminar la evaluación.
Uno de los principales comentarios realizados por los alumnos en la comunidad del curso fue
“¿Cómo debían evaluar a sus compañeros?” Quizá la rúbrica de evaluación no fue del todo
precisa y dejaba muchas opciones a la interpretación. Es muy importante que la rúbrica quede
lo más específica posible y que los estudiantes sean capaces de evaluar eficazmente a sus
compañeros.
Durante las 6 semanas de duración del curso se tomaron estadísticas continuas para ver la
evolución de la actividad a lo largo del tiempo y se realizó una encuesta final a la que
respondieron más de 1200 alumnos.
Resultados
Una vez visto la metodología utilizada en el experimento y que la muestra es lo
suficientemente grande como para refutar la fiabilidad del mismo, se pasa a detallar los datos
estadísticos más relevantes del experimento en cuanto a la herramienta de evaluación por
pares que se está estudiando.
En primer lugar parece relevante comparar la finalización de los módulos entre sí, ya que
como se ha dicho anteriormente solo se introdujo una técnica de evaluación por pares en el
módulo 2, esto puede dar una idea de la diferencia entre este tipo de evaluación y otros
utilizados en el curso como las preguntas de opción múltiple (Ver Tabla 1)
10
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
11
Tabla 1.- Estadísticas de finalización por módulos
Diseño Organización Evaluación de videojuegos y gamificación. Hay
7.386 usuarios inscritos.
Iniciaron el curso 5689 personas y finalizaron 807
Módulo
Cuantos
Iniciaron
4826
5373
4004
2782
2254
1929
1521
Mo 0. Presentación del curso
Mo 1. Historia y desarrollo de los videojuegos
Mo 2. El diseño de un juego
Mo 3. Los roles dentro de la industria
Mo 4. Distribución financiación, el largo camino
Mo 5. La crítica y evaluación el juego. El juego como arte
Mo 6. La gamificación y otras tendencias actuales
Cuantos
Terminaron
4825
4211
1349
2365
1996
1671
1249
Se puede observar gráficamente (Ver Gráfico 5) como este tipo de evaluación causa una
ligera desviación en la finalización del módulo que la contiene. Aun así, resulta mucho más
interesante observar detenidamente esta herramienta dentro del módulo 2, ya que si se
mezclan todos los módulos, es posible que las demás lecciones que no contienen evaluación
por pares puedan enmascarar la estadística de este instrumento evaluativo.
Módulos
6000
5000
4000
3000
2000
1000
0
1
2
3
Cuantos Iniciaron
4
5
6
7
Cuantos Terminaron
Gráfico 5.- Comparativa de finalización de los módulos
De este modo puede observarse en la última semana del curso como las diferencias entre el
resto de las lecciones y esta, que contiene la actividad por pares, son sustanciales (Ver Tabla
2), aunque quizá se pueda ver con más detalle en el gráfico (Ver Gráfico 6).
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
12
Tabla 2.- Estadísticas de las lecciones del Módulo 2 del curso
Actividad
Tema 1: Una duda razonable
Cuestionario: Una duda razonable
Tema 2: ¿Qué NO es el diseño de un juego?
Cuestionario: ¿Qué NO es el diseño de un juego?
Tema 3: Estableciendo las formas
Cuestionario: Estableciendo las formas
Tema 4: ¿Qué podemos hacer con todo esto?
Cuestionario: ¿Qué podemos hacer con todo esto?
Tema 5: Cómo generar tomas de decisión
Cuestionario: Cómo generar tomas de decisión
Tema 6: Hablemos de diseño con un teórico: Keith Burgun
Tema 7: Niveles, la otra cara del diseño.
Cuestionario: Niveles, la otra cara del diseño.
Tema 8: La Master Class de Miyamoto-San
Cuestionario: La Master Class de Miyamoto-San
Entrevista a Raúl Rubio
Entrevista a Lucas González
Actividad Peer2Peer
Documentación adicional
Iniciaron
Aprobaron
3873
3848
3833
3773
3771
3705
3674
3624
3602
3565
3562
3456
3421
3425
3384
3378
3209
1406
2950
3870
3776
3831
3728
3769
3662
3673
3583
3599
3525
3561
3456
3380
3424
3348
3376
3208
1360
2947
Nota
Media
100
99,683
100
99,706
100
99,836
100
99,833
100
99,887
100
100
99,941
100
99,91
100
100
86,186
100
Gráfico de finalización del módulo 2
5000
4000
3000
2000
1000
0
1
2
3
4
5
6
7
8
Iniciaron
9 10 11 12 13 14 15 16 17 18 19
Finalizaron
Gráfico 6.- Comparativa de la evaluación por pares dentro de su módulo
Ya con estos datos, se pueden sacar interesantes conclusiones de este tipo de instrumento de
evaluación con respecto a la tasa de finalización de los MOOC. A lo largo de las distintas
etapas en las los estudiantes han estado completando la actividad que se está estudiando, se ha
observado una importante disminución en la actividad de evaluación por pares. Este curso
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
contaba a su finalización con dos tipos de certificados avalados por la plataforma y por la
universidad que lo impartía. Uno de ellos, el certificado de participación, se otorgaba a todos
los estudiantes que superaran el 75% del curso, mientras que el otro certificado, de
aprovechamiento, se otorgaba a aquellos que superasen con un 100% las actividades. Por lo
tanto, todos aquellos que no pudieron terminar a tiempo la tarea de evaluación por pares
quedaron fuera de este certificado, disminuyendo con diferencia lo que hubiera sucedido en
caso de no haber incluido este tipo de evaluación. Cabe destacar en este punto que ese
certificado tenía un coste de 40 euros con lo que podría haberse sufragado los gastos del
curso, luego un descenso en este punto resulta muy importante para la financiación de los
MOOC.
Con todos estos resultados se puede obtener una idea de que están dispuestos a hacer los
estudiantes para terminar un curso masivo online, sin embargo a la finalización de este
experimento se les envió una encuesta con diferentes preguntas acerca del curso y algunas
fueron muy significativas (Ver Gráfico 7 y 8), estas preguntas fueron contestadas por más de
1200 alumnos.
¿Qué tipo de cuestionario te gusta más?
15%
6%
Resumen o ensayo
Opción multiple
9%
Emparejamiento
4%
Respuesta corta
66%
Verdadero o falso
Gráfico 7.- Resultados de la encuesta con respecto a los tipos de preguntas
13
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Curso online
38%
62%
Curso masivo, con poca
interacción de los
profesores
Curso limitado con
interacción directa con el
profesor
Gráfico 8.- Qué tipo de curso online prefieren los estudiantes
Conclusiones
A partir de los datos obtenidos en los resultados anteriores, se puede responder a la hipótesis
planteada para este experimento de forma negativa, es decir, la utilización de mecanismos de
evaluación por pares inciden negativamente en la tasa de finalización de los MOOC, esto no
quiere decir que el aprendizaje sea de mayor o menor calidad, sino únicamente que si lo que
se desea es aumentar la tasa de finalización, es mejor obviar este tipo de instrumentos
evaluativos.
Este experimento ha servido además para mejorar algunas pautas en su realización y que se
están teniendo en cuenta para la próxima versión del curso que comenzará en breve. Por
ejemplo, la tarea por pares debe mantenerse a lo largo de todo el curso para aceptar alumnos
que se enganchen al mismo en semanas posteriores, muchos de los alumnos comenzaron en
las semanas 3 y 4 y ya casi no tenían opción a realizar la tarea. Por otro lado las plataformas
deben mejorar en este tipo de instrumentos de evaluación, en muchas de ellas no están
teniendo en cuenta que algunos estudiantes no eran calificados por que en ocasiones los
alumnos que debían realizar la calificación no la hacían, si eso sucede debe pasar a otro
estudiante inmediatamente hasta su calificación, no debe ocurrir que estudiantes que realicen
la tarea se queden sin calificar.
Otro punto a tener en cuenta es que la rúbrica de evaluación ha de ser muy precisa, muchos
estudiantes se fiaban de su intuición para calificar y al no ser expertos en la materia muchas
calificaciones no estaban correctamente evaluadas, es decir, debe utilizarse al alumno como
un pequeño “robot” que no sabe nada y se le han de dar todas las pautas necesarias para una
14
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
correcta evaluación, debe suponerse que el estudiante no sabe, está aprendiendo. Más que una
rúbrica, debería ser un pequeño algoritmo para seguir paso a paso que permita evaluar
minuciosamente un contenido, indicando los mínimos, en cuantas partes debe estar dividido,
qué hacer si no tiene alguna de las partes fundamentales, que puntuación se le da a cada
apartado, etc.
15
EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC
Referencias
Acosta, E. S. (2013). MOOC: Resultados reales. elearningeuropa.info. Recuperado a partir de
http://elearningeuropa.info/en/article/MOOC:-Resultados-reales
Attali, Y., y Burstein, J. (2006). Automated essay scoring with e-rater® V. 2. The Journal of
Technology, Learning and Assessment, 4(3).
Cuevas, R. F., y Mestaza, M. (2002). La evaluación científica y el sistema de revisión por
pares. CSI Boletín, 46.
Ezeiza, A. (2013). ¡Horror! ¡Me evalúa un Robot! Boletín SCOPEO No 85. Recuperado a
partir de http://scopeo.usal.es/horror-me-evalua-un-robot/
Granger, S., Hung, J., y Petch-Tyson, S. (2002). Computer learner corpora, second language
acquisition, and foreign language teaching (Vol. 6). John Benjamins.
Guerrero, C. S. (2010). Aprendizaje cooperativo e interacción asincrónica textual en contextos
educativos virtuales. Pixel-Bit: Revista de medios y educación, (36), 53–67.
Human Readers. (2013). Recuperado noviembre 6, 2013, a partir de
http://humanreaders.org/petition/index.php
Jordan, K. (2013). Synthesising MOOC completion rates. MoocMoocher. Recuperado julio
24, 2013, a partir de http://moocmoocher.wordpress.com/2013/02/13/synthesisingmooc-completion-rates/
Knoch, U. (2009). Diagnostic writing assessment: The development and validation of a rating
scale (Vol. 17). Peter Lang.
Steinhart, D. (2000). Summary street: An LSA based intelligent tutoring system for writing
and revising summaries. Unpublished Doctoral Dissertation, University of Colorado.
16