UNIVERSIDAD DE MURCIA
ESCUELA INTERNACIONAL DE DOCTORADO
Machine Learning y Predicciones para la Mejora
del Rendimiento en MOOC: El Caso de la
Universitat Politècnica de València
D. Jorge Ángel Martínez Navarro
2021
Machine Learning y predicciones para la mejora
del rendimiento en MOOC: El caso de la
Universitat Politècnica de València
Doctorando:
D. Jorge Ángel Martínez Navarro
Dirección:
Dra. Linda Castañeda Quintero
2021
Dª. Linda Johanna Castañeda Quintero, Profesora Titular de
Universidad del Área de Didáctica y Organización Escolar en el
Departamento de Didáctica y Organización Escolar, AUTORIZA:
La presen aci n de la Tesis Doc oral i lada Machine Learning y
predicciones para la mejora del rendimiento en MOOCs: El caso de la Universitat
Politécnica de Valencia , reali ada por D. Jorge Ángel Martínez Navarro,
bajo mi inmediata dirección y supervisión, y que presenta para la
obtención del grado de Doctor por la Universidad de Murcia.
En Murcia, a 18 de ENERO de 2021
Firmado digitalmente por
CASTAÑEDA QUINTERO
LINDA JOHANNA - 48746476T
Fecha: 2021.01.19 10:38:05
+01'00'
Mod:T-20
Agradecimientos
A toda mi familia,
a mi mujer María José,
y en especial a mis hijos:
Jorge y Alejandro
A la Universitat Politècnica de València,
y más concretamente a Ignacio Despujol,
por los datos de la plataforma y su tiempo.
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Resumen
La presente investigación tiene como objetivo la propuesta de solución a una necesidad
concreta planteada por una institución universitaria, la Universitat Politécnica de Valencia,
que se propone mejorar la experiencia de su plataforma de MOOC (Massive Open Online
Course) y reducir las tasas de abandono en sus cursos, a través del uso de las analíticas de
aprendizaje de que dispone y mecanismos de machine learning. Los datos analizados
corresponden a 700.000 participantes repartidos en 260 cursos desde el año 2015 hasta 2019.
Para la resolución de este problema no se ha realizado un simple trabajo de minería de datos
en los que se han combinados todos los posibles datos existentes, sino que se ha realizado
una investigación basada siempre en decisiones pedagógicas en la que se utiliza la
metodología de investigación educativa basada en diseño con el propósito de trazar
mecanismos automatizados que contribuyan a mejorar el rendimiento de dichos cursos, a
través de tres iteraciones con distintos patrones que siempre finalizan con la presentación de
resultados y la realimentación por parte de los expertos de la universidad.
Las principales conclusiones de este trabajo indican que, de los veinticinco indicadores
pedagógicos de abandono referidos por las revisiones bibliográficas, únicamente se validan
diez de ellos con los datos de la UPV (no se tienen datos automáticos ni automatizables de
los otros). Se proponen finalmente un conjunto de mecanismos automatizados que se
aplicarán en la plataforma edX de la universidad, para la mejora de la experiencia de los
usuarios y la reducción de la tasa de abandonos en los cursos.
1
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Abstract
The aim of this research is to propose a solution to a specific need raised by a university
institution, the Universitat Politécnica de Valencia, which aims to improve the experience of
its MOOC (Massive Open Online Course) platform and reduce dropout rates in its courses,
through the use of the learning analytics available and machine learning mechanisms. The
data analyzed correspond to 700,000 participants spread over 260 courses from 2015 to 2019.
To solve this problem, a simple data mining work has not been carried out in which all the
possible existing data have been combined, but an investigation based always on pedagogical
decisions has been carried out in which, the educational design research methodology is used
in order to design automated mechanisms that improve the performance of these courses,
through three iterations with different patterns that always end with the presentation of results
and feedback of the experts of the university.
The main conclusions of this work indicate that, of the 25 pedagogical indicators of drop-out
referred to by the bibliographical reviews, only 10 of them are validated with the UPV
courses (there is no automatic or automatable data for the others), and of those finally only
six of them are possible predictors of student dropout.
Finally, a set of automated
mechanisms are proposed to be applied in the university's edX platform, in order to improve
the user experience and reduce the dropout rate in the courses.
3
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Índice
Introducción .......................................................................................................................... 13
SECCIÓN I. MARCOS TEÓRICOS ................................................................................... 17
Capítulo 1. Los MOOC. ....................................................................................................... 19
1.1. Los cursos masivos y abiertos en línea (MOOC) ...................................................... 19
1.2. Origen de los MOOC ................................................................................................. 23
1.2.1. Antecedentes de los MOOC en la educación a distancia .................................... 23
1.2.2. Evolución del e-learning al MOOC .................................................................... 26
1.2.3. Aparición de los primeros MOOC y su evolución .............................................. 29
1.3. Clasificación de los MOOC ....................................................................................... 32
1.4. Impacto de los MOOC en la actualidad ..................................................................... 37
1.4.1. Los MOOC en la educación universitaria ........................................................... 37
1.4.2. Nueva configuración del aprendizaje y la enseñanza.......................................... 40
1.5. Problemas y debilidades de los MOOC ..................................................................... 42
Capítulo 2. Learning Analytics y Machine Learning ........................................................... 45
2.1. Learning Analytics .................................................................................................... 46
2.1.1. Evolución y modelos teóricos ............................................................................. 47
2.1.2. Métodos computacionales ................................................................................... 50
2.1.3. Beneficios y limitaciones de Learning Analytics ................................................ 51
2.2. Machine Learning ...................................................................................................... 54
2.2.1. Diseño del estudio de predicción ........................................................................ 55
2.2.2. La validación cruzada en los modelos predictivos .............................................. 56
2.2.3. Selección del algoritmo de predicción ................................................................ 57
SECCIÓN II. ESTUDIO EMPÍRICO .................................................................................. 61
Capítulo 3. Metodología de la investigación ........................................................................ 63
3.1. Marco de la investigación: los MOOC de la UPV..................................................... 64
3.1.1. Caracterización de la UPV y su plataforma MOOC ........................................... 64
3.1.2. Evolución de la plataforma MOOC .................................................................... 64
5
3.1.3. Definición del modelo de curso MOOC en la UPV ............................................ 69
3.2. Objetivos de investigación ......................................................................................... 69
3.3. Preguntas de investigación ......................................................................................... 70
3.4. Diseño de investigación ............................................................................................. 71
3.5. Paradigma y metodología de investigación ............................................................... 72
3.6. Fases del proceso de la Investigación Basada en Diseño .......................................... 74
3.7. Iteración I. Metodología ............................................................................................ 77
3.7.1. Metodología común a las revisiones bibliográficas ............................................ 77
3.7.2. Revisión bibliográfica 1: Estudios de análisis sobre MOOC .............................. 80
3.7.3. Revisión bibliográfica 2: Utilización de Learning Analytics en MOOC ............ 83
3.7.4. Revisión bibliográfica 3. El abandono en la educación a distancia .................... 85
3.8. Iteración II. Metodología ........................................................................................... 86
3.8.1. Contraste de indicadores obtenidos con estructura de datos edX ....................... 87
3.8.2. Planteamiento de hipótesis Machine Learning ................................................... 91
3.8.3. Scripts para el filtrado y tratamiento de datos ..................................................... 91
3.8.4. Definición del problema y algoritmo Machine Learning ................................... 96
3.9. Iteración III. Metodología .......................................................................................... 98
3.9.1. Automatización mediante triggers ...................................................................... 99
3.9.2. Vías de comunicación para los procedimientos automatizados .......................... 99
Capítulo 4. Datos y resultados ............................................................................................ 103
4.1. Iteración I. Revisiones bibliográficas ...................................................................... 104
4.1.1. Revisión bibliográfica 1: Estudios de análisis sobre MOOC ............................ 104
4.1.1.1. Análisis de resultados ..................................................................................... 108
4.1.1.2. Conclusiones .................................................................................................. 113
4.1.2. Revisión bibliográfica 2: Learning Analytics en MOOC .................................. 114
4.1.2.1. Análisis de resultados ..................................................................................... 117
4.1.2.2. Conclusiones .................................................................................................. 120
4.1.3. Revisión bibliográfica 3: El abandono en la educación a distancia .................. 121
4.1.3.1. Análisis de resultados ..................................................................................... 124
4.1.3.2. Conclusiones .................................................................................................. 127
4.1.4. Resultados de la Iteración I ............................................................................... 128
4.1.5. Evaluación y reflexiones de la Iteración I ......................................................... 131
6
Machine Learning y predicciones para la mejora del rendimiento en MOOC
4.2. Iteración II: Planteamiento y validación de hipótesis con Machine Learning......... 133
4.2.1. Planteamiento de hipótesis ................................................................................ 134
4.2.2. Selección del algoritmo ..................................................................................... 136
4.2.3. Validación de hipótesis de procedimiento de Machine Learning ..................... 137
4.2.4. Evaluación y reflexión de la Iteración II ........................................................... 144
4.3. Iteración III: Formulación de procedimientos automáticos. .................................... 145
4.3.1. Desglose de propuestas ..................................................................................... 145
4.3.2. Evaluación y reflexiones de la Iteración III ...................................................... 148
4.3.3. Realimentación de Iteración III ......................................................................... 153
Capítulo 5. Conclusiones .................................................................................................... 159
5.1. Conclusiones relativas a los objetivos planteados ................................................... 159
5.2. Discusión de las conclusiones parciales de las iteraciones. ..................................... 163
5.3. Conclusiones emergentes. ........................................................................................ 165
5.4. Limitaciones del trabajo........................................................................................... 167
5.5. Trabajos futuros. ...................................................................................................... 168
Referencias bibliográficas .................................................................................................. 171
ANEXOS
... 203
Anexo 1. Iteración I. Rev. bibliográfica I. Fichas de revisión de artículos.
..
. 207
Anexo 2. Iteración I. Rev. bibliográfica II. Fichas de revisión de artículos.
.
.... 291
Anexo 3. Iteración II. Código fuente scripts..
.
Anexo 4. Iteración II. Listado de cursos analizados.
.
... 327
377
Anexo 5. Iteración II. Tablas de métricas hipótesis por curso analizado
.. 389
Anexo 6. Iteración III. Informe ejecutivo de presentación de resultados
.. 455
Anexo 7. Iteración III. Presentación para exposición de resultados
.. 469
7
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Índice de tablas
Tabla 1. Síntesis de metodología (adelanto) ......................................................................... 14
Tabla 2. Estado de los MOOC. Fuente: www.classcentral.com/report/mooc-stats-2019 .... 32
Tabla 3. Resumen clasificación MOOC. Elaboración propia .............................................. 35
Tabla 4. Beneficios, desafíos y limitaciones de LA. Elaboración propia ............................. 53
Tabla 5. Glosario de términos analizados. Elaboración propia ............................................ 58
Tabla 6. Definición de los modelos ML utilizados. Elaboración propia .............................. 59
Tabla 7. Evolución plataforma online UPV. (Despujol, Castañeda & Turro,2018)............. 65
Tabla 8. Síntesis de la metodología utilizada en la investigación. Elaboración propia. ....... 71
Tabla 9. Actuaciones por fases en cada iteración. Elaboración propia ................................ 76
Tabla 10. Plantilla modelo de recogida de datos Revisión.1. Elaboración propia ............... 82
Tabla 11. Plantilla modelo de recogida de datos Revisión.2. Elaboración propia ............... 84
Tabla 12. Contenido tabla auth_user. Fuente: edX .............................................................. 89
Tabla 13. Contenido tabla auth_userprofile. Fuente: edX .................................................... 89
Tabla 14. Contenido courseware_studentmodule. Fuente: edX ........................................... 90
Tabla 15.Contenido tabla grades_persistentcoursegrade. Fuente: edX ................................ 90
Tabla 16. Contenido tabla student_courseenrollment. Fuente: edX ..................................... 90
Tabla 17. Contenido tabla Course structure. Fuente: edX .................................................... 91
Tabla 18. Resumen de scripts creados con sus características. Elaboración propia ............. 94
Tabla 19. Artículos seleccionados para el análisis. Elaboración propia ............................. 105
Tabla 20. Artículos seleccionados para el análisis. Elaboración propia ............................. 115
Tabla 21. Comparativa modelos propuestos en Revisión 2. Elaboración propia ............... 117
Tabla 22. Artículos seleccionados para el análisis en la revisión bibliográfica 3. ............. 122
Tabla 23. Indicadores de abandono extraídos en Revisión 3. Elaboración propia ............. 128
Tabla 24 Indicadores de abandono extraídos. Elaboración propia. .................................... 129
Tabla 25. Indicadores seleccionados. Elaboración propia .................................................. 133
Tabla 26. Hipótesis generadas para verificar. Elaboración propia ..................................... 135
9
Tabla 27. Desglose de variables seleccionadas y creadas. Elaboración propia. ................. 136
Tabla 28. Comparativa de resultados modelos ML. Elaboración propia. .......................... 137
Tabla 29. Resultados con técnicas de ML para cada curso. Elaboración propia ................ 140
Tabla 30. Porcentaje de cursos por encima del umbral establecido. Elaboración propia... 141
Tabla 31. Listado de hipótesis validadas. Elaboración propia ........................................... 142
Tabla 32. Relación hipótesis - propuesta automática de mejora. Elaboración propia ........ 146
Tabla 33. Evaluación de propuestas de mejora automáticas. Elaboración propia .............. 152
Tabla 34. Reformulación de hipótesis. Elaboración propia................................................ 153
Tabla 35. Resultados con técnicas de ML tras reformulación. Elaboración propia ........... 155
Tabla 36. Porcentaje cursos superior umbral tras reformulación. Elaboración propia....... 155
Tabla 37. Propuestas automáticas de mejora tras reformulación. Elaboración propia ....... 156
10
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Índice de figuras
Ilustración 1. Evolución de plataformas MOOC. Elaboración propia ................................. 31
Ilustración 2. Esquema iteraciones de la investigación. Elaboración propia........................ 75
Ilustración 3. Nivel de evidencia. Fuente Letelier, Manríquez & Rada (2005) ................... 79
Ilustración 4. Resumen metodología Iteración I. Elaboración propia .................................. 86
Ilustración 5. Estructura de los scripts de definición de clases. Elaboración propia ............ 92
Ilustración 6. Estructura de los scripts de filtrado y procesamiento. Elaboración propia .... 92
Ilustración 7. Resumen metodología la Iteración II. Elaboración propia ............................. 97
Ilustración 8. Resumen metodología de las tres iteraciones. Elaboración propia .............. 101
Ilustración 9. Diagrama de búsqueda Rev. bibliográfica 1. Elaboración propia ................ 104
Ilustración 10. Gráfico resumen conclusiones Rev. bibliográfica 1. Elaboración propia .. 114
Ilustración 11. Diagrama sobre la estrategia de búsqueda. Elaboración propia ................. 115
Ilustración 12. Diagrama de búsqueda Revisión bibliográfica 3. ....................................... 122
Ilustración 13. Pasos obtención listado indicadores de abandono. Elaboración propia. .... 129
Ilustración 14. Matriz de confusión del problema ML. Elaboración propia ...................... 138
Ilustración 15. Estructura código fuente script ML. Elaboración propia. .......................... 139
Ilustración 16. Pasos de validación de hipótesis. Elaboración propia ................................ 143
Ilustración 17. Variables cambiadas en scripts tras reformulación. Elaboración propia .... 154
11
Machine Learning y predicciones para la mejora del rendimiento en MOOC
In
d cci n
Los Cursos masivos abiertos en red, en adelante MOOC (por sus siglas en inglés Massive
Open Online Courses) son cursos masivos, online y abiertos (sin coste) ofrecidos en su
mayoría por universidades, que se originaron en el año 2008 pero que no ha sido hasta el año
2011 en el que han tenido gran impulso y auge por su capacidad potencial de expandir el
conocimiento, innovando y ofreciendo una educación de calidad para todos.
La tesis doctoral que se presenta es el informe de una Investigación basada en el diseño, cuyo
objetivo principal es diseñar mecanismos automatizados, basados en el uso de analítica de
datos, que se puedan poner en marcha dentro de la Universitat Politécnica de Valencia (UPV)
para mejorar la experiencia de los estudiantes y de la propia institución en torno a los MOOC
ofrecidos por la UPV.
En esta investigación se trabaja con un gran conjunto de datos en los que se reflejan todas las
acciones que realizan 700.000 participantes en 260 cursos en la plataforma MOOC de la UPV
desde el año 2015 hasta 2019.
En adelante el lector se encontrará con un documento que pretende ser testimonio de un
trabajo de investigación con una importante vocación de servicio, que pretende ser útil a una
institución y a la vez generar conocimiento. Así, el documento mismo se articula en dos
secciones que agrupan cinco capítulos de la siguiente forma:
Como la investigación se centra en analizar los datos procedentes de cursos masivos y
abiertos en línea (MOOC) y como herramienta se va a utilizar Machine Learning, es
imprescindible antes de comenzar con el estudio empírico recoger los aspectos básicos de
estos dos elementos que nos permitan abordar su estudio. Por tanto, la primera sección se
centra en la exposición de los marcos teóricos y contiene dos capítulos: el primero aborda los
principios teóricos de los MOOC, definición, clasificación, antecedentes y evolución;
haciendo especial en el papel que juegan en la actualidad y en su impacto; y en el segundo
13
Machine Learning y predicciones para la mejora del rendimiento en MOOC
se abordan los Learning Analytics y Machine Learning cuyas técnicas se utilizarán en la
segunda iteración.
Una vez presentadas las bases, en la segunda sección nos centramos en el estudio empírico,
donde en primer lugar en el capítulo tres llamado Me odolog a de la in e igaci n se detalla
el diseño y desarrollo de la investigación, incluyendo la descripción de la metodología, el
contexto, los instrumentos utilizados, la recogida de información, la recolección de datos y
el proceso de análisis además de incluir breve reseña a la UPV y a su plataforma de cursos
en línea, a través de una caracterización y un análisis de su evolución.
Habiendo definido ya todos los aspectos de cómo se va a realizar la investigación, el capítulo
cuatro contiene el análisis de los datos y agrupa los trabajos realizados en las tres iteraciones
de las que se compone la investigación con sus objetivos, metodología y conclusiones.
Finalmente, ya con los resultados de la investigación, en el último capítulo de este trabajo se
señalan las conclusiones de acuerdo con las triangulaciones que se han realizado en las tres
iteraciones, las limitaciones, los mecanismos derivados, y las futuras líneas de investigación.
Además, se incluye una sección de anexos en los que se incluyen los documentos y tablas de
soporte utilizadas en la investigación: fichas de revisión de artículos, código fuente de los
desarrollos y tablas con los resultados obtenidos.
A con in aci n, e adelan a la informaci n de la Tabla 1 S n e i de la metodología utilizada
en la in e igaci n del di e o q e a pe ar de q e en el cap
lo re
e e plicar en de alle,
entendemos que en este apartado introductorio aporta con claridad sobre en qué consiste la
investigación que se va a desarrollar en los siguientes capítulos.
Tabla 1. Síntesis de metodología (adelanto)
Objetivo de
estudio
Diseñar mecanismos automatizados que se puedan poner en marcha dentro
de los MOOC de la UPV para mejorar la experiencia de los estudiantes y
universidad en los cursos aplicando la predicción de datos con
Machine Learning.
14
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Objetivos
-
Identificar cuáles son los criterios de análisis que, desde el punto de
vista pedagógico, se pueden analizar en las LA de los MOOC.
-
Analizar, con base en la analítica de datos disponibles y en los criterios
pedagógicos ya probados y/o sugeridos por la literatura científica, la
experiencia de los MOOC de la UPV.
-
Desarrollar modelos predictivos, basados en la analítica de aprendizaje,
que describan el posible comportamiento de los participantes de los
cursos MOOC de la UPV.
-
Proponer estrategias automatizadas basadas en analíticas de aprendizaje
para mejorar la experiencia de los alumnos y de la universidad y los
elementos didácticos de los MOOC de la UPV.
-
Proponer estrategias automáticas, que, con base en un esfuerzo menor,
permitan disminuir el abandono en los MOOC de la UPV.
específicos
Pregunta
de ¿Cómo lograr una mejora, a partir del uso de estrategias automatizadas, en
determinados parámetros de los MOOC a partir del tratamiento masivo de
investigación
los datos obtenidos en experiencias anteriores de esos mismos cursos?
Paradigma
Tipo
Sociocrítico
de Investigación basada en el diseño
investigación
Iteraciones de
Iteración I:
Fase 1: Planificar las revisiones bibliográficas
la
Revisiones
bibliográficas
Fase 2: Realizar las revisiones bibliográficas
Iteración II:
Fase 1: Plantear los criterios a analizar
Análisis de los
MOOC UPV
Fase 2: Analizar los datos con Machine Learning
Iteración III:
Fase 1: Plantear propuestas de mejora
Propuesta de
mejora y
conclusiones
Fase 2: Implementar y probar la propuesta de mejora
investigación
Fase 3: Presentar los resultados aceptación UPV
Fase 3: Modificar y aceptación UPV
15
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Limitaciones
y dificultades
Existen pocas investigaciones sobre experiencias MOOC, y más
concretamente sobre mecanismos automáticos de mejora de estos cursos.
Contribución
Propuesta de mejora de los MOOC de la UPV
16
SECCI N I. MARCOS TE RICOS
17
Capítulo 1. Los MOOC
Ca
l 1. L
MOOC.
Aunque el término MOOC sea relativamente nuevo en el campo de la enseñanza y de la
tecnología educativa, lo cierto es que las inmensas expectativas que ha generado han
conseguido que, a estas alturas, haya sido ya ampliamente estudiado. Sin embargo, no se
puede hacer un acercamiento a la justificación de este trabajo sin remitirnos a los orígenes de
los MOOC, aunque sea de manera más o menos sucinta, comenzando por sus antecedentes
en la educación a distancia (e-learning) y la evolución que ésta ha sufrido hasta llegar a la
aparición de los primeros MOOC y su evolución.
A pesar de que los MOOC son claramente identificables por sus cualidades, es necesario
recordar sus orígenes de la educación a distancia (EaD) tras la aparición de la formación
online y abierta desde la que se generaron muchas alternativas diversas. Es por ello por lo
que, el análisis de las características y potencialidades de los MOOC en la educación
universitaria pasa, necesariamente, por el análisis también de sus orígenes y vinculaciones
con la educación EaD.
Este primer capítulo será entonces un primer acercamiento a los MOOC, ya que este trabajo
se construye desde la teoría pedagógica existente, y no sobre los datos. Se realizará también
una clasificación de los distintos tipos que existen, su impacto y el estado actual de cómo se
encuentran en la actualidad, y más concretamente en la educación universitaria.
1.1. Los cursos masivos y abiertos en línea (MOOC)
Los cursos masivos abiertos en línea o Massive Open Online Course (MOOC) se nombran
así por primera vez en el año 2008 por Bryan Alexander y Dave Cormier (Shen, Wang y
Zhao 2016). En agosto del 2008, George Siemens y Stephen Downes en la Universidad de
Manitoba (Canadá) diseñan un primer curso sobre conec i i mo
Connectivism and
Connective Knowledge conocido e e pop larmen e como CCK08 (Downes, 2008). Se
trataba de un curso abierto con capacidad para cubrir una alta participación, que registró la
matrícula de 25 estudiantes que solicitaron acreditación, pero que a su vez fue seguido por
19
Tesis doctoral
2.300 participantes no interesados en la acreditación formal pero que aportaron opiniones y
perspectivas que enriquecieron la experiencia del curso. Este curso de 2008 se considera el
primer MOOC ya que plantea por primera vez la masificación del conocimiento en forma de
curso abierto (Cormier & Siemens, 2010).
En atención a sus siglas (en inglés), se pueden definir cuatro términos que constituyen, a su
vez, las cuatro dimensiones características que definen a un MOOC (Jansen & Schuwer,
2015) y que a continuación usaremos para organizar el discurso:
M: Massive (masivo)
Se incl
e el califica i o de ma i o a e os cursos debido a que son diseñados para atender
a un gran número de participantes simultáneos, en comparación con los cursos regulares. De
esta manera, el número de acogida en un MOOC dependerá de factores diversos y diferentes
a la limitación de cupos que suele establecerse en cursos en línea, estos son entre otros, el
idioma, el interés por el contenido que se ofrece y la conectividad (UNESCO & COL, 2016).
Como se verá en la clasificación de los cursos que veremos más adelante, la evolución en los
últimos años ha hecho que lo masivo haya dejado de ser tan relevante y hayan aparecido otras
categorías de cursos que, pese a no ser masivos, resultan interesantes por el apoyo tutorial
que se puede ofrecer al alumnado. No obstante, en este trabajo es pertinente hablar de
masivos, ya que es donde la capacidad de las máquinas para procesar datos puede obrar
diferencias.
O: Open (abierto)
La condici n de abier o a iende a q e el acce o al curso se da de forma gratuita y libre, sin
exigencias administrativas y académicas particulares (Patru & Balaji, 2016). En este sentido,
Cano & López-Meneses (2015) indican que esta apertura de los MOOC implica dos
elementos específicos: el tecnológico (con contenidos abiertos y accesibles) y el legal o
administrativo (con el acceso gratuito). Así, se pueden puntualizar las siguientes
características de los MOOC a ociada a la condici n de abier o (Open pEd, 2015):
1. Como curso abierto, implica que está disponible para cualquier persona, en
cualquier lugar y en cualquier momento.
20
Capítulo 1. Los MOOC
2. La condición de apertura también se refiere a la ausencia de requisitos
académicos de entrada.
3. El concepto de abierto también se vincula a la flexibilidad temporal, con lo cual
se brinda la posibilidad de cursarlo al ritmo de avance personal que requiera cada
participante.
4. El curso abierto, implica gratuidad.
Además de e a carac er ica , Do ne (2012b) indica q e abier o
ignifica q e la
acciones desarrolladas por los participantes en el curso son públicas, es decir, se pueden ver
y compartir libremente. También se ha incorporado como características de la apertura, el
permitir que los participantes puedan asumir roles de facilitadores de sus cursos (Attwell,
2017).
Otra característica de la apertura es la adaptación de los recursos educativos para crear
espacios de aprendizaje más interesantes que promuevan la innovación, la evaluación, la
relación de los alumnos y docentes y la retroalimentación (Hilton III, Wiley, Stein & Johnson,
2010); no obstante, según Chiappe-Laverde, Hine & Martínez-Silva (2015) no se han
encontrado muestras de que esto ocurra, pues «lo abierto» aún es un concepto poco entendido
dentro de la comunidad académica, considerándose con base a dos elementos: el acceso libre
de coste y el empleo de las TIC.
El hecho de acceder al contenido sin ningún coste no implica la reutilización de los
contenidos en otros ámbitos, su modificación o combinación para formar nuevos recursos. Y
es que, las instituciones educativas que generalmente mantienen sus actividades mediante los
ingresos percibidos por los programas que ofrecen, no pueden adherirse a esta última
característica; en este sentido, no todos los MOOC son abiertos.
O: Online (en línea)
Esta característica establece que el curso se encuentra y se desarrolla de forma virtual, con
acceso desde de los dispositivos correspondientes: ordenador, teléfono móvil o tableta. En
todo caso, solo se considerarían como actividades optativas (no obligatorias) alguna que se
realice offline o presencialmente, como tutorías o evaluaciones especiales para la obtención
de certificados (OpenupEd, 2015).
21
Tesis doctoral
La característica señalada se vincula a lo que Downes (2012b) define como conectividad,
siendo esto uno de los aspectos fundamentales de los MOOC. De acuerdo con este autor, la
relevancia de un curso MOOC se ubica, más que en el contenido, en el hecho de que los
alumnos de conectarse y en la posibilidad de desarrollar estructuras de red de conocimientos
(Downes, 2012a).
C: Course (curso)
Este término representa la esencia básica del MOOC por tratarse precisamente de un curso
con unas condiciones y características particulares, que promueve una experiencia de
aprendizaje completa, con una estructura desarrollada a partir de unos objetivos de
aprendizaje, con apoyo en unos materiales o recursos educativos y evaluados a través de
herramientas pertinentes ofreciendo al participante la retroalimentación correspondiente para
la obtención de un diploma o certificado de aprobación (UNESCO & COL, 2016). Todo esto
implica un trabajo realizado por un equipo docente encargado de crear el curso, así como
unos tutores encargados del acompañamiento y seguimiento de los avances de los
participantes. Los MOOC son espacios en los que se favorece la interacción virtual a través
de foros, chats, etc., promoviendo la comunidad de aprendizaje (OpenupEd, 2015).
Tal como se puede apreciar en el análisis de sus siglas, los MOOC implican una amplitud de
características que se traducen en oportunidades amplias para favorecer aprendizajes y que
deben ser garantizadas en sus diseños, provocando grandes transformaciones en el ámbito
educativo. La apertura, masividad y modularidad traen consigo la dinámica en la
participación e interacción, marcando la diferencia con los cursos en línea tradicionales
(Mancera & Saldaña, 2014).
Queda claro que los MOOC suponen la confluencia de la denominada educación abierta y el
e-learning (UNESCO & COL, 2016), por lo que resulta interesante profundizar en estos
conceptos. El contexto social cambiante y dinámico en el que surgen los MOOC,
caracterizado por la relevancia de una sociedad de tecnología digital y de redes, dio pie al
desarrollo de propuestas de aprendizaje abierto que a su vez ha dado lugar a una nueva
concepción del alumnado, requiriendo de ellos nuevas competencias y habilidades cognitivas
(Cabero, 2015).
22
Capítulo 1. Los MOOC
Aunque cuenta con numerosos estudios, la bibliografía existente sobre MOOC no se centra
en experiencias concretas. Es importante recordar que surgen en el 2008, pero no es hasta
2011 donde las Universidades empiezan abrirse a los MOOC surgiendo entonces las
tipologías, clasificación y variantes (Jacoby, 2014). Como afirman Gillani & Eynon (2014),
el desarrollo de los MOOC para la modificación del conocimiento se ha venido incorporando
con las investigaciones, generando esto las bases teóricas y los resultados; de esta manera se
muestra un interés cada vez más frecuente en las instituciones educativas por incorporar estos
cursos y los participantes por adquirir conocimiento de manera flexible e innovadora.
1.2. Origen de los MOOC
1.2.1. Antecedentes de los MOOC en la educación a distancia
Debido a la relativa juventud de los MOOC y seguramente por la inmensa expectación creada
a su alrededor que les ha convertido en tendencia en los últimos años, al menos en lo que a
Educación Superior se refiere, el desarrollo conceptual de los MOOC no parece haberse
alejado mucho de las bases conceptuales y filosóficas que se refieren a la educación a
distancia, y son en cambio, una forma más en la que la EaD lograr romper las barreras
temporales y espaciales que tiene la educación presencial
La educación a distancia también puede considerarse una estrategia de enseñanza, pues
permite que el proceso de enseñanza-aprendizaje no esté condicionado por el tiempo y el
espacio, la ocupación o nivel de los estudiantes. Se basa también en un diálogo de tipo
didáctico que se produce entre profesor y participante que puede aprender de forma
colaborativa o independiente (García-Aretio, 2012).
La EaD en sus inicios estuvo vinculada a la educación de adultos, especialmente la educación
de aquellas personas que por una u otra razón (ubicación, situación laboral, etc.) no tenían
acceso a la educación presencial. Posteriormente emergió el concepto de aprendizaje abierto
que consideraba, por una parte, la libertad para elegir el cómo, cuándo y dónde aprender, y
por la otra, elementos de aprendizaje relacionados con objetivos estrategias, evaluación, y
23
Tesis doctoral
feedback, surgiendo las universidades abiertas para brindar más oportunidades de
capacitación y aprendizaje (Martínez-Uribe, 2008).
Debido al vertiginoso desarrollo y evolución de la tecnología, también la EaD ha cambiado
los medios y herramientas de comunicación de uso, atendiendo a las nuevas oportunidades
disponibles. García-Aretio (2014) describe seis etapas en la evolución de la EaD así:
1. La educación por correspondencia en el siglo XIX.
2. La inclusión de recursos audiovisuales y multimedia en los años 70.
3. La tendencia digital con la telemática o e-learning en los 80 y 90.
4. El surgimiento de los entornos virtuales de enseñanza y aprendizaje (EVEA) a
mediados de los 90, gracias a la expansión de Internet.
5. El m-learning y tendencia al aprendizaje social, durante los años 2000, gracias a la
aparición de la Web 2.0.
6. La época actual, caracterizada por la proliferación de los recursos educativos
abiertos (REA) y los cursos masivos y abiertos (MOOC).
De esta manera, la EaD viene marcada por características que se mantienen casi
inquebrantables a lo largo de su evolución, de la mano del desarrollo de las tecnologías que
han constituido su medio fundamental de desarrollo de la experiencia didáctica. En este
sentido, de las definiciones presentadas por diversos autores (Holmberg, 2005; Moore &
Kearsley, 2012), además de los ya mencionados (Valenzuela, 2000; García-Aretio, 2012), se
extraen las siguientes:
-
La EaD es una modalidad educativa en la que los profesores y los alumnos están
en lugares diferentes mientras se produce el aprendizaje.
-
Debido a esta distancia física, el proceso se desarrolla a través de una tecnología
en particular para lograr la interacci n o diálogo did c ico nece ario.
-
En función de los requerimientos específicos de la tecnología empleada, el docente
debe desarrollar nuevas competencias para el diseño de cursos y contenidos, así
como para el seguimiento y la tutoría respectiva.
-
Por su parte, los estudiantes requieren desarrollar estrategias de aprendizaje
autónomo y habilidades y actitudes comunicativas particulares, por medio de la
tecnología.
24
Capítulo 1. Los MOOC
La EaD se caracteriza porque el docente emplea la tecnología disponible para ofrecer los
contenidos, compartir los conocimientos y promover el aprendizaje, mientras que el alumno
puede hacerse más responsable de su aprendizaje, es decir, es una modalidad que por
definición fomenta el autoaprendizaje (Valenzuela, 2000). Las bases de la EaD entienden
que los estudiantes tienen que participar, haciéndose responsables del progreso de su
aprendizaje, aceptando el desafío de reflexionar sobre los criterios de su aprendizaje,
estableciendo su propio ritmo, comprometiéndose con la colaboración y el trabajo en equipo,
pues aprenderán en un contexto en el cual existirán contenidos que han sido generados por
sus compañeros, en dónde tendrán que explicar y/o evaluar a sus compañeros y haciendo
críticas constructivas (Moore & Kearsley, 2012; Berry & Bravender, 2012).
Por su parte, el docente tiene que responsabilizarse de generar un diseño apropiado al carácter
asincrónico de la modalidad, organizar los contenidos haciendo énfasis en las ideas o
conceptos relevantes, y especialmente proveer los recursos necesarios para facilitar la
comprensión de dichas ideas o conceptos. De la misma manera, el profesorado debe ayudar
a los estudiantes a reflexionar de manera crítica en los contenidos del curso, motivarlos a la
búsqueda de información válida en Internet o cualquier otro medio para complementar la ya
obtenida y desarrollar estrategias de evaluación acordes a las competencias que se pretende
desarrollar en el estudiante (Moore & Kearsley, 2012).
Otra de las características de la EaD es la interactividad, vista como la mediación pedagógica
que tiene una intención puesta en las actividades, recursos, materiales, para llevar a cabo un
curso a distancia. Es decir, tiene que haber unos contenidos con los cuales interactúa el
estudiante, acciones de seguimiento del tutor, trabajo individual y colaborativo para que
exista la interactividad. Además, un elemento indispensable en la interactividad es la
retroalimentación o feedback (Martínez-Uribe, 2008).
En los últimos tiempos, siguiendo la teoría constructivista y empleando los distintos soportes
tecnológicos, en la EaD se han desarrollado técnicas para restablecer las relaciones entre
profesor y alumno con base en la comunicación electrónica (Moore & Kearsley, 2012). De
esta manera, la progresiva incorporación de las tecnologías ha dado lugar a diversos cambios
en los roles del docente y de los alumnos. Estos cambios se reflejan en nuevas formas de
enseñar, con el objeto de ajustar sus prácticas a las oportunidades y potencialidades
25
Tesis doctoral
tecnológicas del momento, al tiempo que ha requerido el desarrollo de competencias de
diseño y creación de cursos, contenidos y recursos en formatos diferentes (Moore &
Kearsley, 2012).
La Institución educativa también debe involucrarse en este proceso de enseñanza y para que
este sea exitoso, sus administradores deben cumplir con las políticas que rigen a la EaD, y
deben comprometerse a efectuar una promoción de la oferta educativa a distancia atendiendo
al perfil de sus estudiantes y a sus necesidades (Hernández, 2015).
1.2.2. Evolución del e-learning al MOOC
El surgimiento del e-learning marca el inicio de una nueva tendencia en la EaD, debido a que
Internet dio lugar a una nueva dinámica en el proceso de enseñanza y aprendizaje. Es así
como Area & Adell hace más de 10 años (2009) señalaron que con el e-learning -también
denominado teleformación, formación online, aprendizaje en red o digital - se abrían nuevas
vías de comunicación que posibilitaban un dialogo didáctico más directo que el que se había
logrado con anterioridad.
Aun cuando se podría pensar que este mismo tipo de interacciones se pueden dar en el ámbito
presencial, es importante recordar que, en el caso del e-learning, todas estas interacciones se
producen a través de las tecnologías, a través de herramientas específicas y deseablemente
desde la perspectiva constructivista o incluso conectivista.
El aprendizaje es definido por el conectivismo como un desarrollo continuo que se puede dar
en comunidades, en redes sociales y en la propia realización de tareas (Siemens, 2004),
entendido en un contexto donde predomina la creación de valor mediante redes de personas
para crear conocimiento (Floridi, 2008).
Al respecto de esto, Gálvez & Tirado (2006) indican algunas diferencias entre la interacción
presencial y la que se desarrolla en entornos virtuales y que se presenta de manera sucinta en
la Tabla 1:
26
Capítulo 1. Los MOOC
Tabla 1. Diferencias interacción personal - entornos virtuales. Elaboración propia
En la interacción presencial
En entornos virtuales
Existe la copresencia de los actores en el No resulta necesaria
mismo espacio y tiempo.
temporal ni espacial.
Puede quedar
tecnología.
en
segundo
plano
la
copresencia
la Exige una presencia permanente de la
tecnología.
Existe un límite bien determinado del Ofrece apertura en cuanto al número de
número de estudiantes.
personas implicadas en la interacción (más
aún en los MOOC).
Existe una clara y directa identificación del Puede haber una identificación efímera de
interlocutor.
los interlocutores.
El contexto físico-material suele resultar La interacción se desarrolla a través de
relevante.
textos escritos, de imágenes y sonidos.
Predomina la interacción verbal.
Presenta
una
organizacional.
estable
Suele ofrecer igual relevancia
comunicación verbal y no verbal.
a
la
estructura Se puede basar en estructuras disipativas, es
decir, con una estabilidad flexible.
La interacción se desarrolla en modalidades Ofrece
múltiples
modalidades
comunicativas que resultan limitadas y comunicación y de contenidos.
excluyentes.
de
El e-learning engloba la formación a distancia en red basada en las TIC, con el soporte
comunicativo en Internet (Cabero, 2006) y de todos sus desarrollos posteriores. Como tal,
seguramente el cambio más evidente es el que se refiere a los dispositivos y los formatos
empleados en la EaD tradicional, pasando de ser analógicos a ser digitales (García-Aretio,
2014).
Pero no es la única cuestión que caracteriza al cambio, de forma específica -y remitiéndonos
especialmente a sus orígenes- se pueden señalar las siguientes características del e-learning
como contrastantes con la EaD tradicional (Cabero & Llorente, 2005; Cabero, 2006):
27
Tesis doctoral
-
Se trata de un aprendizaje que es mediado por ordenadores.
-
Emplea navegadores web que facilitan el acceso a la información.
-
Permite el almacenamiento y la administración de materiales en un servidor web.
-
Se mantiene una distancia física entre profesor y alumno, pero posibilita una
conexión directa a través de herramientas web.
-
Ofrece posibilidades de comunicación sincrónica y asincrónica.
-
Se desarrolla con la incorporación de tutorías en línea.
-
Se apoya en materiales digitales, con características multimedia (diversos
medios) e hipermedia (con la combinación de texto con otros medios).
-
Propicia un aprendizaje interactivo e incluso colaborativo.
En el marco de ese tipo de modalidad de enseñanza, y como respuesta a los cambios que
plantearon, se ubican las denominadas plataformas de campus virtual, que constituyen el
primer tipo de tecnología específica para el desarrollo de cursos en red -en el marco de
instituciones formales y no formales-, y que denomina al software del servidor donde se
realiza la gestión de usuarios, del curso como tal y los distintos servicios de comunicación
(Boneu, 2007). Este tipo de software, tal y como señala el autor, tuvo, antes del auge de la
Web 2.0 y los desarrollos posteriores, una evolución que podría describirse en tres etapas que
marcarían el futuro:
1-
Primero surgieron los Content Management System (CMS) o sistemas de gestión de
contenidos, siendo estos los más básicos de la modalidad, donde se permitía a usuarios
con autorización, efectuar la creación y gestión de información a través de la web.
2.
A partir de los anteriores, se desarrollaron los Learning Management System (LMS) o
sistemas de gestión de aprendizaje, los cuales sí estuvieron enfocados al desarrollo de
experiencias de enseñanza y aprendizaje. Con estos sistemas se podían gestionar los
contenidos de aprendizaje, al tiempo que era posible almacenar y distribuir recursos,
noticias, y llevar un registro de usuarios. De igual manera, estos sistemas contaban con
herramientas de comunicación síncronas y asíncronas; tal es el caso de los chats,
mensajería, foros y videoconferencias.
28
Capítulo 1. Los MOOC
3.
Luego surgieron los Learning Content Management System (LCMS) o sistemas de
gestión de contenidos de aprendizaje a partir de los LMS, pero ya configurados en
plataformas que integran las cualidades y herramientas de las dos mencionadas
anteriormente. De esta manera, estas plataformas cuentan con las funcionalidades de
los LMS al tiempo que incluyen las posibilidades que ofrecen los CMS, para
administrar y gestionar los contenidos del sistema. Estas ventajas brindaron mayor
adaptabilidad y autosuficiencia y es empleada como campus virtual en las
Universidades y otras instituciones con procesos de formación a su cargo.
La evolución de la llamada Web 2.0, la democratización del uso de dispositivos móviles y,
como no, los cambios en la utilización de los datos han marcado la evolución de los LCMS
hasta nuestros días, y en esa evolución, las plataformas específicamente destinadas al soporte
de los MOOC suponen una evolución específica.
La evolución de las plataformas LMS a los MOOC se da por los cambios en algunas de sus
características clave; como son: el cambio de los entornos cerrados a los entornos abiertos,
de los accesos previo pago a los gratuitos, de los grupos limitados a la participación masiva
y de la orientación hacia la evaluación al énfasis en el proceso de aprendizaje (Méndez
García, 2013). En todos los casos, las plataformas requieren de una inversión económica,
bien sea porque son comerciales o de código cerrado (en cuyo caso se debe pagar por una
licencia de uso) o porque, tratándose de una plataforma gratuita o de código abierto
eventualmente requiere de un mantenimiento que implica un costo. Actualmente, las tres
plataformas de MOOC más usadas son Coursera, Open edX y Udacity (Ruipérez-Valiente et
al.,2017)
1.2.3. Aparición de los primeros MOOC y su evolución
Desde el curso inicial creado por Siemens y Downes, que ya hemos mencionado, fueron
numerosas las universidades que emprendieron sus propias iniciativas. El punto de inflexión,
que también hemos mencionado brevemente, se dio en verano 2011 cuando Sebastian Thrun
y Peter Norvig, a través de la Universidad de Stanford, crearon el curso In rod cci n a la
Inteligencia Artificial en el que lograron matricular un total de 160.000 estudiantes de 209
29
Tesis doctoral
países (Cano, López-Meneses & Sánchez, 2013). A partir de este evento, los mismos autores
crearon la primera iniciativa de carácter privado para la creación de MOOC denominada
Udacity (https://www.udacity.com/). Tal como indican Margaryan, Bianco & Littlejohn
(2014), con la creación de Udacity se establece un giro total en lo que se refirió al carácter
de los MOOC, pues a diferencia de los MOOC iniciales marcadamente conectivistas y
centrados en la interacción, los MOOC de Udacity -y la inmensa mayoría de los MOOC que
siguieron a estos- centraron su interés en los contenidos, uso de videoconferencias y la
aplicación de pruebas automatizadas. Este modelo de MOOC posteriormente recibiría la
denominación de xMOOC.
Seguidamente, en el año 2012 se crearon otras plataformas con el mismo propósito, tal es el
caso de Coursera (https://www.coursera.org), creada por Andrew Ng y Daphne Koller (de
Stanford), en colaboración con las universidades Princeton, Yale, Columbia y Michigan; o
edX (https://www.edx.org), creada por la Universidad de Harvard y Berkeley (Bringas &
Domínguez, 2014). Ambas centradas en xMOOC.
Posteriormente, han surgido numerosas plataformas que han tomado como base el modelo
de sus antecesoras tal es el caso de Canvas Network (https://www.canvas.net), Iversity
(https://iversity.org) en Alemania, FutureLearn (https://www.futurelearn.com) en Reino
Unido y Miríada X (https://miriadax.net) en España. A partir de esto han surgido iniciativas
de reformulación como Khan Academy (https://www.khanacademy.org), caracterizada
tradicionalmente por su modelo de flipped classrom utilizando vídeos, la cual adaptó su
oferta al modelo MOOC.
En la Ilustración 1 se muestra un gráfico resumen en el que se observa como entre los años
2011 y 2013 se crearon las principales plataformas de MOOC predominantes, comenzando
por las propuestas que nacieron desde las universidades y finalizando con las plataformas
generadas en cada uno de los países.
30
Capítulo 1. Los MOOC
Ilustración 1. Evolución de plataformas MOOC. Elaboración propia
Tal como lo expresan Gillani & Eynon (2014) los MOOC, con la base de los recursos
abiertos, representan un mix entre las tentativas anteriores y las que apostaban por crear
propuestas de libre acceso, superando de cierta forma su problema de falta de interacción.
Actualmente su oferta se ha expandido en el contexto de la educación superior con miles de
cursos producidos anualmente (López-Meneses et al., 2020). En este sentido, muchos
creadores de MOOC se han focalizado en la creación de ofertas educativas abiertas y masivas
centradas en el desarrollo de habilidades para el mundo del trabajo, tal es el caso de Udemy
(https://www.udemy.com/).
De
igual
manera,
destaca
la
iniciativa
de
Alison
(https://es.alison.com/) focalizada en participantes procedentes de países en vías de
desarrollo.
Hacia los años 2012 y 2013 el crecimiento de los MOOC resultó especialmente vertiginoso
tal y como muestran los datos ofrecidos por State of the MOOC 2016 , en el q e e de criben
los cambios recientes en los MOOC. En el Online Report se reporta que: a finales de 2012
se habían creado a nivel mundial 106 MOOC; en 2013, 644; más de 2.000 en 2014; y alcanzó
la cifra de casi 4.000 a finales de 2015 (Cook, 2016). De igual forma, de acuerdo al buscador
de MOOC: Class Central, para el año 2016 se habían registrado 6.850 MOOC, creados por
más de 700 universidades en todo el mundo, contando con 58 millones de participantes. En
31
Tesis doctoral
2017 se iniciaron unos 1.400 MOOC (https://www.class-central.com/report/mooccoursereport-february-2017/). Tal y como se observa en la Tabla 2, en 2019, las plataformas
de MOOC han seguido creciendo, incluso han aparecido nuevas en países emergentes como
Swayam
en
la
India,
contando
con
los
siguientes
datos
(https://www.classcentral.com/report/mooc-stats-2019/):
Tabla 2. Estado de los MOOC. Fuente: www.classcentral.com/report/mooc-stats-2019
Aprendices
Cursos
Coursera
45 millones
3.800
edX
24 millones
2.640
11,5 millones
200
FutureLearn
10 millones
880
Swayam
10 millones
1000
Udacity
1.3. Clasificación de los MOOC
Pero no solo las cifras de MOOC han evolucionado. La forma en que los MOOC se
configuran ha evolucionado desde sus orígenes, dando lugar a diferentes variantes.
La primera de las variantes de las que hablaremos, los cMOOC, podrían considerarse los
MOOC primigenios. Están basados en una filosofía conectivista, centrando su atención en la
comunidad de participantes y todas las conexiones que desarrollan (teorías rizomáticas).
Desde esta filosofía se asume que el aprendizaje ocurre en el marco del intercambio de
información, es decir, en las interacciones que se posibilitan gracias a la tecnología, con
acciones bastante autónomas, por cuanto son los propios participantes quienes buscan y
reconstruyen la información (Cabero, 2015). De esta manera, este tipo de MOOC por lo
general carece de estructura predeterminada, ya que se va construyendo el conocimiento a
32
Capítulo 1. Los MOOC
partir de la misma experiencia que se desarrolla. Por esta razón, los cMOOC están más
enmarcados en la filosofía de la educación abierta (Teixeira et al., 2016).
Otra tipología es la denominada xMOOC, la cual centra su atención en la figura de un
especialista a cargo y la adquisición de conocimientos por parte de los participantes. En este
sentido, los xMOOC cuentan con una estructura predeterminada, con los contenidos, las
estrategias de aprendizaje, las actividades automatizadas de evaluación y los roles los
participantes (alumnado y profesorado) bien delimitados. En líneas generales resultan muy
parecidos a los cursos e-learning, pero se diferencian en el formato (Cabero, 2015; Teixeira
et al., 2016).
Existen también los denominados tMOOC que son MOOC basados en tareas (Lane, 2012).
Estos se muestran como un híbrido de los cMOOC y los xMOOC, combinando la filosofía
conectivista de los primeros y la pedagogía instructiva de los segundos, dirigiendo su
atención al desarrollo de conocimientos para la realización de tareas particulares (MartínMonje, Bárcena & Read, 2014). Desde esta perspectiva, el papel que juegan los contenidos
en sí mismos y la comunidad de aprendizaje que se desarrolle no resultan tan importantes; lo
que más interesa es que los participantes logren desarrollar las habilidades para la realización
de tareas.
Existe otra gran variedad de tipologías que han surgido y aparecen referenciadas en la
literatura especializada con diversas denominaciones. A continuación, se describen algunas
de estas, tomadas de la recopilación efectuada por Altinpulluk & Kesim (2016):
-
gMOOC: en lo q e la g indica game e decir, j ego. E o MOOC centran
su atención en el aprendizaje basado en juegos, así como en la gamificación.
-
MOOR (massive open online research): representa una variante centrada en la
investigación. Estos MOOC constituyen un espacio para que, tanto estudiantes
como profesores, se incorporen en proyectos investigativos conjuntos.
-
iMOOC: estos fueron desarrollados a partir del modelo de la Universidad Abierta
de Portugal. Al igual que los tMOOC, constituyen un híbrido entre los xMOOC
y los cMOOC, pero en este caso, centran su atención en la personalización, es
33
Tesis doctoral
decir, en las adaptaciones a los perfiles personales de los participantes y sus
dispositivos móviles (Texeira et al. 2016). En este sentido, se ubican en la
categoría de los adaptativeMOOC (MOOC adaptativos) de aprendizaje
personalizado (Clark, 2013).
-
qMOOC: en lo q e la q hace referencia a quality y a qualification, es decir,
calidad y cualificación, que son las bases de estos cursos.
Ideados para
participantes que no están interesados principalmente en títulos académicos;
estos se centran en la adquisición y construcción de calificaciones y habilidades
específicas, logrando resultados de aprendizaje visibles y verificados. La calidad
del aprendizaje se puede asegurar mediante resultados de aprendizaje sólidos y
significativos (por ejemplo, certificaciones o, con el diseño del curso a través de
múltiples socios que completen todas las perspectivas y situaciones posibles
(Mystakidis & Berki, 2014).
Para ampliar esta clasificación, también se pueden incorporar otras tipologías descritas por
otros variados autores:
-
mMOOC: en lo q e la m
e refiere a micro. Estos MOOC se caracterizan por
ser de corta duración, es decir, se presentan en formato reducido. También se les
ha denominado miniMOOC y cuentan con una duración de horas o días
específicos (generalmente domingos) (Clark, 2013). También se les puede
encontrar con la denominación Nano-MOOC o NOOC (Downes, 2015),
diferenciándose de los anteriores únicamente por que los miniMOOC suelen
presentar una duración entre 20 y 40 horas mientras que, en el caso de los
NanoMOOC, se estima un tiempo de trabajo entre 1 y 20 horas como máximo.
Resulta importante acotar que estos MOOC se centran en el desarrollo de una
competencia, área de conocimiento o destreza específica.
-
SPOC: Con el acrónimo Small Private Online Course, son cursos de formación,
dirigidos un grupo de participantes limitado, que se crearon para intentar
solucionar el alto número de abandonos. Aunque su finalidad principal es ser un
34
Capítulo 1. Los MOOC
modelo de negocio para la formación en empresas, también se aplica en la
universidad como complemento de asignaturas presenciales (Xu et al., 2014).
-
SynchMOOC: se refiere a
ncrono . En estos MOOC se suele proponer una
instrucción en tiempo real con el objeto de optimizar la participación y el
desarrollo de las comunidades de aprendizaje. Sin embargo, también se los asocia
con los MOOC que cuentan con una duración y fechas muy determinadas, frente
a los cuales se ubican los asynchMOOC, como contraposición, debido a que no
presentan fechas prefijadas.
-
sMOOC: constituye una propuesta enmarcada en el modelo pedagógico del
proyecto ECO Learning, el cual se basa en la filosofía conectivista, con
insistencia en el componente ubicuo y de interacción. En e e en ido, la
refiere a
e
ocial pero ambi n e le ha dado la connotación de seamless que
significa aprendizaje continuo y ubicuo, con acceso desde cualquier dispositivo,
incluyendo los móviles, con lo cual se atiende a necesidades que suelen estar
asociadas a riesgo de exclusión (Morgado et al., 2014).
Conocer las distintas tipologías de MOOC que han surgido resulta fundamental, ya que la
elección de uno en particular dependerá de los objetivos y, a su vez, orientará las decisiones
metodológicas, evaluativas, etc. que se adoptarán. En concreto, en la Tabla 3 se muestra un
resumen con las características de cada uno de los tipos de MOOC.
Tabla 3. Resumen clasificación MOOC. Elaboración propia
Clasificación
Identificador
cMOOC
c: conectivista
Autores
Cabero, 2015
Características
Los propios participantes buscan y
reconstruyen la información; carecen
de estructura predeterminada.
xMOOC
x: especialista
Cabero, 2015; Hay un especialista al mando, la
Teixeira et al., adquisición de conocimientos por
2016
35
Tesis doctoral
Clasificación
Identificador
Autores
Características
parte de los participantes, tienen una
estructura predeterminada.
tMOOC
t: tarea
Martín-Monje,
Bárcena
Combinando la filosofía conectivista
& de los cMOOC y la pedagogía
Read, 2014
instructiva de los xMOOC, lo más
importante es que se desarrollen las
habilidades para la realización de
tareas, contenidos y la comunidad de
aprendizaje
no
resultan
tan
importantes.
gMOOC
g:game
Altinpulluk & Aprendizaje
Kesim, 2016
MOOR
R: research
basado
en
juegos
(gamificación).
Altinpulluk & Centrada en la investigación, ideal
Kesim, 2016
para
proyectos
conjuntos
entre
investigativos
estudiantes
y
profesores.
iMOOC
i: hibrido
Altinpulluk & Híbrido entre xMOOC y cMOOC,
Kesim, 2016
adaptación a los perfiles de los
participantes y sus dispositivos para
elevar la potencialidad del aprendizaje
en red.
qMOOC
mMOOC
q: quality & Altinpulluk & Centrada en cursos en los que prima la
qualification
Kesim, 2016
calidad y la cualificación.
m: micro
Clark, 2013
De corta duración (horas o días
específicos),
36
se
centran
en
el
Capítulo 1. Los MOOC
Clasificación
Identificador
Autores
Características
desarrollo de una competencia o
destreza específica.
SynchMOOC s: síncrono
Clark, 2013
Cuenta
con
proposición
de
instrucciones en tiempo real para
optimizar
la
participación
y
el
desarrollo de las comunidades, tienen
duración y fechas muy determinadas
sMOOC
s:
social
seamless
& Morgado et al., Asociada al riesgo de exclusión,
2014
conectivista, permite el acceso desde
cualquier dispositivo.
SPOC
Small
& Xu et al., 2014
private
Dirigidos a un grupo de participantes
limitado; principalmente usado en
empresas.
1.4. Impacto de los MOOC en la actualidad
El surgimiento y desarrollo de los MOOC ha causado un impacto en diferentes ámbitos del
sector educativo. En particular, en el presente trabajo interesa profundizar en el impacto que
han tenido en la evolución de la Educación Universitaria y en los nuevos roles de docentes y
estudiantes. A continuación, se desarrollan estos dos aspectos.
1.4.1. Los MOOC en la educación universitaria
Debido a la creciente demanda de aprendizaje flexible a lo largo de la vida, muchas
universidades han comenzado a transformar sus estrategias educativas para satisfacer las
demandas de la sociedad , ha a cier o p n o, permanecer en el negocio en un mercado
donde hay una gran competencia global promovida en parte por las nuevas herramientas
tecnológicas (Langseth et al., 2019). Debido a esto, uno de los campos de mayor aplicabilidad
37
Tesis doctoral
de los MOOC es la Educación Universitaria, dirigiendo estos esfuerzos a estudiantes adultos
con miras a su formación profesional, cada vez más demandante de procesos de actualización
de conocimientos y habilidades.
El movimiento MOOC explotó cuando la preocupación por los costos de la educación, la
sostenibilidad del modelo de negocio tradicional de las universidades y el impacto de la
tecnología en la educación fue muy alta (Calise & Reda, 2018), en parte por los problemas
estructurales de modelos universitarios como el estadounidense, lastrados por una deuda del
estudiantado disparada y unas expectativas de empleo poco esperanzadoras. Desde otro punto
de vista, el surgimiento y expansión de los MOOC se asocia a la apertura de la educación en
las universidades, dando acceso abierto y a bajo costo, evitando los grandes costes de la
universidad (Jacoby, 2014)
Algunos piensan, desde posiciones mucho más optimistas como las de Langseth et al. (2019),
que las plataformas MOOC deben ser un vehículo para promover la transparencia, es decir,
el acceso abierto a contenido de cursos de alta calidad, y al hacerlo, las universidades podrían
contribuir a fortalecer la calidad del contenido disponible para todos los estudiantes en
Internet a corto plazo (en plataformas ya consagradas, como por ejemplo, Facebook, Google
y YouTube) y a largo plazo (democracia, equidad y pensamiento académico).
Las universidades que producen MOOC y los ofrecen en plataformas globales de e-learning
definen la internacionalización como uno de sus principales objetivos (Zakharova, 2019),
adaptando muchos de los modelos de negocio actuales de las universidades que necesitan
evolucionar aún más cambiante mercado educativo. De este modo, los MOOC juegan un
doble papel para las universidades: les permiten entrar en el juego de las certificaciones no
crediticias y abren nuevas perspectivas para la modernización de los títulos tradicionales
(Bouchet & Bachelet, 2019).
Los países europeos son los que adoptan tarde los MOOC en comparación con los EE. UU.
Sin embargo, a partir de 2013, tanto las instituciones de educación superior como los
gobiernos lanzaron varias iniciativas en Europa, dando origen a un número considerable de
MOOC y plataformas "europeas". El actor principal que inició la conversación fue la
Comisión Europea (CE) quién, ese año, publicó una Comunicación al Parlamento de la UE
38
Capítulo 1. Los MOOC
en la que se refiere claramente al potencial de los MOOC para ampliar el acceso a la
educación al llegar a estudiantes no tradicionales (Calise & Reda, 2018). Más recientemente,
en 2017, se creó el European MOOC Consortium con el objetivo de asumir un papel de
liderazgo en el desarrollo del discurso relacionado con los MOOC y otros desarrollos
innovadores en el aprendizaje en línea en Europa (Goglio, 2019).
Nuevamente comparando la situación de las universidades europeas con EE.UU.,
observamos cómo no existe un sistema europeo común de educación superior, y cada Estado
miembro aún mantiene su propia autoridad sobre la educación, incluido el sistema de
educación superior (Bouchet & Bachelet, 2019). A pesar de esta heterogeneidad, y
nuevamente a partir de la investigación de Goglio (2019), es importante destacar que las
políticas nacionales han facilitado y subvencionado el crecimiento de los MOOC, pero la
naturaleza pública de estas iniciativas, hizo que el desarrollo de los MOOC en Europa en
general estuviera menos orientado a las lógicas del mercado en comparación con las empresas
privadas líderes que ofrecen MOOC en los Estados Unidos (como Coursera y Udacity). Otro
punto clave frente a EE.UU. es la atención a la diversidad cultural y lingüística del contexto
europeo que implica que muchas experiencias prefieran centrarse únicamente en la lengua
oficial del país.
En Ubachs & Konings (2018) se destaca que los dos principales grupos objetivo de los
MOOC ofrecidos son: todos los públicos en general (57%) y solo los estudiantes de
educación superior (13%). Además, se pone de manifiesto (74%) la importancia de ofrecer
un crédito formal (ECTS) junto a certificados más informales.
Otra de las características destacadas, es que a partir de los resultados de encuestas de abriljunio 2019 acerca de la oferta de MOOC, se indica que un 71% de las instituciones
universitarias ofrece algún MOOC o está por crear alguno el próximo curso, y en el que se
destaca que los principales motivos por los que se ofrecen estos cursos son aumentar la
visibilidad de la institución, abrir la educación al público en general y experimentar con
nuevas pedagogías online (Kluijfhout, Henderikx & Ubachsun, 2019). Además, en este
mismo informe se destacan cuáles son las barreras mas importantes que impiden el desarrollo
de MOOC, siendo por orden de importancia: la falta de disponibilidad del personal, la falta
de un modelo de negocio sostenible, la falta de fondos y la falta de interés de los profesores.
39
Tesis doctoral
1.4.2. Nueva configuración del aprendizaje y la enseñanza
La descripción que se ha efectuado de los MOOC deja ver que el escenario formativo resulta
muy diferente al tradicional, tanto para los profesores como para los estudiantes. Esto se debe
a que los MOOC se desarrollan en un nuevo formato atendiendo a tres principios
fundamentales: gratuidad, ubicuidad y masividad (Cormier & Siemens, 2010) de los que ya
hemos hablado con antelación. En este sentido, los roles y características de sus actores
fundamentales resultan novedosos.
En Hill (2013) se identifican cuatro perfiles característicos de los participantes de un curso
MOOC, a partir del análisis de experiencias de implementación de MOOC; estos perfiles son
los siguientes:
-
Lo
mirone
(Lurkers): caracterizados por ser participantes que acceden a un curso
MOOC con una interacción limitada a la revisión de sus contenidos.
-
Lo
merodeadore
(Drop-ins): estos participantes seleccionan algunos de los
contenidos del curso explorando superficialmente algunos de los recursos que se
presentan.
-
Participantes pasivos: son aquellos que efectúan una revisión más completa,
visualizan vídeos, consultan y descargan contenidos y, hasta completan tareas y test,
pero no se involucran de forma participativa en la comunidad.
-
Participantes activos: son aquellos (minorías) que realizan las actividades y finalizan
el curso evidenciando una interacción de forma activa y colaborativa.
Además de esa clasificación mostrada, existen otras muchas investigaciones que clasifican
los perfiles de usuario según la interacción que realizan con los contenidos como la de
Milligan, Littlejohn & Margaryan (2013), Alario-Hoyos et al. (2014), Grünewald et al.
(2013) y Kizilcec, Piech & Schneider (2013).
En una investigación mas actual a estas, Del Peral-Pérez (2019) identifica cinco perfiles de
usuario, pero en este caso asociados a patrones en el tiempo de interacción con los MOOC:
40
Capítulo 1. Los MOOC
-
Pre-consumidores: que nunca acceden a los contenidos principales del MOOC, y cuya
interacción con el MOOC es mínima.
-
Usuarios intensivos: los contenidos del curso se realizan en una o dos sesiones
únicamente.
-
Usuarios rutinarios: los contenidos del curso se realizan en más de dos sesiones en la
misma franja horaria.
-
Usuarios flexibles: los contenidos del curso se realizan en más de dos sesiones en
distinta franja horaria.
-
Usuarios exhaustivos: se realizan más de quince sesiones.
Independientemente del perfil de los usuarios, es importante analizar cómo es la función de
cada uno de los actores en el MOOC. El rol del profesor es el de facilitador, pues con sus
conocimientos debe guiar el proceso de aprendizaje, pues debe saber por dónde deben
transitar los alumnos y proporcionarles las herramientas para que estos paulatinamente auto
dirijan su aprendizaje, además de a mir el rol de Mo i ador introducido en Zambrano,
Cano & Presiga (2017).
Por su parte, en la investigación de Zambrano, Cano & Presiga (2017) los estudiantes en un
MOOC manifestaron que percibían que su rol había cambiado a ser protagonista de su
aprendizaje y que deben realizar acciones como:
-
Evidenciar una actitud crítica y autónoma con respecto a su propio proceso de
aprendizaje, tanto individual como grupal.
-
Desarrollar estrategias de búsqueda de información, procesamiento de la misma y
construcción de sus conocimientos.
-
Potenciar sus habilidades en el uso y aprovechamiento de herramientas de
participación en cursos online.
-
Desarrollar habilidades para trabajar en grupo, mediados por las tecnologías.
-
Aprovechar los canales de comunicación para expresar dudas o inquietudes al
profesor o al grupo.
41
Tesis doctoral
1.5. Problemas y debilidades de los MOOC
Con el tiempo, mediante los aportes generados de las experiencias con los MOOC, los cursos
han ido evolucionando y poco a poco se han ido reconociendo sus fortalezas, afianzando los
beneficios que aportan, pero también se han detectado importantes carencias que requieren
la atención y seguimiento evaluativo.
Diversos autores han detectado varias debilidades en los MOOC, como son:
Tendencia al abandono: Con los datos disponibles, decimos que solo finalizan el curso un
porcentaje pequeño de los inscritos (Mengual-Andrés, 2013; Daniel et al., 2015). Chamberlin
& Parish (2001) identifican que hay dos grupos de alumnos: estudiantes independientes y
comprometidos con aptitudes para el autoaprendizaje y, estudiantes que carecen de estos
valores y que son los que más abundan y por ello se origina una alta tasa de abandono.
Además, EMOOC (2014) & Armstrong (2012) concuerdan en el alto índice de abandono y
que esto se deriva de la falta de motivación, seguimiento y tutorización, debido a que
participan un número considerable de alumnos, en sus inicios.
Poca interactividad entre participantes: Ante un gran número de alumnos en el contexto
virtual, se pone en duda que puedan leerse todos los mensajes que los usuarios descargan en
los foros y, obtener un feedback oportuno y adecuado a los docentes del curso, limitando la
posibilidades de responder a dudas y corregir los errores (Chamberlin & Parish, 2001;
Eckerdalet al.,2014; Fei & Shi, 2014; Hew & Cheung, 2014; Kang & Im, 2013; Parkinson,
2014; Stuchlíková & Kósa, 2013; Vázquez-Cano & López-Meneses, 2015). Del mismo
modo, Armstrong (2012) destaca que, aunque el curso esté organizado, puede ser un caos
localizar a los alumnos y materiales y/o seguir las conversaciones sostenidas en grupos de
Google, Facebook, Twitter, etc. Por su parte Kang & Im (2013) consideran que, en los
entornos virtuales, los estudiantes también necesitan sentir la presencia del docente y esto no
se da, pues no existe contacto entre los participantes.
Insuficientes plataformas MOOC: Onah, Sinclar & Boyatt (2014) indican que los cursos
MOOC no tienen suficientes herramientas tecnológicas, lo que imposibilita la interacción
sincrónica e inmediata, influyendo de manera negativa, dado que los estudiantes necesitan la
interacción y la motivación.
42
Capítulo 1. Los MOOC
La baja calidad del diseño instruccional: según Margaryan, Bianco & Littlejohn (2014)
en su informe Instructional Quality if Massive Open Online Courses, el diseño instruccional
de estos cursos tiene una baja calidad, destacando que no suelen ser novedosos e interactivos,
en concordancia con las nuevas tecnologías, sino que constituyen compilaciones de vídeos.
Además, el diseño no permite la generación de un ambiente en el cual se lleven a cabo
discusiones, y el docente ejerza su rol de facilitador, permitiendo que los participantes
resuelvan dudas entre sí y construyan su conocimiento (Andersen & Ponti, 2014; Siemens,
2008).
El avance de las propuestas de enseñanza en entornos ha hecho que surja, entre otras cosas,
la necesidad de comprender lo que está ocurriendo con el desempeño del estudiante y de qué
manera el diseño favorece o no que estos entornos sean verdaderamente interactivos,
entendiendo la interacción como el intercambio de ideas, el establecimiento de relaciones, de
comunicaciones y la construcción del aprendizaje (Cabero & Llorente, 2007).
Como ha dejado patente la investigación, los MOOC requieren ir más allá de la gestión de
aprendizaje en ambientes tecnológicos, tomando en consideración el proceso individualizado
del alumno y obtener evidencias para integrar los resultados en busca de lograr mejoras
(Duval, 2013). En este sentido, la obtención de métricas de aprendizaje y del registro de
participación del estudiante en los cursos, podría aproximarnos a una mejora de esos
previsibles problemas de los MOOC (Peña, 2014; Romero & Ventura, 2010), siempre en
conjunción con una adecuada manipulación de esas métricas y una concienzuda toma de
decisiones.
43
Capítulo 2. Learning Analytics y Machine Learning
Ca
l 2. Learning Analytics y Machine Learning
Cuando hablamos de MOOC, el concepto massive indicaba que estos cursos atienden a un
gran número de participantes simultáneos. En este contexto, las analíticas parecen ser una
herramienta valiosa para el registro y posterior interpretación de datos en una escala tan
grande como la que implican los MOOC y ofrecen la posibilidad de efectuar las evaluaciones
requeridas y generar propuestas de mejora, con miras a superar las dificultades detectadas
(Marín & Sampedro, 2016).
Los datos a esa escala se asocian al concepto de Learning Analytics (LA), que se define "la
medición, recopilación, análisis y presentación de datos sobre los aprendices y sus contextos,
a efectos de entender y optimizar el aprendizaje y el entorno en que se produce" (Siemens,
2011:1), o lo que es lo mismo, los datos que se generan en la creación de las propuestas
formativas que se recogen y que están relacionadas con las puntuaciones, los materiales y el
número de accesos (Long & Siemens, 2011).
Obviamente, resulta fundamental tener en cuenta que no son las analíticas de aprendizaje las
que generarán mejora, pues estas solo se refieren recoger alguna información de lo que
sucede internamente en los procesos educativos en los MOOC. Además de la recogida
propiamente dicha, se requiere la interpretación adecuada de esos datos para la toma de
decisiones en pro de la mejora de estos procesos educativos (Reich, 2015).
La forma en cómo se puede utilizar las analíticas de aprendizaje con ese propósito de mejora
está siendo ampliamente estudiadas para su aplicación al aprendizaje masivo (Kizilcec, Piech
& Schneider, 2013; Khalil & Ebner, 2016). La explotación de estos datos educativos para
obtener datos analizables a fin de facilitar investigaciones posteriores se realiza mediante
técnicas estadísticas avanzadas englobadas en el término Machine Learning.
Los resultados de estos estudios reportan que con los algoritmos análisis de datos utilizados
se pueden desarrollar importantes avances en la valoración para la mejora de los MOOC. En
45
Tesis doctoral
trabajos como los de Peña (2014) y Romero & Ventura (2010) se muestran los beneficios
generados del empleo de la minería de datos en el entorno educativo, como por ejemplo, dar
información acerca de los diferentes comportamientos y de la actividad de los estudiantes, o
distinguir a los estudiantes con alto riesgo de abandono o, aquellos que tienen bajo
rendimiento en las pruebas de evaluación (Romero et al., 2010).
El análisis de estos datos y conocer estas herramientas informáticas avanzadas puede ser de
utilidad una vez se definan los objetivos específicos de la investigación, y es por ello que hay
que introducir sus conceptos en el marco teórico.
2.1. Learning Analytics
Conole et al. (2011) define a LA como un conjunto de acciones que incluyen la medición,
compilación, análisis y presentación de datos sobre los estudiantes y sus contextos, todo ello
para entender y mejorar el aprendizaje y los contextos en donde se produce. Mientras que
Johnson et al. (2011) la define como la interpretación de una gran cantidad de datos obtenidos
para valorar el progreso académico de los estudiantes, tratar de predecir su rendimiento, e
identificar posibles deficiencias. Dringus (2012), por su parte, centra al LA en la evaluación
responsable y el empleo eficiente del aprendizaje en línea.
Vale señalar que el origen, centro y objetivo del LA es mejorar el proceso de aprendizaje, y
para ello se vale de diferentes técnicas y metodologías (Picciano, 2012), y trabaja con
diferentes tipos de información del estudiante y del contexto de aprendizaje. Por tal motivo,
los MOOC se relacionan generalmente con el análisis del comportamiento secuencial durante
el curso, como por ejemplo, el tiempo de actividad o los resultados de las evaluaciones entre
otros, de esta manera se generan una serie de datos los cuales son analizados.
Sin embargo, el LA aún no se está aplicando de forma extendida y no se está aprovechando
suficientemente su enorme potencial para mejorar el diseño de los MOOC (Reich, 2015). Por
lo que autores como León-Urrutia, Vázquez-Cano & López-Meneses (2017) insisten en
avanzar en el aprovechamiento de las analíticas de aprendizaje, debido a que, entre otras
bondade : el an li i del de empe o de los estudiantes en tiempo real favorece la labor de
46
Capítulo 2. Learning Analytics y Machine Learning
los tutores o curadores de contenido para ofrecer información y actividades más
per onali able
e calable
(p.44).
El potencial transformador en el aprendizaje del LA tiene incidencia en cualquier disciplina
educativa, especialmente en e-Learning (Gómez-Aguilar & García-Peñalvo, 2014), donde
las variables medidas de los alumnos generalmente son el acceso a la plataforma LMS, el
tiempo de conexión, el tiempo de revisión de contenidos didácticos y las interacciones en las
redes sociales que se dan entre pares. Además, se mide el trabajo del alumnado en grupos
particulares de estudiantes específicos o en un proyecto formativo.
El informe OBSer a or
de Torras-Virgili & Bellot-urbano (2018) asegura que el LA
necesita de programas computacionales para poder analizar datos, y es así como lo comparan
con el Big Data, aunque con algunas diferencias. El Big Data es una tecnología que se
emplea cuando se tiene una gran cantidad de datos agrupados que hace que su tamaño
sobrepase la capacidad del software tradicional y requiera de un programa computacional
para su recogida, administración y análisis (Mazza & Milani, 2004; Romero et al., 2008).
Ambos métodos utilizan los principios de las 5 Vs: volumen de datos, velocidad para recoger
los datos, veracidad y variedad y valencias (esta última reflejada en gráficos). Siendo la
máxima diferencia, el hecho que el Big Data se aplica a todos los campos de estudio, en
cambio el Learning Analytics sólo al educativo.
2.1.1. Evolución y modelos teóricos
A inicios de este siglo, la participación de los usuarios en la tecnología web facilitó la
inserción de sistemas de gestión de aprendizaje o entornos virtuales de aprendizaje (de los
que ya hemos hablado en este mismo trabajo) y, además amplió las posibilidades de
recolectar una gran cantidad de información sobre la conducta de los estudiantes en estos
contextos, así como de las interacciones que allí se dan (Berners-Lee, Hendler & Lassila,
2001). Uno de los países que reportó el empleo de EVA/LMS desde 1994 en las instituciones
de educación superior fue Inglaterra, en donde el empleo de esta tecnología pasó del 7% de
1994 al 85% en el 2003 (Britain & Liber, 2004).
47
Tesis doctoral
La huella digital que generó el empleo de EVA fue de gran ayuda para aliviar las presiones
en el contexto educativo para evaluar el rendimiento en educación superior, con miras a
mejorar los resultados obtenidos en el aprendizaje, pues impulsó el desarrollo de áreas nuevas
como el Learning Analytics o Educational Data Mining para cumplir con estas demandas
(Campbell, DeBlois & Oblinger, 2007).
En las primeras experiencias en las que se implementaba el LA el objetivo estaba dirigido
en tres ámbitos:
1. Predecir qué alumnos se encontraban en dificultades; permitiendo a los profesores
personalizar la enseñanza y atender las necesidades de los alumnos durante el
aprendizaje (Campbell et al., 2007).
2. Comprender las relaciones subyacentes entre el rendimiento académico y las
interacciones de los estudiantes (Ramos & Yudko, 2008).
3. Analizar los niveles de participación y mejorar las tasas de abandono en los cursos
online (Cocea & Weibelzahl, 2007).
La metodología más utilizada para el trabajo con Learning Analytics tiene sus bases en
distintos modelos teóricos que son claramente tecnológicos, y se nombran por el apellido del
autor/autora:
Modelo Picciano: busca la participación del estudiante en los cursos en línea y la mejora del
análisis de datos. Este modelo incorpora al proceso de análisis la integración de información
proveniente de tres estamentos: los sistemas de información institucionales, la experiencia y
perspectiva de profesores/consejeros y los datos de EVA procesados mediante Big Data. A
pesar de que considera que en la toma de decisiones la instrucción tradicional que se basa en
datos tradicionales puede ser beneficiosa, sugiere el empleo de Learning Analytics cuando
los datos son extensos y sensibles al tiempo, ya que es relevante que las correcciones y
mejoras se obtengan en la medida que ocurren las actividades (Picciano, 2012).
Modelo Chatti: los datos son extraídos para analizarlos y tomar decisiones. Está formado
por tres fases: recolección y preprocesamiento, análisis y postprocesamiento; y toma en
cuenta cuatro dimensiones: entornos y datos (qué), actores (para quienes), objetivos (para
qué) y métodos (cómo). Frecuentemente se emplean como objetivos la adaptación, el
48
Capítulo 2. Learning Analytics y Machine Learning
seguimiento y el análisis, como técnicas de predicción y clasificación y como fuente de datos
EVA (Chatti, 2013).
Modelo Siemens: Busca el desarrollo de la interacción y obtención del aprendizaje a través
de plataformas digitales interactivas en las que se procesa automáticamente los datos. Este
modelo tiene un enfoque sistemático tanto para el análisis como para los recursos de apoyo.
De acuerdo al propósito del análisis, se realiza la recolección de información, así pues, se
pueden recoger datos institucionales, académicos, de gestión, motivacionales, etc., y se
utilizan herramientas y técnicas que son muy diversas según se quiera analizar un riesgo
determinado, la red social, conceptos, programación neurolingüística, predicción, entre otros
(Siemens, 2013).
Los tres modelos analizados tienen en común la delimitación del ciclo vital del proceso de
LA, el cual va desde la recogida de los datos hasta una etapa final que se fija dependiendo
del modelo. Destaca también un cuarto modelo, que se suele referenciar a parte de los tres
comentados, ya que surge más tarde, con el auge del campo en 2012, de una forma más
contextual y centrado en intentar dar un marco común a las investigaciones que iban
surgiendo (Ruipérez-Valiente, 2020).
Modelo Clow: según el autor de este modelo, el LA es un proceso cíclico, que consta de
diferentes etapas y donde todos los elementos del modelo están claramente afectados por los
demás y por factores externos. El proceso fluye en este orden: aprendices, datos, métrica e
intervención, volviendo a iniciarse una vez conocidos los resultados. Los análisis realizados
tienen que ver con el seguimiento, los modelos predictivos, el análisis semántico y de
contenido y el análisis de la red social (Clow, 2013). Como indica Peña (2019) desde este
modelo, el LA, aplicando técnicas de big data, ayudará a convertir los registros de las
plataformas digitales en información útil para describir (¿qué ha ocurrido?), predecir (¿qué
ocurrirá?), diagnosticar (¿por qué ha sucedido?) y finalmente desarrollar estrategias de
mejora en el proceso de aprendizaje (¿qué hacer en el futuro?) .
49
Tesis doctoral
2.1.2. Métodos computacionales
Además de los cuatro modelos teóricos que se han comentado, para llevar a cabo los procesos
y poder llegar a los análisis, se requieren de métodos computacionales que permitan su buen
desarrollo.
Ferguson & Shum (2012) plantean dos categorías para estos modelos que son útiles para la
recopilación de datos de los MOOC: las Inherently social analytics (que solo tienen sentido
en un contexto colectivo) y las Socialised analytics (que, aunque son relevantes como análisis
personal, tienen también importantes atributos nuevos en un contexto colectivo). Cada una
de estas categorías tienen varios métodos asignados, no obstante, a continuación se plantean
solo aquellos que son de útiles para la consecución del objetivo de este trabajo doctoral en el
proceso de recopilación y posterior análisis de datos de los MOOC de los que se dispone:
-
Social Network-Analytic Methods. perspectiva desarrollada con el fin de investigar
los procesos de red y las relaciones y roles; y para comprender cómo los alumnos
desarrollan estas relaciones para apoyar su aprendizaje (Haythornthwaite & de Laat,
2010). Se centra en las relaciones interpersonales que vinculan a los alumnos con
contactos, recursos e ideas, y pueden emplearse también para mostrar los diferentes
elementos del curso como nodos, y analizar sus relaciones de modo que pueden
suministrar información relevante para el análisis del aprendizaje (edX, 2017).
-
Process-Oriented Interaction Analysis. En este caso, el método se centra únicamente
en el estudiante, y las interacciones que este realiza durante la realización del curso.
Es por esto que se almacenan todas las interacciones que se realizan en cada una de
las sesiones del curso y cuando se realizan los análisis se puede descubrir patrones
que caracterizan el comportamiento del alumno en el proceso de aprendizaje (Lang,
Siemens, Wise & Gasevic, 2017).
-
Content Analysis Using Text-Mining Methods. A diferencia de los otros métodos, este
se fundamenta en el análisis del contenido de texto que es creado por los estudiantes
mientras están en el curso. Este contenido tiene que ver con los comentarios sobre un
tema o duda, que escriben por ejemplo en los foros. En este análisis se conoce la
naturaleza del contenido textual y la información semántica vinculada con los temas
50
Capítulo 2. Learning Analytics y Machine Learning
de un curso, lo que va a permitir que puedan ser clasificados o extraer relaciones entre
las palabras de diversos temas (Ferguson & Shum, 2012).
2.1.3. Beneficios y limitaciones de Learning Analytics
Una vez considerados los distintos modelos teóricos, hay un gran número de autores que nos
han destacado los beneficios de la aplicación del LA.
Si nos atenemos a lo que plantean los autores, con el LA se puede determinar el modelo de
comportamiento del estudiante, predecir el desempeño, aumentar la autoconciencia entre los
estudiantes y mejorar la retroalimentación sobre la evaluación, recomendar recursos
(Papamitsiou & Economides, 2014); la analítica del aprendizaje es muy sensible a los
procesos de aprendizaje en tiempo real (Ifenthaler & Widanapathirana, 2014); supera los
desafíos clave de medición en las evaluaciones educativas (Gibson & Webb, 2015); permite
obtener conclusiones acerca de la actitud y el comportamiento que tendrá un alumno ante un
contenido específico, un proyecto formativo, una tarea de evaluación (Avella, Kebritchi &
Nunn, 2016).
Además, permite desarrollar herramientas automatizadas que promuevan la integridad
académica mediante el análisis de patrones en el contenido generado por los estudiantes
(Amigud et al., 2017), permite detectar qué estudiantes se están quedando atrás y el motivo
de su bajo nivel de participación en el aprendizaje en línea (Rogers et al., 2016) y permite
detectar patrones de acciones correctivas para el desempeño de los estudiantes (Krumm et
al., 2014; Jayaprakash et al. 2014, Fritz, 2011).
También en la literatura se destaca la capacidad de las LA para demostrar cómo las
actividades de preparación y asistencia del curso del instructor afectan las diferentes
dimensiones de las actividades de participación de los estudiantes (Ma et al. 2015), capacidad
para desarrollar modelos predictivos del rendimiento académico de los estudiantes (Ga e ic
et al. 2016); y predictores del desempeño individual en un contexto de trabajo en equipo
(Fidalgo-Blanco et al. 2015).
51
Tesis doctoral
Además de estos beneficios, es importante tener en cuenta las limitaciones que también
plantea el uso de LA en la educación y algunos son destacados en la literatura especializada
En concreto Avella, Kebritchi & Nunn (2016) resume los desafíos de las LA, en la
optimización del entorno de aprendizaje, el seguimiento, recopilación y análisis de los datos,
el uso de tecnologías emergentes, y las preocupaciones éticas con respecto a cuestiones
legales y de privacidad.
Respecto a la recopilación de datos, existen limitaciones dada la incapacidad de compartir
información por parte de la institución y surge otro problema con la creación del marco ideal
para difundir el currículo educativo, ya que requiere trabajo en equipo entre organizaciones
que compiten entre sí para capturar a los estudiantes que desean participar en este tipo de
experiencia de aprendizaje (Bottles, Begoli & Worley, 2014).
LA se ha convertido en una herramienta en el proceso de evaluación, pero para ser de ayuda
los datos a analizar deben entregarse a los analistas de manera oportuna y precisa, y eso no
siempre es posible (Picciano, 2014).
Como indican McNeely & Hahm (2014), también existen desafíos técnicos en la asimilación
del análisis de datos debido al formato de presentación de los datos, y es que los datos
erróneos (muy presentes en escenarios LA) no pueden sesgar los hallazgos y causar una mala
interpretación de la población en general.
Ferguson (2012) indica que a medida que los estudiantes expanden los límites del sistema de
gestión hacia entornos de aprendizaje abiertos, los investigadores deben optimizar los
entornos y deben descubrir los problemas que enfrentan los estudiantes y cómo determinar
el éxito desde la perspectiva de los estudiantes.
Las tecnologías de investigación centradas en la analítica del aprendizaje y la educación aún
se encuentran en las etapas iniciales (Dyckhoff et al., 2012), y es necesario su evolución
continua para ser capaz de trabajar con el constante crecimiento de las analíticas de
aprendizaje.
52
Capítulo 2. Learning Analytics y Machine Learning
Por último, pero no menos importante, las cuestiones éticas y de privacidad configuran el
otro gran problema que surge sobre el uso de analíticas del aprendizaje (Kay, Korn &
Oppenheimer, 2012). Como indica Johnson et al. (2011) los cambios dinámicos en la
tecnología y la forma en que los usuarios almacenan datos y aplicaciones en la nube presentan
grandes desafíos a la privacidad. Además (West, 2012) afirma que consideraciones de
privacidad como el consentimiento, la recogida de los datos, cómo respetar la privacidad,
mantener el anonimato, y la opción de no participar, serán medidas a tomar de forma
prioritaria.
La Tabla 4, que presentamos a continuación, resume los beneficios, aplicaciones, desafíos y
limitaciones que la literatura relaciona con las LA:
Tabla 4. Beneficios, desafíos y limitaciones de LA. Elaboración propia
Beneficios
Desafíos y limitaciones
Modelos de comportamiento del estudiante, Optimización del entorno de aprendizaje,
predicción del desempeño y mejora de el seguimiento, recopilación y análisis de
retroalimentación sobre la evaluación.
los datos.
Medición en las evaluaciones educativas.
Uso de tecnologías emergentes.
Actitud y comportamiento del alumno ante un Preocupaciones éticas con respecto a
contenido específico, un proyecto o una tarea.
cuestiones legales y de privacidad
Herramientas automatizadas que promuevan la Los datos erróneos no pueden sesgar los
responsabilidad y la integridad académica.
hallazgos
y
causar
una
mala
interpretación.
Estudiantes que se están quedando atrás y el Optimización
motivo de su bajo nivel de participación.
de
entornos
y
cómo
determinar el éxito desde la perspectiva de
los estudiantes.
53
Tesis doctoral
Beneficios
Desafíos y limitaciones
Desempeño y progreso de los estudiantes Necesaria
evolución
continua
de
individualmente, así como en comparación con tecnología en LA.
sus compañeros.
Estrategias de intervención más efectivas para Necesaria presentación oportuna y precisa
ayudar a los estudiantes en riesgo a tener éxito. de los datos.
Predictores del desempeño individual en un
contexto de trabajo en equipo.
2.2. Machine Learning
El rmino Machine Learning (en adelante ML) fue acuñado por John McCarthy en 1956
y es una disciplina de la inteligencia artificial cuyas técnicas hacen posible el aprendizaje
automático de las computadoras a partir del entrenamiento con gran cantidad de datos (Ruso
et al, 2016). Se trata para ello de crear programas capaces de generar patrones de
comportamiento a partir de unos datos (Bishop, 2006).
El fin de ML es generar modelos efectivos que permitan predecir los comportamientos para
la mejora a través del análisis de datos o minería de datos (Mohri, Rostamizadeh &
Talwalkar, 2012). Estos modelos permitirán hacer predicciones como si fueran verdaderos
expertos, en vez de realizar las instrucciones estrictamente para lo que han sido desarrollados
(Monleón-Getino, 2015).
La base de ML la encontramos la minería de datos (MD) que se define como el proceso
automático o semiautomático de descubrir patrones en los datos (Witten, Frank & Hall,
2011), y donde la principal diferencia entre estos términos radica en que la MD no puede
funcionar sin la participación humana, mientras que en el ML esta participación está
involucrada en el momento inicial.
El aprendizaje automático de las computadoras se produce por medio de algoritmos, que no
es mas que una serie de pasos ordenados que se dan para realizar una tarea. Se han
54
Capítulo 2. Learning Analytics y Machine Learning
diversificado los algoritmos y técnicas utilizadas en el sistema de minería de datos para
analizar y mejorar la oferta educativa en entornos virtuales masivos. Como indican Valero,
Vargas & García-Alonso (2015) los algoritmos de árboles de decisión están siendo
ampliamente utilizados por su sencillez, facilidad de implementación, y a su vez su potencial.
Esta técnica constituye un conjunto de reglas o condiciones presentadas en una estructura
jerárquica, de forma que la decisión pueda ser determinada a partir de las condiciones que se
cumplen desde la raíz hasta sus extremos (Alpaydin, 2010).
Antes de seleccionar un algoritmo para resolver un problema se necesita definir y diseñar
que tipo de problema es el que hay que resolver en función de los datos que se conocen del
mismo, es por esto que a continuación, se profundizará en los distintos sistemas de predicción
que podemos encontrar y cuáles son los algoritmos más utilizados para construir y estudiar
las previsiones a través de esta rama de la inteligencia artificial.
2.2.1. Diseño del estudio de predicción
Las interpretaciones que se pueden hacer a un mismo problema son innumerables, lo que a
su vez implica la utilización del método de acuerdo con el proceso que se considere sea el
más aceptado (Hernández, Fernández & Baptista, 2006). El caso de la predicción, que es el
tema central de esta investigación, no escapa de esta realidad, por lo que para un mismo
problema puede aplicarse varias soluciones que permitan la predicción de lo que se desea.
Como indica Alpaydin (2010), cada modelo genera una red o algoritmo producto de los datos
analizados, los cuales se organizan de tal manera que generan el modelo, pero lo que
generalmente lo que se hace, es analizar los datos con diferentes métodos los cuales den
origen a los modelos y a partir de allí, seleccionar el que más se adapte a las necesidades
reales del problema y permita la adecuada toma de decisiones.
Cuando hablamos de aprendizaje automáticos de las computadoras, es importante destacar
que las cosas se aprenden cuando cambian su comportamiento de manera que los hace
funcionar mejor en el futuro (Witten, Frank & Hall, 2011). Este aprendizaje automatizado de
las computadoras busca comparar resultados y tomar aquellos que sean la mejora alternativa
55
Tesis doctoral
de solución. Los algoritmos se desarrollan a partir del análisis de resultados producto de la
clasificación y establecimiento de patrones, lo que da origen a la predicción.
Como lo define Bishop (2006), el aprendizaje automático de las computadoras es un tipo de
algoritmo que está basado en datos, es decir, a diferencia de los algoritmos habituales que
extraen datos establecidos en el código, este logra transformar resultados a partir de los datos,
en busca de la mejor respuesta. Para lograr esta trasformación, es indispensable tener un
conocimiento previo de cada uno de los elementos y características que intervienen en el
problema para poder establecer los criterios adecuados de clasificación al procesar el código
para el algoritmo. En función de la información o de los datos con los que se cuentan, se
puede hablar de aprendizaje supervisado y no supervisado (Alpaydin, 2010):
-
El aprendizaje automatizado supervisado, plantea el código del algoritmo a partir de la
ejemplificación continua de diversas situaciones, de esta manera se puede lograr la
predicción correcta considerando los supuestos anteriores.
-
El aprendizaje automatizado no supervisado se origina del entrenamiento de los
algoritmos que se han establecido producto del análisis de los datos.
Estos dos tipos de aprendizajes automatizados diseñan los algoritmos al intentar agrupar
datos en diferentes grupos de acuerdo con las características de los datos.
Sin embargo, Mohri, Rostamizadeh & Talwalkar (2012) indica que hay otro término medio
que está entre estos dos tipos. Este se conoce como aprendizaje automatizado
semisupervisado y activo. Técnicamente, este es un método supervisado en el que hay una
manera de evitar un gran número de etiquetas, ya que el propio algoritmo indica qué se debe
etiquetar. Este método es ampliamente utilizado en redes que se componen de nodos que
están activados o no dependiendo de las condiciones claves. Las reglas se establecen en busca
de las acciones necesarias, de esta manera los algoritmos deben permitir encontrar tendencias
y patrones en los datos.
2.2.2. La validación cruzada en los modelos predictivos
En el proceso de análisis del aprendizaje automatizado se presentan situaciones donde se
hace necesario ir más allá de establecer patrones, entrenamiento o revisar situaciones
56
Capítulo 2. Learning Analytics y Machine Learning
anteriores, es en estas situaciones extrañas, fuera del patrón, cuando se hace necesario ajustar
la predicción a la situación aleatoria donde no existen relaciones causales.
La validación cruzada permite evaluar cómo los resultados de una estadística análisis se
generalizan a un conjunto de datos independientes (Refaeilzadeh, Tang & Lui, 2008), y según
Kohavi (2005) es utilizada generalmente en situaciones en los que la predicción es el
objetivo, y no se requiere estimar con precisión un modelo predictivo a utilizar.
Kohavi (2005) también señala que, en un problema de predicción, un modelo se da
generalmente en un conjunto de datos de datos conocidos en los que la formación se ejecuta,
y un conjunto de datos desconocidos contra el que el modelo se prueba; el objetivo de la
validación cruzada es poner a prueba la capacidad del modelo para predecir nuevos datos que
no se utilizan en la estimación.
Sin embargo, es importante aclarar que el modelo será eficaz no por el rendimiento del
entrenamiento, sino por el desempeño de los datos visibles, de manera que, aunque un modelo
en una situación adversa el cual ha sido establecido con datos tipificados, puede considerarse
como un modelo sesgado ya que sólo responde una determinada situación, una parte pequeña
de los datos no la globalidad de los mismos, por lo que no representa la resolución al
problema presentado (Moore, 2001).
2.2.3. Selección del algoritmo de predicción
Hay varias circunstancias posibles donde un proceso para estimar las relaciones entre los
datos hace necesario relacionar variables. La validación en este caso no es cruzada sino de
retención, en la cual se clasifican los datos en dos procesos: en uno, se retienen los datos para
realizar el entrenamiento y en el otro se procesan a través del análisis cruzado, de manera que
se establecen relaciones (Data Splitting, 2015).
El método de retención divide los datos en dos conjuntos: de entrenamiento y datos de
prueba, como la validación cruzada. Sin embargo, dividir los datos de manera uniforme y
realizar solo un experimento de prueba y entrenamiento podría engañar en caso de obtener
una "desafortunada" relación entre una variable dependiente o más variables independientes
57
Tesis doctoral
(Box & Cox, 1964). La muestra de datos está dividida en dos conjuntos: de entrenamiento y
de prueba, siendo el conjunto que se usa para entrenar la entrada del algoritmo, dando lugar
al clasificador, que se prueba con el conjunto de datos de test en el que no se conocen los
valores de las clases. En caso de que el clasificador consiga clasificar la mayor parte de los
datos correctamente (los estudiantes), se asumirá que este actúa correctamente también con
nuevos datos, y por tanto, la hipótesis es acertada. Si en cambio comete muchos errores
durante la clasificación, se admite que es un modelo erróneo, y la hipótesis se descartará.
Específicamente, el análisis de regresión podría considerarse como un proceso para entender
cómo una variable dependiente evoluciona o cambia cuando las variables independientes son
variadas, mientras que las otras variables independientes se mantienen fijas (GutiérrezOsuna, 2001). Uno de los aspectos que se debe tener en cuenta es la probabilidad de
distribución, lo cual no es otra cosa que la variación de la variable dependiente del proceso
de regresión. Las relaciones que se logran establecer es lo que da producto a los logaritmos
que originan la predicción.
Los datos de entrada y salida son de gran utilidad. Si los datos de salida son continuos,
discretos, o resultados binarios, una clasificación puede ser la solución. Sin embargo, el uso
de una respuesta booleana "sí" o "no", tal vez no sea suficiente, y podría haber algunos errores
en el resultado previsto. Ante esto, se confirma la necesidad de realizar probabilidades o una
distribución de probabilidad o un modelo estocástico (Arlot & Celisse, 2010).
Utilizando la probabilidad, se puede obtener la confiabilidad del modelo predictivo, por lo
que comúnmente si el resultado de la probabilidad es de 51% el modelo no es confiable; pero
si se obtiene el 99%, el modelo más seguro que otros con menos probabilidad (Moore, 2001).
A continuación, se plantea a modo resumen, un listado (Tabla 5) de con los terminados
analizados a modo de glosario:
Tabla 5. Glosario de términos analizados. Elaboración propia
Glosario de conceptos
Machine Learning
Conjunto de condiciones presentadas en estructura
jerárquica, de forma que la decisión final pueda ser
58
Capítulo 2. Learning Analytics y Machine Learning
determinada a partir de las condiciones que se cumplen
desde la raíz hasta sus extremos.
Aprendizaje supervisado
Plantea el código del algoritmo a partir de la
ejemplificación
continua
de
diversas
situaciones
(considerando los supuestos anteriores).
Aprendizaje no supervisado
Se origina del entrenamiento de los algoritmos que se han
establecido producto del análisis de los datos.
Técnica de árbol de decisión Mapa de resultados posibles en función de decisiones
relacionadas en serie, permitiendo comparar entre acciones
según sus probabilidades.
Validación cruzada
Evalúa cómo los resultados de una estadística análisis se
generalizan a un conjunto de datos independientes.
Existen varias investigaciones que comparan el rendimiento de los clasificadores en función
de diferentes parámetros. Así por ejemplo Fawcett (2004) propone un método para visualizar,
organizar y seleccionar algoritmos mediante la técnica ROC (Receiver Operating
Characteristics), mientras que Hämäläien & Vinni (2010) proponen otro método basado en
EDM (Ed. Data Mining).
Según Russo et al. (2016), los seis modelos de Machine Learning más usados actualmente
para la resolución de este tipo de problemas aparecen de forma resumida en la Tabla 6:
Tabla 6. Definición de los modelos ML utilizados. Elaboración propia
Modelo
Logistic
Regression
Características
Clasificación supervisada que encuentra su uso en la estimación de
valores discretos como 0/1, sí/no y verdadero/falso. Se basa en un
conjunto dado de variables independientes y utiliza una función logística
para predecir la probabilidad de un evento y esto nos da una salida entre
0 y 1.
59
Tesis doctoral
Modelo
Características
Decision Tree
Classification
Este modelo toma una instancia, atraviesa el árbol y compara
características importantes con una declaración condicional
determinada. Si desciende, irá a la rama secundaria izquierda o derecha
dependiendo del resultado. Por lo general, las características más
importantes están más cerca de la raíz.
KNeighbors
Classification
Considera diferentes centroides y utiliza una función generalmente
euclidiana para comparar la distancia. Luego, analiza los resultados y
clasifica cada punto del grupo para optimizarlo y colocarlo con todos los
puntos más cercanos. Clasifica los casos nuevos utilizando votaciones
de los k vecinos.
Support Vector Traza una línea que divide las diferentes categorías de sus datos. En este
Machine
algoritmo se calcula el vector para optimizar la línea, consiguiendo
asegurar que el punto más cercano en cada grupo se encuentra más
alejado el uno del otro.
Naive Bayes
Supone independencia entre predictores. Supondrá que una
característica en una clase no está relacionada con ninguna otra. Para
conjuntos de datos muy grandes, es fácil construir un modelo naive
bayesiano. Este modelo no solo es muy simple, sino que funciona mejor
que muchos métodos de clasificación altamente sofisticados.
Random
Forest
Un bosque aleatorio es un conjunto de árboles de decisión. Para
clasificar cada nuevo objeto en función de sus atributos, los árboles
votan por la clase: cada árbol proporciona una clasificación. La
clasificación con más votos gana en el bosque.
60
Capítulo 3. Metodología de investigación
SECCI N II. ESTUDIO EMP RICO
61
Capítulo 3. Metodología de investigación
Ca
l 3. Me d l g a de la in e igaci n
En el presente capítulo se presenta la metodología que se ha llevado a cabo para realizar esta
tesis doctoral. Se presentan los objetivos generales y específicos, y las preguntas de
investigación con el fin identificar bien el problema, especificando qué no forma parte de
este, para evitar confundir conceptos parecidos.
Posteriormente se definirá el método y procedimiento, estableciendo las fases según el tipo
de investigación que se ha planteado. Este capítulo tiene como única intención, demostrar
paso a paso lo que se ha realizado, de manera que se pueda confirmar que los resultados que
se han obtenido son válidos y confiables.
Como se justificará, en este trabajo se ha utilizado la metodología de investigación Basada
en el Diseño (IBD), la cual está conformado por tres fases que se logran completar a través
de iteraciones (De Benito & Salinas, 2016). En este caso específico la primera fase de análisis
y exploración corresponde a tres revisiones sistemáticas, siendo esta la primera iteración,
donde se conoce las temáticas a tratar por parte de la investigaciones más recientes y las
necesidades de mejora tomando en cuenta diferentes variables de las cuales se tienen datos
suficientes para realizar una predicción válida y confiable, y a partir de ella proponer acciones
a los MOOC, para mejorar el rendimiento, el aprendizaje y sobre todo el índice de abandono.
Para la segunda fase del diseño, se plantea la segunda iteración que corresponde al diseño y
desarrollo de la propuesta de mejora. Una vez se han obtenido las variables que permiten la
predicción, se el uso de metodologías tecnológicas para el análisis de los datos, por lo que se
utilizó el método machine learning (Big data), de esta manera se obtuvo la predicción a partir
del comportamiento de los participantes de los cursos MOOC de la UVP y plantear la
propuesta de mejora. En la última fase, correspondiente a la tercera iteración, se implementa
la propuesta de mejora, se modifica, y se obtienen los resultados y conclusiones de la
investigación. Como última tarea dentro de cada una de las iteraciones, se plantea una etapa
de feedback en el que se exponen a los expertos de la UPV las conclusiones realizadas para
que realicen las correcciones o comentarios oportunos.
63
Tesis doctoral
3.1. Marco de la investigación: los MOOC de la UPV
Esta investigación parte de una necesidad concreta de la UPV y más concretamente de su
plataforma edX para el desarrollo de MOOC. Por tanto, es importante introducir en primer
lugar en qué estado se encuentra actualmente la plataforma, caracterizándola, y en segunda
lugar, como ha sido la evolución hasta llegar a esta situación.
3.1.1. Caracterización de la UPV y su plataforma MOOC
La UPV es una universidad pública y dinámica que recientemente ha celebrado su 50
aniversario con fuertes vínculos con el entorno social y con gran presencia en el extranjero.
Cuenta con 34.000 estudiantes, 3.600 profesores e investigadores nueve escuelas técnicas
superiores,
dos
facultades
y
dos
escuelas
politécnicas
superiores.
(https://www.upv.es/organizacion/la-institucion/historia/index-es.html).
El éxito de la plataforma llamada upvx.es es tal que cuenta con más de 260 cursos diferentes,
con más de 700.000 alumnos, lo que le permite ser la institución europea con más cursos
MOOC realizados (Ruiperez-Valiente et al, 2020), además, en 2018 la UPV se posicionó
como la quinta universidad con mas cursos realizados en la plataforma edX (Sanchis-Font et
al, 2018).
Además, UPV tuvo excelentes resultados respecto a la satisfacción de los estudiantes con la
plataforma, los cursos y la forma de aprender, obteniendo un promedio de 4.05 sobre 5 en la
pregunta "Teniendo en cuenta todo, califique cómo el curso ha cumplido sus expectativas"
(Despujol, 2018).
3.1.2. Evolución de la plataforma MOOC
La UPV ha estado involucrada en el desarrollo de contenido de video digital para apoyar los
procesos de enseñanza durante varios años, desarrollando módulos relacionados con la
producción de vídeos de aprendizaje adecuados para la formación a distancia. En este sentido,
64
Capítulo 3. Metodología de investigación
desarrolló Polimedia, un sistema para grabar objetos de aprendizaje en video HD utilizando
estudios audiovisuales baratos de una manera rápida y directa (Turro, Canero y Busquets,
2010), así como el programa "Docencia en Red" que alienta y apoya a los docentes que
desarrollan contenido de aprendizaje digital y evalúan sistemáticamente su calidad (CáceresGonzález & Martínez-Naharro, 2011), capacitando a más de 600 facultades en la creación de
objetos de aprendizaje de video HQ (Despujol, 2014).
La evolución de la andadura de la UPV con sus cursos de educación a distancia se puede
analizar desde seis etapas, cuya evolución se resumen en la siguiente Tabla 7:
Tabla 7. Evolución plataforma online UPV. (Despujol, Castañeda & Turro,2018)
Etapa
Edición
1 Enero 2013
2 Febrero 2013
3 Julio 2013
Octubre 2013
4 Marzo 2014
Julio 2014
Septiembre 2014
5 2015
6 2016
Plataforma
Course Builder
MiríadaX
Course Builder
Course Builder
Course Builder
Open edX
Course Builder
Open edX
Course Builder
Open edX
edX
Open edX
edX
Open edX
Origen hasta 2018 Course Builder
MiríadaX
edX
Open edX
65
Cursos
2
14
10
8
14
3
8
Registrados
1.178
76.459
5.971
4.112
502.429
9
15
30
12
43
8
16.371
198.815
17.421
246.110
9.827
50
14
290
189
59.608
76.459
1.236.131
65.739
5.407
Tesis doctoral
Primera etapa.
Como indica Despujol (2018), en 2012 la UPV había subido más de 2,000 vídeos educativos
a sus canales de Youtube e ITunesU, y se habían registrado más de 2,000,000 de visitas; lo
que demostraba el interés del público en este tipo de contenido educativo.
La Universidad contaba con el contenido y las herramientas (Polimedia y Docencia en Red)
para crear MOOC con poco esfuerzo adicional y se había detectado una oportunidad
significativa para mejorar la reputación digital y el marketing en los medios de comunicación,
es por esto, que en su plan estratégico de la 2007-2014, se introdujo una línea estratégica
dedicada a intensificar el uso de TI en la enseñanza (UPV, 2007).
Como indican Despujol, Turro, Busquets & Cañero (2014), inicialmente se creó un grupo
para fijar las bases para una fase piloto y se seleccionó Google Course Builder como
plataforma para adaptar dos cursos existentes, dando lugar a los dos primeros pilotos MOOC.
La edición transcurrió sin problemas y la encuesta de satisfacción posterior reveló que los
cursos cumplieron con las expectativas de los estudiantes, validando el formato MOOC
gracias a su bajo coste. Tras esto, el dominio upvx.es fue adquirido.
Segunda etapa.
Lo siguientes cursos que se realizaron desde la UPV surgieron a partir de la creación de la
plataforma MiríadaX y su concurso para buscar el mejor MOOC en español de 2012
(MiríadaX 2012). Se presentaron un total de doce cursos nuevos, más los dos pilotos
realizados, para lo que se dispuso de solo tres meses, para lo cual fue imprescindible el uso
de Polimedia y la Guía para la creación de MOOC realizada en el programa Docencia en red
(Cáceres-González & Martínez-Naharro, 2014).
Los resultados de la encuesta de satisfacción fueron muy similares a los de la edición piloto,
obteniendo 4.12 de 5 en la pregunta de cumplimiento de expectativas de la encuesta posterior
al curso (Despujol, Turro, Busquets & Canero, 2014).
En estos meses de preparación para el concurso, se probó el rendimiento y la velocidad de la
infraestructura de producción y escalabilidad y los procedimientos establecidos, y se decidió
apoyar a los docentes a crear los cursos permitiéndoles enfocarse en el proceso de creación
66
Capítulo 3. Metodología de investigación
de contenido (Despujol, 2018). Tras finalizar el concurso, se migraron todos los cursos
nuevamente a la plataforma Google Course Builder.
Tercera etapa.
La tercera etapa se centró en la realización modificaciones en la plataforma para poder alojar
varios cursos creando una página de listado de cursos pareciendo que se encontraban en una
plataforma común, y mejoras también para aumentar su usabilidad y agregar nuevas
funciones como enviar correos electrónicos a los estudiantes o agregar una página con el
progreso del estudiante en el curso (Despujol, 2018).
En esta etapa, se contaba con un total de dieciocho cursos con 10.083 inscritos en total,
demostrándose que una iniciativa MOOC con varios cursos podría ejecutarse sin problemas
utilizando el código modificado de Google Course Builder. Negativamente se comprobó
cómo personalizar en gran medida un código fuente abierto suponía un gran esfuerzo de
actualización con el lanzamiento de nuevas versiones de Google Course Builder.
Cuarta etapa.
El 1 de junio de 2013, edX creó su plataforma MOOC de código abierto y creó una
comunidad de código abierto. La plataforma ofrecía una interfaz para los docentes y una
mejor interfaz para los estudiantes (Fitzgerald, 2013).
Según indica Despujol (2018), la comunidad de código abierto era una garantía de
crecimiento y mejora, por lo que se decidió probar la plataforma Open edX. Se confirmó la
viabilidad de la plataforma con tres cursos, por lo que la UPV decidió pasar completamente
a Open edX, incluso siendo nombrado miembro activo de su comunidad de desarrollo.
Se desarrollaron herramientas web para ayudar con el proceso de producción entre la
plataforma antigua y la nueva, permitiendo a los docentes seguir desarrollando cursos en la
plataforma de prueba. Por último, dentro de esta etapa se decidió tener dos ediciones MOOC
generales por año (marzo y octubre) y una tercera edición en julio solo con cursos de
nivelación de entrada en la universidad.
67
Tesis doctoral
Quinta etapa.
A pesar de que la ejecución de los cursos en edx.org implicaba una mayor carga de trabajo,
(Silvestre et al., 2012), en febrero de 2015 edX financió a la UPV la creación de cinco cursos
en la plataforma, siendo un curso para aprender castellano, el más exitoso en participaciones,
a pesar de su baja tasa de finalización (alrededor del 2%).
Dentro de esta fase, Despujol (2018) destaca que el número de inscripciones con la nueva
plataforma no aumentó tanto como lo esperado por la universidad, manteniendo la
satisfacción de los usuarios y las tasas de finalización. Además, mantener la plataforma
propia para realizar primeras ejecuciones de los cursos permitía mantener la reputación
digital la independencia; y tener un desarrollador Open edX aumentaba la posibilidad de
experimentar y mejorar posiciona a UPV como uno de los miembros activos de la comunidad
de desarrollo de OpenedX.
Sexta etapa.
En la última etapa se decide transformar la mayoría de los cursos a inicio síncrono y
continuación con ritmo propio para disminuir las tasas de finalización, y se suspendieron los
certificados gratuitos para todos los cursos nuevos, provocando una caída de la tasa de
finalización.
Las conclusiones de esta etapa, según Despujol (2018) son que edX debería idear una forma
de comercializar cursos autodidactas periódicamente para paliar la bajada del número de
inscripciones, la falta de un reconocimiento gratuito del curso impacta negativamente en la
motivación y en las tasas de finalización, y que el modelo de ingresos que cobra solo por
certificados a los estudiantes que los demandan y solo reparte beneficios de un curso tras
alcanzar un mínimo, no es auto sostenible para la Universidad.
68
Capítulo 3. Metodología de investigación
3.1.3. Definición del modelo de curso MOOC en la UPV
Despujol, Castañeda & Turro, (2018) describe brevemente las características básicas de la
estructura de los MOOC UPV:
-
Los cursos están estructurados en módulos con conceptos claramente independientes; un
video, un concepto. Un módulo corresponde al trabajo de una semana y tres horas de
dedicación de los estudiantes. El módulo contiene una hora de contenido de video.
-
Los cursos deben iniciarse en ediciones sincrónicas, permaneciendo los materiales
disponibles entre las ediciones.
-
Los vídeos tienen una duración entre 1 a 12 minutos, y disponen de un documento pdf
con una presentación.
-
Hay evaluaciones después de cada vídeo, de cada unidad y al final del curso.
-
Hay un foro por curso para la comunicación docente-estudiante y entre estudiantes.
-
Se entrega un certificado digital no académico gratuito a los estudiantes que superen el
curso.
3.2. Objetivos de investigación
Como se detallará en el marco de la investigación, la Universitat Politécnica de Valencia
(UPV) cuenta con una importante plataforma de cursos MOOC con la que da servicio a más
de 200.000 matrículas cada año. Esta plataforma ofrece a la UPV muchos nuevos estudiantes,
mucho impacto y reputación digital, pero a la vez supone una cantidad enorme de datos y
poco personal para su mantenimiento y optimización (https://www.upv.es/organizacion/lainstitucion/historia/index-es.html). La automatización de procesos que se encarguen de filtrar
y procesar los datos de forma autónoma es una de las medidas claras que la institución
entiende que es necesario tomar para optimizar los recursos y poder procesar y analizar la
gran cantidad de datos que generan los cursos que oferta.
69
Tesis doctoral
Objetivo general
Diseñar mecanismos automatizados de predicción de datos con Machine Learning que se
puedan poner en marcha en la plataforma MOOC de la UPV para mejorar la experiencia de
los participantes en la actividad.
Objetivos específicos
-
Identificar cuáles son los criterios de análisis que, desde el punto de vista pedagógico,
se pueden estudiar en las LA de los MOOC.
-
Analizar, con base en la analítica de datos disponibles y en los criterios pedagógicos
ya probados y/o sugeridos por la literatura científica, la experiencia de los MOOC de
la UPV.
-
Desarrollar modelos predictivos, basados en la analítica de aprendizaje, que describan
el posible comportamiento de los participantes de los cursos MOOC de la UPV.
-
Proponer estrategias automatizadas basadas en analíticas de aprendizaje para mejorar
la experiencia de los alumnos y de la universidad y los elementos didácticos de los
MOOC de la UPV.
-
Proponer estrategias automáticas, que, con base en un esfuerzo menor, permitan
disminuir el abandono en los MOOC de la UPV.
3.3. Preguntas de investigación
La pregunta general de la investigación es:
¿Cómo lograr una mejora en determinados parámetros de los MOOC a partir de la
consideración de criterios pedagógicos y del tratamiento masivo de los datos obtenidos en
experiencias anteriores de esos mismos cursos y de la automatización de procesos?
Más en concreto, podemos definir otras preguntas a resolver:
-
¿Cuáles son las variables más utilizadas para hacer proyecciones de actuación de los
participantes en los cursos MOOC y qué otras variables nos sugiere la literatura en
70
Capítulo 3. Metodología de investigación
educación a distancia, que sirvan para mejorar los procesos y lograr mejorar la calidad de
los cursos?
-
¿Qué indicadores de abandono temprano se pueden aplicar a los datos que podemos
extraer de las plataformas tecnológicas que soportan los MOOC de la UPV, y qué tipo de
tratamiento y filtrado de datos es necesario para obtenerlos?
-
¿Qué tipo de procedimientos automatizados se deben plantear para poner en
funcionamiento los indicadores de abandono seleccionados y cuáles son aplicables?
-
¿Está la plataforma de MOOC de la UPV preparada para poner en funcionamiento los
procedimientos propuestos?
3.4. Diseño de investigación
Las decisiones, orientaciones y actuaciones realizadas en el marco de esta Tesis se explicitan
en los siguientes apartados, concretando las mismas en la Tabla 8, que ya fue presentada
brevemente en la introducción.
Tabla 8. Síntesis de la metodología utilizada en la investigación. Elaboración propia.
Objetivo de
estudio
Diseñar mecanismos automatizados que se puedan poner en marcha dentro
de los MOOC de la UPV para mejorar la experiencia de los estudiantes y
universidad en los cursos aplicando la predicción de datos con
Machine Learning.
Objetivos
-
Identificar cuáles son los criterios de análisis que, desde el punto de vista
pedagógico, se pueden analizar en las LA de los MOOC.
-
Analizar, con base en la analítica de datos disponibles y en los criterios
pedagógicos ya probados y/o sugeridos por la literatura científica, la
experiencia de los MOOC de la UPV.
-
Desarrollar modelos predictivos, basados en la analítica de aprendizaje,
que describan el posible comportamiento de los participantes de los
cursos MOOC de la UPV.
-
Proponer estrategias automatizadas basadas en analíticas de aprendizaje
para mejorar la experiencia de los alumnos y de la universidad y los
elementos didácticos de los MOOC de la UPV.
específicos
71
Tesis doctoral
-
Proponer estrategias automáticas, que, con base en un esfuerzo menor,
permitan disminuir el abandono en los MOOC de la UPV.
Pregunta de ¿Cómo lograr una mejora, a partir del uso de estrategias automatizadas, en
investigación determinados parámetros de los MOOC a partir del tratamiento masivo de
los datos obtenidos en experiencias anteriores de esos mismos cursos?
Paradigma
Tipo
Sociocrítico
de Investigación basada en el diseño
investigación
Iteraciones
Iteración I:
Fase 1: Planificar las revisiones bibliográficas
de la
Revisiones
bibliográficas
Fase 2: Realizar las revisiones bibliográficas
Iteración II:
Fase 1: Plantear los criterios a analizar
Análisis de los
MOOC UPV
Fase 2: Analizar los datos con Machine Learning
Iteración III:
Fase 1: Plantear propuestas de mejora
Propuesta de
mejora y
conclusiones
Fase 2: Implementar y probar la propuesta de mejora
investigación
Fase 3: Aceptación UPV
Fase 3: Presentar los resultados aceptación UPV
Fase 3: Modificar y aceptación UPV
Limitaciones
Existen pocas investigaciones sobre experiencias MOOC, y más
y dificultades concretamente sobre mecanismos automáticos de mejora de estos cursos.
Contribución Propuesta de mejora de los MOOC de la UPV
3.5. Paradigma y metodología de investigación
El hecho de trabajar con un gran conjunto de datos y de números discretos, podría hacer
suponer que nos encontramos ante una aproximación cuantitativa, pero entendemos que la
naturaleza de la acción educativa no cambia con los números, aunque si se pretende influir
en la medida de nuestras posibilidades.
72
Capítulo 3. Metodología de investigación
En cambio, la investigación sigue un paradigma sociocrítico, pues trata de comprender una
realidad determinada, que en nuestro caso es cuál es la problemática de los MOOC o cómo
se puede mejorar la experiencia de alumnos y universidad, para posteriormente aplicar una
acción transformadora desde una posición crítica, que en este caso será la propuesta de
mecanismos automatizados que intenten transformar esa realidad (Arnal, 1992).
La investigación utilizará un enfoque mixto, es decir cualitativo y cuantitativo. La
investigación cualitativa según Guba & Lincoln (2005) consiste en estudiar un fenómeno en
su contexto natural mediante una serie de actividades, para luego hacer interpretaciones que
le dan visibilidad y sentido, mientras que la investigación cuantitativa se refiere a la
construcción de teorías, a partir la observación de la realidad objeto de estudio, y el uso del
método inductivo para describir o explicar el fenómeno en estudio mediante el uso de
técnicas estadísticas (Martínez, 2006).
El enfoque mix o p ede er comprendido como
da o c an i a i o
c ali a i o , en n mi mo e
n proce o q e recolec a, anali a
ier e
dio (Ta hakkori & Teddlie, 2003). No
es simplemente una mezcla en la cual se borran o se repiten las características de cada
enfoque, su riqueza radica en sacar provecho de ventajas de cada enfoque.
Inicialmente los enfoques cuantitativo y cualitativo se consideraban contrarios y que se no
podían utilizar conjuntamente; sin embargo, Uwe-Flick (2012) aclara que
(
) la
combinación de ambas estrategias ha cristalizado como una perspectiva que se analiza y
prac ica de aria forma . (p.277). En la actualidad en cambio, como indica Barrantes
(2014), algunos investigadores tienen una postura posición más ecléctica, y se pueden
encontrar estudios donde se relatan explicaciones de los hechos (enfoque cuantitativo) con
una comprensión de estos (enfoque cualitativo), contribuyendo a reforzar el proceso
investigativo.
La investigación que se plantea es una investigación de diseño (IBD), en la cual se parte de
una necesidad real, en la cual se dé respuestas a partir de diferentes fases, logrando la mejora
parcial o total de la situación inicial. La IBD se centra en la investigación cualitativa, aunque
utiliza para la validez y mayor confiabilidad los datos cuantitativos, donde confluyen
diferentes áreas de conocimientos entre las que se encuentran la neurociencia, sociología
73
Tesis doctoral
educación, didáctica entre otras (Confrey, 2006). En el contexto educativo tiene como fin
analizar el proceso de manera sistemática (aprendizaje, estrategias, herramientas,
evaluación), lo que permite conocer el proceso enseñanza-aprendizaje e investigarlo.
La IBD, que según Anderson (2005) surgió debido a la poca repercusión de la investigación
educativa en el propio sistema educativo, está centrada en el análisis, diseño y evaluación
sistemáticos de problemas reales en contextos educativos. Se trata de investigaciones
prácticas focalizadas en la resolución de problemas para desarrollar principios y
orientaciones para otras investigaciones (Driscoll & Dick, 1999).
Para conceptualizarlo más, Wang & Hannafin (2005) definen la IBD como
na me odolog a
sistemática, pero flexible, dirigida a la mejora de la práctica educativa mediante análisis,
diseño, desarrollo e implementación iterativos, basados en la colaboración de investigadores
y practicantes en un entorno real y que persigue principios de diseño y teoría basadas en
con e o . El Design-Based Research Collective (2003) señala varias áreas en las que la IBD
presentan mayores perspectivas como son: la creación de nuevos entornos de enseñanza, el
desarrollo de teorías de aprendizaje basadas en el contexto y la consolidación del
conocimiento sobre el diseño didáctico. Es por esto que según Reeves (2006) el IBD es el
que más inspira la investigación referente a la educación a distancia, y De Benito & Salinas
(2016) plantea que esta investigación se orienta a la innovación educativa, siendo utilizada
frecuentemente en el diseño de programas, estrategias didácticas, validación de propuestas.
3.6. Fases del proceso de la Investigación Basada en Diseño
El modelo de estructura de la investigación seguido, y que es el más representativo de IBD
es de Reeves (2000; 2006). Las fases de esta estructura se repiten mediante ciclos continuos
o iteraciones produciendo mejoras en la intervención y en el cuerpo teórico (de Benito &
Salinas, 2016). Con el propósito de una comprensión más clara, se realiza un rediseño de las
fases dejando tan solo tres fases: La iteración comienza con analizando la situación y
definiendo el problema, a continuación, se diseñan las posibles soluciones, seguidamente se
realiza el diseño e implementación de soluciones y por último la validación de la
implementación realizada.
74
Capítulo 3. Metodología de investigación
En concreto y como se esquematiza en la ilustración 2, en esta investigación se realizan tres
ciclos continuos o iteraciones en los que se desarrollan cada una de las fases planteadas.
Ilustración 2. Esquema iteraciones de la investigación. Elaboración propia.
Previamente a indicar qué es lo que se realiza en cada una de las fases de las tres iteraciones,
hemos realizado una reorganización de las preguntas de investigación, agrupando éstas por
fases, de manera que tras cada iteración se debe dar solución sus preguntas correspondientes,
así:
Preguntas de la iteración I:
-
¿Cuáles con las características de los MOOC que pueden implicar mejoras a los
participantes, a los cursos y a la Universidad?
-
¿Cuáles son las variables más utilizadas para hacer proyecciones de actuación de los
participantes en los cursos MOOC que sirvan para mejorar los procesos y lograr la
calidad de los cursos?
-
¿Qué otras variables nos sugieren la Educación a distancia para mejorar la eficacia de
los cursos?
Preguntas de la Iteración II:
-
¿De los indicadores obtenidos en la fase 1, cuáles se pueden aplicar a los datos
aportados por la UPV?
-
¿Qué tipo de tratamiento y filtrado de datos es necesario para obtener los indicadores
de abandono que se han seleccionado?
-
¿Cuáles de los indicadores seleccionados realmente funcionan para relacionar el
abandono en los cursos de la UPV?
75
Tesis doctoral
Preguntas de la iteración III:
-
¿Qué tipo de procedimientos automatizados se plantean para poner en
funcionamiento los indicadores de abandono seleccionados?
-
¿Está la plataforma de MOOC de la UPV preparada para poner en funcionamiento
los procedimientos propuestos?
-
¿Cuál de las propuestas son de aplicación directa en la plataforma y cuáles no se
pueden o no se desean aplicar?
Aunque se van a detallar cada una de las iteraciones de forma pormenorizada, en la Tabla 9
se resumen las actuaciones que se realizarán en cada fase de las tres iteraciones incluyendo,
qué parte del problema se analizará, qué se implementará y cómo se validarán los resultados:
ITERACIÓN
I
Diseño e implementación
Validación
de soluciones.
Tres revisiones
Aprobación por parte de la
sistemáticas de literatura
UPV de los indicadores de
para la obtención de
abandono obtenidos.
indicadores de abandono.
Revisión de los
indicadores de
abandono obtenidos y
verificación y
validación con los
datos proporcionados
por la UPV.
Formulación de patrones
que puedan predecir el
comportamiento de los
participantes, a partir de
analíticas de aprendizaje.
Diseño de hipótesis. ML
Aprobación de los
indicadores validados para
la predicción del
comportamiento de los
participantes.
Solicitud de medidas
automatizadas de
aplicación de indicadores.
Análisis de los
indicadores validados
para la predicción.
Diseño e implementación
de medidas automatizadas
de aplicación de los
indicadores.
Aprobación de las medidas
automatizadas de
aplicación de los
indicadores de abandono.
ITERACIÓN
III
Análisis y definición
del problema.
Necesidades, contexto
y objetivo.
Definición de variables
e indicadores claves
para el análisis de las
experiencias MOOC.
ITERACIÓN
II
Tabla 9. Actuaciones por fases en cada iteración. Elaboración propia
76
Capítulo 3. Metodología de investigación
A continuación se realiza un recorrido detallado por las tres iteraciones y las fases de cada
iteración:
3.7. Iteración I. Metodología
En la primera fase de la primera iteración se realizará el análisis y definición del problema.
Para ello se realiza una primera revisión de literatura sobre conceptos y características de los
MOOC, se revisa el objetivo principal propuesto por la UPV, el contexto y necesidades del
cliente. Con esto se plantean las preguntas de investigación únicas que se pretenden resolver
en esta iteración.
Seguidamente, en la fase de diseño e implementación de soluciones, se realizan tres
revisiones sistemáticas de literatura para obtener un conjunto de indicadores pedagógicos que
sirvieran para predecir el abandono de los estudiantes en otras experiencias MOOC y que
habrá que analizar en las siguientes iteraciones, su idoneidad para la casuística de los MOOC
de la UPV.
La última de las fases supondrá la validación o no, por parte de los expertos de la UPV, de
los indicadores de abandono obtenidos en la fase anterior.
3.7.1. Metodología común a las revisiones bibliográficas
Durante los años de auge de los MOOC, se realizaron números revisiones bibliográficas
realizadas como las de Cabero (2015), Baturay (2015), Bartolomé-Pina & Steffens (2015),
Conole (2016), Aguaded, Vázquez-Cano & López-Meneses (2016) y Bayeck (2016). La
77
Tesis doctoral
motivación y necesidad de realizar una nueva, parte por la UPV con el objetivo de optimizar
los resultados y la experiencia de sus MOOC, focalizándonos por ello tan solo en analizar
investigaciones relacionadas con experiencias MOOC para conocer los temas de interés y
acciones realizadas para mejorar la calidad de los MOOC.
Dado que las revisiones que se realizan han seguido la misma metodología, a continuación,
se plantean sus características comunes.
Definición y utilidad de la revisión sistemática
Las revisiones sistemáticas (RS) son investigaciones científicas en las cuales se realizan
verificaciones de los aspectos cualitativos y/o cuantitativos de estudios que se refieren a un
tema en concreto, con la finalidad de realizar una síntesis de las informaciones sobre este y
responder a las preguntas de investigación. Se consideran investigaciones secundarias al
tener una población formada por artículos ya publicados; se trata por tanto de investigar sobre
lo ya investigado (Manterola et al., 2013).
Estas revisiones parten de una pregunta formulada con claridad y, con el fin de identificar y
recopilar los estudios que serán mas relevantes para responder a la pregunta, emplean una
metodología sistemática para evaluarlos, compararlos y obtener los datos correspondientes
(Martín, Tobías & Seoane, 2006). Este tipo de revisiones, por estar formadas por varios
artículos y fuentes de información, representa según Letelier, Manríquez & Rada (2005),
como se indica en la Ilustración 3, el nivel de evidencia más alto en la jerarquía de la
evidencia.
78
Capítulo 3. Metodología de investigación
Ilustración 3. Nivel de evidencia. Fuente Letelier, Manríquez & Rada (2005)
La fortaleza de esta revisión radica en que posee un alto grado de sistematización de la
búsqueda, no es sesgada ni subjetiva, que utiliza todas las fuentes de información disponibles,
que informa de sus fuentes utilizadas y tanto los criterios de búsqueda como los de inclusión
y exclusión, y que es reproducible, permitiendo a otros investigadores comprobar nuestro
trabajo.
Proceso de la revisión sistemática
El proceso seguido para la realización de las revisiones sistemáticas se basa en las etapas de
Sánchez (2010). En concreto, el proceso seguido se resume cinco etapas: la definición de la
pregunta de interés de forma clara, la identificación y selección de estudios relevantes a través
de la definición de unos criterios de exclusión e inclusión, la codificación de las
características de los estudios para así comprobar cuáles de las características de los estudios
pueden estar afectando los resultados, el análisis estadístico y presentación de los resultados
obtenidos de manera sintetizada y reproducible, y por último, la interpretación de los
resultados, incluyendo una discusión sobre la solidez de los hallazgos y su aplicabilidad.
Bases de datos
Se han seleccionado aquellas investigaciones que sean relevantes al tema propuesto, por lo
que la búsqueda se ha realizado en revistas conocidas y en bases de datos de ciencias sociales,
tecnología y educación, utilizando en cada uno los términos y palabras claves acordes a los
objetivos planteados en cada uno.
79
Tesis doctoral
Las bases de datos seleccionadas para la búsqueda de investigaciones tanto experimentales
como bibliográfica fueron: Scopus y Google Académico. De acuerdo a Harzing et al. (2016)
Scopus informa de un número mayor de artículos que Web of Science para todas las
disciplinas, y que el número de artículos en Google Académico es sustancialmente mayor
que el de Web of Science y Scopus para todas las disciplinas. Como aspecto negativo si se
tiene en cuenta que un buen número de los artículos adicionales encontrados por Google
Académico son "citas perdidas" que conducen a registros duplicados.
Instrumento de recogida de información
El instrumento utilizado para la realización de las revisiones sistemáticas fue, en todos los
casos, una ficha de datos. En todas las revisiones que nos ocupan fueron fichas realizadas ad
hoc de acuerdo con los aspectos más importantes de los artículos seleccionados e ítems que
fueran de importancia para responder las preguntas que se plantearon al momento de realizar
la revisión sistemática. Los componentes de las fichas se ajustaron a cada una de las
investigaciones, ambas presentando todas las características de los artículos, de modo, que
tras las lecturas pertinentes se pudieran almacenar en estas toda la información más relevante,
para no necesitar volver a releer el artículo. Todas las fichas recogidas en esta iteración se
incluyen en los anexos 1 y 2 de este trabajo.
Se ha considerado el periodo desde el 2015 hasta 2018, ya que Raffaghelli, Cucchiara &
Persico (2015) plantean que es a partir del 2012 cuando se da inicio a los MOOC con un
curso inaugural, por lo que existen pocas investigaciones previas a la fecha, y es a partir de
ese momento cuando comienza la investigación.
3.7.2. Revisión bibliográfica 1: Estudios de análisis sobre MOOC
La primera revisión se ha realizado con el objetivo de examinar los distintos temas analizados
y acciones que se han realizado desde su aparición hasta la actualidad para así mejorar la
calidad de los MOOC, estableciendo especial importancia en la parte didáctica más que en
la tecnología, para conocer los resultados, beneficios y limitaciones. Con esta revisión se
obtendrán elementos para plantear mejoras a un corto y largo plazo.
80
Capítulo 3. Metodología de investigación
Por lo que se plantearon las siguientes preguntas a investigar:
-
¿Qué tipo de investigaciones se han realizado desde 2015-2018 sobre los MOOC?
-
¿Qué metodologías de análisis se han utilizado para la obtención de los resultados?
-
¿Qué temas han sido estudiados?
Proceso de búsqueda
En el periodo de búsqueda indicado se propusieron los siguientes términos en los buscadores:
MOOC, efectividad de los MOOC (effectiveness), satisfacción de los MOOC (satisfaction).
Se han seleccionado estos términos ya que son los que permitirán conocer los diferentes
temas de estudios.
El término MOOC , hace referencia a las siglas de los cursos, por lo que al colocarla en el
buscador aparecerán las investigaciones realizadas sobre ese tema; el término efec i idad
de lo MOOC hace referencia a las investigaciones que demuestran que los MOOC son
efectivos en el proceso de enseñanza-aprendizaje logrando los objetivos que se han planteado
en los cursos estudiados; y por último, el término Sa i facci n de lo MOOC , hace
referencia a la satisfacción de los alumnos ante los cursos MOOC. Estos términos permiten
dar respuesta a los temas que han sido estudiados y al interés, ya que es importante para esta
investigación doctoral.
Con estos términos, para realizar la búsqueda en los diferentes bases de datos se utilizaron
las siguientes combinaciones a analizar en todo el texto: MOOC or (MOOC and
effectiveness) or (MOOC and satisfaction) or (MOOC and efectividad) or (MOOC and
satisfacción).
Criterios de inclusión:
-
Se seleccionaron aquellos artículos con diez o mas citaciones en Google Académico).
-
Investigaciones basadas en MOOC.
-
Trabajos bibliográficos y sistemáticos.
-
Publicados en Google Académico y Scopus.
-
Años: 2015-2018.
81
Tesis doctoral
Criterios de Exclusión:
-
Si mencionan los MOOC pero sin ser estos el objeto de estudio.
-
Si no presentan ningún estudio ni análisis de estos.
-
No cuenta con citaciones.
Una vez se han encontrado los artículos en los años marcados, se seleccionan aquellos más
citados, sin importar la temática o tipo de estudio. Según Martin & Irvine (1983) el número
de citas de un artículo indica su impacto en la comunidad científica de área, sin que sea señal
de una mayor o menor calidad de la evidencia.
El instrumento de recogida utilizado para esta primera revisión es el mostrado en la Tabla
10:
Tabla 10. Plantilla modelo de recogida de datos Revisión.1. Elaboración propia
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Área de estudio
Nombre del artículo
Año y país
Revista
Objetivos
Tipo de estudio
Hipótesis
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, rendimiento académico, efectividad ,abandono, otros)
Entrevistas
Instrumentos de
medición
Otros
HERRAMIENTAS UTILIZADAS
Encuesta
DATOS DE LAS EXPERIENCIAS
Población
Ámbito
Muestra
Observaciones
Método y procedimiento
País
Resultados
Conclusiones
Otros
edX
Año
SPOC
PLATAFORMA UTILIZADA
Open edX
Youtube
82
Capítulo 3. Metodología de investigación
3.7.3. Revisión bibliográfica 2: Utilización de Learning Analytics en MOOC
En la segunda revisión, una vez ya se hayan conocido los datos, se procede a analizar las
investigaciones que intentar predecir el comportamiento de los participantes de los MOOC,
de manera tal que se puedan establecer acciones de mejoras, enfatizando en las
investigaciones que se han realizado en cuanto a predicciones.
Por lo que se plantearon las siguientes preguntas de investigación:
-
¿Cuáles son las necesidades latentes en los MOOC?
-
¿Cuál es el comportamiento de los participantes en los MOOC?
-
¿Cuáles son las posturas más utilizadas para conocer los comportamientos de los
participantes en los MOOC?
-
¿Cómo se pueden predecir los resultados en base a los comportamientos de los
participantes en los MOOC?
-
¿Qué variables permiten anticipar los resultados de los MOOC?
Proceso de búsqueda
Para la búsqueda se plantearon los siguientes términos en inglés: MOOC, e-learning,
prediction, learning analytics, machine learning, improvements, dropout. La selección de
estos términos se ha llevado a cabo al considerar la revisión bibliográfica realizada y los
resultados obtenidos de esta, ya que el tema de la predicción es uno de los que más interesa
en la actualidad para poder establecer mecanismos de mejora y evitar el abandono.
Partiendo de estos términos las sentencias utilizadas en los buscadores fueron las siguientes:
-
MOOC or (MOOC and prediction) or (MOOC and improvements) or (MOOC and
learning analytics) or (MOOC and dropout) or (MOOC and machine learning) or (MOOC
and predicción) or (MOOC and mejoras) or (MOOC and analíticas de aprendizaje) or
(MOOC and abandono).
-
learning analytics or (learning analytics and prediction) or (learning analytics and
improvements) or (learning analytics and machine learning) or (learning analytics and
dropout) or analíticas de aprendizaje or (analíticas de aprendizaje and predicción) or
(analíticas de aprendizaje and mejoras) or (analíticas de aprendizaje and machine
83
Tesis doctoral
learning) or (analíticas de aprendizaje and abandono).
No se establecieron criterios específicos más allá de los booleanos y los criterios de inclusión
generales de todas las revisiones de este trabajo, pero si criterios de exclusión específicos:
-
Si mencionan los MOOC sin ser objeto de estudio.
-
Si no presentan ningún análisis de estos.
-
El título, resumen, objetivos no se relacionan con la temática que se aborda en esta
investigación.
-
La metodología y resultados en los artículos carecen de información y datos que sustenten
la investigación.
Se consideraron aquellos artículos, que de alguna manera lograban mostrar los resultados al
culminar los MOOC, ya sea en el estudio o en la predicción.
El instrumento de recogida utilizado para la segunda revisión es el mostrado en la Tabla 11:
Tabla 11. Plantilla modelo de recogida de datos Revisión.2. Elaboración propia
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Área de estudio
Nombre del artículo
Año y país
Revista
Objetivos
Tipo de estudio
Hipótesis
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, rendimiento académico, efectividad ,abandono, otros)
Entrevistas
Instrumentos de
medición
Otros
Ámbito
HERRAMIENTAS UTILIZADAS
Encuesta
DATOS DE LAS EXPERIENCIAS
Población
Muestra
Observaciones
Método y procedimiento
País
Resultados
Conclusiones
Año
84
Capítulo 3. Metodología de investigación
Otros
edX
Otros
SPOC
PLATAFORMA UTILIZADA
Open edX
Youtube
3.7.4. Revisión bibliográfica 3. El abandono en la educación a distancia
En la tercera revisión, una vez ya se han conocido los indicadores de abandono seleccionados
en la segunda revisión, se procederá a analizar las investigaciones referentes a la educación
a distancia para completar con nuevos indicadores de abandono.
Proceso de búsqueda
Partiendo de estos términos las sentencias utilizadas en los buscadores fueron las siguientes:
(educación a distancia and abandono) or (e-learning and dropout) or (distance education and
dropout) or (web-based learning and dropout) or (distance learning and droput) or (computer
mediated teaching and dropout).
Para seleccionar las investigaciones se aplican estrategias para buscar en las bases de datos
comentadas anteriormente, sin establecer criterios específicos más allá de los booleanos y los
criterios de inclusión generales de todas las revisiones de este trabajo, seleccionando los
artículos con mayor número de citas.
A continuación, se muestra en la ilustración 4 un resumen de la metodología a seguir en la
primera iteración con las revisiones bibliográficas:
85
Tesis doctoral
Ilustración 4. Resumen metodología Iteración I. Elaboración propia
3.8. Iteración II. Metodología
Tras finalizar la primera iteración con su correspondiente fase de validación, se comenzará
con nuevo ciclo de fases como los ya descritos.
En la fase de análisis y definición del problema, se revisarán los indicadores de abandono
validados por la UPV y se analizarán las necesidades y el contexto, en el que hay que
proponer las medidas automatizadas de mejora de la experiencia de usuario que reclama el
cliente. Además, se analizarán los datos proporcionados por la UPV para contrastar si los
indicadores seleccionados tienen su correspondencia en datos. En la fase de diseño e
86
Capítulo 3. Metodología de investigación
implementación de resoluciones se establecerán acciones concretas de mejora que favorezcan
la mejora de los cursos mediante Machine Learning, lo que llevará consigo un trabajo de
definición y programación de scripts para el filtrado y procesamiento de datos necesario. Por
último, en la fase de validación se le hará una propuesta formal de los resultados obtenidos a
los expertos de la UPV para su debate y aprobación si procede.
3.8.1. Contraste de indicadores obtenidos con estructura de datos edX
Una vez que se hayan seleccionado los indicadores de abandono en la Iteración I, es necesario
comprobar de cuál de estos indicadores disponemos datos en la documentación ofrecida por
la UPV y de cuáles no.
La documentación de la que disponemos es un conjunto de tablas en formato SQL
(Structured Query Language), que se extraen de la plataforma edX en donde se encuentran
y gestionan todos los MOOC de la universidad, con información de todos los alumnos
matriculados en dicho curso. Antes de comenzar su análisis, viendo el volumen de datos
recibidos del módulo de foros de la plataforma, se decidió obviarlos del análisis ya que
deberían ser objeto de un nuevo trabajo de investigación.
A continuación, se describen brevemente los ficheros SQL que proporciona edX con una
pequeña descripción:
-
{org}-{course}-{run}-auth_user-{site}-analytics.sql: Información sobre los usuarios
autorizados para acceder al curso.
-
{org}-{course}-{run}-auth_userprofile-{site}-analytics.sql:
Datos
demográficos
proporcionados por los usuarios durante el registro del sitio.
-
{org}-{course}-{run}-certificates_generatedcertificate-{site}-analytics.sql:
La
calificación final y el estado del certificado para los alumnos.
-
{org}-{course}-{run}-course_structure-{site}-analytics.json:
Este
archivo
documenta la estructura de un curso en un momento determinado. El archivo incluye
datos para el curso, incluyendo fechas importantes, páginas y temas de discusión de
todo el curso. También identifica cada elemento del contenido del curso definido en
el esquema del curso. Se incluye un archivo separado para cada curso en el sitio.
87
Tesis doctoral
-
{org}-{course}-{run}-courseware_studentmodule-{site}-analytics.sql: El estado del
curso para cada alumno, con una fila separada para cada elemento del contenido del
curso al que accede el alumno. No se genera ningún archivo para los cursos que no
tienen ningún registro en esta tabla.
-
{org}-{course}-{run}-django_comment_client_role_users-{site}-analytics.sql: Este
archivo enumera el rol que cada usuario inscrito tiene para las discusiones del curso.
-
{org}-{course}-{run}-student_courseaccessrole-{site}-analytics.sql: Este archivo
informa de los usuarios que tienen un rol privilegiado para el curso.
-
{org}-{course}-{run}-student_courseenrollment-{site}-analytics.sql: El estado de la
inscripción y el tipo de inscripción seleccionada por cada alumno en el curso.
-
{org}-{course}-{run}-student_languageproficiency-{site}-analytics.sql: Indica la
preferencia de idioma auto informada de cada alumno.
-
{org}-{course}-{run}-teams_courseteam-{site}-analytics.sql: Identifica los equipos
de alumnos establecidos en un curso que utiliza la función de equipos.
-
{org}-{course}-{run}-teams_courseteammembership-{site}-analytics.sql: En un
curso que utiliza la función de equipos, esta tabla indica los alumnos que son
miembros de cada equipo.
-
{org}-{course}-{run}-{site}-mongo: El contenido y las características de las
interacciones de discusión del curso.
-
{org}-{course}-{run}-user_api_usercoursetag-{site}-analytics.sql: Metadatos que
describen diferentes tipos de participación del alumno en el curso.
Cada uno de los ficheros SQL contiene un conjunto de campos/variables que hay que
contrastar con los indicadores de abandono seleccionados para marcarlos como válidos o no.
Además de la relación directa campos_edX - indicadores, también se evalúa si es posible
obtener alguno de los indicadores previa procesamiento de los datos existentes.
Los ficheros SQL que se han comentado, son unitarios para cada uno de los cursos. En total,
desde la UPV se proporcionó información de 260 cursos, de modo que el número total de
ficheros con los que trabajar fue muy alto. En concreto, desde las Tablas 12 a las 17 se indican
los campos/columnas que contienen cada una de los ficheros/bases de datos con los que se
trabajan.
88
Capítulo 3. Metodología de investigación
Tabla 12. Contenido tabla auth_user. Fuente: edX
Tabla 13. Contenido tabla auth_userprofile. Fuente: edX
89
Tesis doctoral
Tabla 14. Contenido courseware_studentmodule. Fuente: edX
Tabla 15.Contenido tabla grades_persistentcoursegrade. Fuente: edX
Tabla 16. Contenido tabla student_courseenrollment. Fuente: edX
90
Capítulo 3. Metodología de investigación
Tabla 17. Contenido tabla Course structure. Fuente: edX
3.8.2. Planteamiento de hipótesis Machine Learning
Finalizada la selección de indicadores con la que trabajar, se representará el problema como
un contraste de hipótesis en el que se proponen diferentes soluciones a los problemas en
forma de hipótesis, se deducen de esas hipótesis consecuencias verificables que se someten
a comprobación, manteniéndose o rechazándose la hipótesis, de acuerdo con el resultado de
la comprobación.
Con cada uno de los indicadores de abandono seleccionados se trazará una hipótesis que
habrá que validar o rechazar en caso de que sea capaz o no de predecir abandonos en los
MOOC de la UPV.
3.8.3. Scripts para el filtrado y tratamiento de datos
Planteadas las hipótesis, es el momento de conseguir transformar el conjunto de todos los
ficheros edX proporcionados, en un único fichero de datos en el que tan solo hay una columna
por cada una de las hipótesis.
91
Tesis doctoral
Algunas de las hipótesis planteadas tendrán representación directa en los ficheros SQL. Sin
embargo, para el resto, es necesario un gran trabajo de filtrado y procesamiento para su
obtención.
Tomando como base los scripts facilitados por la UPV creados en Rodríguez (2019), se
desarrollaron un conjunto de 14 scripts en lenguaje Python encargados del filtrado,
procesamiento y obtención de las variables arriba planteadas.
Esos scripts se dividen en dos grupos; en el primero de ellos se engloban los de definición de
clases para facilitar el manejo de datos, como son: courseData, dataNormParser, userData,
userProblems y userVideos; y en el segundo grupo se agrupan el resto de scripts que trabajan
con dichas clases y se encargan del filtrado y procesamiento paso a paso de cada uno de los
ficheros edX recibidos.
Los scripts de definición de clases siguen la misma estructura descrita en la Ilustración 5.
Importación de librerías/módulos
Definición de clase
Creación de variables propias de la clase
Definición de métodos/funciones para el acceso de cada variable
Ilustración 5. Estructura de los scripts de definición de clases. Elaboración propia
La estructura de los scripts de filtrado y procesamiento es más variada, pero en general, todos
guardan el orden que se describe en la Ilustración 6.
Importación de librerías/módulos
Definición de la ubicación de los ficheros de entrada y salida
Definición de cabecera/s de los ficheros de salida
Recorrido y almacenamiento de los ficheros de entrada
Procesamiento de la información
Escritura en los ficheros de salida
Ilustración 6. Estructura de los scripts de filtrado y procesamiento. Elaboración propia
92
Capítulo 3. Metodología de investigación
El código fuente de todos los scripts se incluye en el anexo 3. A continuación, se describe
brevemente en la Tabla 18 la funcionalidad de cada script del segundo grupo (filtrado y
procesado):
93
Tesis doctoral
Tabla 18. Resumen de scripts creados con sus características. Elaboración propia
course_id, week, section, type, module_id,
graded
Campos generados
Descripción
course_structure
Tablas creadas
Nombre script
course_structures
Tablas utilizadas
extract_course_structure
Extrae la estructura del
curso obteniendo cada uno
de sus módulos
user_id, gender_year, level, allow, country
user_id, enrollment, last_access, percent,
letter_grade, passed_time, first_access
user_profile
course_users
user_id, module_id, course_id, score,
attempts, timestamp
auth_userprofile
student_courseenrollment
course_scores_users
user_id, module_id, course_id, watched,
timestamp
extract_user_data
courseware_studentmodule
course_videos_users
user_id, module_id, course_id, score,
attempts, timestamp
Extrae
biodatos
y
normaliza sexo y nivel
educativo
Extrae nota e intentos de
cada módulo del curso
courseware_studentmodule
course_problem_users
extract_course_data
extract_scores_data
Extrae
tiempo
de
visualización de cada vídeo
courseware_studentmodule
grades_persistentcourse
auth_user_prod_analytics
extract_videos_data
Extrae puntuación, intentos
y fecha módulo
Extrae nota, fecha de
inscripción y fecha de
último acceso
extract_problem_data
94
Nombre script
generate_week_data
Descripción
generate_csv
Carga
los
ficheros
generados
en
generate_week_data y crea
un
fichero
global
normalizado con todos los
datos
distribuidos
en
semanas.
Extrae
estadísticas
semanales de cada uno de
los tipos de módulos
generate_csv_summary
Filtra el fichero global
obtenido con generate_csv
manteniendo
sólo los
indicadores de abandono
con los que se trabajará
mediante
Machine
Learning.
Tablas utilizadas
user_profile
course_data
course_problem_users
course_videos_users
course_users
courses_data
problems_user
videos_users
users_courses
final_csv
95
Capítulo 3. Metodología de investigación
users_courses
videos_users
problems_user
courses_data
year_of_birth, gender, level_of_education,
enrollment, last_access, percent, grade,
passed_time, first_access
week, watched, seconds, begin, end,
elapsed-time.
week, score, score_attemps, grade,
grade_attempts, begin, end, elapsed-time.
week, course_weeks, weeks_sections,
videos, problems, discussions,
evaluation_blocks.
Campos generados
final_csv
course_id, course_weeks, user_id, user_age,
user_gender, user_level_education,
enrollment, last_aceess, percent, grade,
course_grade, passed_time,
first_access,duration, first_10_days,
%course_watched_videos,
course_time_videos, dropout,
absence_1_month
Tablas creadas
final_csv_summary
course_id, course_weeks, user_id, dropout,
user_age, user_gender,
user_level_education, percent, grade,
duration, first_10_days,
50%course_watched_videos,
course_time_videos, absence_1_month,
absence_10_days, low_scores,
1week_attemps
Tesis doctoral
Con la ejecución de los scripts planteados, finalmente se genera el fichero CSV necesario
con solo la información necesaria para validar o no las hipótesis planteadas. Este proceso es
necesario realizarlo para cada uno de los 260 cursos de los que se dispone información. En
el anexo 4, se puede encontrar una tabla donde se desglosan los cursos analizados, indicando
su fecha de inicio y el % de abandono.
3.8.4. Definición del problema y algoritmo Machine Learning
Una vez se consiguió obtener en una única tabla las variables que representan a cada una de
las hipótesis planteadas previamente, el siguiente paso fue comprobar si estas variables están
directa/inversamente relacionadas con el abandono de los estudiantes, que también es otra
variable del fichero final.
Para analizar esta relación, o lo que es lo mismo, para verificar cada una de las hipótesis
planteadas, se decide utilizar como herramienta Machine Learning, ya que esta rama de la
inteligencia artificial permite, trabajando con un gran volumen de información, buscar
patrones y extraer comportamientos de los datos aportados.
Definición del problema
Para la verificación de las hipótesis, se resolverá un problema mediante Machine Learning
del cual disponemos de pares ordenados variable_hipótesis/abandono. Nos enfrentamos ante
un problema de aprendizaje supervisado del cual tenemos que elegir su clasificador, que es
el algoritmo que implementa un mecanismo concreto para clasificar, o lo que es lo mismo,
la función matemática en función de los datos de entrada producirá una categoría como
resultado (abandono o no abandono).
Como se ha comentado en el marco teórico, cuando se construye el clasificador, se debe
escoger el algoritmo de ordenación y la muestra de datos con las que se va a trabajar. Si se
consigue clasificar correctamente la mayor parte de los datos (los estudiantes), se asume que
actúa también de forma precisa con nuevos datos, y por tanto, la hipótesis es acertada. Si se
producen muchos errores, se admite que es un modelo erróneo, y la hipótesis se descartará.
96
Capítulo 3. Metodología de investigación
En esta investigación se considerará que el alumno ha abandonado cuando no haya realizado
más del 60% del curso una vez haya comenzado.
Selección del algoritmo
Dada la variedad de criterios para la elección del algoritmo que mejor se adapta al problema
planteado, se decide hacer una prueba con los datos de uno de los cursos, al que se aplicará
los seis modelos de Machine Learning más usados actualmente, para decidir el algoritmo a
utilizar con todos los cursos y todas las hipótesis. Se seleccionará el algoritmo que obtenga
la mayor precisión en las distintas hipótesis que se le plantean.
A continuación, en la Ilustración 7 se muestra un resumen de la metodología a seguir en la
segunda iteración.
Ilustración 7. Resumen metodología la Iteración II. Elaboración propia
Validación de métricas
Una vez que se obtengan las métricas de clasificación para cada curso, será necesario marcar
un umbral de decisión que determine la validación de las hipótesis. Tras la realización de
varias pruebas con cursos piloto, se decide que un umbral apropiado de las métricas
seleccionadas sería valores superiores al 80%. Se aplicará este umbral a cada curso, y de este
modo se obtendrá el % de cursos que han superado el mismo para cada métrica.
Con la aplicación del primer umbral, se seleccionará un segundo para clasificar las hipótesis.
La decisión nuevamente está marcada por el tipo de problema y por las pruebas iniciales
realizadas con cursos piloto. Se decide validar una hipótesis en caso de que algunas de sus
métricas sean superiores a un 85%; la aplicación de este criterio supone que algunas de las
97
Tesis doctoral
hipótesis validadas tengan alguna o algunas de sus métricas con un gran número de cursos
donde no se llega a alcanzar el primer umbral del 80%.
3.9. Iteración III. Metodología
Una vez finalizada la segunda iteración con la validación por parte de los expertos de la UPV
de los indicadores que funcionan como predictores de abandono con los datos ofrecidos,
comienza la última de las iteraciones que debe finalizar con la resolución de los objetivos
generales propuestos al inicio de la investigación.
Independientemente de la validez de los indicadores de abandono, el objetivo principal de la
UPV era obtener un conjunto de mecanismos automatizados que mejoraran la experiencia de
los usuarios. Es por esto, que la primera fase de análisis y definición del problema tenía que
analizar y tener muy en cuenta, ya no solo los indicadores seleccionados, sino también las
necesidades planteadas y el contexto de los docentes que imparten cursos en los MOOC de
la UPV.
La segunda fase es la de diseño e implementación de soluciones. Dado que los datos con los
que se trabaja están almacenados en grandes bases de datos (BBDD), es obvio que las
medidas automatizadas que se deben generar a partir de los indicadores, debían nacer también
de esas BBDD. Por ello, tecnológicamente hablando, el trigger es un elemento clave en estas
medidas.
98
Capítulo 3. Metodología de investigación
3.9.1. Automatización mediante triggers
Este es un objeto presente en las bases de datos como la de la plataforma edX y que se ejecuta
cuando algún evento sucede en las bases de datos, pudiendo ser operaciones de borrado,
inserción o actualización.
Su principal utilidad es facilitar el manejo de la base de datos al no ser necesario que haya
un usuario que lo ejecute. Se utilizan para desarrollar una restricción o actividad especial que
tiene que ser verificada cuando se intenta actualizar, agregar o borrar la información de una
base de datos, previniendo de errores en los datos, modificando valores de una vista o
sincronizando tablas.
Todo trigger está formado por tres elementos: una llamada de activación, que permite
"disparar" la instrucción a ejecutar; una restricción o condición necesaria; y una acción a
ejecutar que son las instrucciones que se van a ejecutar cuando se cumplan las condiciones.
En concreto, la propuesta a implementar consiste en un conjunto de triggers en los que cada
uno tiene como llamada de activación y restricción uno de los indicadores validados con las
hipótesis, y como acción a ejecutar el envío de un email personalizado.
3.9.2. Vías de comunicación para los procedimientos automatizados
Una vez estos triggers estén diseñados, es importante definir cuál va a ser la acción que se
ejecutará una vez se produzca la activación del indicador.
La acción deberá suponer la puesta en conocimiento a alumnos y/o docentes de que la
experiencia no está siendo la idónea en el MOOC, y para ello, hay que definir cuál es la vía
de comunicación y a quién se debe comunicar en cada momento.
Como vía de comunicación se contemplan tres opciones: por SMS, por correo electrónico o
a través de la propia plataforma MOOC. De esas tres vías, la primera de ellas se descarta por
no disponer esa tecnología de una gran capacidad de comunicación, ya que los SMS están
limitados a 160 caracteres, y no se podría comunicar el mensaje completo con tan poco
espacio. La comunicación con los estudiantes a través de la propia plataforma podría ser
99
Tesis doctoral
válida para alguno de los mecanismos en concreto, pero no para todos, y es que, no tendría
sentido recordar a los estudiantes a través de la plataforma que deben entrar a la plataforma
para seguir con sus cursos. Es por eso, que finalmente, se optó que los mecanismos
automatizados usaran la tecnología del correo electrónico.
Por último destacar, que debido a que los indicadores de abandono podían ser de diversa
índole, podría ser interesante la posibilidad de que los propios docentes pudieran recibir
también notificaciones al respecto. Es por ello que se contempló la opción de mecanismos
tanto para estudiantes como para docentes.
A continuación, en la Ilustración 8 se muestra un resumen de la metodología seguida en la
iteración III y en las anteriores.
100
Capítulo 3. Metodología de investigación
Ilustración 8. Resumen metodología de las tres iteraciones. Elaboración propia
101
Capítulo 4. Datos y resultados
Ca
l 4. Da
e l ad
Una vez repasado los marcos teóricos y de investigación, y que se ha detallado la metodología
que se va a seguir en cada una de las etapas, nos proponemos a ejecutar el plan programado.
Como se ha comentado, la IBD que se realiza consta de 3 iteraciones que se van
realimentando, de modo que en este capítulo se detallarán los datos y resultados obtenidos
en cada una de las iteraciones desglosadas en la metodología.
Inicialmente se presentarán los datos y resultados de la Iteración I que consistía en la
realización de 3 revisiones bibliográficas para detectar las principales problemáticas en las
experiencias MOOC analizadas y cuáles son los indicadores que pueden estar relacionados
con ellas. Para cada una de las revisiones se expondrán los análisis de resultados y las
conclusiones obtenidas; y por último se detallarán las conclusiones generales de esta primera
iteración.
Posteriormente en la Iteración II se confrontarán los indicadores obtenidos para la resolución
de la problemática detectada con los datos de que se disponen de los MOOC de la UPV. Se
plantearán las hipótesis necesarias y se validarán con la implementación de scripts utilizando
herramientas de ML. Nuevamente para finalizar con la Iteración II se expondrán la
evaluación y reflexiones de los resultados obtenidos.
Por último, en la Iteración III, los resultados obtenidos se presentarán en forma de desglose
de propuestas de mecanismos de automatización y una nueva evaluación y reflexión de los
resultados obtenidos.
103
Tesis doctoral
4.1. Iteración I. Revisiones bibliográficas
4.1.1. Revisión bibliográfica 1: Estudios de análisis sobre MOOC
Cuando se realiza la búsqueda con las sentencias mencionadas anteriormente, se obtienen
723 artículos a los que se le aplican las normas de inclusión/exclusión diseñadas, excluyendo
350. 150 investigaciones fueron descartadas al no disponer la investigación completa
quedando 146 artículos; revisando el método aplicado y sus resultados quedaron 47; y tras
una lectura pormenorizada finalmente se extraen 30 investigaciones.
En la Ilustración 9 se observa el diagrama de flujo utilizado para el proceso de
selección de los artículos.
Ilustración 9. Diagrama de búsqueda Rev. bibliográfica 1. Elaboración propia
104
Capítulo 4. Datos y resultados
A continuación, se presenta en la Tabla 19 el resultado de la búsqueda de artículos a analizar
de acuerdo con los criterios de inclusión y exclusión seleccionados.
Tabla 19. Artículos seleccionados para el análisis. Elaboración propia
Autores
Título
Revista
Año
Aguaded, I. &
Medina-Salguero, R.
Criterios de la calidad para la
valorización de los MOOC
RIED. Revista
Iberoamericana de
Educación a
Distancia 2015, 18
(2)
2015
Castaño, C., Maiz, I.
& Garay, U.
Percepción de los participantes sobre
el aprendizaje en un MOOC
Revista
Iberoamericana de
Educación a
Distancia
2015
Cabero, J.
Visiones educativas sobre los MOOC
RIED. Revista
Iberoamericana de
Educación a
Distancia, 18(2), 3960
2015
Castillo, N., Lee, J.,
Zahra, F. & Wagner,
D.
MOOC for development: Trends,
Challenges and Opportunities
Journal Articles
(Literacy.org). 6
2015
Huri Baturay, M.
An overview of te world of MOOC
Procedia - Social and
Behavioral Sciences
2015
Littlejohn, A., Hood,
N., Milligan, C. &
Mustain, P.
Learning in MOOC: Motivations and
self-regulated learning in MOOC.
The Internet and
Higher
Education, 29, 40-48.
2015
Veletsianos, G.,
Collier, A. &
Schneider, E,
Digging deeper into learners'
experiences in MOOC: Participation
in social networks outside of MOOC,
notetaking and contexts surrounding
content consumption
British Journal of
Educational
Technology, 46(3),
570-587.
2015
Bartolomé-Pina, A.
& Steffens, K.
¿Son los MOOC una alternativa de
aprendizaje?
Promising Learning
Environments? Com
unica, vol. 22, n. 44,
pp. 91-99
2015
Wang, Y. & Baker,
R.
Content or platform: Why do students
complete MOOC.
MERLOT Journal of
Online Learning and
Teaching, 11(1), 1730.
2015
105
Tesis doctoral
Autores
Título
Revista
Año
Kizilcec, R. F. &
Schneider, E.
Motivation as a lens to understand
online learners: Toward data-driven
design with the OLEI scale.
ACM Transactions
on Computer-Human
Interaction
(TOCHI), 22(2), 6
2015
Conole, G.
MOOC as disruptive technologies:
strategies for enhancing the learner
experience and quality of MOOC.
RED: Revista de
Educacion a
Distancia, (50), 118.
2016
Hew, K. F.
Promoting engagement in online
courses: What strategies can we learn
from three highly rated MOOC.
British Journal of
Educational
Technology, 47(2),
320-341
2016
Hone, K. S. & El
Said, G. R.
Exploring the factors affecting MOOC
retention: A survey study.
Computers &
Education, 98, 157168
2016
Borras-Gene, O.,
Martinez-Nunez, M.
& Fidalgo-Blanco,
Á.
New challenges for the motivation and
learning in engineering education
using gamification in MOOC.
International Journal
of Engineering
Education, 32(1),
501-512.
2016
Crossley, S.,
Paquette, L.,
Dascalu, M.,
McNamara, D. S. &
Baker, R. S. ,
Combining click-stream data with NLP
tools to better understand MOOC
completion.
In Proceedings of the
sixth international
conference on
learning analytics &
knowledge (pp. 614). ACM
2016
Aguaded, I.,
Vázquez-Cano, E. &
López-Meneses, E.
El impacto bibliométrico del
movimiento MOOC en la Comunidad
Científica Española.
Educación XXI:
revista de la Facultad
de Educación, 19(2),
77-104
2016
Bayeck, R
E lo a o
d of MOOC lea ne
demographics and motivation: The
case of students involved in groups.
Open Praxis, 8(3),
223-233
2016
Kizilcec, R. F.,
Pérez-Sanagustín, M.
& Maldonado, J. J.
Self-regulated learning strategies
predict learner behavior and goal
attainment in Massive Open Online
Courses. .
Computers &
education, 104, 1833
2017
Wu, B. & Chen, X.
Continuance intention to use MOOC:
Integrating the technology acceptance
model (TAM) and task technology fit
(TTF) model.
Computers in Human
Behavior, 67, 221232.
2017
106
Capítulo 4. Datos y resultados
Autores
Título
Revista
Año
Yamba-Yugsi, M. &
Luján-Mora, S.
Cursos MOOC: factores que
disminuyen el abandono en los
participantes.
Enfoque UTE, 8(1),
1-15
2017
Mengual-Andrés, S.,
Vázquez-Cano, E. &
López, E.
La productividad científica sobre
MOOC: aproximación bibliométrica
2012-2016 a través de
SCOPUS. RIED.
Revista
Iberoamericana de
Educación a
Distancia, 20(1), 3958
2017
Milligan, C. &
Littlejohn, A.
Why study on a MOOC? The motives
of students and professionals. The
International
Review of Research
in Open and
Distributed
Learning, 18(2).
2017
Bote-Lorenzo, M. L.
& Gómez-Sánchez,
E.
Predicting the decrease of engagement
indicators in a MOOC.
In Proceedings of the
Seventh International
Learning Analytics
& Knowledge
Conference (pp. 143147).
2017
Cabero-Almenara, J.,
Marín-Díaz, V. &
Sampedro-Requena,
B.
Aportaciones desde la investigación
para la utilización educativa de los
MOOC.
Revista Española de
Pedagogía, 75 (266),
7-27
2017
Duart, J. M., RoigVila, R., Mengual
Andrés, S. & Maseda
Durán, M. Á.
La calidad pedagógica de los MOOC a
partir de la revisión sistemática de las
publicaciones JCR y Scopus (20132015)
Revista Española de
Pedagogía, 75(266),
29-46
2018
Castaño, C., Maiz, I.
& Garay, U.
Factores de éxito académico en la
integración de los MOOC en el aula
universitaria.
Revista Española de
Pedagogía, 75(266).
2018
Watted, A. & Barak,
M.
Motivating factors of MOOC
completers: Comparing between
university-affiliated students and
general participants.
The Internet and
Higher
Education, 37, 11-20.
2018
Zhu, M., Sari, A. &
Lee, M. M.
A systematic review of research
methods and topics of the empirical
MOOC literature (2014 2016).
The Internet and
Higher
Education, 37, 31-39
2018
Larionova, V.,
Brown, K., Bystrova,
T. & Sinitsyn, E.
Russian perspectives of online
learning technologies in higher
education: An empirical study of a
MOOC
Research in
Comparative and
International
Education, 13(1), 7091.
2018
107
Tesis doctoral
Autores
Sastre, S. G., IdrissiCao, M., Arranz, A.
O. & Sánchez, E.
Título
Uso de la colaboración y la
gamificación en MOOC: un análisis
exploratorio
Revista
RIED. Revista
Iberoamericana de
Educación a
Distancia, 21(2).
Año
2018
En el anexo 1 se encuentran las fichas con cada uno de los artículos revisados.
4.1.1.1. Análisis de resultados
Poniendo en común todos los artículos analizados podemos observar cómo hay cinco temas
globales en los que se centran estos documentos: la motivación de los alumnos cuando
inscriben y terminan el curso, la satisfacción de los participantes, las características de los
MOOC que condicionan su efectividad, su calidad y la preocupación por el abandono.
Veamos los resultados en cada uno de los temas:
Motivación.
Con respecto a la motivación, Littlejohn et al. (2015), Wang & Baker (2015), Kizilcec &
Schneider (2015) y Bayeck (2016) concuerdan en que solo aquellos que se sienten motivados
por obtener conocimientos, habilidades y destrezas en el tema del curso, son aquellos que
tienen mayor probabilidad de concluirlo con éxito y alcanzar el certificado. El solo deseo de
obtener el certificado no es indicativo de que concluya con éxito el curso.
A pesar de que los MOOC están diseñados para desarrollar las competencias fomentando la
autonomía y de forma individual, en Bayeck (2016) se destaca que uno de las motivaciones
de los alumnos de MOOC es la intención de socializar con otros asistentes.
En Yamba-Yugsi & Luján-Mora (2017) se estudia la motivación en dos dimensiones: la
motivación de inscripción y la motivación de finalizar el curso; concluyendo que además del
reconocimiento de la institución y/o el certificado, la motivación inicial está directamente
relacionada con el éxito en el curso. Además respecto a la satisfacción de los participantes,
se concluía que entre el 40%-56% de los alumnos estaban satisfechos al considerar que la
dificultad encontrada era la esperada.
108
Capítulo 4. Datos y resultados
Ahora bien, en términos generales las personas pueden estar motivadas por el valor que le
otorgan a una actividad, en este caso el estudiar determinado curso MOOC; pero también
puede ser por una fuerte coerción externa, como, por ejemplo, el tener un certificado exigido
en la empresa. En ambas ocasiones emitirán un comportamiento a partir de un sentido de
compromiso que puede ser personal o por cumplir con las exigencias del otro, es decir, que
se comprometerán a terminar el curso y harán lo necesario para ello.
Borras-Gene, Martinez-Nuñez & Fidalgo-Blanco (2016) en su estudio, encontraron que las
comunidades virtuales a través de las redes sociales y diferentes herramientas comunicativas
tecnológicas (gamificación) son fundamentales para lograr la motivación de los participantes,
por lo que plantean un modelo centrado en la gamificación como herramienta de interacción.
Otro estudio que propone un modelo es el de Crossley, Paquette, Dascalu, McNamara &
Baker (2016) que propone un modelo en el que se mide la efectividad del MOOC a través de
las interacciones Strems y PNL, logrando así poder predecir el éxito de los MOOC y a su vez
actuar para modificar las estrategias que permitan la interacción en el transcurso del curso.
En Watted & Barak (2018), se pretendía analizar la motivación de 2 conjuntos de
participantes que finalizaron un MOOC: los universitarios y los de educación general;
concluyendo que los dos grupos tenían la misma motivación por el curso: el interés general
y el enriquecimiento personal.
Lo que sí se comprueba en los 30 artículos analizados, es que concuerdan que el objetivo real
de estos cursos es sin duda, la adquisición del conocimiento de su contenido, por lo que se
evidencia la discrepancia entre la motivación por tomar un curso MOOC y los objetivos
planteados y el profesor de este.
Efectividad
Respecto a la efectividad, Aguaded & Medina-Salguero (2015) analiza la cantidad de
alumnos que finalizan los MOOC consiguiendo su certificado, determinando que solo un
porcentaje pequeño terminan, comenzando la deserción desde los primeros días del curso. El
hecho de que sean cursos abiertos y gratuitos repercute en el alto número de inscritos pero
que finalmente acaban sin acceder nunca al curso o sin efectuar las evaluaciones.
109
Tesis doctoral
Estudios como el de Wang & Baker (2015) y Veletsianos, Collier & Schneider (2015)
concuerdan que, para el éxito de un MOOC, es fundamental que el alumno esté con
motivación para hacer las tareas asignadas. Otros factores motivantes que se indican en estos
estudios son el prestigio del certificado y la ya comentada necesidad de crear relaciones con
otros alumnos.
Hew (2016) además plantea como factores que aumentan la efectividad de los cursos la
claridad en las exposiciones, la accesibilidad de la plataforma, la dedicación del docente y la
interacción con los otros participantes. Por otro lado, Hone & El Said (2016) demuesta que
los alumnos que disponen de mayor instrucción educativa, tienen mas probabilidad de
terminar los cursos. Bayeck (2017) además destaca la importancia de las actividades para
fomentar la participación en estos cursos, otorgando valor a las actividades con aprendizaje
cooperativo.
La relación con la autoregulación se estudia en Milligan & Littlejohn (2017) y Kizilcec,
Pérez-Sanagustín & Maldonado (2017), comprobando como la exitosa terminación se debe
principalmente a las habilidades autorreguladoras de los participantes. Además se destaca
que tanto las mujeres, y aquellos que disponen de un mayor nivel de escolaridad o
experiencias previas en este tipo de cursos, son los que tienen una autorregulación mayor
para establecer sus objetivos y consiguen finalizar los cursos.
Sin embargo, Milligan & Littlejohn (2017) mediante un instrumento para medir la capacidad
de los participantes para autorregular el aprendizaje no encontraron relación entre los MOOC
y la autorregulación en cuanto a la organización y el desarrollo de las actividades, por lo
tanto, no se obtienen suficientes evidencias para confirmar que realmente la autorregulación
contribuye de manera eficaz a la culminación de los cursos.
El hecho de que las estrategias de aprendizaje colaborativo sean las más apropiadas para
lograr un buen rendimiento en los cursos MOOC fue confirmado por la investigación de
Castaño, Maiz & Garay (2018), quienes a través del aprendizaje cooperativo (actividades
orientadas a la participación activa de los estudiantes, tales como resolución de tareas y foros
de discusión), demostraron que el empleo de este tipo de metodología produce efectos
positivos en el rendimiento, sobre todo en aquellos alumnos que suelen obtener los peores
110
Capítulo 4. Datos y resultados
resultados, confirmando los postulados del aprendizaje cooperativo, pues en él se trabaja de
manera conjunta para lograr objetivos comunes. También en esta investigación se evidenció
la importancia de combinar las actividades virtuales con las presenciales, ya que estas
permiten promover la motivación logrando mejores resultados y experiencias de aprendizajes
significativos.
Para respaldar aún más esta afirmación, Larionova et al. (2018) realizaron una comparación
del modelo de aprendizaje combinado con el modelo de aprendizaje en línea con el apoyo de
tutoría, entre sí y con el formato tradicional de aprendizaje. Concluyeron que ambos modelos
tienen mayor eficacia en el rendimiento académico y la motivación, que el método
tradicional; y que dependiendo del área académica resulta más conveniente uno u otro
modelo, ya que en disciplinas humanitarias el modelo combinado ofrece mejores resultados,
dado el componente de comunicación que es considerado en esta área muy importante para
el aprendizaje significativo, mientras que en disciplinas de ingenieros y técnicos no
encontraron ninguna diferencia entre los dos modelos.
Tal como se muestran en las investigaciones Castaño, Maiz & Garay (2015), Crossley,
Paquette & Dascalu (2016) este tipo de cursos se apoyan en herramientas como foros,
discusiones en línea, trabajo colaborativo o vídeos, con un tipo de evaluación considerada
colaborativa, y con un certificado que se otorga por cumplir las actividades ofrecidas. Pero,
realmente no son una metodología que responde en su totalidad a los objetivos educativos,
tal vez si se utilizara otra forma de implementarla y con una evaluación orientada más hacia
los programas educativos online, entonces podría acercarse. Sastre et al. (2018) además
destaca la importancia del uso de la gamificación y del aprendizaje de tipo cooperativo para
mejorar el rendimiento de los participantes de los MOOC.
Satisfacción
Castaño, Maiz & Garay (2015) indican que los alumnos que ya han realizado previamente
cursos de tipo tienen mayor satisfacción y porcentajes mas elevados de finalización. En la
satisfacción con estos cursos se destacan los contenidos, la autonomía, la interfaz y los
procedimientos. Martín & Alberto (2015) destaca que en los cursos analizados, solo el 28%
de los participantes terminaron el curso, y sobre estos, el 69% estaban satisfechos con el
MOOC realizado. Por lo que según indican, los cursos tienen una estructura correcta y
111
Tesis doctoral
disponen de las características necesarias para tener éxito, sin embargo, algún factor incide
en los participantes y no los alienta a finalizar.
Calidad
La investigación de Duart et al. (2018) dirigida a conocer la calidad pedagógica de los
MOOC, indica como elementos relacionados con la calidad: la planificación flexible de
autorregulación para el alumnado, la presentación de los contenidos, la comunicación y la
metodología empleada en los MOOC. Estos fueron factores que determinaron el abandono o
no del curso.
Deserción
Cabero (2015), Castillo, Lee, Zahra & Wagner (2015), y Baturay (2015) confirman que son
muchos los que se retiran de los MOOC y no terminan la formación. No obstante, los autores
plantean que este tipo de cursos representan una oportunidad para masificar la educación y
el conocimiento, sobre todo en aquellos países como los latinoamericanos, donde no todos
tienen acceso a la educación, disminuyendo los costos. Además de estos elementos, los
MOOC permiten que el alumno pueda ir adquiriendo conocimientos, habilidades y destrezas
a su propio ritmo, prevaleciendo la autonomía. Señalan también estos autores la necesidad
de dar a conocer más sobre los cursos MOOC y sus objetivos, para así minimizar que las
personas se inscriban por curiosidad. Además, que se establezcan criterios claros de
inscripción y certificación, que se planteen actividades más dinámicas que permitan la
interacción con redes sociales y demás TIC, así como que las evaluaciones midan los
objetivos realmente aplicando la complejidad merecida.
Relacionado con la deserción, Fernández & Cano (2015) encontraron como una debilidad
fuerte que los profesores no se encuentran suficientemente capacitados para utilizar la
tecnología MOOC. Siendo ellos el eje principal para incentivar a los alumnos, no resulta
difícil deducir que afecta de manera negativa en la motivación, ocasionando que muchos de
los alumnos pierdan el interés.
112
Capítulo 4. Datos y resultados
Otro elemento que influye en la deserción es el hecho de que en muchos cursos las
evaluaciones tengan un costo, lo que implica que muchos alumnos pierdan la motivación,
afectando a la tasa de deserción (Bartolomé-Pina & Steffens, 2015).
Por último, en Conole (2016) se apuesta por modelos más participativos y activos, en los que
predomine la interactividad de los contenidos con los alumnos gracias a herramientas que
propicien la relación entre participantes.
4.1.1.2. Conclusiones
Para que el curso tenga éxito, es fundamental que el alumno esté motivado a hacer las tareas
que se plantean, por eso los factores que más interesan a los alumnos que cursan los MOOC
(además de los conocimientos) son el uso como recursos de las redes sociales, la interacción
social y el reconocimiento de la institución o del certificado.
Como una característica de calidad a destacar en estos cursos, se destacaba la importancia de
combinar las actividades virtuales con las presenciales, y el uso de contenido interactivo con
el alumno. Se ha indicado también la necesidad de dar a conocer más sobre los cursos MOOC
y sus objetivos y criterios claros de inscripción y certificación, para así minimizar que las
personas se inscriban por curiosidad, criterios claros de inscripción y certificación.
La efectividad de los MOOC es muy baja, ya que muy pocos de los estudiantes matriculados,
logran acabarlos. El aprendizaje cooperativo y las actividades orientadas a la participación
de los estudiantes (tales como resolución de tareas y foros de discusión) y la gamificación
son factores que hacen que esta efectividad de los cursos sea mayor. Además, aquellos
estudiantes que contaban con habilidades autorreguladoras, o con experiencias MOOC
previas eran más propensos a finalizarlos.
La efectividad de los MOOC si se ha puesto de relieve ampliamente en todos los artículos
analizados, destacando el abandono con primer tema de interés. Por lo que en esta
investigación, será el tema principal, y se trabajará con la predicción de la deserción para
plantear mecanismos de mejora concretos.
113
Tesis doctoral
A modo resumen la Ilustración 10 contiene un diagrama con las características que pueden
influir en mayor medida para aumentar la efectividad de los cursos:
Características de los
alumnos:
Características que mas
interesan a los alumnos:
Factores que pueden
aumentar la efectividad:
participantes
motivados
utilización de las
redes sociales
aprendizaje
cooperativo
habilidades
autorreguladoras
con experiencias
previas MOOC
interacción social
reconocimiento de
la institución
certificado
actividades con
participación activa
gamificación
Ilustración 10. Gráfico resumen conclusiones Rev. bibliográfica 1. Elaboración propia
4.1.2. Revisión bibliográfica 2: Learning Analytics en MOOC
Tras la primera revisión de literatura se comprobó cómo uno de los principales problemas de
los MOOC era el porcentaje de deserciones que se dan en los MOOC, y que es sumamente
importante que los docentes e instructores diseñen intervenciones oportunas para aquellos
alumnos en riesgo de deserción, pero ¿cómo pueden los docentes conocer de antemano
quienes son los que van a abandonar el curso?
Siguiendo la metodología que se ha descrito en el capítulo dedicado para ello, y una vez se
ha realizado la búsqueda, se obtienen 115 artículos a los que se les aplican los criterios de
inclusión/exclusión descritos en la metodología.
Se excluyeron 75 por no ser del tema central a tratar y/o presentar conceptualizaciones y no
estudios. De estos 40 se revisó en detalle nuevamente el título, resumen, objetivos y
quedaron 25. De estos, se leyó en detenimiento cada artículo y descartándose 9 por no
presentar datos suficientes en la metodología y resultados, quedando finalmente un total de
16 artículos a analizar.
114
Capítulo 4. Datos y resultados
En la figura inferior, Ilustración 11, se observa el diagrama de flujo utilizado para el proceso
de selección de los artículos.
Ilustración 11. Diagrama sobre la estrategia de búsqueda. Elaboración propia
A continuación, se presenta en la Tabla 20 el resultado de la búsqueda de artículos a analizar
de acuerdo a los criterios de inclusión y exclusión seleccionados.
Tabla 20. Artículos seleccionados para el análisis. Elaboración propia
Autores
Kizilcec, R. F.,
Piech, C. &
Schneider, E.
Xing, W. & Du, D.
Charleer, S., Moere,
A. V., Klerkx, J.,
Verbert, K. & De
Laet, T.
Millecamp, M.,
Gutiérrez, F.,
Charleer, S., Verbert,
K. & De Laet, T.
García-Tinizaray, D.,
Ordoñez-Briceño, K.
& Torres-Diaz, J. C.
Título
Revista
Año
Deconstructing disengagement:
analyzing learner
subpopulations in massive open
online courses
Dropout Prediction in MOOC:
Using Deep Learning for
Personalized Intervention.
In Proceedings of the third
international conference on
learning analytics and
knowledge (pp. 170-179).
Journal of Educational
Computing Research,.
2013
Learning analytics dashboards
to support adviser-student
dialogue. IEEE
Transactions on Learning
Technologies, 11(3), 389399.
2018
A qualitative evaluation of a
learning dashboard to support
advisor-student dialogues.
In Proceedings of the 8th
International Conference on
Learning Analytics and
Knowledge (pp. 56-60).
Campus virtuales, 3(1), 120126.
2018
Learning analytics para
predecir la deserción de
estudiantes a distancia.
115
2018
2015
Tesis doctoral
Autores
Título
Revista
Año
León-Urrutia, M.
Vázquez-Cano, E. &
López-Meneses, E.
(2017)
Halawa, S., Greene,
D. & Mitchell, J.
MOOC learning analytics using
real-time dynamic metrics.
Revista d'innovació
educativa, (18), 3
2017
Dropout prediction in MOOC
using learner activity features.
2014
Li, W., Gao, M., Li,
H., Xiong, Q., Wen,
J. & Wu, Z.
Dropout prediction in MOOC
using behavior features and
multi-view semi-supervised
learning.
Predicting MOOC dropout over
weeks using machine learning
methods.
Proceedings of the Second
European MOOC
Stakeholder Summit, 58-65.
In Neural Networks (IJCNN),
2016 International Joint
Conference on (pp. 31303137).
Proceedings of the EMNLP
2014 Workshop on Analysis
of Large Scale Social
Interaction in MOOC(pp. 6065).
Journal of Learning
Analytics, 1(3), 169-172.
IEEE International
Conference on Data Mining
Workshop (ICDMW)
arXiv preprint
arXiv:1407.7131
2014
In Proceedings of the first
ACM conference on
Learning@ scale
conference (pp. 197-198).
2014
Beyond prediction: First steps
toward automatic intervention in
MOOC student stopout
SSRN:
https://ssrn.com/abstract=261
1750
2015
Big data application in
education: dropout prediction in
edx MOOC. In 2016
IEEE Second International
Conference on Multimedia
Big Data (BigMM) (pp. 440443). IEEE.
Distance Education, 38(3),
353-368
2016
Kloft, M., Stiehler,
F., Zheng, Z. &
Pinkwart, N.
Ye, C. & Biswas, G.
Mi, F. & Yeung, D.
Y.
Sinha, T., Jermann,
P., Li, N. &
Dillenbourg, P.
Rosé, C. P., Carlson,
R., Yang, D., Wen,
M., Resnick, L.,
Goldman, P. &
Sherer, J.
Whitehill, J.,
Williams, J., Lopez,
G., Coleman, C. &
Reich, J.
Liang, J., Yang, J.,
Wu, Y., Li, C. &
Zheng, L.
Henderikx, M. A.
Early prediction of student
dropout and performance in
MOOC using higher granularity
temporal information.
Temporal Models for Predicting
Student Dropout in Massive
Open Online Courses
Your click decides your fate:
Inferring information processing
and attrition behavior from
mooc video clickstream
interactions.
Social factors that contribute to
attrition in MOOC.
Refining success and dropout in
massive open online courses
based on the intention behavior
gap
En el anexo 2 se encuentran las fichas con cada uno de los artículos revisados.
116
2016
2014
2014
2014
2017
Capítulo 4. Datos y resultados
4.1.2.1. Análisis de resultados
Estas dieciséis investigaciones que se han logrado analizar demuestran que la principal
predicción de las investigaciones en esta área es la deserción de los participantes, por lo que
en su mayoría son propuestas de modelos predictivos de la deserción o del comportamiento
del alumno en el curso que permite predecir la deserción.
Las investigaciones analizadas hacen referencia a la creación de modelos para tratar de
predecir las deserciones a partir de unas hipótesis previas que se plantean. A continuación,
se resumen en la Tabla 21 los distintos modelos propuestos en los artículos, destacando las
hipótesis que plantean y sobre todo los indicadores de abandono que utilizan:
Tabla 21. Comparativa modelos propuestos en Revisión 2. Elaboración propia
Artículo
Hipótesis
Ye &
1) Se considera abandono
cuando un estudiante ve
menos del 10% de las
conferencias o deja de
presentar las tareas asignadas;
Biswas
(2014)
Indicadores de abandono
2) La calificación final (con
certificado o no) al completar
el curso.
Fei &
Yeung
(2015)
1) Se considera la predicción
de abandono al aplicar
modelos secuenciales que
parten de la evaluación de la
perspectiva para la resolución
de problemas.
2)Utiliza un modelo de RNN
de memoria a corto plazo
(LSTM), al analizar los
resultados del pre y post test
y aplicando los métodos de
deserción.
117
Tratamiento
Descargas de
videoconferencias.
exámenes semanales y
evaluaciones.
número de vistas de vídeos
por semana.
información temporal,
(cuando se ve una conferencia
o se inicia una evaluación)
correlación R
de Pearson
Participación en conferencias.
Nº de descargas (vídeos y
materiales).
Nº de veces que se vio el foro.
Nº de veces que se vieron los
hilos del foro.
Nº de participaciones en el
foro.
Nº de comentarios en
respuesta a los comentarios de
otros participantes.
regresión
logística
Tesis doctoral
Artículo
Hipótesis
Indicadores de abandono
Li, Gao,
Tratamiento
1) ¿Cuáles son las diferencias
en el comportamiento de los
Li, Xiong,
alumnos que abandonan
Wen &
frente a los que lo finalizan?
2) ¿En qué grado los
Wu (2016)
algoritmos propuestos
superan a los métodos
existentes?
3) ¿Se puede predecir la
deserción de los estudiantes
en las primeras semanas de
un curso?
Visualización de asignaciones: Precision,
recall y FTrabajando en las tareas del
medida.
curso.
Visualización de vídeos: Ver
vídeos del curso.
Acceso a otros elementos:
Acceder a otros objetos del
curso, excepto vídeos y
asignaciones.
Wiki : Acceso a la wiki del
curso.
Foro: Acceso al foro curso
Kizilcec,
¿Existen patrones de
compromiso de los
estudiantes para finalizar el
curso?
Datos demográficos,
Datos geográficos,
Intenciones de inscripción,
Satisfacción,
Colaboración,
Participación en foros,
Acceso a las evaluaciones
Acceso a los vídeos
Cálculo de
trayectorias y
algoritmo de
agrupamiento
Cómo optimizar el
rendimiento del modelo de
predicción de deserción hacia
la personalización de la
intervención para estudiantes
en riesgo.
Solicitudes realizadas.
Días de mayores visitas al
curso.
Nº de sesiones.
Páginas visitadas.
Veces que se visualiza un
video, una wiki, un material.
País.
KNN, SVM y
árbol de
decisión
¿Cuándo abandona el
estudiante? (desertores)
Accesos a la plataforma de un
estudiante.
Nº tema de discusión
agregados.
Nº mensaje de respuesta en el
foro.
Nº recursos adjuntos
agregados al foro.
Nº de tareas enviadas.
Análisis
factorial y
regresión
logística
Piech &
Schneider
(2013)
Xing &
Du (2018)
GarcíaTinizaray,
OrdoñezBriceño &
TorresDíaz
(2015)
118
Capítulo 4. Datos y resultados
Artículo
Hipótesis
Indicadores de abandono
Tratamiento
Nº de mensajes enviados a los
compañeros o al docente del
curso.
Nº comentarios en los
anuncios.
Nº de accesos.
Tiempo total de duración en
los accesos al curso.
Nº de descargas de un recurso.
Halawa,
Interacción la plataforma
Tiempo de cada sesión.
Nº de veces que visualiza un
video
Días ausentes
Asignación
de
estudiantes a
4 patrones
predefinidos.
Medidas de
recall
Kloft et al. ¿Es el número de clicks un
indicador de la deserción?
(2014)
Número de días activos.
Número de páginas vistas.
Número de páginas vistas por
sesión.
Número de vídeos vistos.
Número de vídeos vistos por
sesión.
País.
SVM
Sinha et
Registro de clicks
Acciones realizadas sobre las
videoconferencias: pausas
realizadas, visualizaciones,
inicio y fin.
Information
Processing
Index (IPI),
IPI trayectory
Información sobre el curso
Inscripción en el curso de los
estudiantes. R
Registro de comportamiento
de los usuarios.
SVM,
Regresión
logística,
Bosque
aleatorio y
Greene &
¿Está relacionada la
interacción en la plataforma
con la deserción?
Mitchell
(2014)
al. (2014)
Liang et
al. (2016)
a) ¿Durante cuánto tiempo los
estudiantes interactúan con el
material del curso y cómo ha
sido la trayectoria en el curso?
b) La cantidad de clics e
interacciones que se realizan
durante el curso determinan su
trayectoria.
c) Los estudiantes que llegan
al final del curso son aquellos
que más interacciones tienen
durante el curso.
Al analizar el comportamiento
de aprendizaje en los
estudiantes después de un
mes, se podrá predecir en los
119
Tesis doctoral
Artículo
Hipótesis
próximos diez días
abandonará el curso
Indicadores de abandono
si
Tratamiento
Árbol de
decisión
Además de los modelos presentados, se han analizado otros artículos como el de LeónUrrutia, Vázquez-Cano & López-Meneses (2017) en el que a partir del estudio de datos
demográficos, profesionales, intereses, de acceso a la plataforma y mensajes, plantean que
resulta importante agrupar las área de interés de los MOOC para incorporar foros, vídeos y
diferentes recursos que le permitan a los estudiantes sentirse motivados y alcanzar
conocimientos, habilidades y destrezas en el área determinada que los incentive en tomar ese
curso y no otro.
Rose et al. (2014) destacan que parte de la interacción que más motiva a los participantes
para no abandonar los cursos, son las interacciones con otros compañeros, por lo que
concluyen que la interacción social determina de algún modo el comportamiento de los
alumnos y la tasa de deserción. Con la misma finalidad de reducir el abandono, Millecamp
et al. (2018) plantea que la actuación de un asesor académico puede ser determinante para
mejorar el porcentaje de abandono, demostrando cómo una intervención a tiempo permite
disminuir el porcentaje negativo del curso y obtener una mayor satisfacción de los
participantes.
4.1.2.2. Conclusiones
Se han analizado en total diez modelos predictivos, todos ellos centrados en reducir la tasa
de abandono de los MOOC. Con estos modelos contamos con un gran número de indicadores
de abandono que han sido testeados en experiencias MOOC, cada uno verificando sus
hipótesis a partir de un tratamiento de datos distinto.
Muchos de los indicadores han sido comunes varios modelos como: el número de vistas de
vídeos por semana, número de veces que se accede el foro y tiempo de dedicación en
120
Capítulo 4. Datos y resultados
visualizar vídeos. No obstante, todos los indicadores que se han utilizado son importantes, y
pueden ser claves para la resolución del problema de la UPV.
En consecuencia, esta tesis doctoral, conociendo la realidad de los MOOC y las implicaciones
de las predicciones, se ha decidido enmarcar en el estudio de tipo predictivo del
comportamiento de los participantes con el objetivo de lograr una reducción de la deserción
a través de estrategias.
No sólo será plantear un nuevo modelo como lo hacen cada una de las investigaciones que
se han presentado, sino que, en base a los resultados obtenido de la predicción, presentar
estrategias y propuestas concretas que permitan la disminución del abandono.
Se puede evidenciar que todas las investigaciones que se refieren a la predicción toman en
cuenta los mismos criterios, evalúan la predicción, pero no plantean cómo intervenir de forma
concreta para cambiar la predicción y disminuir la deserción, es decir, plantear estrategias en
las que el alumno se sienta motivado, interesado, involucrado y comprometido en continuar.
4.1.3. Revisión bibliográfica 3: El abandono en la educación a distancia
Una vez se han obtenido los indicadores de abandono que se mencionan en los artículos sobre
MOOC analizados, es necesario plantearse si, abriendo la investigación a la educación a
distancia en general, podemos llegar a encontrar algún otro indicador de abandono que se
pueda añadir a las conclusiones de esta primera iteración.
Siguiendo los criterios y los procedimientos de inclusión/exclusión indicados en la
metodología, se realiza una nueva búsqueda de la que se obtienen un total de 21 artículos
como podemos ver en la Ilustración 12.
121
Tesis doctoral
Ilustración 12. Diagrama de búsqueda Revisión bibliográfica 3.
A continuación, se presenta en la Tabla 22 el resultado de la búsqueda de artículos.
Tabla 22. Artículos seleccionados para el análisis en la revisión bibliográfica 3.
Autores
Título
Revista
Area & Adell
E-learning: Enseñar y aprender en
Tecnología Educativa. La
(2009)
espacios virtuales
Formación Del
Profesorado En La Era de
Internet, 391 424.
Bean & Metzner
A Conceptual Model of
Review of Educational
(1985)
Nontraditional Undergraduate
Research, 55(4), 485 540.
Student Attrition.
Billings, Connors
Benchmarking Best Practices in
Advances in Nursing
& Skiba (2001)
Web-Based Nursing Courses
Science: March 2001 Volume 23 - Issue 3 - p
41-52
Boyle & Wambach
Interaction in graduate nursing web-
Journal of Professional
(2001)
based instruction
Nursing
Volume 17, Issue 3, May
June 2001, Pages 128-134
Chickering &
Seven principles for good practice in
Gamson (1987)
undergraduate education.
122
AAHE bulletin, 3, 7.
Capítulo 4. Datos y resultados
Contreras (2011)
Experiencias educativas en las aulas
-
del siglo XXI: innovación con TIC
Escanés, Herrero,
Deserción en educación a distancia:
Virtualidad, Educación Y
Merlino & Ayllón
factores asociados a la elección de
Ciencia, 5(9), 45 55.
(2014)
modalidad como desencadenantes del
abandono universitario.
García-Aretio
Educación a distancia. Bases
Educación a Distancia
(1994)
conceptuales
Hoy. Madrid: Universidad
de Educación À Distância,
11 57.
García-Tinizaray,
Learning analytics para predecir la
Ordoñez-Briceño & deserción de estudiantes a distancia
Campus virtuales, 3(1),
120-126.
Díaz (2015)
Himmel (2002)
Kember (1989)
Lee & Choi (2011)
Modelos de análisis de la deserción
Calidad de La Educación,
estudiantil en la educación superior.
17, 91 107.
A longitudinal-process model of
The Journal of Higher
drop-out from distance education
Education, 60(3), 278 301
A Review of Online Course Dropout
Educational Technology
Research: Implications for Practice
Research and
and Future Research.
Development, 59(5), 593
618
Restauri (2001)
Rodríguez (2014)
Assessment of Students' Ratings for
ERIC Document
Two Methodologies of Teaching via
Reproduction Service No.
Distance Learning:
ED 460148
Fundamentos del proceso educativo a Revista Iberoamericana de
distancia: enseñanza, aprendizaje y
Educación., 17(2), 75 93.
evaluación
Stocks &
Enhancing computer-mediated
Research on Social Work
Freddolino (1998)
teaching through interactivity: The
Practice, 10(4), 505-518.
second iteration of a World Wide
123
Tesis doctoral
Web-based graduate social work
course.
Thurmond &
Towards an understanding of
Online Journal of Nursing
Wambach (2004)
interactions in distance education.
Informatics, 8(2), 18.
Thurmond (2003)
Examination of interaction variables
Published Dissertation.
as predictors of students' satisfaction
University of Kansas.
and willingness to enroll in future
Parkland, FL:
Web-based courses while controlling
Dissertation.com.
for student characteristics
Tinto (1989)
Tinto (1999)
Wagner (1994)
Definir la deserción: una cuestión de
Revista de Educación
perspectiva
Superior, 71, 33 51.
Taking retention seriously:
NACADA Journal, 19(2),
Rethinking the first year of college
5 9.
In support of a functional definition
The American Journal of
of interaction.
Distance Education, 8(2),
6-29.
Wagner (1997)
Interactivity: From agents to
San Francisco: Jossey-
outcomes. In T. E. Cyrs (Ed.),
Bass Publishers
Teaching and learning at a distance:
What it takes to effectively design,
deliver, and evaluate programs.
4.1.3.1. Análisis de resultados
En líneas generales, la deserción estudiantil es definida como el abandono de los estudios
antes de obtener el grado, título, certificado por un tiempo prolongado, en donde se descarta
la posibilidad de reincorporación del estudiante (Himmel, 2002).
Ahora bien, cuando se habla de educación superior, Tinto (1989) considera que no puede
obtenerse una definición concreta, pues depende de los intereses y las perspectivas de los
124
Capítulo 4. Datos y resultados
investigadores, además de que se dan diferentes tipos de abandono a nivel universitario, lo
que hace que sea un concepto complejo.
Los distintos modelos señalan diferentes variables que conllevan a la deserción, entre los
cuales se encuentran: la identificación institucional, el compromiso académico y la
identificación profesional al inicio del programa de estudios y el desarrollo intelectual, el
rendimiento, así como las relaciones con el profesor y los compañeros (Tinto,1999), la
experiencia académica previa, la influencia de aspectos de tipo psicológicos, el rendimiento
y las metas educativas (Bean & Metzner, 1985), la autorregulación para atender tanto el
trabajo académico como sus compromisos sociales y laborales (Kember, 1989; Escanés,
Herrero, Merlino & Ayllón, 2014) y finalmente, los accesos a la interfaz, el uso de los foros
y la descarga de materiales (García-Tinizaray, Ordoñez-Briceño & Torres-Díaz, 2015).
En esta investigación, dada las características de los MOOC, se definirá la deserción del curso
en línea como la ausencia del estudiante en un período mayor a diez semanas, en el cual no
acceda al entorno virtual, ni descargue contenidos ni recursos educativos, ni participe en foros
virtuales.
Edad y sexo
Generalmente los alumnos en la educación virtual son adultos, gestores de su propio
aprendizaje (Rodríguez, 2014), que tienen responsabilidades laborales y familiares
(Contreras, 2011), que se comportan diferentes a los estudiantes de una clase convencional,
dado su historia vivencial, intereses, etc.
Lee & Choi (2011) afirman que la edad y el sexo de los participantes de los cursos a distancia
no influyen de manera determinante en la toma de decisiones sobre continuar o abandonar,
sin embargo, estos elementos se consideran de importancia para poder responder a las
necesidades de los participantes, ya que no es igual un curso a distancia diseñado para un
recién graduado, que para una persona ya con experiencia laboral. La metodología empleada
en un estudio a distancia para adultos ha de ser diferenciada para enseñar y motivar a este
tipo de alumnado (García-Aretio, 1999). Por tanto, en este estudio se considerarán la variable
sexo como el género al que pertenece el estudiante inscrito en un curso en línea; y la variable
edad como el tiempo cronológico de vida del estudiante inscrito en un curso en línea.
125
Tesis doctoral
Interacción
Investigaciones como Billings, Connors & Skiba (2001) y Boyle & Wambach (2001) han
dado mucha importancia a las interacciones establecidas en la educación online y su
efectividad para lograr los objetivos, pero ninguno de ellos la ha definido. No obstante,
Thurmond (2003) las define como el compromiso del alumno con los contenidos, otros
estudiantes, el docente y el medio tecnológico utilizado, siendo el objetivo de la interacción
el aumento de la comprensión del contenido o mejorar el dominio de los objetivos que se
definen.
Chickering & Gamson (1987) plantean que es un elemento importante dentro del proceso de
la educación a distancia, la cual implica profesores, participantes, recursos, donde se pretende
obtener la reciprocidad, la cooperación, logrando un aprendizaje activo.
Apoyándose en la definición de Thurmond (2003) y los elementos de Chickering & Gamson
(1987), en este trabajo se define a la interacción como el intercambio recíproco de
información entre participantes, profesores y recursos cuya retroalimentación tiene la
intención de mejorar el desarrollo del conocimiento en la interfaz de aprendizaje. Cabe
señalar que no es lo mismo interacción e interactividad, dado que la interacción se refiere a
un intercambio entre los individuos, mientras que la interactividad se refiere al contacto con
la tecnología en tiempo real (Wagner, 1994, 1997).
El aula virtual según Area & Adell (2009) es un espacio en donde se llevan a cabo
experiencias de aprendizaje en donde los recursos adquieren un papel relevante, pues de ellos
depende que se produzca la interacción virtual, que es el factor clave para el aprendizaje y
éxito del alumno.
Entre los recursos más relevantes están el video y el foro (Thurmond & Wambach, 2004).
Con el video se pueden realizar conferencias en sus diferentes modalidades que mantienen
al participante activo, además de que este puede acceder varias veces al recurso,
involucrándose con su aprendizaje. Cabe resaltar que estos no deben superar más de veinte
minutos, dada la capacidad de retención del estudiante. En cuanto al foro es un espacio
interactivo que permite que los participantes planteen y respondan cuestionamientos,
establezcan relaciones entre los compañeros, de manera que promueve la auto reflexión del
126
Capítulo 4. Datos y resultados
proceso en el aprendizaje y la ampliación de conocimientos y destrezas que se van logrando
en el proceso educativo (Thurmond & Wambach, 2004). Este recurso ofrece el intercambio
de archivos, imágenes, gráficos o compartir el escritorio de un ordenador, proporcionando
beneficios importantes.
En Thurmond & Wambach (2004) se entienden los recursos como herramientas didácticas
que permiten la interacción comunicativa virtual, apoyados en hardware y programas que
permiten simultáneamente la conexión de varios alumnos; entendiendo por interacción la que
se lleva a cabo del participante con el curso, y los recursos que en este intervienen.
Evaluación
Restauri (2001) realiza un estudio en el que compara la evaluación final de un curso
tradicional y un curso en línea, y concluye que el factor del cara a cara no es importante, en
su lugar, la interacción de los estudiantes fue más dependiente de la frecuencia y el contacto
personalizado. Por otra parte, la alta frecuencia de la comunicación electrónica privada entre
el estudiante y el instructor ha sido identificado como un fuerte predictor de calificaciones
de los estudiantes (Stocks & Freddolino, 1998).
Chickering & Gamson (1987) comenta que el intercambio del alumno con los diferentes
recursos y con el instructor durante el proceso de enseñanza-aprendizaje, es fundamental, ya
que permite llevar a cabo la adecuada retroalimentación en el momento adecuado, ya que
ofrece a los alumnos información sobre su avance en el curso (Collis, DeBoer & Slotman,
2001).
4.1.3.2. Conclusiones
De esta última revisión bibliográfica centrada en la EaD podemos identificar varios
indicadores de abandono que añadir a los obtenidos en la segunda de las revisiones. A
continuación, se muestra en la Tabla 23, un resumen con los indicadores y su autor que se
unirán a los obtenidos en la revisión bibliográfica II.
127
Tesis doctoral
Tabla 23. Indicadores de abandono extraídos en Revisión 3. Elaboración propia
Indicador de abandono
Autor
Tinto (1999)
La identificación institucional.
El compromiso académico.
La identificación profesional.
las relaciones con el profesor y los
compañeros.
La experiencia académica previa.
La influencia de los aspectos psicológicos.
El rendimiento escolar.
Las metas educativas.
Bean & Metzner (1985)
La autorregulación para atender tanto el Kember (1989);
trabajo académico como sus compromisos
Escanés, Herrero, Merlino & Ayllón
sociales y laborales
(2014)
García-Tinizaray, Ordoñez-Briceño &
Los accesos al entorno virtual
Torres-Díaz (2015)
La participación en foros
La subida o descarga de materiales y recursos
educativos
Lee & Choi (2011)
La edad
El sexo
Las interacciones que se establecen en la Billings, Connors & Skiba (2001)
docente-alumno.
Boyle & Wambach (2001)
Chickering & Gamson (1987)
El acceso a los recursos más relevantes: el Thurmond & Wambach (2004)
video y el foro
El intercambio del alumno con los diferentes Chickering & Gamson (1987)
recursos y con el instructor durante el proceso
Collis, DeBoer & Slotman (2001)
de enseñanza-aprendizaje
4.1.4. Resultados de la Iteración I
Hasta ahora se han analizados los problemas mas planteados en las experiencias MOOC
(revisión bibliográfica I) y cuáles son las propuestas de mejora sobre estos cursos que se
128
Capítulo 4. Datos y resultados
identifican en la bibliografía (revisión bibliográfica II) junto con las caracterizaciones de la
propia educación online (revisión bibliográfica III). Como se indica en la Ilustración 13, este
proceso da como resultado los distintos indicadores de abandono que se han detectado
durante esta primera iteración.
Ilustración 13. Pasos obtención listado indicadores de abandono. Elaboración propia.
En total, se han extraído veinticinco indicadores que han sido tomados de cada uno de los
pasos que se han dado en esta iteración y que se agrupan en la Tabla 24, agrupando por
categorías e indicando en la revisión en las que obtienen.
Tabla 24 Indicadores de abandono extraídos. Elaboración propia.
Indicador
Investigación
Revisión
INFORMACIÓN SOBRE EL ALUMNO
Interés del estudiante por la materia.
Halawa, Greene & Mitchell
2
(2014)
Mentalidad, autoeficacia, establecimiento de Halawa, Greene & Mitchell
objetivos y pertenencia social.
(2014)
Encuesta inicial de motivación.
Henderikx et al. (2017)
Identificación
institucional,
compromiso Tinto (1999)
2
2
3
académico e identificación profesional.
Experiencia académica previa e influencia de Bean & Metzner (1985)
los aspectos psicológicos, el rendimiento
escolar y las metas educativas.
129
3
Tesis doctoral
Indicador
Investigación
Revisión
Autorregulación para atender tanto el trabajo Kember (1989) y Escanés et
3
académico como sus compromisos sociales y al. (2014)
laborales.
Edad y sexo (biodatos).
Lee & Choi (2011)
3
Variables de tipo demográfico y profesional.
León-Urrutia et al. (2017)
2
AUSENCIAS O RETRASOS
Ausencia del curso en un periodo superior a Halawa, Greene & Mitchell
un mes.
(2014)
Inicio del curso después de dos semanas.
Halawa, Greene & Mitchell
2
2
(2014)
Abandono si hay ausencias de diez días o Halawa, Greene & Mitchell
más.
2
(2014)
Abandono si no hay ninguna actividad en Liang et al. (2016)
2
diez días.
FORO
Cantidad de veces que se interactúa en el foro Kizilcec et al. (2018)
2
.
Contacto/intercambio alumno
profesor.
Millecamp
et
al.
(2018),
2y3
Billings, Connors & Skiba
(2001), Chickering & Gamson
(1987)
Interacciones en los foros.
Li et al. (2016)
Nº de visualizaciones y participaciones en el Fei & Yeung (2015)
2
2
foro.
Mensajes y acceso a los foros.
Rose et al. (2014), García-
2y3
Tinizaray et al. (2015)
VISUALIZACIONES
Visualizaciones de un mismo vídeo.
Kizilcec et al. (2018)
130
2
Capítulo 4. Datos y resultados
Indicador
Investigación
Revisión
Visualización de menos de 50% de los vídeos Halawa, Greene & Mitchell
en el curso.
(2014)
Omisión de vídeos en la unidad anterior.
Halawa, Greene & Mitchell
2
2
(2014)
Participaciones en las videoconferencias, Sinha (2014)
2
interacción, visualizaciones y toma de
anotaciones.
RECURSOS
Interacciones en las tareas y recursos.
García-Tinizaray et al. (2015)
Navegación (clics) que se realiza en la Kloft et al. (2014)
3
2
plataforma.
PUNTUACIONES OBTENIDAS
Puntuaciones bajas en las pruebas en las tres García-Tinizaray et al. (2015)
3
primeras semanas.
Intentos para resolver las pruebas de la Fei & Yeung (2015)
2
primera semana.
4.1.5. Evaluación y reflexiones de la Iteración I
Como se ha comentado en el capítulo de metodología, al finalizar cada una de las iteraciones
es necesario evaluar los resultados, y para ello, se mantuvo una reunión con los expertos de
la plataforma MOOC de la UPV para exponer los resultados y que estos los analizaran y
realizaran los comentarios y correcciones oportunas. En ella, previo a la muestra de
resultados, inicialmente se les informó del proceso realizado para la obtención de los
indicadores y de los detalles de cada una de las revisiones bibliográficas realizadas.
Con el análisis de cada uno de los indicadores, se aprueba el listado expuesto y se instaba a
continuar con el proceso de investigación hasta llegar al objetivo principal de conseguir
propuestas automatizadas para la mejora de la experiencia de los usuarios y la UPV.
131
Tesis doctoral
A raíz de esta aprobación, la UPV afirma que, como base de estas propuestas de mejora,
dispone de las bases de datos que se extraen de la plataforma edX donde se almacenan los
cursos y se hace entrega de los históricos de las 260 ediciones de cursos realizadas hasta el
momento, junto con unos manuales de la plataforma en la que se detalla la estructura y el
funcionamiento de estos archivos.
Como comentario final, la UPV también informa que, ya que algunos de los indicadores de
abandono extraídos están relacionados con el acceso al foro y mensajes, la información de la
que se dispone de estos foros tiene un gran volumen, y es posible que estos requieran de otra
investigación pormenorizada solo para su tratamiento.
132
Capítulo 4. Datos y resultados
4.2. Iteración II: Planteamiento y validación de hipótesis con Machine
Learning
Como se describe en el capítulo de metodología, una vez que se han seleccionado los
indicadores de abandono en la iteración I, es necesario comprobar de cuál de estos
indicadores disponemos datos en la documentación ofrecida por la UPV y de cuáles no.
Siguiendo esas indicaciones, y tras hacer una comprobación personalizada de cada de los
indicadores obtenidos en la primera iteración, se desecharon los indicadores de abandono de
los que no se encontraron datos, quedando la Tabla 25 con los 10 indicadores seleccionados:
Tabla 25. Indicadores seleccionados. Elaboración propia
Indicadores seleccionados
Variables de tipo demográfico y profesional
Ausencia en un periodo superior a 10 días
Nº de veces que se ve un mismo vídeo
Ausencia en un periodo superior a 1 mes
Omisión de vídeos de la unidad anterior
Inicio del curso después de 2 semanas
Menos del 50% de visualizaciones de los vídeos en las primeras semanas
133
Tesis doctoral
Indicadores seleccionados
Nº de intentos para resolver las pruebas de la primera semana
Ninguna actividad de aprendizaje en diez días continuos
Puntuaciones bajas en las pruebas en las tres primeras semanas
4.2.1. Planteamiento de hipótesis
Finalizada la selección de indicadores con la que trabajar, se representa el problema como un
contraste de hipótesis.
Con cada uno de los indicadores de abandono seleccionados se traza una hipótesis que habrá
que validar o rechazar en caso de que sea capaz o no de predecir abandonos en los MOOC
de la UPV. Sabiendo que los identificadores seleccionados son diez, en total se trazan once
hipótesis, habiendo d plicado Edad g nero en Edad, g nero ni el ed ca i o . Dada la
importancia de esta última, y considerándola un complemento ideal para las otras hipótesis
planteadas, se decide añadirla a las hipótesis comprendidas entre los números 3 y 10
de dobl ndola con la iden ificaci n bi . En o al, como e m e ra en la Tabla 26, se
plantean veinte hipótesis distintas.
134
Capítulo 4. Datos y resultados
Tabla 26. Hipótesis generadas para verificar. Elaboración propia
Planteadas las hipótesis, es el momento de conseguir transformar el conjunto de todos los
ficheros edX proporcionados, en un único fichero de datos en el que tan solo hay una columna
por cada una de las hipótesis.
Como se ha comentado anteriormente, algunas de estas hipótesis tienen representación
directa en los ficheros SQL como son las relativas a los datos biográficos (nº 1 y 2), al tiempo
dedicado a la visualización de vídeos (nº 4) y el número de intentos para resolver las pruebas
de la primera semana (nº 11). Sin embargo, para el resto, es necesario un gran trabajo de
filtrado y procesamiento para su obtención. En concreto, en la Tabla 27 se desglosan cuáles
son las variables seleccionadas directamente sin procesar, y para cuáles fue necesario crearlas
a partir de ese procesamiento.
135
Tesis doctoral
Tabla 27. Desglose de variables seleccionadas y creadas. Elaboración propia.
Con la ejecución de los scripts planteados con la información descrita en la metodología,
finalmente se genera el fichero CSV necesario con solo la información necesaria para validar
o no cada una de las hipótesis planteadas. Este proceso es necesario realizarlo para cada uno
de los 260 cursos de los que se dispone información. En el anexo 4, se puede encontrar una
tabla donde se desglosan los cursos analizados, indicando su fecha de inicio y el porcentaje
de abandono.
4.2.2. Selección del algoritmo
Una vez se ha conseguido obtener en una única tabla las variables que representan a cada una
de las hipótesis planteadas previamente, el siguiente paso es comprobar si estas variables
están directa o inversamente relacionadas con el abandono de los estudiantes, que también
es otra variable del fichero final.
Para la verificación de las hipótesis nos enfrentamos ante un problema de aprendizaje
supervisado del cual tenemos que elegir su clasificador. Para su selección hará una prueba
con los datos de uno de los cursos, al que se aplicarán los seis modelos de Machine Learning
descritos en la metodología.
A continuación, en la Tabla 28 se muestran los resultados obtenidos por cada uno de los
modelos de Machine Learning para el curso de prueba utilizado.
136
Capítulo 4. Datos y resultados
Tabla 28. Comparativa de resultados modelos ML. Elaboración propia.
Como se puede observar, el algoritmo que mejor puntuación obtuvo fue Ramdon Forest, y
por tanto fue el elegido para evaluar todas las hipótesis.
4.2.3. Validación de hipótesis de procedimiento de Machine Learning
Como se puede observar en la tabla resumen de todos los cursos analizados (ver anexo 4), el
número de abandonos en los MOOC de la UPV es muy alto, entorno al 80%, lo que indica
que el tipo de problema a resolver tiene una de sus clases (la del abandono) con un gran peso
frente a la del no abandono. O lo que es lo mismo, cualquier algoritmo que siempre diera por
re l ado Abandono , endr a n 80% de preci i n, q e es un valor muy alto.
Esto da lugar a una matriz de confusión (gráfico que describe el rendimiento del modelo) de
un rango similar al que se muestra en la Ilustración 14:
137
Tesis doctoral
Ilustración 14. Matriz de confusión del problema ML. Elaboración propia
Con estas características, es importante realizar una buena selección de métricas de
clasificación para validar o descartar las hipótesis a evaluar. Y es que el número de métricas
que podemos utilizar es muy grande: Matriz de error, precisión, recall o sensibilidad o TPR,
especificidad o TNR, F1-Score, Área bajo la curva de funcionamiento del receptor, Pérdida
logar mica, Cohen Kappa
De todos estos, y con la finalidad de reducir los falsos negativos y falsos positivos, se
seleccionaron tres métricas:
-
Precisión: número de elementos resueltos correctamente como positivo sobre el total de
elementos identificados positivos.
-
Recall: número de elementos identificados correctamente como positivos del total de
positivos verdaderos.
-
F1-score: media armónica que combina los valores de la precisión y recall.
Una vez seleccionados el algoritmo y las métricas, se desarrolló un nuevo script que
implementara la resolución del problema en cuestión. Nuevamente se optó por el lenguaje
Python, y en concreto, se utilizó la biblioteca Scikit-learn por tratarse de la más utilizada y
fomentada para el uso académico para algoritmos de aprendizaje, y un conjunto de pruebas
del 20% de los datos disponibles.
138
Capítulo 4. Datos y resultados
El código fuente del script se encuentra en el anexo 3, no obstante, su estructura se indica en
la Ilustración 15:
Importación de librerías
Indicación ruta del fichero de datos a analizar
Comprobación de usuario con valores nulos
Análisis de los parámetros estadísticos de cada una de las
variables
Visualización en una dimensión de cada variable
Selección de hipótesis
División de datos para entrenar y test:
Selección y aplicación de modelo para entrenamiento
Comprobación de la precisión del modelo seleccionado
Visualización Matriz de Confusión:
Ilustración 15. Estructura código fuente script ML. Elaboración propia.
Repitiendo este proceso para las 20 hipótesis y para los 260 cursos obtenemos una tabla como
la que se muestra en Tabla 29 para cada uno de los cursos (ver en anexo 5 el total de las tablas
obtenidas para todos los cursos).
139
Tesis doctoral
Tabla 29. Resultados con técnicas de ML para cada curso. Elaboración propia
140
Capítulo 4. Datos y resultados
Disponiendo ya de las métricas de clasificación para cada curso, es necesario marcar un umbral de decisión que determine la validación
de las hipótesis. Como se indica en la metodología, se decide que un umbral apropiado sería valores superiores al 80%. Si aplicamos
este umbral a cada curso, podemos obtener el porcentaje de cursos que han superado el mismo para cada métrica, obteniendo la Tabla
30:
Tabla 30. Porcentaje de cursos por encima del umbral establecido. Elaboración propia.
141
Tesis doctoral
A partir de los datos mostrados en la Tabla 29, ya solo resta marcar un segundo umbral para
clasificar las hipótesis. La decisión nuevamente está marcada por el tipo de problema, y como
se indica nuevamente en la metodología, se validará una hipótesis en caso de que algunas de
sus métricas sean superiores a un 85%. La aplicación de este criterio supone que algunas de
las hipótesis validadas tengan alguna o algunas de sus métricas con un gran número de cursos
donde no e llega a alcan ar el primer mbral del 80%; e e e el ca o de la hip e i
4 bi ,
donde solo el 50% de los cursos, tienen el parámetro recall superior al 80%. No obstante, se
considera más importante una posible detección de abandono, aunque esta resulte finalmente
falsa, que una no detección de ese abandono por la no inclusión de una hipótesis.
Con la aplicación de este segundo umbral, finalmente ya disponemos de las hipótesis que han
sido validadas con los datos proporcionado por la UPV y que servirán como base de nuestra
propuesta de mejora de experiencia. En concreto son los que se muestran en la Tabla 31:
Tabla 31. Listado de hipótesis validadas. Elaboración propia
Hipótesis
Descripción
3 y 3bis
El alumno no realiza las tareas asignadas en un periodo de diez días; también
se tendrán en cuenta la edad, género y nivel educativo (bis).
4 bis
El alumno dedica un tiempo determinado a visualizar los vídeos de cada
semana, teniendo en cuenta la edad, género y nivel educativo.
5 y 5 bis
El alumno tiene una ausencia durante un periodo superior a un mes desde su
última conexión con la plataforma; también se tendrán en cuenta la edad,
género y nivel educativo (bis).
6 y 6 bis
El alumno tiene una ausencia durante un periodo de diez días desde su última
conexión con la plataforma; también se tendrán en cuenta la edad, género y
nivel educativo (bis).
7 bis
Durante las tres primeras semanas, el alumno visualiza menos del 50% de los
vídeos asignados.
142
Capítulo 4. Datos y resultados
Hipótesis
Descripción
9 y 9 bis
El alumno no ha visualizado todos los vídeos de la unidad anterior a la que
se está cursando; también se tendrán en cuenta la edad, género y nivel
educativo (bis).
10 y 10 bis El alumno ha obtenido puntuaciones bajas en las pruebas realizadas durante
las primeras tres semanas del curso; también se tendrán en cuenta la edad,
género y nivel educativo (bis).
11 y 11 bis El alumno necesita de varios intentos para resolver las pruebas de la primera
semana del curso; también se tendrán en cuenta la edad, género y nivel
educativo (bis).
Como resumen, se muestra en la Ilustración 16 un gráfico con los tres pasos realizados con
cada una de las hipótesis y para todos los cursos.
Cálculo de métricas por hipótesis
Umbral de decisión validación hipótesis > 80%
Alguna de sus métricas > 85%
Ilustración 16. Pasos de validación de hipótesis. Elaboración propia
Con el listado de hipótesis validadas, se tiene una nueva toma de contacto con los
responsables de la UPV para notificarles los resultados y tener su retroalimentación, para
saber si se podía seguir adelante con la investigación o había que realizar alguna
modificación.
143
Tesis doctoral
4.2.4. Evaluación y reflexión de la Iteración II
Como último punto de cada una de las iteraciones, una vez obtenidos los resultados, que en
este caso son el listado de hipótesis planteadas y cuáles han sido validadas y cuáles
rechazadas, es imprescindible su presentación a los responsables de la UPV para que lo
evalúen y reflexionen sobre su idoneidad y la necesidad de nuevas componentes.
En primer lugar, se aprueba el listado de las hipótesis con las que se trabaja, ya que es
continuación del trabajo presentado en la primera iteración, y fruto de las tres revisiones
bibliográficas realizadas con los criterios aprobados. Además, por parte de la UPV no se
propone ningún otro indicador para añadir al estudio de Machine Learning.
En segundo lugar, se evalúa la validación de hipótesis realizada, dando por correctos los
umbrales aplicados, estos son: del 80% sobre las métricas de calidad y del 85% sobre el
porcentaje total de los cursos en alguna de sus métricas.
Con estas dos aprobaciones, se da por finalizada la segunda iteración, y se insta por parte de
la UPV, a presentar dentro de una nueva iteración un conjunto de medidas reales para aplicar
los resultados obtenidos sobres las hipótesis al objetivo inicial de la investigación.
144
Capítulo 4. Datos y resultados
4.3. Iteración III: Formulación de procedimientos automáticos.
Una vez se tiene la aprobación por parte de la UPV para proseguir con la investigación, la
tercera y última de las iteraciones consiste en aportar un conjunto de propuestas que,
partiendo de las hipótesis validadas, den solución al objetivo principal que es la mejora de la
experiencia de los MOOC y más concretamente la reducción del porcentaje de abandonos.
Para este propósito, se plantea un mecanismo automatizado de envío de notificaciones
personalizadas a alumnos y docentes en caso de que algunas de las hipótesis validadas se
activen. Más concretamente: dado que cada hipótesis tiene su reflejo en un indicador/variable
que se encuentra almacenada en la base de datos de la plataforma edX junto con los datos de
contacto (email) de alumnos y docentes, se propone automatizar el proceso mediante el cual,
na e
no de lo indicadore
e ac i a a
condici n de abandono , e crea un email con
un mensaje predefinido para ese indicador y se envía a los implicados.
4.3.1. Desglose de propuestas
Para cada una de las hipótesis validadas, hay asociado un indicador que se ha localizado en
una base de datos en la que además se encuentran los datos de contacto (email) de alumnos
y docentes.
Con la medida propuesta, se pretende reducir el abandono enviando a unos y a otros un
mensaje preestablecido dependiente del indicador que se ha activado. Esto supone la
activación de un proceso automatizado de envío de emails personalizados que notifique la
incidencia o indicador detectado, para intentar volver a atraer al alumno al curso. A
continuación, se desglosan en la Tabla 32 cada uno de los mensajes predefinidos a enviar en
caso de que se active alguno de los indicadores:
145
Email automático
Tabla 32. Relación hipótesis - propuesta automática de mejora. Elaboración propia
Hipótesis
Omisión de vídeos de la unidad
anterior.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email de motivación para el alumno.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email de motivación para el alumno.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email automático de los contenidos de los vídeos que no ha visualizado.
Alumno: Email automático con las últimas actividades realizadas y las que tiene
pendiente.
Alumno: Email automático con las últimas actividades realizadas y las que tiene
pendiente.
Alumno: Email automático recordando la importancia de ver todos los vídeos cada
una de las unidades.
Profesor: Email automático de incidencia del alumno con su identificador.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email automático de los contenidos de los vídeos que no ha visualizado.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email automático de las tareas que no ha realizado hasta la fecha.
Tiempo dedicado a ver vídeos.
Omisión de las tareas asignadas.
Tesis doctoral
3 y 3bis
4bis
5 y 5bis
6 y 6bis
9 y 9bis
Puntuaciones bajas en las pruebas
de las tres primeras semanas.
7bis
10 y
10bis
Nº de intentos para resolver las
pruebas de la primera semana.
Ausencia en un periodo superior a
1 mes.
Ausencia en un periodo de diez
días.
Visualización de vídeos asignados
inferior al 50% en las tres
primeras semanas.
11 y
11bis
146
Capítulo 4. Datos y resultados
El indicador de las hipótesis 3 y 3 bis en la que su activación supone que alguno de los
alumnos no ha realizado las tareas asignadas en una semana determinada (con o sin biodatos),
según el análisis realizado, supone un claro antecedente de abandono del curso por parte del
alumno. Como propuesta de mejora de medida automática para mejorar el abandono se
propone realizar el envío automático tanto a docente y alumno, donde al alumno se le informa
que no ha realizado las tareas de una semana en concreto, sirviéndole de recordatorio. Para
el caso del docente, en caso de recibir numerosos emails de este tipo sobre una misma
semana, le sirve de feedback de que es posible que las actividades de esa semana no hayan
sido bien entendidas o son de gran dificultad, permitiendo un replanteamiento de estas.
La validación de las hipótesis 4 bis suponía que un mayor o menor tiempo dedicado a la
visualización de los vídeos de cada semana influía directamente en el abandono de los
alumnos. Como medida automática se propone el envío de mensajes automáticos a alumnos
y docentes, en caso de que el tiempo que dedican los alumnos a los vídeos de una semana se
acerque a los tiempos estipulados de ese curso. Para los docentes, la recepción de este tipo
de mensajes en gran número les puede suponer concluir que los vídeos propuestos para su
visualización no son lo suficientemente atractivos por su contenido, duración, etc. para el
alumnado. En cambio, esta notificación para el alumno le supone un recordatorio de los
vídeos que no ha visualizado en esa semana.
La validación de las hipótesis relacionadas con la ausencia del alumnado durante un periodo
(ya sea por diez días o un mes): 5, 5bi , 6
6 bi , ha demostrado que la activación de sus
indicadores supone un posible abandono de estos. Como propuesta de mejora de la
experiencia, en este caso, no se propone una notificación a los docentes, sino tan solo al
alumnado. La recepción de estos emails supondrá nuevamente un recordatorio de la
pertenencia al curso, y del tiempo transcurrido sin ningún acceso.
Relacionada con la hip e i
e han alidado la hip e i
4 bi
por estar vinculada a la visualización de vídeos, también
7bi , 9
9bi
q e anali an a no el iempo dedicado, i no
la visualización o no de los vídeos. En concre o 7 bi
pone na comprobaci n reali ada
tras la tercera emana de c r o, mien ra q e para 9
9 bi
se realiza la comprobación
semanalmente. La mejora propuesta relacionada con la activación de los indicadores de estas
hipótesis consiste en el envío automatizado de emails a los alumnos recordándoles que no
147
Tesis doctoral
han visto los vídeos de las unidades en curso. Del mismo modo, como en los casos anteriores,
además, los docentes también recibirán notificaciones de los mismos, para que si reciben un
alto volúmenes de los mismos, puedan concluir en la no idoneidad de los vídeos presentados.
Otra de las mejoras de la experiencia, está relacionada con la detección de puntuaciones bajas
en las pruebas realizadas por el alumnado tras la tercera semana de curso. Vinculada y
acep ada en la hip e i 10
10 bi , la ac i ación de sus indicadores supone nuevamente
el envío de notificaciones a alumnos y docentes. El objetivo del recordatorio para los alumnos
se puede aprovechar para incluir en ese mensaje algún tipo de materia complementaria que
pueda ayudar a los mismo a mejorar sus puntuaciones. Ese mismo objetivo se hace extensible
a los docentes que, en caso de recibir un gran número de notificaciones, entenderán que existe
un déficit de conocimientos en el alumnado, lo que les puede llevar a añadir materias
complementarias para mejorar la situación.
La última de las propuestas de mejora está relacionadas con la posibilidad de que los alumnos
realicen una prueba en varias ocasiones en caso de no aprobarlas. Con la aceptación de las
hip e i 11
11 bi
( in o con bioda os) se ha comprobado que, en el caso de la UPV, ese
número de intentos en realizar las pruebas de la primera semana implica una alta probabilidad
de abandono. Los mecanismos automatizados ante la activación de estos indicadores son
similares a los planteado con la hip e i 10
10 bi , permi iendo al al mnado acceder
a materias complementarias para mejorar la situación y al docente su publicación en caso de
que lo crea necesario tras la recepción de numerosas notificaciones similares.
4.3.2. Evaluación y reflexiones de la Iteración III
Al igual como se realizó al finalizar las iteraciones anteriores, es imprescindible que una vez
se han terminado de redactar cada una de las propuestas para dar solución al objetivo
principal propuesto de mejora de la experiencia, se haga una presentación formal de los
mismos ante los responsables de los MOOC en la UPV.
Dado que era la última de las iteraciones se redactó un informe ejecutivo (ver anexo 6), con
el fin de resumir a nivel técnico todo el procedimiento realizado entrando en detalle en los
148
Capítulo 4. Datos y resultados
aspectos de programación de scripts, procedimiento de Machine Learning y, sobre todo, el
desglose de cada una de las propuestas que se reclamaban al finalizar la segunda de las
iteraciones que implicaran la puesta en práctica de esas hipótesis aceptadas.
Una semana después del envío del informe ejecutivo, se realizó una reunión conjunta con el
objeto de exponer los resultados obtenidos (ver presentación en anexo 7) y conocer la opinión
de los expertos de la UPV sobre cada uno de los procedimientos automatizados. Gracias a
que el documento ejecutivo había sido analizado previamente en detalle, la reunión se centró
en conocer la segunda parte.
La primera de las conclusiones extraídas es que, a día de hoy, la UPV todavía no dispone de
un módulo de envío automatizado de correos electrónicos personalizado, está en desarrollo
y por tanto, hay que esperar a que esté disponible para implementar las propuestas de mejoras
seleccionadas.
El siguiente punto de la reunión se centró en una explicación, por parte de los expertos de la
UPV, del panel edX Insights (que es el panel más avanzado de la plataforma MOOC para
obtener información estadística relacionada con los cursos) para contrastar si la información
disponible en el panel y la proporcionada en la investigación era similar.
Todos los docentes de MOOC acceden a n panel b ico llamado Panel del in r c or para
realizar consultas simples del estado del curso, pero existe un módulo avanzado (que es
menos utilizado) llamado edX Insights que permite obtener mucha más información
específica y en detalle: en concreto hay secciones para conocer el compromiso, el
rendimiento, datos agregados e información de estudiantes individuales.
Durante el análisis se comprobó cómo las diferencias en la utilidad de este panel con la
investigación realizada eran muy grandes. En primer lugar, y la más importante, es que la
propuesta realizada implicaba un procedimiento automatizado que suponía no necesitar
realizar un análisis individual para cada uno de los cursos y alumnos.
En segundo lugar, se comprobó como la mayor parte de la información proporcionada por
los indicadores de abandono obtenidos, no está disponible sin procesamiento en este panel.
Por ejemplo, se dispone de las fechas de matriculación y primer acceso, pero no se dispone
149
Tesis doctoral
de un listado de alumnos que no acceden durante un periodo de tiempo. De forma similar, se
dispone información de los vídeos visualizados en cada curso, pero no se conoce el tiempo
dedicado a ver esos vídeos por cada uno de los alumnos.
En el último punto de la reunión se realizó un análisis pormenorizado de cada una de las
propuestas realizadas:
-
Respecto a los mecanismos automatizados correspondientes a la hipótesis 3 y 3 bis
relacionadas con la no realización de las tareas asignadas en la semana actual, se indicó
que, si lo ven aplicable a la plataforma de la UPV, pero añadiendo la salvedad de que se
está obviando la casuística de los alumnos que empiezan el curso semanas después de su
inscripción, y lo finalizan sin seguir la periodicidad de las semanas programadas.
-
La hip e i
4bis ( iempo dedicado a ver vídeos)
inicialmente no la ven válida ya
que habrá que tener modelizado previamente para cada curso, el tiempo objetivo que
marcará la activación de su indicador.
-
También relacionadas con la visualización de vídeos, las propuestas correspondientes a
la hip e i
9
9 bi
7 bi
( i ali aci n del 50% de lo
(omi i n de
deo de la emana)
deo de la tres primeras semanas),
la con ideran aplicable , a q e como
se ha comentado ese mecanismo automatizado no está disponible de de el panel edX
In igh
. No ob an e, e ol i a de acar q e con lo mecani mo a oma i ado de
la hip e i 9
9 bi
no e con empla la ca
ica de lo al mno q e empie an el
curso semanas después de su inscripción, y lo finalizan sin seguir la periodicidad de las
semanas programadas.
-
Las propuestas relacionadas con la ausencia del alumno durante un periodo: 5, 5 bis , 6
6 bi
para ser aplicables necesitan de una reconversión previa, ya que estas trabajan
con unidades de días (10 días y 30 días), mientras que la plataforma edX trabaja con
semanas, con lo que habría que reformularlas en periodos de una y cuatro semanas.
Además, se indica por parte de la UPV que, por su experiencia, y dada la longitud de sus
MOOC, que todo alumno que tenga un periodo de cuatro semanas sin interactuar en la
plataforma lo dan por abandonado, de modo que no es necesario enviar ningún tipo de
notificaci n. De modo q e la prop e a 5
150
5 bi
q edan de car ada .
Capítulo 4. Datos y resultados
-
La detección de puntuaciones bajas en las tres primeras semanas mediante los
mecani mo prop e o 10
10 bi
e con idera aplicable, de acando adem
q e
puede ser de utilidad para el docente detectando bajos niveles de conocimientos de los
alumnos.
-
La última de las propuestas, 11 y 11 bis , relacionada con la in erpre aci n del n mero
de intentos para resolver las pruebas de la primera semana, se ve útil de cara a detectar
por parte de los profesores un bajo nivel de conocimientos de los alumnos, lo que le puede
llevar a proponer contenido extra o de apoyo a estos alumnos detectados. la necesidad.
Además, se indica que para su correcto funcionamiento se debe modelizar el número de
intentos objetivo para cada curso.
Como resumen en Tabla 33 se indican cuáles de las propuestas son aceptadas finalmente por
la UPV y cuáles no:
151
Tesis doctoral
Alumno: Email automático de los contenidos de los vídeos que no ha visualizado.
Alumno: Email automático recordando la importancia de ver todos los vídeos cada una de las
unidades.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email automático con las últimas actividades realizadas y las que tiene pendiente.
Alumno: Email automático con las últimas actividades realizadas y las que tiene pendiente.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email automático de los contenidos de los vídeos que no ha visualizado.
Profesor: Email automático de incidencia del alumno con su identificador.
Alumno: Email automático de las tareas que no ha realizado hasta la fecha.
A
A
A
NA*
NA*
NA
NA
A
Aplicable (A) /
No (NA)
A
Tabla 33. Evaluación de propuestas de mejora automáticas. Elaboración propia
Profesor: Email automático de incidencia del alumno con su identificador.
A
10 y 10bis
11 y 11bis
Email automático
5 y 5bis
Alumno: Email de motivación para el alumno.
A
3 y 3bis
6 y 6bis
Profesor: Email automático de incidencia del alumno con su identificador.
A
4bis
7bis
Alumno: Email de motivación para el alumno.
A
A
9 y 9bis
Profesor: Email automático de incidencia del alumno con su identificador.
Las propuestas indicadas con * es necesario hacer un reajuste en su implementación.
152
Capítulo 4. Datos y resultados
4.3.3. Realimentación de Iteración III
Completada la evaluación y reflexión de los resultados obtenidos en la tercera iteración, una
de la concl ione ofrecida por la UPV
6
pone la reform laci n de la hip e i 5, 5 bi ,
6 bi , a q e como e ha comentado, estas trabajan con días (10 y 30 respectivamente)
como unidades de tiempo, mientras que el sistema edX trabaja con semanas. Esto supone que
las nuevas hipótesis quedarán reformuladas como indica la Tabla 34:
Tabla 34. Reformulación de hipótesis. Elaboración propia
Hipótesis reformuladas
5
Ausencia en un periodo superior a 4 semanas
5 bis
Ausencia en un periodo superior a 1 semanas + edad, género y nivel educativo
6
Ausencia en un periodo de 1 semana
6 bis
Ausencia en un periodo de 1 semana + edad, género y nivel educativo
La necesidad de replantear estas hipótesis en esta iteración lleva consigo la repetición de
varios pasos ya realizados que se han de realimentar con la información proporcionada por
la UPV.
En primer lugar, es necesario modificar los scripts encargados de obtener los indicadores
implicados, esto es, calcular ausencias de cuatro semanas en vez de 1 mes, y calcular
ausencias de una semana en vez de diez días. Una vez obtenida la tabla definitiva con todos
los indicadores actualizados con los últimos comentarios, en segundo lugar, se reformularán
la hip e i 5, 5 bi , 6
6 bi , para anali ar i on válidas o no en su aplicación a los
cursos de la UPV. Para hacer este análisis, en tercer lugar, se volverá a ejecutar el
procedimiento de Machine Learning para los 260 cursos. Seguidamente se volverán a aplicar
los criterios de validación aplicados para aceptar o rechazar las 4 nuevas hipótesis
replanteadas.
153
Tesis doctoral
Una vez se verifique su aceptación, ya que las propuestas de mejoras relacionadas con estas
hipótesis si han sido aprobadas por las UPV, sí se podrán volver a introducir las propuestas
de mejora correspondientes junto a las definitivamente aprobadas.
Actualización de scripts
Como se ha comentado, el primero de los pasos para introducir los cambios por la UPV es
actualizar los scripts necesarios para que los dos indicadores relacionados con las hipótesis
seleccionadas (5, 5 bi , 6
6 bi ) trabajen con unidades de tiempo la semana.
La modificación en los scripts de generación de estas variables creadas es mínima, ya que en
ellos tan solo se hace una comprobación de si la variable temporal donde se almacena el
tiempo de ausencia es mayor o igual a diez o treinta días. La modificación se limita a cambiar
en esa línea de código los diez días por siete días (una semana) y los treinta días por
veintiocho días (cuatro semanas). Los cambios realizados se muestran en la Ilustración 17.
Ilustración 17. Variables cambiadas en scripts tras reformulación. Elaboración propia
Con ese cambio, se obtiene nuevamente los ficheros CSV temporales que se describían en la
tabla superior y el fichero final_csv_summary.csv donde hay una columna por cada uno de
los indicadores a verificar.
154
Capítulo 4. Datos y resultados
Técnicas de Machine Learning.
Con las hipótesis ya reformuladas y los scripts actualizados, el siguiente paso es volver a
ejecutar el script de Machine Learning para verificar si las cuatro nuevas hipótesis pasan los
umbrales establecidos. Los datos resultantes de la ejecución del script para cada uno de los
cursos se muestran como ejemplo en la siguiente Tabla 35:
Tabla 35. Resultados con técnicas de ML tras reformulación. Elaboración propia
Validación de hipótesis de procedimiento de ML
En este caso, como el resto de las hipótesis ya fueron analizadas, tan solo hay que centrarse
en el an li i de 5, 5 bi , 6
6 bi .
Tabla 36. Porcentaje cursos superior umbral tras reformulación. Elaboración propia
% DE CURSOS CON VALORES > 80%
Hipótesis
5
5 bis
6
6 bis
Precisión
100
98
100
100
Recall
100
100
100
100
f1-score
100
100
100
100
Para llegar a los resultados mostrados en la Tabla 36, se han aplicado los dos umbrales que
se comentaron en la segunda iteración: en primer lugar, se aplicará el porcentaje de cursos
que han superado el umbral 80% en cada una de las métricas. En segundo lugar, se validará
155
Tesis doctoral
una hipótesis en caso de que algunas de sus métricas sean superiores a un 85%. Con los
umbrales aplicados y los resultados de la tabla superior solo queda marcar las nuevas
hip e i 5, 5 bi , 6
6 bi
como acep ada .
De estas hipótesis, desde la UPV se indicó, q e la
a encia de cuatro emana
no la
en
aplicables, por lo que a pesar de que cumplen los criterios establecidos, quedarán descartadas
la hip e i 5
5 bi .
Propuestas aprobadas
Con esta modificación, y dado que la propuesta de mecanismos automatizados
correspondien e a la hip e i 5
5 bi , con i en e en el envío de emails a docentes y
alumnos, ya fue presentada a la UPV, podemos concluir con el listado de las propuestas
finales que han quedado aprobadas y que presentamos en la Tabla 37:
Tabla 37. Propuestas automáticas de mejora tras reformulación. Elaboración propia
3 - 3bis
6 - 6bis
7bis
9 - 9bis
10 10bis
11 11bis
Hipótesis
Omisión de las tareas
asignadas
Propuesta
Alumno: Email automático de las tareas que no
ha realizado hasta la fecha.
Profesor: Email automático de incidencia del
alumno con su identificador.
Ausencia en un periodo de
Email automático con las últimas actividades
diez días
realizadas y las que tiene pendiente.
Visualización de vídeos
Alumno: Email automático recordando la
asignados inferior al 50% en importancia de ver todos los vídeos cada una de
las tres primeras semanas
las unidades.
Profesor: Email automático de incidencia del
alumno con su identificador.
Omisión de vídeos de la
Alumno: Email automático de los contenidos de
unidad anterior
los vídeos que no ha visualizado.
Profesor: Email automático de incidencia del
alumno con su identificador.
Puntuaciones bajas en las
Alumno: Email de motivación para el alumno.
pruebas de las tres primeras
Profesor: Email automático de incidencia del
semanas
alumno con su identificador.
Nº de intentos para resolver Alumno: Email de motivación para el alumno.
las pruebas de la primera
Profesor: Email automático de incidencia del
semana
alumno con su identificador.
156
Capítulo 4. Datos y resultados
Estas propuestas presentadas y finalmente aprobadas han sido discutidas y aprobadas por los
expertos de la UPV en la investigación basada en el diseño formada por tres iteraciones en
las que después de cada una de ellas ha habido un proceso de realimentación con sus
comentarios y correcciones.
157
Capítulo 5. Conclusiones
Ca
l 5. C ncl i ne
En este capítulo vamos a recoger las conclusiones principales a las que hemos llegado en el
marco de este trabajo de investigación. Partiendo de nuestros objetivos generales y tomando
como referencia tanto los resultados de los datos recopilados como la información
investigada en el marco teórico se presentan las conclusiones más destacadas del trabajo.
Tras esto se discutirán las conclusiones parciales que se han tomado en cada una de las
iteraciones de la investigación basada en el diseño realizado.
Posteriormente, se analizarán los elementos que han aparecido nuevos y no estaban
contemplados, las lecciones aprendidas tras la investigación y los módulos que cambiaríamos
en caso de comenzar nuevamente el estudio. Por último, se incluirán las limitaciones que no
ha solventado la investigación y los trabajos futuros que se podrán realizar una vez finalizada
la misma.
5.1. Conclusiones relativas a los objetivos planteados
Esta investigación tenía el objetivo principal de proponer mecanismos automatizados que se
puedan poner en marcha dentro de los MOOC de la UPV para mejorar la experiencia de los
estudiantes y universidad aplicando la predicción de datos con Machine Learning, pero
siempre a partir de criterios pedagógicos y basados en las revisiones bibliográficas realizadas.
Para ello se abordaron los objetivos específicos y las preguntas de investigación que se
pretendían ir cubriendo con cada una de las etapas en las que se dividió el proceso
metodológico y que creemos que se han cubierto así:
Identificar las características de los MOOC que permitan mejorar la experiencia de los
estudiantes, de la UPV y los planteamientos didácticos:
Gracias al estudio detallado sobre la bibliografía de los MOOC, creemos que cada vez más,
el concepto massive se está dejando de lado, ya que el número de matriculados no es muy
elevado, no ocurriendo así con el número de cursos disponibles que sí es altísimo. La
159
Tesis doctoral
característica central para mejorar en los MOOC, como se presuponía y como han indicado
todos los estudios analizados, sigue siendo la alta tasa de abandono de los cursos.
Revisando artículos más actuales a los analizados, se observa como la problemática sigue
vigente: la mayoría de los participantes nunca vuelven al curso después de su primer año, su
crecimiento se ha concentrado casi por completo en los países más ricos del mundo y las
bajas tasas de finalización no han mejorado en 6 años (Reich & Ruipérez-Valiente, 2019).
Analizar, con base en la analítica de datos disponibles, la experiencia de los diferentes
actores y elementos didácticos de los cursos MOOC de la UPV:
El trabajo fue muy productivo ya que se analizaron un gran número de experiencias MOOC
que tenían el mismo objetivo. Estos estudios se realizaron a través de tres revisiones
sistemáticas de bibliografía con las que se consiguieron un gran número de variables e
indicadores que permitían hacer proyecciones de actuación de los participantes en los MOOC
y que permitían mejorar los procesos y la calidad de los cursos.
Llevando esta conclusión a investigaciones actuales, vemos como en Min, Teo & Rappa
(2020) las percepciones del desempeño de los MOOC siguen estando representadas por la
calidad de transmisión del conocimiento y la calidad de la interacción. No obstante, según
éstos, la calidad de la interacción no está relacionada con la satisfacción en la experiencia de
aprendizaje, mientras que sí se encontró que el hábito de usar MOOC como modo de
aprendizaje aumenta significativamente la intención de continuación en el curso.
Desarrollar modelos predictivos, basados en la analítica de aprendizaje, que describan
el posible comportamiento de los participantes de los cursos MOOC.
Creemos que el objetivo también se ha cumplido gracias al amplio trabajo de procesamiento
y filtrado de los datos proporcionados por la UPV y las técnicas de Machine Learning
utilizadas. Con los indicadores de abandono seleccionados a partir del listado obtenido en la
Iteración I, se han podido formular y validar un conjunto de hipótesis de las cuales se han
logrado métricas esperanzadoras para la predicción de los abandonos en los cursos de esta
universidad.
160
Capítulo 5. Conclusiones
Una parte importante de la investigación ha consistido en trabajo técnico de filtrado y
tratamiento de datos mediante scripts Python para la obtención de los datos de algunos de
esos indicadores seleccionados. Indicadores como la ausencia de los alumnos en diez días, la
visualización de vídeos asignados inferior al 50% en las tres primeras semanas o la obtención
de puntuaciones bajas en las pruebas de las tres primeras semanas, son algunos de los
indicadores validados a lo largo de la investigación.
En estos últimos dos años se siguen desarrollando nuevos modelos de predicción en entornos
MOOC como el de Hmedna, El Mezouary & Baz (2019) cuyo objetivo es predecir los estilos
de aprendizaje de los participantes teniendo en cuenta sus huellas de aprendizaje con el
análisis de los datos recogidos en un curso de la misma plataforma edX; o como el modelo
desarrollado por Jin (2020) en el que, también con la finalidad de reducir el abandono, se
escogen como parámetros: la información del comportamiento, el tiempo de aprendizaje y
los hábitos de estudio de los alumnos.
Proponer estrategias, basadas en analíticas de aprendizaje, para mejorar la experiencia
de los alumnos y de la universidad y los elementos didácticos de los MOOC de la UPV:
El objetivo principal no trataba sobre indicadores, sino de estrategias y procedimientos
automatizados. Con ello, el objetivo se ha cumplido al plantear la dupla trigger + email, en
el que tras la activación de un indicador de abandono, se enviará un email al usuario afectado
(ya sea este alumno o docente). Esta estrategia, al igual que el resto de los elementos
obtenidos en cada una de las iteraciones de la investigación, fue validada por los expertos de
la UPV.
En investigaciones actuales se continúa analizando el uso de otras estrategias para reducir la
tasa de abandono. Así por ejemplo, en Ortega-Arranz et al. (2019), se analizan las estrategias
de gamificación basadas en recompensas para promover la participación de los estudiantes y
prevenir la deserción, a pesar de no tener un efecto significativo en la retención y en el
compromiso de los estudiantes.
Proponer procedimientos automatizados que se plantean para poner en funcionamiento
los indicadores de abandono seleccionados:
161
Tesis doctoral
Se han validado un total de once procedimientos automatizados y por tanto se ha cumplido
con el último de los objetivos propuestos. No obstante, algunos de los procedimientos
propuestos no se han podido aplicar debido a que la UPV no contaba con la infraestructura
necesario para ello en este momento. A pesar de esto, la propuesta final de mecanismos
automatizados de envíos de email a alumnos y/o docentes informando de la incidencia
detectada (que podría llevar asociado un posible abandono en el futuro) la consideramos muy
válida para reducir la tasa de abandono de los MOOC de la UPV.
Con estos mecanismos se podría conseguir que en el momento que un alumno no realice un
porcentaje de tareas programadas o visualice vídeos de cada semana, automáticamente
recibirá una notificación él y el docente indicándoles el evento, permitiendo por un lado el
recordatorio y por otro lado la detección de anomalías en los problemas o vídeos asignados.
Además, si durante las tres primeras semanas, no se visualizan el 50% de los vídeos asignados
o se obtienen puntuaciones bajas en los exámenes realizados, se enviarán nuevamente
notificaciones a alumnos y docentes con los incidentes. Esto también ocurrirá si el alumno
necesita de varios intentos para realizar las pruebas de la primera semana. Por último, se
marca un periodo de ausencia de una semana para notificar al alumno con una notificación
recordándole su matriculación en el curso y los contenidos que todavía no ha visualizado.
La puesta en práctica de estos mecanismos debe esperar a que finalice el desarrollo por parte
de la UPV de la herramienta que permita el envío personalizado de correos electrónicos a
partir de las bases de datos de la plataforma edX.
Mecanismos similares a los diseñados se proponen en investigaciones recientes como la de
Borrella, Caballero-Caballero & Ponce-Cueto (2019) en la que se pretenden identificar a los
alumnos en riesgo de abandonar un curso, utilizando algoritmos de aprendizaje automático
que trabajan con los datos de flujo de clics, diseñando una intervención que consiste en enviar
correos electrónicos de ánimo personalizados a los estudiantes en riesgo.
162
Capítulo 5. Conclusiones
5.2. Discusión de las conclusiones parciales de las iteraciones.
Para llegar a la propuesta definitiva aprobada con los procedimientos de mejora de la
experiencia de los MOOC se ha dado un largo proceso de investigación en el que se han
tomado conclusiones parciales en cada una de las iteraciones.
De los modelos estudiados en las revisiones de bibliografía de la Iteración I, se ha
comprobado cómo no todos han funcionado correctamente en la investigación realizada con
los datos proporcionados por la UPV. Así, el modelo diseñado tiene en común indicadores
de abandono con tres de los modelos analizados: el de Halawa, Greene & Mitchell (2014)
(ausencias de diez días o más, omisión de vídeos en la unidad anterior y visualizaciones de
vídeos inferior al 50% de los vídeos); el de García-Tinizaray et al. (2015) (omisión de tareas
asignadas y puntuaciones bajas en las pruebas de las tres primeras semanas); y el de Fei &
Yeung (2015) (número de intentos para resolver las pruebas de la primera semana).
Muchos de los modelos analizados como Millecamp et al. (2018), Billings, Connors & Skiba
(2001), Boyle & Wambach (2001), Chickering & Gamson (1987), Collis, DeBoer & Slotman
(2001), Kizilcec et al. (2017) y Li et al. (2016) utilizaban indicadores de abandono que no se
han podido contrastar al haber descartado los datos de los foros y de las comunicaciones
alumno-alumno y alumno-docente.
Además, hay modelos que lamentablemente no se han podido verificar, al utilizar indicadores
de abandono de los que la plataforma MOOC de la UPV no aportaba información, como son
los de León-Urrutia et al. (2017) y Tinto (1999) con los datos profesionales y compromiso
académico; Kloft et al. (2014) con la navegación/clics que se realiza sobre la plataforma;
Henderikx et al. (2017) con la encuesta inicial de motivación; Bean & Metzner (1985) con la
experiencia académica previa, la influencia de los aspectos psicológicos, el rendimiento
escolar y las metas educativas; y Kember (1989) y Escanés et al.(2014) con la información
sobre la capacidad de autorregulación para atender tanto el trabajo académico como sus
compromisos sociales y laborales.
Dentro de las problemáticas identificadas en las experiencias MOOC, se han destacado cinco:
la motivación de los participantes a la hora de inscribirse y finalizar el curso, la satisfacción
163
Tesis doctoral
de los participantes, las características de los MOOC que condicionan la efectividad, la
calidad de los cursos y la preocupación por la deserción.
La motivación se trataba por ejemplo en Yamba-Yugsi & Luján-Mora (2017) donde se
afirmaba que la motivación antes de iniciar el curso era muy importante para alcanzar el
éxito. Respecto a la eficiencia de los cursos, Aguaded & Medina-Salguero (2015) determinan
que solo un pequeño porcentaje de los que se inscriben en un MOOC son los que finalizan,
y este abandono arranca desde los primeros días. Su apertura y gratuidad hace que muchos
alumnos estén interesados inicialmente y se inscriban, pero finalmente no accedan al curso o
lo abandonen antes de hacer las evaluaciones.
La satisfacción de los participantes con los cursos también se ha visto respaldada,
concluyendo por ejemplo en el estudio de Bartolomé-Pina & Steffens (2015) donde destacan
que estos cursos permiten la transferencia del conocimiento y son una gran herramienta para
el aprendizaje. En la investigación de Duart et al. (2018) que estaba dirigida a conocer la
calidad pedagógica de los MOOC se encontró que la planificación flexible permite que el
alumno autorregule su aprendizaje; que la presentación de los contenido (más que el
contenido en sí mismo) motivan a los alumnos, al igual que la calidad de los recursos y su
variabilidad; que la comunicación y la metodología empleada en los MOOC, determinan el
abandono o no del curso; y finalmente, que las evaluaciones y las certificaciones siguen
siendo el punto menos estudiado a pesar de que son los más criticados.
Re pec o a la de erci n, a ore como Fern nde & Cano (2015) e alan la necesidad de
dar a conocer más sobre el curso MOOC y sus objetivos, para así minimizar que las personas
e in criban por alg na c rio idad , q e e e able can cri erio claro de in cripci n
certificación, al igual que se planteen actividades más dinámicas que permitan la interacción
con redes sociales y demás TIC, así como que las evaluaciones midan los objetivos
realmente.
Con todo esto, se vieron autores como Conole (2016) que propone un nuevo modelo con
MOOC más activos y participativos, buscando la efectividad y calidad educativa;
proponiendo la mejora de la interactividad gracias al uso de metodologías y herramientas que
permitan la relación entre los participantes. Borras-Gene, Martinez-Nunez & Fidalgo-Blanco
164
Capítulo 5. Conclusiones
(2016) también plantean un modelo de mejora del diseño de los MOOC que impacte
significativamente en el comportamiento de los estudiantes, basado en el uso del aprendizaje
cooperativo, la gamificación y nuevamente el uso de las redes sociales.
Con todas estas propuestas, quedaba claro que el problema principal a solucionar era la
elevada deserción, que se vio reflejada en el estudio empírico durante el análisis de las 260
ediciones de cursos de la UPV, en las que se obtuvo de media que el 80% de alumnos
abandonaban.
Gracias a una nueva búsqueda bibliográfica se pudo obtener un listado con un conjunto de
indicadores que estuvieran directamente relacionados con esa deserción, destacando en esa
búsqueda los artículos de Fei & Yeung (2015), Li et al. (2016) y Ye & Biswas (2014) en los
que se proponía la creación de nuevos modelos de predicción en los que partiendo de unas
hipótesis, se planteaban un conjunto de indicadores que anticiparan esos abandonos. En
concreto, por ejemplo, el modelo de Fei & Yeung (2015) utilizaba solo como indicadores la
descarga de videoconferencias, los resultados de exámenes semanales y el número de vistas
de vídeos por semana.
5.3. Conclusiones emergentes.
En esta sección nos centráremos en los elementos que han aparecido en la investigación y no
eran esperados, agrupando estos elementos por la iteración en la que se ha producido.
Una de las principales conclusiones no esperadas es que, de los veinticinco indicadores
pedagógicos de abandono referidos por las revisiones bibliográficas de la Iteración I, solo se
validan diez de ellos con los cursos de la UPV (no se tienen datos automáticos ni
automatizables de los otros), y de esos finalmente solo seis de ellos son posibles predictores
del abandono de los alumnos; o lo que es lo mismo, a pesar de la ingente cantidad de datos
de los que se dispone, se echa en falta información sobre otros aspectos como: el estado de
ánimo de los alumnos, datos de los docentes o si se complementa la plataforma MOOC con
otros medios o redes sociales. Es por este motivo que, aunque con LA y ML se obtiene el
165
Tesis doctoral
máximo rendimiento de los datos disponibles, no siempre funcionan correctamente al no
poder tener disponibles todos los datos deseables.
La primera revisión de literatura realizada en la Iteración I se realizó para identificar las
principales problemáticas detectadas en los MOOC, y la conclusión emergente fue que la
gran mayoría de las investigaciones analizadas se limitaban a tratar el problema de la alta
tasa de abandono de los cursos, sin abordar otros posibles problemas que pudieran tener. Es
por esto por lo que en esta investigación solo se ha analizado esta problemática.
Además, cuando se realizó la revisión bibliográfica agrupada por años de los artículos que
trataban sobre experiencias MOOC entre 2015 y 2018, sorprendió el hecho de que el número
de artículos encontrados descendió de forma exponencial en los últimos años del intervalo.
Una caída en el número de investigaciones si era esperada por el boom originado por los
MOOC y sus investigaciones los primeros años, pero no se esperaba que fuera tan importante,
ya que consideramos que aún queda mucho trabajo por delante en la optimización de estos.
En esa misma revisión bibliográfica en la que se estudiaban multitud de experiencias MOOC,
tampoco se esperaba, como se ha comentado anteriormente, que el concepto massive de los
MOOC se estuviera perdiendo, ya que en la mayoría de las investigaciones no se contaba con
ese alto número de alumnos a los que se hace referencia.
En la segunda iteración, inicialmente, no se esperaba que el volumen de datos que se
almacenaban en la plataforma edX de cada uno de los cursos fuera tan alto; y es que el hecho
de registrar cada uno de los accesos e interacciones que los participantes realizaban en la
interfaz genera una acumulación de datos que es necesario filtrar antes de poder analizarla.
Además, esto se multiplica teniendo en cuenta que los datos corresponden a 700.000
participantes repartidos en 260 cursos desde el año 2015 hasta 2019.
Dentro de esa misma iteración, hubiera sido importante haber conocido previamente el modo
en el que los docentes tienen organizados sus cursos de modo práctico ya que, a pesar de
dominar la estructura a nivel de base de datos de la plataforma, no conocíamos en detalle,
por ejemplo, el hecho de que en los cursos de la UPV se trabaja por semanas en vez de por
días. Esto originó que se tuviera que repetir la ejecución de la tercera iteración para modificar
los procedimientos automatizados propuestos.
166
Capítulo 5. Conclusiones
Como en toda plataforma tecnológica, en edX van surgiendo modificaciones/mejoras en la
estructura de las bases de datos donde se almacenan los cursos, y esto dio lugar a un gran
trabajo (no esperado) en el desarrollo de los scripts de filtrado y tratamiento de datos, para
adap ar e a la e r c ra de da o
cambian e de lo 260 cursos analizados.
Para la última de las iteraciones en la que se proponían mecanismos automatizados de mejora,
hubiera sido de gran utilidad haber conocido la organización y recursos con los que contaban
desde la UPV. De este modo se podrían haber seleccionado mecanismos automatizados que
fueran cien por cien compatibles con su infraestructura.
5.4. Limitaciones del trabajo
La presente investigación ha permitido diseñar un conjunto de medidas automatizadas que
permiten la mejora de la experiencia de los usuarios MOOC de la UPV. Ahora bien, es
necesario reconocer que existen unas limitaciones, así como proponer algunas
recomendaciones de cara a la realización de futuras investigaciones.
La principal limitación con la que cuenta este trabajo es que las medidas diseñadas solo sirven
en principio para los cursos de la UPV, y no está demostrado, que los indicadores de
abandono que se han comprobado que son válidos en estos cursos, sean válidos en otras
plataformas o instituciones.
Otras de las limitaciones de la investigación es que ha habido que obviar los datos
correspondientes a los foros, ya que la información allí recogida era de una gran magnitud,
habiendo que dedicar una investigación en exclusiva a su análisis. Esta información de los
foros ha sido utilizada en numerosos modelos que trabajaban con LA como los de Fei &
Yeung (2015), García-Tinizaray, Ordoñez-Briceño & Torres-Díaz (2015) y Kizilcec, Piech
& Schneider (2013). Los foros sigue siendo un foco de análsis en el último año dentro de los
MOOC. Así por ejemplo, en Chen et al. (2020) se indica que la clasificación de opiniones de
las publicaciones en foros de MOOC es esencial para que los educadores realicen
intervenciones y para que los instructores mejoren el rendimiento del aprendizaje.
167
Tesis doctoral
Respecto a la metodología aplicada, hubiera sido interesante realizar en cada una de las fases
de la IBD un trabajo más amplio en las etapas de validación, de modo que además de la
opinión de los expertos de la UPV, se pudieran haber aplicado los resultados obtenidos a
datos concretos, y más concretamente, en la última iteración, donde no se pudieron probar
los procedimientos automatizados diseñados.
Por otro lado, en esta investigación se han definido medidas de mejora que se podrían aplicar
en la UPV, pero en ningún momento se ha tenido de información sobre la capacidad que tiene
esta institución a tomar un tipo de medidas u otras; y es que la universidad no siempre
funciona como un sistema y no dispone siempre de los medios necesarios.
5.5. Trabajos futuros.
Como ya se ha comentado, han quedado sin analizar todos los datos que ofrece la plataforma
edX sobre los foros y el intercambio de mensajes; el volumen de estos datos es muy grande
y ese fue el motivo por el que sacaron de la investigación principal. Relacionados con esos
da o , e encon raron indicadore como: la cantidad de veces que se interactúa en el foro
de Kizilcec et al. (2017), el n mero de men aje in ercambiado en re alumno
profesor
de Millecamp et al. (2018), número de veces que interactúa el alumno en los foros, wiki o
en la plataforma de Li et al. (2016), navegación (clics) que se realiza sobre la plataforma y
los vídeos de Kloft et al. (2014) o el número mensajes y veces que se accede en los foros
de Rose et al. (2014) y Fei & Yeung (2015).
Todos estos futuros indicadores será necesario procesarlos de forma similar a lo realizado en
la Iteración II de la investigación (con nuevo desarrollo de scripts de filtrado) hasta obtener
una única tabla en la que solo aparezcan esos indicadores y se pueda tratar con técnicas de
Machine Learning para conseguir su validación o no como indicadores de abandono para la
UPV.
Centrándonos ya en los trabajos futuros propios de los resultados obtenidos, como se ha
comentado es necesario, para la puesta en marcha de los mecanismos automáticos de mejora,
la implantación de la herramienta de envío de emails personalizados en los servidores de la
168
Capítulo 5. Conclusiones
UPV. Una vez implementada, es esencial tomar un curso como piloto para poner en
funcionamiento los mecanismos desarrollados y evaluar la eficiencia de estos. Para la
evaluación de los resultados, el hito buscado será nuevamente la reducción del porcentaje de
abandono de ese curso piloto y es el principal objetivo que se quiere conseguir.
Otros indicadores pueden ser estudiados de forma más individualizada, como qué acciones
han tomado los instructores con la recepción de los mensajes de advertencia: si han tomado
alguna medida especial con el alumnado ausente, si han modificado el contenido de los cursos
/o
deo , i han acado concl ione a cerca de la e al acione
Desde el lado de los
participantes, se puede evaluar si aunque el abandono no se haya visto modificado, al menos
sí se ha incrementado el acceso de los usuarios que habían dejado de acceder; si se han
visualizado algunos de los vídeos o contenidos que tenían pendientes de ver o si algunos de
los mensajes recibidos han tenido mejor aceptación que otros (siempre referidos al
incremento de la permanencia en el curso).
Una vez se haya probado su validez en el curso piloto, es el momento de aplicar las
herramientas de mejora sobre todos los cursos de la plataforma. Esto permitirá analizar si las
mejoras obtenidas en el curso piloto se traducen del mismo modo en todos los cursos o es de
forma desigual, y cuál es el motivo de ello.
Por último, aunque el objetivo principal de la investigación es mejorar la experiencia de los
cursos de la UPV y de sus participantes, no queda probado que los indicadores/hipótesis
aprobadas y seleccionadas que funcionan con estos estudiantes, sean igual de válidos con
otras plataformas de MOOC de otras universidades y países, ya que las características de
estos variarán. Es por esto por lo que, como trabajos futuros de la investigación, considero
importante la repetición de la iteración II con los datos de otros contextos para comprobar
nuevamente mediante herramientas de Machine Learning la validación de estos indicadores.
169
Referencias bibliográficas
Refe encia bibli g fica
Adell, J. & Sales, A. (1999). El profesor online: elementos para la definición de un nuevo rol
docente. Edutec, 99. Disponible: face.uc.edu.ve/webntce/clase02/proonline.html
Aguaded, I. & Medina-Salguero, R. (2015). Criterios de calidad para la valoración y gestión
de MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 119143. doi: http://dx.doi.org/10.5944/ried.18.2.13579.
Aguaded, I., Vázquez-Cano, E. & López-Meneses, E. (2016). El impacto bibliométrico del
movimiento MOOC en la Comunidad Científica Española. Educación XXI: revista
de la Facultad de Educación, 19(2), 77-104. doi: 10.5944/educXX1.13217
Alario-Hoyos, C., Pérez-Sanagustín, M., Delgado-Kloos, C., Parada, H. A., y
M
o Organero, M. (2014). Del ing in o Par icipan
Profile and U e of Social
Tools in MOOC. IEEE Transactions on Learning Technologies 7(3), 260-266. doi:
10.1109/TLT.2014.2311807
Alpaydin, E. (2010). Introduction to Machine Learning 2nd ed. (Adaptive Computation and
Machine Learning). The MIT Press.
Amiel, T. & Reeves, T. C. (2008). Design-Based Research and Educational Technology:
Rethinking Technology and the Research Agenda. Educational Technology &
Society, 11(4), 29 40.
Amigud, A., Arnedo-Moreno, J., Daradoumis, T. and Guerrero-Roldan, A.E. (2017), U ing
learning anal ic for pre er ing academic in egri
Research
in
Open
and
Distributed
, The In erna ional Re ie
Learning,
Vol.
18
No.
5.
of
doi:
https://doi.org/10.19173/irrodl.v18i5.3103
Anderson, T. (2005). Design-based research and its application to a call center innovation in
distance education. Canadian Journal of Learning and Technology, 31(2), 69-84.
171
Tesis doctoral
Area, M. & Adell, J. (2009). E-learning: Enseñar y aprender en espacios virtuales. En J de
Pablos (Coord.) Tecnología Educativa. La Formación Del Profesorado En La Era
de Internet, 391 424.
Arlot, S. & Celisse, A. (2010). A survey of cross-validation procedures for model
selection. Statistics surveys, 4, 40-79. doi: 10.1214/09-SS054
Arnal, J. (1992). Investigación educativa. Fundamentos y metodología. Barcelona: Labor
Atiaja, L. (2016). The MOOC: evolution, problems and perspectives until 2015. Revista
Congreso 5, 3.
Avella, J., Kebritchi, M., Nunn, S., Kanai, T. (2016): Learning analytics methods, benefits,
and challenges in higher education: a systematic literature review. Online Learn. J.
20(2), 13 29.
Bartolomé-Pina, A. & Steffens, K. (2015) ¿Son los MOOC una alternativa de aprendizaje?
Comunicar, vol. 22, n. 44, pp. 91-99. doi: http://dx.doi.org/10.3916/C44-2015-10
Baturay, M. H. (2015). An overview of the world of MOOCs. Procedia - Social and
Behavioral Sciences, 174, 427 433. https://doi.org/10.1016/j.sbspro.2015.01.685.
Bayeck, R. (2016). Exploratory study of MOOC learner demographic and mo i a ion: The
case
of
students
involved
in
groups. Open
Praxis, 8(3),
223-233.
doi:
http://dx.doi.org/10.5944/openpraxis.8.3.282
Bean, J. & Metzner, B. (1985). A Conceptual Model of Nontraditional Undergraduate
Student Attrition. Review of Educational Research, 55(4), 485 540. doi:
https://doi.org/10.3102/00346543055004485
Beard, L. A. & Harper, C. (2002). Student perceptions of online versus on campus
instruction. Education, 122, 658-663.
Berman, D. (2012). In the Future, Who Will Need Teachers? The Wall Street Journal,
23/10/2012:
http://online.wsj.com/article/SB10001424052970203
400604578075080640810820.html.
172
Referencias bibliográficas
Bernard, R. M., P. C. Abrami, Y. Lou, E. Borokhovski, A. Wade, L. Wozney, P.A. Wallet,
M. Fiset, and B. Huang. (2004). How does distance education compare with
classroom instruction? A meta-analysis of the empirical literature. Review of
Educational
Research
74
(3):379 439.
doi:
https://doi.org/10.3102/00346543074003379
Berners-Lee, T., Hendler, J. & Lassila, O. (2001). The semantic web. Scientific american,
284(5), 28-37.
Billings, D. M., Connors, H. R. & Skiba, D. J. (2001). Benchmarking best practices in
Webbased nursing courses. Advances in Nursing Science, 23, 41-52.
Bishop, C.M. (2006) Pattern recognition and machine learning, page 229. Springer-Verlag
New York.
Boland, A., Cherry, M. G., Dickson, R. (2014) Doing a S
ema ic Re ie : A S den
Guide. London: Sage.
Boneu, J. M. (2007). Plataformas abiertas de e-learning para el soporte de contenidos
educativos abiertos. RUSC. Universities and Knowledge Society Journal, 4(1), 36-47.
Booth, A; Papaionnou; Sutton, A. (2012). Systematic Approaches to a Successful Literature
Review. London: Sage. doi: 10.5596/c13-009
Borrella, I., Caballero-Caballero, S., Ponce-Cueto, E. (2019) L@S '19: Proceedings of the
Sixth ACM Conference on Learning Scale. June 2019 Article No.: 24 Pages 1 9 doi:
https://doi.org/10.1145/3330430.3333634
Borges, F. (2007). El estudiante de entornos virtuales. Una primera aproximación. Digithum,
UOC, 9. Recuperado a partir de http://www.uoc.edu/digithum/9/dt/esp/borges.html
Borras-Gene, O., Martinez-Nunez, M. & Fidalgo-Blanco, Á. (2016). New challenges for the
motivation and learning in engineering education using gamification in
MOOC. International Journal of Engineering Education, 32(1), 501-512.
173
Tesis doctoral
Borup, J., Graham, C. R. & Davies, R. S. (2013). The nature of adolescent learner interaction
in a virtual high school setting. Journal of Computer Assisted Learning, 29(2), 153
167. doi: https://doi.org/10.1111/j.1365-2729.2012.00479.x
Bote-Lorenzo, M. L. & Gómez-Sánchez, E. (2017). Predicting the decrease of engagement
indicators in a MOOC. In Proceedings of the Seventh International Learning
Analytics
&
Knowledge
Conference (pp.
143-147).
doi:
https://doi.org/10.1145/3027385.3027387
Bottles, K., Begoli, E. & Worley, B. (2014). Understanding the pros and cons of big data
analytics. Physician Executive, 40(4), 6-12.
Bouchet F. & Bachelet R. (2019) Socializing on MOOCs: Comparing University and Selfenrolled Students. In: Calise M., Delgado Kloos C., Reich J., Ruiperez-Valiente J.,
Wirsing M. (eds) Digital Education: At the MOOC Crossroads Where the Interests of
Academia and Business Converge. EMOOCs 2019. Lecture Notes in Computer
Science, vol 11475. Springer, Cham. https://doi.org/10.1007/978-3-030-19875-6_4
Box, G. E. & Cox, D. R. (1964). An analysis of transformations. Journal of the Royal
Statistical
Society.
Series
B
(Methodological),
211-252.
doi:
https://doi.org/10.1111/j.2517-6161.1964.tb00553.x
Boyle, D. K. & Wambach, K. A. (2001). Interaction in graduate nursing Web-based
instruction. Journal of Professional Nursing, 17, 128-134.
Bransford, J. D., Brown, A. L. & Cocking, R. R. (1999). How people learn: Brain, mind,
experience, and school. Washington, D.C.: National Academy Press. doi:
10.17226/9853
Bringas, M.A. & Domínguez, C. (2014). Más allá de OCW: los cursos en línea masivos y
abiertos (MOOC). Actas del XI Encuentro de Didáctica de la Historia Económica.
Santiago de Compostela: Universidad de Santiago de Compostela.
174
Referencias bibliográficas
Britain, S. & Liber, O. (2004). A framework for pedagogical evaluation of virtual learning
environments. Educational Cybernetics: Reports. Paper 2. Recuperado de
http://digitalcommons.bolton.ac.uk/iec_reports/2
Cabero, J. (2006). Bases pedagógicas del e-learning. RUSC. Universities and knowledge
society journal, 3(1), 1-10.
Cabero, J. (2015). Visiones educativas sobre los MOOC. RIED. Revista Iberoamericana de
Educación
a
Distancia,
18
(2),
39-60.
doi:
http://dx.doi.
org/10.5944/ried.18.2.13718.
Cabero, J. & Llorente, M.C. (Dirs.), (2006). La rosa de los vientos. Dominios tecnológicos
de las TICs por los estudiantes. Sevilla: Grupo de Investigación Didáctica,
Universidad de Sevilla.
Cabero, J. & Lloren e, MC. (2007). El rol del profe or en eleformaci n . Po ibilidade de
la Teleformación en el Espacio Europeo de Educación Superior. Granada: Editorial
Octaedro Andalucía. pp. 289-299.
Cabero, J. & Llorente, Mª. C. (2013). La aplicación del juicio de experto como técnica de
evaluación de las tecnologías de la información y comunicación (TIC). Revista de
Tecnología de Información y Comunicación en Educación, 7, (2), 11-22.
Cabero, J., Marín-Díaz, V. & Sampedro-Requena, B. (2017). Aportaciones desde la
investigación para la utilización educativa de los MOOC / Research contributions on
the educational use of MOOCs. Revista Española De Pedagogía, 75(266), 7-27.
Retrieved from http://www.jstor.org/stable/26379344
Caceres-Gonzalez, P. & Martinez-Naharro, S. (2011). Memoria del plan docencia en red
2007-2011.
Retrieved
from:
http://www.upv.es/contenidos/DOCENRED/
infoweb/docenred/info/U0702930.pdf
Caceres-Gonzalez, P. & Martinez-Naharro, S. (2014). Guia para la creacion de cursos
MOOC.
Retrieved
from
http://www.upv.es/contenidos/DOCENRED/
infoweb/docenred/info/U0711219.pdf
175
Tesis doctoral
Calise, M., Reda, V. (2017). Federica experience in the rugged terrain of MOOCs inclusion
in institutional strategies of university education. Proceedings of EMOOCs 2017:
Work in Progress Papers of the Experience and Research Tracks and Position Papers
of the Policy Track 89 In and Out.
Campbell, J. P., DeBlois, P. B. & Oblinger, D. G. (2007). Academic analytics: A new tool
for a new era. EDUCAUSE Review, 42(4), 40.
Castaño, C. & Maiz, I. & Garay, U. (2015). Percepción de los participantes sobre el
aprendizaje en un MOOC. RIED. Revista Iberoamericana de Educación a
Distancia, 18 (2), 197-221. doi: http://dx.doi.org/10.5944/ ried.18.2.13444
Castillo, N. M., Jinsol, L., Fatima, Z. T. & Daniel, W. A. (2015). "MOOC for Development:
Trends, Challenges, and Opportunities". Journal Articles (Literacy.org). 6.
https://repository.upenn.edu/literacyorg_articles/6
Cavanaugh, C. (2001). The effectiveness of interactive distance education technologies in
K 12
learning:
A
meta-analysis.
International
Journal
of
Educational
Telecommunications 7 (1):73 78.
Cerón, J. R. & Quintero, J. H. (2018). Línea de tiempo de la evolución de los MOOC.
Ingeniería e Innovación, 6(1), 40-46. Doi: https://doi.org/10.21897/23460466.1546
Chamberlin, L. & Parish, T. (2011). MOOC: Massive Open Online Courses or Massive and
Often Obtuse Courses?. eLearn, 8. doi: https://doi.org/10.1145/2016016.2016017
Charleer, S., Moere, A. V., Klerkx, J., Verbert, K. & De Laet, T. (2018). Learning analytics
dashboards to support adviser-student dialogue. IEEE Transactions on Learning
Technologies, 11(3), 389-399. doi:10.1109/TLT.2017.2720670
Chatti, M. A., Dckhoff, A. L., Schroeder, U. & Thüs, H. (2012). A reference model for
learning analytics. International Journal of Technology Enhanced Learning, 4(5-6),
318-331. doi: https://doi.org/10.1504/IJTEL.2012.051815
176
Referencias bibliográficas
Chaupart, J. M., Corredor, M. V. & Marin, G. (1997). El tutor, el estudiante y su nuevo rol.
Encuentro Internacional de Educación a Distancia Del Instituto de Educación a
Distancia de La UIS.
Chávez, F.J., Panchi, A. & Montoya, S. (2007). Abandono de estudios en la educación
superior a distancia. Un análisis de casos. Innovación Educativa, 7(39), 5 17.
Chen J, Feng J, Sun X & Liu Y (2020). Co-Training Semi-Supervised Deep Learning for
Sentiment Classification of MOOC Forum Posts. Symmetry. 2020; 12, 8. doi:
https://doi.org/10.3390/sym12010008
Chiappe-Laverde, A., Hine, N., Martínez-Silva, J.A. (2015) Literatura y práctica: una
revisión crítica acerca de los MOOC. Comunicar. XXII, (44): 9-18. doi:
https://doi.org/10.3916/C44-2015-01
Chickering, A. W. & Gamson, Z. F. (1987). Seven principles for good practice in
undergraduate
education.
AAHE
bulletin,
3,
7.
doi:
https://doi.org/10.1080/13562517.2013.827653
Clark, D., (2013): MOOC: taxonomy of 8 types of MOOC. Donald Clark Paln B,April 16,
2013, http://donaldclarkplanb.blogspot.co.uk/2013/04/MOOC-taxonomy-of-8-typesof-mooc.html
Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education, 18(6),
683-695. doi: https://doi.org/10.1080/13562517.2013.827653
Cobb, P., Confrey, J., Disessa, A., Lehrer, R. & Schauble, L. (2003). Desing experiment in
Educational
Research.
Educational
Researcher,
32(1),
pp.
9-13.
doi:
https://doi.org/10.1080/13562517.2013.827653
Cocea, M. & Weibelzahl, S. (2007). Cross-system validation of engagement prediction from
log files Creating new learning experiences on a global scale. Springer, 14-25. doi:
https://doi.org/10.1007/978-3-540-75195-3_2
Codina, L. (2015) No lo llame Análisis Bibliográfico, llámelo Revisión Sistematizada.
Cultura académica, comunicación.
177
Tesis doctoral
Collis, B., De Boer, W. & Slotman, K. (2001). Feedback for web‐based assignments. Journal
of Computer Assisted Learning, 17(3), 306-313. doi: https://doi.org/10.1046/j.02664909.2001.00185.x
Confrey, J. (2006). The evolution of design studies as methodology, en Sawyer, R.K. (ed.).
The Cambridge Handbook of the Learning Sciences, pp. 135-152. Nueva York:
Cambridge University Press.
Conole, G. (2016). MOOC as disruptive technologies: strategies for enhancing the learner
experience and quality of MOOC. RED: Revista de Educacion a Distancia, (50), 118.
Conole, G., Ga e i , D., Long, P. & Siemens, G. (2011). Message from the LAK 2011
General & Program Chairs. In G. Conole & D. Ga e i (Ed .), Proceeding of he 1
International Conference on Learning Analytics and Knowledge Association for
Computing Machinery (ACM).
Contreras, A. (2011). La educación a distancia en la Formación Profesional. Experiencias
educativas en las aulas del siglo XXI: innovación con TIC (pp. 195 198). Recuperado
a partir de http://dialnet.unirioja.es/servlet/articulo?codigo=3772967
Cook, M. (2016). State of the MOOC 2016: A year of massive landscape change for Massive
Open Online Courses. Recuperado de https://www.onlinecoursereport.com/state-ofthe-mooc-2016-a-year-of-massive-landscape-change-for-massive-open-onlinecourses/
Cooper, H. (2010). Research synthesis and meta-analysis: A step-by-step approach.
Thousand Oaks.
Cormier, D. & Siemens, G. (2010). The open course: Through the open door--open courses
as research, learning, and engagement. Educause Review, 45(4), 31-39.
Crawford, M. W. (1999). Students' perceptions of the interpersonal communication courses
offered through distance education (Doctoral dissertation, Ohio University, 1999).
UMI Dissertation Services, (UMI No. 9929303).
178
Referencias bibliográficas
Crossley, S., Paquette, L., Dascalu, M., McNamara, D. S. & Baker, R. S. (2016). Combining
click-stream data with NLP tools to better understand MOOC completion.
In Proceedings of the sixth international conference on learning analytics &
knowledge (pp. 6-14). doi: https://doi.org/10.1145/2883851.2883931
Daniel, J.; Vázquez-Cano, E.; Gi ber , M. (2015) El f
ro de lo MOOC: aprendi aje
adap a i o o modelo de negocio? . RUSC. Universities and Knowlwdge Society
Journal, 12 (1), pp. 64-74. doi: http://dx.doi.org/10.7238/rusc.v12i1.2475
Darder Me q ida, A.; P re , A. (2015) Online
oring proced re for re earch projec
supervision: management, organization and key elements , Jo nal of Ne
Approaches in Educational Research, 4 (2), pp. 123-132.
DBRC (The Design Based Research Collective) (2003). Design-Based Research: An
Emerging Paradigm for Educational Inquiry. Educational Researcher, 32(1), pp. 5-8.
doi: https://doi.org/10.1007/BF02504682
De Benito, B. & Salinas, J. (2016). La Investigación Basada en Diseño en Tecnología
Educativa. Revista Interuniversitaria de Investigación en Tecnología Educativa, 4459. doi: https://doi.org/10.6018/riite2016/260631
Dean, J. & Ghemawat, S. (2008). MapReduce: simplified data processing on large
clusters. Communications
of
the
ACM, 51(1),
107-113.
doi:
https://doi.org/10.1145/1327452.1327492
Dede, C., (2006). Online professional development for teachers: Emerging models and
methods. Cambridge, Mass.: Harvard Education Publishing Group.
Del Peral-Pérez, J.J (2019). Patrones temporales de participación en MOOC. Estudio de un
MOOC de lenguas (Temporal patterns of MOOC participation. Case study of a
language MOOC). RIED Revista Iberoamericana de Educación a Distancia 22(2).
doi: 10.5944/ried.22.2.23109
179
Tesis doctoral
Design-Based Research Collective. (2003). Design-Based Research: An Emerging Paradigm
for
Educational
Inquiry.
Educational
Researcher,
32(1),
5-8.
doi:
https://doi.org/10.3102%2F0013189X032001005
Despujol, I, Castaneda, L, Turró, C. (2018). Developing a MOOC initiative: lessons learnt
from The Universitat Politecnica de Valencia experience. Turkish Online Journal of
Distance Education. doi:10.17718/tojde.382805
Downes,
S.
(2012).
What
a
MOOC
Does
#Change11.
Recuperado
de
http://halfanhour.blogspot.co.uk/2012/03/what-mooc-does-change11.html
Downes S. (2008). MOOC and Mookies: The Connectivism & Connective Knowledge
Online Course. Seminar presentation delivered to eFest, Auckland, New Zealand.
Disponible en: http://www.downes.ca/presentation/197
Dringus, L. P. (2012). Learning analytics considered harmful. Journal of Asynchronous
Learning Network, 16 (3), 87-100.
Driscoll, M.P. & Dick, W. (1999). New research paradigms in instructional technology. An
inquiry. Educational Technology Research & Development, 47(2), 7-18. doi:
https://doi.org/10.1007/BF02299462
Duart, J. M., Roig-Vila, R., Mengual-Andrés, S. & Maseda Durán, M. Á. (2018). La calidad
pedagógica de los MOOC a partir de la revisión sistemática de las publicaciones JCR
y Scopus (2013-2015). Revista Española de Pedagogía 266, 29-46.: doi:
10.22550/REP75-1-2017-02
Dyckhoff, A. L., Zielke, D., Bültmann, M., Chatti, M. A. & Schroeder, U. (2012). Design
and implementation of a learning analytics toolkit for teachers. Journal of Educational
Technology & Society, 15(3), 58-76.
EADTU (2014). Porto Declaration on European MOOC. European Association for Distance
Teaching
Universities,
Heerlen.
Recuperado
de
http://www.eadtu.eu/images/News/Porto_Declaration_on_European_MOOC_Final.
pdf
180
Referencias bibliográficas
EADTU (2019) European Association of Distance Teaching Universities- MOOC status in
European HEIs.
EADTU (2018). MOOC Strategies in European Universities Status report.
EADTU (2019). MOOC status in European HEIs - with special reference to opening up
education for refugees
Egger M, Smith GD, Sterne JA. (2001). Uses and abuses of meta-analysis. Clin Med.1:47884. doi: https://dx.doi.org/10.7861%2Fclinmedicine.1-6-478
Escanés, G., Herrero, V., Merlino, A. & Ayllón, S. (2014). Deserción en educación a
distancia: factores asociados a la elección de modalidad como desencadenantes del
abandono universitario. Virtualidad, Educación Y Ciencia, 5(9), 45 55.
Fawcett (2004). ROC graphs: Notes and practical considerations for researchers.
Fei, M. & Yeung, D. Y. (2015). Temporal Models for Predicting Student Dropout in Massive
Open Online Courses. 2015 IEEE International Conference on Data Mining
Workshop. doi: 10.1109/ICDMW.2015.174. doi: 10.1109/ICDMW.2015.174
Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges.
International Journal of Technology Enhanced Learning, 4(5/6), 304 317. doi:
https://doi.org/10.1504/IJTEL.2012.051816
Ferguson, R. & Shum, S. B. (2012). Social learning analytics: five approaches. In
Proceedings of the 2nd international conference on learning analytics and
knowledge. pp. 23-33. doi: https://doi.org/10.1145/2330601.2330616
Ferreira I, Urrútia G & Alonso-Coello P. (2011). Revisiones sistemáticas y metaanálisis:
Bases conceptuales e interpretación. Revista Española de Cardiología. 64(8):688696. doi: https://doi.org/10.1016/j.recesp.2011.03.029
Fidalgo-Blanco, Á., Sein-Echaluce, M.L., García-Peñalvo, F.J. & Conde, M.Á. (2015),
U ing learning anal ic o impro e eam ork a e men , Computers in Human
Behavior, Vol. 47, pp. 149-156. doi: https://doi.org/10.1016/j.chb.2014.11.050
181
Tesis doctoral
Fink, A. (2010). Conducting research literatura reviews: From Internet to paper (3º ed).
Thousand Oaks, California:Sage.
Floridi, L. (2008). Glossary of term for the digital era. University of Hertfordshire &
University of Oxford.
Fritz, J. (2011). Cla room
all ha alk:
ing online co r e ac i i
da a of
cce f l
students to raise self-awareness of underperforming peers , The In e ne and Highe
Education,
Vol.
14
No.
2,
pp.
89-97.
doi:
http://dx.doi.org/10.1016/j.iheduc.2010.07.007
Galvez, A. & Tirado, F. (2006). Sociabilidad en pantalla. Un estudio de la interacción en los
entornos virtuales. Barcelona: UOC.
García, E. (2007). El abandono en cursos de e-learning: algunos aprendizajes para nuevas
propuestas. Revista Iberoamericana de Educación, 44(3). Recuperado a partir de
http://dialnet.unirioja.es/servlet/articulo?codigo=2471855
García-Aretio, L. (1994). Educación a distancia. Bases conceptuales. Educación a Distancia
Hoy. Madrid: Universidad de Educación À Distância, 11 57.
García-Aretio, L. (2011). Perspectivas teóricas de la educación a distancia y virtual. Revista
española de pedagogía, 249, 255- 271.
García-Are io, L. (2012): Q
e
ed caci n a di ancia (EaD)? Contextos Universitarios
Mediados, 12 (15).
García-Aretio, L. (2014). Bases, mediaciones y futuro de la educación a distancia en la
sociedad digital. Madrid: Síntesis.
García-Peñalvo, F. J., Fidalgo-Blanco, Á. & Sein-Echaluce, M. L. (2018). An adaptive hybrid
MOOC model: Disrupting the MOOC concept in higher education. Telematics and
Informatics, 35(4), 1018-1030. doi: https://doi.org/10.1016/j.tele.2017.09.012
182
Referencias bibliográficas
García-Tinizaray, D., Ordoñez-Briceño, K. & Torres-Diaz, J. C. (2015). Learning analytics
para predecir la deserción de estudiantes a distancia. Campus virtuales, 3(1), 120126.
Ga e ic, D., Da
on, S., Roger , T. & Ga e ic, D. (2016), Learning anal ic
ho ld no
promote one size fits all: the effects of instructional conditions in predicting academic
cce
, The Internet and Higher Education, Vol. 28, pp. 68-84 doi:
https://doi.org/10.1016/j.iheduc.2015.10.002
Gibson, D.C. & Webb, M.E. (2015), Da a cience in ed ca ional a e men , Education
and
Information
Technologies,
Vol.
20
No.
4,
pp.
697-713.
doi:
https://doi.org/10.1007/s10639-015-9411-7
Gillani, N. & Eynon, R. (2014). Los patrones de comunicación en los cursos en línea
masivamente abiertas. Internet y Educación Superior, 23 (2014) 18
26. doi:
https://doi.org/10.1016/j.psicod.2019.08.002
Goglio, V. (2019). The Landscape of MOOCs and Higher Education in Europe and the USA.
Proceedings of EMOOCs 2019: Work in Progress Papers of the Research,
Experience and Business Track.
Gómez-Aguilar, D. A., García-Peñalvo, F. J. & Therón, R. (2014). Analítica visual en elearning. El profesional de la información, 23(3). doi: https://doi.org/10.3145/EPI
González de Dios, J., Balaguer, A. (2007). Revisión sistemática y metanálisis: conceptos
básicos. Evid Pediatr. 3:107 11.
Grünewald, F., Mazandarani, E., Meinel, C., Teusner, R., Totschnig, M., y Willems, C.
(2013). OpenHPI - a Case-Study on the emergence of two learning communities.
Proc. IEEE Global Eng. Edu. Conf. (pp. 13- 15)
Gutierrez-Osuna, R. (2001). Lecture 13: Validation. Wright State University Recuperado:
http://research.cs.tamu.edu/prism/lectures/iss
183
Tesis doctoral
Guyatt, M., Richardson A. & Jaeschke, C (2008). Revisiones sistemáticas y metaanálisis:
¿son la mejor evidencia? Revista médica de Chile, 133 (2), 246-249. doi:
http://dx.doi.org/10.4067/S0719-01072018000300184
Halawa, S., Greene, D. & Mitchell, J. (2014). Dropout prediction inMOOC using learner
activity features. Proceedings of the Second European MOOC Stakeholder Summit,
58-65.
Harlen, W. & Doubler, S. (2004). Can teachers learn through enquiry online? Studying
profesional development in science delivered online and on-campus. International
Journal
of
Science
Education
2(10):1247 67.
doi:
https://doi.org/10.1080/0950069042000177253
Harzing, A.W. & Alakangas, S. (2016). Google Scholar, Scopus and the Web of Science: a
longitudinal and cross-disciplinary comparison. Scientometrics 106, 787 804.
https://doi.org/10.1007/s11192-015-1798-9
Haythornthwaite, C. & de Laat, M. (2010). Social networks and learning networks: Using
social network perspectives to understand social learning. Paper presented at the 7th
International Conference on Networked Learning, Aalborg, Denmark. doi:
https://doi.org/10.1007/s10648-014-9276-0
Henderikx, M. A., Kreijns, K. & Kalz, M. (2017). Refining success and dropout in massive
open online courses based on the intention behavior gap. Distance Education, 38(3),
353-368. doi: https://doi.org/10.1080/01587919.2017.1369006
Hernández R, Fernández, C. & Baptista L. (2006). Metodología de la investigación. México:
McGraw-Hill.
Herrador, T.C. & Hernández, M. (2013). Un estudio del e-learning para adultos en educación
universitaria a distancia: Un análisis estadístico sobre el rendimiento de estudiantes
de Contabilidad Financiera en la UNED. Revista Iberoamericana de Educación.,
16(2), 33 57. doi: https://doi.org/10.5944/ried.16.2.9904
184
Referencias bibliográficas
Hew, K. F. (2016). Promoting engagement in online courses: What strategies can we learn
from three highly rated MOOC. British Journal of Educational Technology, 47(2),
320-341. doi: https://doi.org/10.1111/bjet.12235
Higgins, J.P.T.; Green, S. (2011). Manual Cochrane de revisiones sistemáticas de
intervenciones.
The
Cochrane
Collaboration.
Disponible
en:
http://handbook.cochrane.org
Hill, P. (2012). Four Barriers That MOOCs Must Overcome To Build a Sustainable Model,
Recuperado de: http://mfeldstein.com/four-barriers-thatmoocs-must-overcome-tobecome-sustainable-model/
Hilton III, J., Wiley, D., Stein, J. & Johnson, A. (2010). The Four «R»s of Openness and
ALMS Analysis: Frameworks for Open Educational Resources. Open Learning,
25(1), 37-44. doi: https://doi.org/10.1080/02680510903482132
Hiltz, S. R. & R. Goldman, (2005). Learning together online: Research on asynchronous
learning
networks.
Mahwah,
N.J.:
Lawrence
Erlbaum.
doi:
https://doi.org/10.1080/02680510903482132
Himmel, E. (2002). Modelos de análisis de la deserción estudiantil en la educación superior.
Calidad
de
La
Educación,
17,
91 107.
doi:
http://dx.doi.org/10.31619/caledu.n17.409
Hmedna, B., El Mezouary, A. & Baz, O. (2020). A predictive model for the identification
of learning styles in MOOC environments. Cluster Comput 23, 1303 1328. doi:
https://doi.org/10.1007/s10586-019-02992-4
Holder, B. (2007). An investigation of hope, academics, environment, and motivation as
predictors of persistence in higher education online programs. The Internet and
Higher Education, 10(4), 245 260. doi: https://doi.org/10.1016/j.iheduc.2007.08.002
Holmberg, B. (2005). Theory and practice of distance education (2ª ed.). Londres/ Nueva
York: Routledge. doi: https://doi.org/10.4324/9780203973820
185
Tesis doctoral
Hone, K. S. & El Said, G. R. (2016). Exploring the factors affecting MOOC retention: A
survey
study. Computers
&
Education, 98,
157-168.
doi:
https://doi.org/10.1016/j.compedu.2016.03.016
Ifenthaler, D. & Widanapa hirana, C. (2014), De elopmen and alida ion of a learning
analytics framework: two case studies using support vector machine , Technology,
Knowledge
and
Learning,
Vol.
19
Nos
1/2,
pp.
221-240.
doi:
https://doi.org/10.1007/s10758-014-9226-4
Jacoby, J. (2014) El potencial disruptivo de la masiva Curso en Línea Abierta: Una revisión
de la literatura. Journal of open, flexible, and distance learning, 18 (1), 73-85.
Jaffe, R., Moir, E., Swanson, E. & Wheeler, G. (2006). EMentoring for Student Success:
Online mentoring and professional development for new science teachers. In Online
professional development for teachers: Emerging models and methods, ed. C. Dede,
89 116. Cambridge, Mass.: Harvard Education Press.
Jansen, D. & Schuwer, R. (2015). Institutional MOOC strategies in Europe. Status report
based on a mapping survey conducted in October- December 2014. EADTU.
Recuperado
de
http://eadtu.eu/documents/Publications/OEenM/Institutional_MOOC_strategies_in_
Europe.pdf
Jayaprakash, S.M., Moody, E.W., Lauría, E.J., Regan, J.R. & Baron, J.D. (2014), Earl aler
of academically at-ri k
Learning
Analytics,
den : an open o rce anal ic ini ia i e , Journal of
Vol.
1
No.
1,
pp.
6-47.
doi:
https://doi.org/10.18608/jla.2014.11.3
Jin, C. (2020). MOOC student dropout prediction model based on learning behavior features
and
parameter
optimization.
Interactive
Learning
Environments
doi:
https://doi.org/10.1080/10494820.2020.1802300
Johnson, L., Smith, R., Willis, H., Levine, A. & Haywood, K. (2011). The 2011 Horizon
Report. Austin: The New Media Consortium.
186
Referencias bibliográficas
Kay, D., Korn, N. & Oppenheim, C. (2012). Legal, risk and ethical aspects of analytics in
higher education.
Kelly, A.E., Lesh R.A. & Baek J.Y. (2008). Handbook of design research in methods in
education. Innovations in science, technology, engineering, and mathematics learning
and teaching. Nueva York: Routledge.
Kember, D. (1989). A longitudinal-process model of drop-out from distance education. The
Journal
of
Higher
Education,
60(3),
278 301.
doi:https://doi.org/10.1080/00221546.1989.11775036
Khalil, M.; Ebner, M. (2016) De-Iden ifica ion in Learning Anal ic , Journal of Learning
Analytics, 3(1), pp. 129-138. doi: https://doi.org/10.18608/jla.2016.31.8
Khalil, M.; Ebner, M.; Kopp, M.; Lorenz, A.; Kalz. M. (2016), Proceedings of the European
Stakeholder Summit on experiences and best practices in and around
MOOC(EMOOC 2016) Norderstedt, pp. 265-278
Ki ilcec, R. F.; Piech, C.; Schneider, E. (2013) Decon r c ing di engagemen : anal ing
learner
bpop la ion in ma i e open online co r e . En Proceedings of the third
international conference on Learning Analytics and knowledge, ACM, pp. 170- 179.
doi: https://doi.org/10.1145/2460296.2460330
Kizilcec, R. F. & Schneider, E. (2015). Motivation as a lens to understand online learners:
Toward data-driven design with the OLEI scale. ACM Transactions on ComputerHuman Interaction (TOCHI), 22(2), 6. doi: https://doi.org/10.1145/2699735
Kizilcec, R. F., Pérez-Sanagustín, M. & Maldonado, J. J. (2017). Self-regulated learning
strategies predict learner behavior and goal attainment in Massive Open Online
Courses. Computers
&
education, 104,
18-33.
doi:
https://doi.org/10.1016/j.compedu.2016.10.001
Kloft, M., Stiehler, F., Zheng, Z. & Pinkwart, N. (2014). Predicting MOOC dropout over
weeks using machine learning methods. In Proceedings of the EMNLP 2014
187
Tesis doctoral
Workshop on Analysis of Large Scale Social Interaction in MOOC (pp. 60-65). doi:
10.3115/v1/W14-4111
Kluijfhout, E., Henderikx, P. & Ubachsun, G. (2019). MOOC status in European HEIs - with
special reference to opening up education for refugees. European Association of
Distance Teaching Universities (EADTU)
Kno , J. (2018). Be ond he c and he
: Learning
i h algorithms in massive open
online courses (MOOC). International Review of Education, 64(2), 161-178. doi:
https://doi.org/10.1007/s11159-018-9707-0
Kohavi, R (1995).: A Study of Cross-Validation and Bootstrap for Precision Precision and
Model Selection Artificial Intelligence Proceedings 14th International Joint
Krumm, A.E., Waddington, R.J., Teasley, S.D. & Lonn, S. (2014), A learning managemen
system-based early warning system for academic advising in undergraduate
engineering , in Learning Analytics, Springer, New York, NY, pp. 103-119. doi:
https://doi.org/10.1007/978-1-4614-3305-7_6
Lan, A. S.; Wa er , A. E.; S der, C.; Barani k, R. G. (2014) Spar e fac or anal i for
learning and con en anal ic , Journal of Machine Learning Research, 15, pp. 19592008.
Lang, C., Siemens, G., Wise, A. & Ga e i , D. (2017). The Handbook of Learning Anal ic .
Society for Learning Analytics Research. doi: 10.18608/hla17
Langseth, I., Lysne, D.A., Nykvist, S., Haugsbakken H. (2019) MOOC platforms: A Nordic
approach to research informed education in higher education. Proceedings of
EMOOCs 2019: Work in Progress Papers of the Research, Experience, and Business
Tracks at EMOOCs 2019 (CEUR Workshop Proceedings, Volume 2356). Vol. 2356.,
CEUR Workshop Proceedings, pp.157-162.
Larson, S. C. (1931). The shrinkage of the coefficient of multiple correlation. Journal of
Educational
Psychology, 22(1),
https://psycnet.apa.org/doi/10.1037/h0072400
188
45.
doi:
Referencias bibliográficas
Lee, Y. & Choi, J. (2011). A Review of Online Course Dropout Research: Implications for
Practice and Future Research. Educational Technology Research and Development,
59(5), 593 618. doi: https://doi.org/10.1007/s11423-010-9177-y
León-Urrutia, M., Vázquez-Cano, E. & López-Meneses, E. (2017). MOOC learning analytics
using real-time dynamic metrics. @ tic. revista d'innovació educativa, (18), 3. doi:
https://doi.org/10.7203/attic.18.10022
Letelier, L. M., Manríquez, J. J. & Rada, G. (2005). Revisiones sistemáticas y metaanálisis:
¿son la mejor evidencia? Revista médica de Chile, 133(2), 246-249. doi:
http://dx.doi.org/10.4067/S0034-98872005000200015
Li, W., Gao, M., Li, H., Xiong, Q., Wen, J. & Wu, Z. (2016). Dropout prediction
inMOOCusing behavior features and multi-view semi-supervised learning. In Neural
Networks (IJCNN), 2016 International Joint Conference on (pp. 3130-3137). doi:
https://doi.org/10.1109/IJCNN.2016.7727598
Liang, J., Yang, J., Wu, Y., Li, C. & Zheng, L. (2016). Big data application in education:
dropout prediction in edx MOOC. IEEE Second International Conference on
Multimedia Big Data (BigMM) (pp. 440-443). IEEE. doi: 10.1109/BigMM.2016.70
Littlejohn, A., Hood, N., Milligan, C. & Mustain, P. (2015). Learning in MOOC: Motivations
and self-regulated learning in MOOC. The Internet and Higher Education, 29, 40-48.
doi: https://doi.org/10.1016/j.iheduc.2015.12.003
Liu, Yuping; & Shrum, L.J. (2002). What is interactivity and is it always such a good thing?
Implications of definition, person, and situation for the influence of interactivity on
advertising
effectiveness.
Journal
of
advertising.
4,
pp.53-64.
doi:
https://doi.org/10.1080/00913367.2002.10673685
Long, P. & Siemens, G. (2011). Penetrating the fog: Analytics in learning and education.
EDUCAUSE Review.
López, J. & Leal, I. (2002), Aprender a planificar la formación, Barcelona, Paidós.
189
Tesis doctoral
López-Meneses, E., Vázquez Cano, E. & Román, P. (2015). Análisis e implicaciones del
impacto del movimiento MOOC en la comunidad científica: JCR y Scopus (201013). Comunicar: Revista Científica de Comunicación y Educación, 22(44), 73-80.
doi: http://dx.doi.org/10.3916/C44-2015-08
López-Meneses, E., Gómez-Galán, J., Bernal-Bravo, C. & Vázquez-Cano, E. (2020).
Fortalezas y debilidades de los cursos masivos abiertos en línea (MOOC) frente a
otros modelos de enseñanza en contextos socio-educativos. Formación universitaria,
13(6), 77-84. https://dx.doi.org/10.4067/S0718-50062020000600077
Ma, J., Han, X., Yang, J. & Cheng, J. (2015), E amining he nece ar condi ion for
engagement in an online learning environment based on learning analytics approach:
he role of he in r c or , The Internet and Higher Education, Vol. 24, pp. 26-34.
doi: https://doi.org/10.1016/j.iheduc.2014.09.005
Mancera, D. T. & Saldaña, D. G. (2014). Los MOOC y su papel en la creación de
comunidades de aprendizaje y participación. RIED. Revista Iberoamericana de
Educación a Distancia, 17(1), 13-34. doi: https://doi.org/10.5944/ried.17.1.11570
Margaryan, A. Bianco, M. & Littlejohn, A. (2015). Calidad de la enseñanza de cursos
masivos en línea abiertos (MOOC). Computadoras y Educación, 80 (2015) 77
Mar n D a , V.; Sampedro Req ena, B. (2016)
par icipa ion of familie
83.
Web 2.0 for he in igora ion and
and comm ni ie , Journal of New Approaches in
Educational Research, 5 (1), pp. 38-43. Doi: 10.7821/naer.2016.1.137
Martin, Br. & Irvine, J. (1983). Assessing Basic Research: Some Partial Indicators of
Scien ific Progre
in Radio A ronom , Research Policy, 12, pp. 61- 90.
Martín, J.L.R., Tobías, A. & Seoane, T. (2006). Revisiones sistemáticas en ciencias de la
vida. Toledo: FISCAM.
Martin-Martín, A., Orduna-Malea, E., Thelwall, M. (2019). Google Scholar, Web of Science,
and
Scopus:
Which
is
best
190
for
me?.
Recuperado
de:
Referencias bibliográficas
https://blogs.lse.ac.uk/impactofsocialsciences/2019/12/03/google-scholar-web-ofscience-and-scopus-which-is-best-for-me/
Martínez, M. (2006). La investigación cualitativa (síntesis conceptual). Revista de
investigación en psicología, 9(1), 123-146.
Martínez-Uribe, C. (2008). La Educación a Distancia: sus características y necesidad en la
educación actual. Educación. XVII, (33) :7-27
Mazza, R. & Milani, C. (2004). Gismo: a graphical interactive student monitoring tool for
course management systems. In International Conference on Technology Enhanced
Learning, Milan (pp. 1-8). doi: 10.1007/978-3-642-16020-2_53
McKenney, S. & Reeves, T. (2012). Educational Design Research. In Handbook of research
on educational communications and technology. Springer. doi:10.1007/978-1-46143185-5_11
McNeely, C. L. & Hahm, J. (2014). The big (data) bang: Policy, prospects, and challenges.
Review of Policy Research, 31(4), 304-310. doi: https://doi.org/10.1111/ropr.12082
Meade MO, Richardson WS. (1997). Selecting and appraising studies for a systematic
review. Ann Intern Med. 127: 531-537. doi: https://doi.org/10.7326/0003-4819-1277-199710010-00005
Méndez García, Carmen M. (2013). Diseño e implementación de cursos abiertos masivos en
línea (MOOC): expectativas y consideraciones prácticas. RED. Revista de Educación
a Distancia. Nº39. doi: 10.7821/naer.2016.1.137
Mendoza, Y. D., Castro, M. A. B. & Castro, G. R. B. (2018). Nuevos escenarios de
aprendizaje, un reto pedagógico. Revista Atlante: Cuadernos de Educación y
Desarrollo (mayo 2018).
Mengual-Andr , S. (2013) Re hinking he role of Higher Ed ca ion , Journal of New
Approaches in Educational Research, 2 (1), pp. 1-2. doi: 10.7821/naer.2.1.1-2
191
Tesis doctoral
Mengual-Andrés, S., Vázquez-Cano, E. & Meneses, E. L. (2017). La productividad científica
sobre MOOC: aproximación bibliométrica 2012-2016 a través de SCOPUS. RIED.
Revista
Iberoamericana
de
Educación
a
Distancia, 20(1),
39-58.
doi:
https://doi.org/10.5944/ried.20.1.16662
Millecamp, M., Gutiérrez, F., Charleer, S., Verbert, K. & De Laet, T. (2018). A qualitative
evaluation of a learning dashboard to support advisor-student dialogues.
In Proceedings of the 8th International Conference on Learning Analytics and
Knowledge (pp. 56-60). doi: https://doi.org/10.1145/3170358.3170417
Milligan, C. & Littlejohn, A. (2017). Why study on a MOOC? The motives of students and
professionals. The International Review of Research in Open and Distributed
Learning, 18(2). doi: https://doi.org/10.19173/irrodl.v18i2.3033
Min, H. D., Teo, T., Rappa, N.A (2020). Understanding continuance intention among MOOC
participants: The role of habit and MOOC performance, Computers in Human
Behavior, volume 112, 106455, doi: https://doi.org/10.1016/j.chb.2020.106455.
Monteón-Getino, A. (2015). El impacto del Big-data en la Sociedad de la Información.
Significado
y
utilidad.
Historia
y
comunicación
social.
doi:
https://doi.org/10.5209/rev_HICS.2015.v20.n2.51392
Mohri, M., Rostamizadeh, A. & Talwalkar, A. (2018) Foundations of machine learning. Ch.
1, 1 3 MIT press.
Moore, A. W. (2001). Cross-validation for detecting and preventing overfitting. School of
Computer Science Carneigie Mellon University.
Moore, M. G. & Kearsley, G. (2012). Distance education: A systems view of online learning
(3ª ed.). Belmont, CA: Wadsworth Cengage Learning.
Mora, L. F. M. (2014). La integración académica de los estudiantes universitarios como
factor determinante del abandono de corto plazo: Un análisis en el sistema de
educación superiora distancia del Ecuador. RIED: Revista Iberoamericana de
Educación a Distancia, 17(2), 173 196.
192
Referencias bibliográficas
Mystakidis, S., Berki, E. (2014). Participative Design of qMOOCs with Deep Learning and
3d Virtual Immersive Environments: the case of MOOC Agora. Recuperado de:
http://openeducationeuropa.eu/sites/default/files/m4ws_submission_2.pdf
O Connor, K. (2018). MOOC-ing the Discipline: Tensions in the Development and
Enactment of a Massive Open Online Course. In Reconfiguring Knowledge in Higher
Education (pp. 113-127). Springer, Cham. doi: https://doi.org/10.1007/978-3-31972832-2_7
Onrubia, J. (2005). Aprender y enseñar en entornos virtuales: actividad conjunta, ayuda
pedagógica y construcción del conocimiento. RED. Revista de Educación a
Distancia, Número Monográfico II, 16.
OpenupEd (2015). Definition Massive Open Online Courses (MOOC). Recuperado de
http://www.openuped.eu/images/docs/Definition_Massive_Open_Online_Courses.p
df
Ortega-Arranz, A., Bote-Lorenzo, M.L., Asensio-Pérez, J.I., Martínez-Monés, A., GómezSánchez, E., Dimitriadis, Y. (2019). To reward and beyond: Analyzing the effect of
reward-based strategies in a MOOC, Computers & Education, Volume 142, 103639,
doi: https://doi.org/10.1016/j.compedu.2019.103639.
Papamitsiou, Z. & Economide , A.A. (2014), Learning anal ic and ed ca ional da a
mining in prac ice: a
ema ic li era re re ie
of empirical e idence , Journal of
Educational Technology & Society, Vol. 17 No. 4.
Peña A. (2014). Review: Educational data mining: A survey and a data miningbased analysis
of recent works. Expert Systems with Applications, 41(4):1432 1462. doi:
https://doi.org/10.1016/j.eswa.2013.08.042
Peña B. (2019). Análisis del aprendizaje a través de la huella en Moodle: aplicación en la
asignatura de Termodinámica Técnica. IN-RED 2019. V Congreso de Innocación
educative y docencia en red. doi: 10.4995/INRED2019.2019.10415
193
Tesis doctoral
Phelps, S.F.; Campbell, N. (2012). Systematic reviews in theory and practice for library and
information studies. Library and Information Research, 36 (112), 6-15.
Picciano, A. (2012). The Evolution of Big Data and Learning Analytics in American Higher
Education. Journal of Asynchronous Learning Networks, 16(3), 9-20.
Raffaghelli, J. E., Cucchiara, S. & Persico, D. (2015). Methodological approaches in MOOC
research: Retracing the myth of Proteus. British Journal of Educational Technology,
46, 488 509. doi: https://doi.org/10.1111/bjet.12279
Ramos, C. & Y dko, E. (2008). Hi
(no
Di c
ion Po
) predic
den
cce
in
online courses: A double cross-validation study. Computers & Education, 50(4),
1174-1182. doi: https://doi.org/10.1016/j.compedu.2006.11.003
Reeves, T. (2006). Design research from a technology perspective. In Educational design
research (pp. 64-78). Routledge.
Reeves, T. C., Herrington, J. & Oliver, R. (2005). Design research: A socially responsible
approach to instructional technology research in higher education. Journal of
Computing
in
Higher
Education,
16(2),
97-116.
doi:
https://doi.org/10.1007/BF02961476
Refaeilzadeh Payam, Tang Lei & Lui Huan (2008), k-fold Cross-Validation, Arizona State
University. doi: 10.1007/978-0-387-39940-9_565
Reich, J. (2015) Reboo ing MOOC Re earch. Improve assessment, data sharing, and
e e imen al de ign , Science, 347 (6217), pp. 34-35. doi: 10.1126/science.1261627
Reich J., Ruipérez-Valiente, José A. (2019). The MOOC pivot. Science 11, vol. 363, issue
6423, pp. 130-131. doi: 10.1126/science.aav7958
Restauri, S. L., King, F. L. & Nelson, J. G. (2001). Assessment of Students' Ratings for Two
Methodologies of Teaching via Distance Learning: An Evaluative Approach Based
on Accreditation.
194
Referencias bibliográficas
Riel, M. & Polin, L. (2004). Online communities: Common ground and critical differences
in designing technical environments. In Designing for virtual communities in the
service of learning, ed. S. A. Barab, R. Kling, and J. H. Gray, 16 50. Cambridge,
Mass.: Cambridge University Press. doi: 10.1017/CBO9780511805080.006
Rivera, D.E. (2011). Factores que inciden en la retención o deserción del estudiante a
distancia.
Nova
Southeastern
University.
http://ponce.inter.edu/cai/tesis/deriveraindex.html
Rodríguez, N. (2014). Fundamentos del proceso educativo a distancia: enseñanza,
aprendizaje y evaluación. Revista Iberoamericana de Educación., 17(2), 75 93. doi:
10.5944/ried.17.2.12679
Rodriguez T, María (2019).
Sistemas de predicción y recomendación para MOOC.
Univeristat Politécnica de Valencia
Roger , T., Ga e ic, D. & Da
on, S. (2016), Learning anal ic and he impera i e for
heor dri en re earch , The SAGE Handbook of E-Learning Research, pp. 232-250.
doi: https://dx.doi.org/10.4135/9781529716696.n12
Romero, C., Ventura, S. & Garcia, E. (2008). Data mining in course management systems:
Moodle case study and tutorial. Computers & Education, 51(1), 368-384. doi:
https://doi.org/10.1016/j.compedu.2007.05.016
Romero, C. & Ventura, S. (2010). Educational data mining: A review of the state of the art.
IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and
Reviews), 40(6):601 618 doi: 10.1109/TSMCC.2010.2053532
Rosé, C. P., Carlson, R., Yang, D., Wen, M., Resnick, L., Goldman, P. & Sherer, J. (2014).
Social factors that contribute to attrition in MOOC. In Proceedings of the first ACM
conference
on
Learning@
scale
https://doi.org/10.1145/2556325.2567879
195
conference (pp.
197-198).
doi:
Tesis doctoral
Rostaminezhad, M.A., Nozayani, N., Nozori, D. & Iziy, M. (2013). Factors Related to Elearner Dropout: Case Study of IUST Elearning Center. Science Direct, 83, 522 527.
doi: https://doi.org/10.1016/j.sbspro.2013.06.100
Ruipérez-Valiente, P., Muñoz-Merino J., Díaz, H., Ruiz, J. S. & Delgado-Kloos, C. (2017).
Evaluation of a learning analytics application for open edX platform. Computer
Science
and
Information
Systems
14,
1.
doi:
https://doi.org/10.2298/CSIS160331043R
Ruipérez-Valiente, J. A. (2020). El Proceso de Implementación de Analíticas de Aprendizaje.
RIED. Revista Iberoamericana de Educación a Distancia, 23(2), pp. 88-101 doi:
http://dx.doi.org/10.5944/ried.23.1.26283
Ruipérez-Valiente, J. A. Jenner, M, Staubitz, T, Li, X, Despujol, I (2020). Macro MOOC
Learning Analytics: Exploring Trends Across Global and Regional Providers.
Learning
Analytics
&
Knowledge
Conference
2020.
doi:
https://doi.org/10.1145/3375462.3375482
Russo, C., Ramón, H., Alonso, N., Cicerchia, L., Esnaola, L. & Tessore, J.P. (2016).
Tratamiento masivo de datos utilizando técnicas de machine learning. XVIII
Workshop de Investigadores en Ciencias de la Computación WICC 2016
Salinas, I. & Viticcioli, M. (2008) Catalogación Innovar con blogs en la enseñanza
universitaria
presencial.
EDUTEC,
Revista
Electrónica
de
Tecnología
Educativa.Núm. 27. doi: https://doi.org/10.21556/edutec.2008.27.464
Salinas, J. & De Benito, B. (2012). El e-portfolio como herramienta para la construcción de
los Entornos Personales de Aprendizaje en la materia de Tecnología Educativa.
Congreso Nacional Edutec. doi: 10.13140/2.1.3666.4967
Salinas, L.A., Chinchilla, P.E. & Payares, J. (2012). Deserción escolar en el Bachillerato
virtual de la Universidad La Gran Colombia con base en la caracterización de la
población.
196
Referencias bibliográficas
Sánchez, J. (2010). Cómo realizar una revisión sistemática y un meta-análisis. Aula Abierta,
38(2).
Sánchez-Meca, J. & Botella, J. (2010). Revisiones sistemáticas y meta-análisis: Herramientas
para la práctica profesional. Papeles del psicólogo, 31(1), 7-17.
Sánchez-Valtierra, J. (2013). Práctica docente. Métodos de investigación mixto: un
paradigma
de
investigación
cuyo
tiempo
ha
llegado.
Recuperado
de:
http://practicadocentemexico.blogspot.com/2013/03/metodos-de-investigacionmixto-un.html
Sanchis-Font, R., Castro-Bleda, M., Turró-Ribalta, C., Despujol-Zabala, I. (2018).
In egraci n del U er E perience Q e ionnaire Shor
nacional
de
innovación
educativa
y
de
en MOOC UPV. Congreso
docencia
en
red.
doi:
https://doi.org/10.4995/INRED2018.2018.8840
Sawyer, R.K. (2006). The New Science of Learning, en Sawyer, R.K. (ed.). The Cambridge
Handbook of the Learning Sciences, pp. 1-18. Nueva York: Cambridge University
Press. doi: 10.1017/CBO9781139519526
Schwen, T. M. & N. Hara. (2004). Community of practice: A metaphor for online design. In
Designing for virtual communities in the service of learning, ed. S. A. Barab, R. Kling,
and J. H. Gray, 154 78. Cambridge, U.K.: Cambridge University Press. doi:
https://doi.org/10.1080/01972240309462
Sedano, B. (2017). Español para viajeros: diseño de un MOOC de lenguas a partir del análisis
de necesidades formativas en el dominio turístico. Tesis doctoral presentada en la
UNED.
Shen, J., Ye, M., Wang, Y. & Zhao, Y. (2016). Massive Open Online Course (MOOC) in
China: Status quo, opportunities, and challenges. Paper presented at the IEEE Global
Engineering
Education
Conference
10.1109/EDUCON.2016.7474692
197
(EDUCON).
doi:
Tesis doctoral
Siemens, G. (2004). Connectivism. A Learning Theory for the Digital Age. ElearnSpace.
Recuperado de: http://www.elearnspace.org/Articles/connectivism.htm
Siemens, G. (2011), "1st International Conference on Learning Analytics and Knowledge
2011", en Technology Enhanced Knowledge Reearch Institute (TEKRI), blog
Universidad de Athabasca, Disponible en: https://tekri.athabascau.ca/analytics
Siemens, G. (2013). Learning Analytics: The emergence of a discipline. American
Behavioral
Scientist,
57(10),
1380-1400.
doi:
https://doi.org/10.1177%2F0002764213498851
Sinha, T., Jermann, P., Li, N. & Dillenbourg, P. (2014). Your click decides your fate:
Inferring information processing and attrition behavior from mooc video clickstream
interactions. arXiv preprint arXiv:1407.7131.
Sitzmann, T., Kraiger, K., Stewart, D. & Wisher, R. (2006). The comparative effectiveness
of Web-based and classroom instruction: A meta-analysis. Personnel Psychology
59:623 64. doi: https://doi.org/10.1111/j.1744-6570.2006.00049.x
Stocks, J. T. & Freddolino, P. P. (2000). Enhancing computer-mediated teaching through
interactivity: The second iteration of a World Wide Web-based graduate social work
course.
Research
on
Social
Work
Practice,
10(4),
505-518.
doi:
https://doi.org/10.1177%2F104973150001000409
Tashakkori, A. & Teddlie, C. (2003). Handbook of Mixed Methods in Social & Behavioral
Research Thousand Oaks: Sage.
Tello, S. F. (2007). An analysis of student persistence in online education. International
Journal of Information and Communication Technology Education (IJICTE), 3(3),
47 62. doi: 10.4018/jicte.2007070105
Thurmond, V. A. (2003). Examination of interaction variables as predictors of students'
satisfaction and willingness to enroll in future Web-based courses while controlling
for student characteristics. Published Dissertation. University of Kansas. Parkland,
198
Referencias bibliográficas
FL:
Dissertation.com.
Available
online
http://www.dissertation.com/library/1121814a.htm
Thurmond, V. & Wambach, K. (2004). Towards an understanding of interactions in distance
education. Online Journal of Nursing Informatics, 8(2), 18.
Tinto, V. (1989). Definir la deserción: una cuestión de perspectiva. Revista de Educación
Superior, 71, 33 51.
Tinto, V. (1999). Taking retention seriously: Rethinking the first year of college. NACADA
Journal, 19(2), 5 9. doi:10.12930/0271-9517-19.2.5
Torras-Virgili, M. E. & Bellot-urbano, A. (2018). Learning Analytics: Online Higher
Education in Management. In 4th Annual International Conference on Management,
Economics and Social Development (ICMESD 2018). Atlantis Press. doi:
https://dx.doi.org/10.2991/icmesd-18.2018.46
Turro, C., Canero, A. & Busquets, J. (2010). Video learning objects creation with Polimedia.
IEEE International Symposium on Multimedia (ISM), 2010, Taichung, 371-376. Doi:
10.1109/ISM.2010.69
Ubachs, G. & Konings, L. (2018) MOOC Strategies in European Universities. Status report
based on a mapping survey conducted in December 2017
May 2018. EADTU.
Retrieved from URL https://tinyurl.com/MOOC-Strategies
UNESCO & COL (Commonwealth of Learning) (2016). Making Sense of MOOC: A Guide
for Policy-Makers in Developing Countries. M.Patru y V. Balaji (Eds.). París/
Burnaby:
UNESCO
and
Commonwealth
of
Learning.
Recuperado
de
http://unesdoc.unesco.org/images/0024/002451/245122E.pdf
Valenzuela, J. (2000). «Tres autos del aprendizaje: aprendizaje estratégico en educación a
distancia». I Seminario sobre Educación a Distancia y Aprendizaje Virtual. México
DF: Universidad Autónoma Metropolitana.
Valero Orea, S., Salvador Vargas A. & García-Alonso Marcela (2015). Minería de datos:
predicción de la deserción escolar mediante el algoritmo de árboles de decisión y el
199
Tesis doctoral
algoritmo de los k vecinos más cercanos. Universidad Tecnológica de Izúcar de
Matamoros, Prolongación Reforma 168.
Varón, C. A. S. (2010). La educación a distancia, reduce las distancias. Punto de Vista, 1(2),
9 22.
Vásquez, C.R. & Rodríguez, M.C. (2007). La deserción estudiantil en educación superior a
distancia: perspectiva teórica y factores de incidencia. Centro, 37(3-4), 107 122.
Vázquez Cano, E. & López Meneses, E. (2015). La filosofía educativa de los MOOC y la
educación universitaria. RIED. Revista Iberoamericana de Educación a Distancia,
18(2), 25-37. doi: https://doi.org/10.5944/ried.18.2.14261
Veletsianos, G., Collier, A. & Schneider, E. (2015). Digging deeper into learners' experiences
in MOOC s: Participation in social networks outside of MOOC s, notetaking and
contexts surrounding content consumption. British Journal of Educational
Technology, 46(3), 570-587. doi: https://doi.org/10.1111/bjet.12297
Volman, M. (2005). A variety of roles for a new type of teacher educational technology and
the teaching profession. Teaching and Teacher Education.21.1. 15-31. doi:
https://doi.org/10.1016/j.tate.2004.11.003
Vrasidas, C. & Glass, G. V. (2004). Teacher professional development: Issues and trends. In
Online professional development for teachers, ed. C. Vrasidas and G. V. Glass, 1
12). Greenwich, Conn.: Information Age.
Wang, Y. & Baker, R. (2015). Content or platform: Why do students complete
MOOC. MERLOT Journal of Online Learning and Teaching, 11(1), 17-30.
Wagner, E. D. (1994). In support of a functional definition of interaction. The American
Journal
of
Distance
Education,
8(2),
6-29.
doi:
https://doi.org/10.1080/08923649409526852
Wagner, E. D. (1997). Interactivity: From agents to outcomes. In T. E. Cyrs (Ed.), Teaching
and learning at a distance: What it takes to effectively design, deliver, and evaluate
200
Referencias bibliográficas
programs.
San
Francisco:
Jossey-Bass
Publishers.
doi:
https://doi.org/10.1016/j.sbspro.2013.10.429
Wang, F. & Hannafin, M. (2005). Design-based research and technology-enhanced learning
environments. Educational Technology Research and Development, 53(4). doi:
10.1007/BF02504682
Watted, A. & Barak, M. (2018). Motivating factors of MOOC completers: Comparing
between university-affiliated students and general participants. The Internet and
Higher Education, 37, 11-20. Doi: https://doi.org/10.1016/j.iheduc.2017.12.001
West, D. M. (2012). Data mining, data analytics, and web dashboards. Governance Studies
at Brookings, 1-10.
Whitehill, J., Williams, J., Lopez, G., Coleman, C. & Reich, J. (2015). Beyond prediction:
First
steps
toward
automatic
intervention
in
MOOC
student
stopout.
http://www.educationaldatamining.org/
Witten I.H., E. Frank, M.A. Hall (2011), Data Mining: Practical Machine Learning Tools and
Techniques, 3rd ed., Morgan Kaufmann, San Francisco.
Wu, B. & Chen, X. (2017). Continuance intention to use MOOC: Integrating the technology
acceptance model (TAM) and task technology fit (TTF) model. Computers in Human
Behavior, 67, 221-232. doi: https://doi.org/10.1016/j.chb.2016.10.028
Xing, W. & Du, D. (2018). Dropout Prediction in MOOC: Using Deep Learning for
Personalized Intervention. Journal of Educational Computing Research. doi:
https://doi.org/10.1177%2F0735633118757015
Xu, W., Jia, Y., Fox, A., Patterson, D. (2014). From MOOC to SPOC: Lessons from MOOC
at Tsinghua and UC Berkeley. Journal of Learning Analytics, 1(3), 169-172
Xu, J.; Kang, Q.; Song, Z. (2015). The current state of systematic reviews in library and
information studies. Library & Information Science Research, 37 (4): 296-310. doi:
https://doi.org/10.1016/j.lisr.2015.11.003
201
Tesis doctoral
Yamba-Yugsi, M. & Luján-Mora, S. (2017). Cursos MOOC: factores que disminuyen el
abandono
en
los
participantes. Enfoque
UTE, 8(1),
1-15.
doi:
https://doi.org/10.29019/enfoqueute.v8n1.124
Ye, C. & Biswas, G. (2014). Early prediction of student dropout and performance in MOOC
using higher granularity temporal information. Journal of Learning Analytics, 1(3),
169-172. doi: https://doi.org/10.18608/jla.2014.13.14
Zakharova, U.S. (2019) Online Course Production and University Internationalization:
Correlation Analysis. In: Calise M., Delgado Kloos C., Reich J., Ruiperez-Valiente
J., Wirsing M. (eds) Digital Education: At the MOOC Crossroads Where the Interests
of Academia and Business Converge. EMOOCs 2019. Lecture Notes in Computer
Science, vol 11475. Springer, Cham. https://doi.org/10.1007/978-3-030-19875-6_12
Zambrano, J., Cano, L. & Presiga K. (2017). Virtualidad y MOOC desde la perspectiva de
estudiantes universitarios. Virtualidad, Educación y Ciencia. 15(8):106-119. doi:
https://doi.org/10.25044/25392190.968
Zhang, D. (2005). Interactive multimedia-based e-learning: A study of effectiveness.
American
Journal
of
Distance
Education
19
(3):149 62.
doi:
https://doi.org/10.1207/s15389286ajde1903_3
Zhao, Y., Lei, J., Yan, B., Lai, C. & Tan, H. S. (2005). What makes the difference? A
practical analysis of research on the effectiveness of distance education. Teachers
College Record 107 (8). doi: https://doi.org/10.1111/j.1467-9620.2005.00544.x
Zhu, M., Sari, A. & Lee, M. M. (2018). A systematic review of research methods and topics
of the empirical MOOC literature (2014 2016). The Internet and Higher
Education, 37, 31-39. doi: https://doi.org/10.1016/j.iheduc.2018.01.002
202
Anexos
ANEXOS
203
Machine Learning y predicciones para la mejora del rendimiento en MOOC
ÍNDICE DE ANEXOS
Anexo 1. Iteración I. Rev. bibliográfica I. Fichas de revisión de artículos. ....................... 207
Anexo 2. Iteración I. Rev. bibliográfica II. Fichas de revisión de artículos. ...................... 291
Anexo 3. Iteración II. Código fuente scripts. ..................................................................... 327
Anexo 4. Iteración II. Listado de cursos analizados. .......................................................... 377
Anexo 5. Iteración II. Tablas de métricas hipótesis por curso analizado. .......................... 389
Anexo 6. Iteración III. Informe ejecutivo de presentación de resultados. .......................... 455
Anexo 7. Iteración III. Presentación para exposición de resultados. .................................. 469
204
ÍNDICE DE TABLAS
Tabla 1. Artículo 1. 2015 .................................................................................................... 209
Tabla 2. Artículo 2. 2015 .................................................................................................... 211
Tabla 3. Artículo 3. 2015 .................................................................................................... 214
Tabla 4. Artículo 4. 2015 .................................................................................................... 216
Tabla 5. Artículo 5. 2015 .................................................................................................... 218
Tabla 6. Artículo 6. 2015 .................................................................................................... 220
Tabla 7. Artículo 7. 2015 .................................................................................................... 224
Tabla 8. Artículo 8. 2015 .................................................................................................... 227
Tabla 9. Artículo 9. 2015 .................................................................................................... 229
Tabla 10. Artículo 10. 2015 ................................................................................................ 232
Tabla 11. Artículo 1. 2016 .................................................................................................. 234
Tabla 12. Artículo 2. 2016 ................................................................................................. 236
Tabla 13. Artículo 3. 2016 ................................................................................................. 238
Tabla 14. Artículo 4. 2016 ................................................................................................. 241
Tabla 15. Artículo 5. 2016 ................................................................................................. 244
Tabla 16. Artículo 6. 2016 ................................................................................................. 248
Tabla 17. Artículo 7. 2016 ................................................................................................. 251
Tabla 18. Artículo 1. 2017 ................................................................................................. 254
Tabla 19. Artículo 2. 2017 ................................................................................................. 257
Tabla 20. Artículo 3. 2017 ................................................................................................. 260
Tabla 21. Artículo 4. 2017 ................................................................................................. 262
Tabla 22. Artículo 5. 2017 .................................................................................................. 265
Tabla 23. Artículo 6. 2017 .................................................................................................. 268
Tabla 24. Artículo 7. 2017 .................................................................................................. 270
Tabla 25. Artículo 1. 2018 .................................................................................................. 273
Tabla 26. Artículo 2. 2018 .................................................................................................. 276
Tabla 27. Artículo 3. 2018 .................................................................................................. 279
Tabla 28. Artículo 4. 2018 .................................................................................................. 282
Tabla 29. Artículo 5. 2018 .................................................................................................. 285
205
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 30. Artículo 6. 2018 .................................................................................................. 288
Tabla 31. Artículo 1. Learning Analytics. .......................................................................... 293
Tabla 32. Artículo 2. Learning Analytics. .......................................................................... 295
Tabla 33. Artículo 3. Learning Analytics. .......................................................................... 297
Tabla 34. Artículo 4. Learning Analytics. .......................................................................... 299
Tabla 35. Artículo 5. Learning Analytics. .......................................................................... 301
Tabla 36. Artículo 6. Learning Analytics. .......................................................................... 304
Tabla 37. Artículo 7. Learning Analytics. .......................................................................... 307
Tabla 38. Artículo 8. Learning Analytics. .......................................................................... 310
Tabla 39. Artículo 9. Learning Analytics ........................................................................... 312
Tabla 40. Artículo 10. Learning Analytics. ........................................................................ 314
Tabla 41. Artículo 11. Learning Analytics. ........................................................................ 316
Tabla 42. Artículo 12. Learning Analytics. ........................................................................ 319
Tabla 43. Artículo 13. Learning Analytics. ........................................................................ 321
Tabla 44. Artículo 14. Learning Analytics. ........................................................................ 323
Tabla 45. Artículo 15. Learning Analytics. ........................................................................ 325
Tabla 46. Listado de cursos analizados .............................................................................. 378
Tabla 47. Resultados de las hipótesis para cada curso ....................................................... 391
206
Anexo 1
Ane o 1. I e aci n I. Re . bibliog fica I. Ficha de
e i i n de a
c lo .
207
Anexo 1
Tabla 1. Artículo 1. 2015
Autor/es
Nombre del
artículo
Revista
Tipo de
estudio
Otros
INFORMACIÓN GENERAL DEL ARTÍCULO
Ignacio Aguaded,
Área de estudio
Educación
Rosario MedinaSalguero
Criterios de la calidad
Año, Idioma
2015, idioma español
para la valorización de
original y país
los MOOCs
RIED. Revista
Objetivos
Identificar
los
Iberoamericana de
elementos claves que
Educación a Distancia
aseguran los índices de
2015, 18 (2)
calidad y de la gestión
de los MOOC.
Cualitativo
Hipótesis
No se evidencia
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros)
La calidad de los MOOCs en su aplicación educativa desde su creación en el 2012
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos de
medición
Otros
Técnicas indirectas o no interactivas, documentos bibliográficos
científicos. revistas, libros, estudios, periódicos
DATOS DE LAS EXPERIENCIAS
Ámbito
Educativo
No.
De No
especifica
participantes
cuantos
documentos
se
analizaron
País
No se especifica
Año
2015
Resultados
Desde el año 2012 con la creación de los MOOCs y en el 2013
con las críticas a los mismos, se considera que al momento de
realizar el estudio, los MOOCs estaban debilitados por la gran
deserción que se evidenció en los diferentes estudios analizados.
Por lo que la principal recomendación es estudiar las debilidades
para reforzar la calidad de esta tecnología.
Si bien se considera que la aplicación de los MOOCs es
beneficiosa y se han hecho campañas de promoción para ser
aplicados, el hecho de ser gratuitos, de carecer de capacitación y
certificación hace que sea renegada por los docentes.
Otros estudios, hacen especial énfasis en aquellos criterios de
calidad que se evidencian al incorporar los MOOC, entre los que
se encuentra la autonomía, interactividad, flexibilidad,
participación e integración de contenidos, entre otros.
209
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Conclusiones
La conclusión a la que se llega es que pesar de las oportunidades
que brinda esta tecnología., tal y como se presenta la
capacitación, no es viable en cuanto a calidad que ofrece, y de ahí
su deserción.
Otros
Criterios
establecidos
Criterios no
considerados
Cómo se hace el
tratamiento de
datos
Tratamiento de
datos
Análisis cualitativo
La repercusión de los MOOCs desde su lanzamiento hasta hoy
día, su proyección y estudios sobre las dimensiones a tener en
cuenta en la evaluación de la calidad de un MOOC.
No se especifica.
Organización de la información por los criterios definidos.
Matriz de análisis cualitativa.
Descripción de los datos obtenidos, agrupando los autores
210
Anexo 1
Tabla 2. Artículo 2. 2015
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Carlos Castaño
Área de
Educación
Garrido, Inmaculada
estudio
Maiz Olazabalaga y
Urtza Garay Ruiz
Nombre del
Percepción de los
Año,
2015, español, España
artículo
participantes sobre el
Idioma
aprendizaje en un
original y
MOOC
país
Revista
Revista
Objetivos
Analizar cómo perciben el
Iberoamericana de
aprendizaje en un MOOC sus
Educación a
participantes
Distancia
Tipo de estudio
Descriptivo
Hipótesis La percepción de la utilidad
(PU) y la percepción del
disfrute
(PD)
influyen
directamente en la percepción
global sobre el aprendizaje.
En cambio, la percepción de
la facilidad de uso (PFU),
además de influir en la
percepción global, también lo
hace tanto en la percepción de
la utilidad (PU) como en la
percepción del disfrute (PD),
aspectos que contribuyen
directamente
en
la
motivación de los alumnos.
Otros
Se diseñó un curso cooperativo, siendo su punto de encuentro el
foro.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
La satisfacción por parte de los usuarios
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos
La escala TAM
de medición
(Technology
Acceptance Model)
Otros
La adaptación de la MOOCs se llevó a cabo utilizando tres áreas de
evaluación:
1. Percepción de Utilidad (PU). 2. Percepción de facilidad de uso
(PFU). 3. Percepción de disfrute (PD)
DATOS DE LAS EXPERIENCIAS
211
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Ámbito
Universitario.
Población
Muestra
La muestra final con la Observaciones
que se realizó el estudio
fue con 85 participantes.
Principalmente para los
alumnos de 4º curso de
Educación Primaria de la
Universidad del País
Vasco, aunque se abrió a
todo aquel que quisiera
participar
De los 744 que se
inscribieron,
186
realizaron las primeras
actividades, pero solo 85
llegaron a finalizar el
curso.
Programa estadístico Spss
Método
y Se dividieron en dos Tratamiento
procedimiento grupos los participantes de los
del grado y los que son resultados
participantes externos.
Dentro de ese grupo se
hizo clasificación al
género
(femenino,
masculino). Se analizó
también el tipo de
participante
(Muy
oculto,
oculto,
participante,
colaborador).
País
España, en especial la Año
2013
provincia del País Vasco
Resultados
La percepción de los participantes frente a la utilización de los MOOCs
es positiva en un 90% en total y manteniéndose en los tres criterios
evaluados en el instrumento.
Se muestra una ligera diferencia entre los participantes, ya que los de no
grado tienen una perspectiva del 100 % favorable y los del grado en un
83%, ambos dicen que la mayor fortaleza es la cooperación y
participación con otras personas. En el caso de la facilidad de la
utilización del MOOC, el 96% de los participantes del grado les pareció
fácil de utilizar y al 83% de los de no grado les parece fácil. Todos se
muestran agradados y expresan que han disfrutado de las actividades.
El comportamiento de mujeres y hombres varía siendo en la primera y
segunda variable los hombres de no grado, y las mujeres de grado
expresan la mejor utilidad. En cuanto al tipo de participantes, los
resultados obtenidos no son de significación, se evidencia similitudes en
las respuestas dadas por los participantes individualistas y ocultos y los
activos y colaboradores.
212
Anexo 1
Conclusiones
Se logró concluir que la percepción general ante los MOOCs es positiva,
por la facilidad y utilidad del curso, sin embargo, la motivación varía de
acuerdo al tipo de participante.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
El curso MOOC se alojó en la plataforma METAUNIVERSIDAD
basada en Chamilo, utilizando software libre de gestión e-learning
licenciada bajo la GNU/GPLv3.
213
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 3. Artículo 3. 2015
Autor/es
Nombre del
artículo
Revista
Tipo de
estudio
INFORMACIÓN GENERAL DEL ARTÍCULO
Cabero Almenara, J.
Área de estudio
Educativa
Visiones educativas
Año, Idioma
2015, España,
sobre los MOOC
original y país
Castellano
RIED. Revista
Iberoamericana de
Educación a Distancia,
18(2), 39-60.
Bibliográfico
Objetivos
Reconocer la realidad
de los MOOCs en la
educación universitaria
Hipótesis
Identificar
las
ideologías emergentes
que apoyan y rechazan
los MOOC
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Las fortalezas y posibilidades, las debilidades y limitaciones de la incorporación de los
MOOCs en la educación universitaria
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos de
No se evidencia
medición
Otros
Revisión y análisis de documentos bibliográficos científicos.
Revistas, libros, estudios, periódicos
DATOS DE LAS EXPERIENCIAS
Ámbito
Universitario
No.
De No se especifica
participantes
País
España
Año
2015
Resultados
Se plantean los MOOCs como la gran alternativa para el cambio
educativo, sin embargo se evidencian grandes porcentajes de
deserción.
Conclusiones
Si bien pareciera que las debilidades y limitaciones tienen mayor
fuerza sobre las posibilidades y fortalezas. Los MOOCs son
herramientas realmente exitosas para llevar a cabo el proceso de
enseñanza-aprendizaje a nivel universitario, sin embargo, para
poder alcanzar y superar las expectativas que se presentan, será
indispensable superar las limitaciones y debilidades.
Otros
214
Anexo 1
Criterios
establecidos
Criterios no
considerados
Cómo se hace el
tratamiento de
datos
Tratamiento de
datos
Análisis cualitativo
Fortalezas y posibilidades, debilidades y limitaciones
No se evidencia
Se clasificaron los autores por su visión sobre los MOOC, para
establecer las fortalezas y desventajas.
Análisis de los estudios bibliográficos.
215
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 4. Artículo 4. 2015
Autor/es
Nombre del
artículo
Revista
Tipo de
estudio
Otros
INFORMACIÓN GENERAL DEL ARTÍCULO
Nathan Castillo, Jinsol
Área de estudio
Educación
Lee, Fátima Zahra y
Daniel Wagner
MOOCs for
Año, Idioma
2015, Pensilvania
development: Trends,
original y país Estados Unidos, inglés
Challenges and
Opportunities
Journal Articles
Objetivos
Sintetizar
la
(Literacy.org). 6
conferencia de la
Universidad
de
Pensilvania
Conferencia
Hipótesis
No se evidencia
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Las tendencias, desafíos y oportunidades de los MOOC
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos de
No se evidencia
medición
Otros
Cada una de las presentaciones de las conferencias Universitarias
de la Universidad de Pensilvania
Ámbito
País
Resultados
Conclusiones
Educación
No.
De No se especifica
Universitaria
participantes
Estados Unidos
Año
2015
Se evidencia el deseo de que los MOOCs sean incorporados con
éxito y logren abarcar al mayor número de estudiantes posibles.
Para esto es indispensable superar las limitaciones que presenta,
entre ellos lo que se refiere al contexto, y adaptación a la
población.
Es indispensable adaptar los MOOCs a los diferentes contextos y
realidades, ya que este será un elemento de gran importancia para
lograr el éxito.
Se debe reforzar la capacidad que tienen para llegar a gran
cantidad de población, por bajo coste, destaca también la
prevalencia actual que tienen las TIC desde temprana edad en
todo el mundo.
Otros
Análisis cualitativo
216
Anexo 1
Criterios
establecidos
Criterios no
considerados
Cómo se hace el
tratamiento de
datos
Tratamiento de
datos
Tendencias, desafíos y oportunidades de los MOOC.
No se especifica
No se especifica
Análisis y síntesis de cada una de las presentaciones de la
conferencia
217
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 5. Artículo 5. 2015
Autor/es
Nombre del
artículo
INFORMACIÓN GENERAL DEL ARTÍCULO
Meltem Huri Baturay
Área de estudio
An overview of the world of
MOOCs
Año, Idioma
original y país
Revista
Procedia - Social and
Behavioral Sciences,
Objetivos
Tipo de
estudio
Otros
Bibliográfico
Hipótesis
Educación
universitaria
2015
Definir el origen
de los MOOCs y
las
implementaciones
pedagógicas
y
tecnológicas que
ha tenido desde su
creación.
No se evidencia
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
La efectividad de la inclusión de los MOOCs
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No
evidencia
Instrumentos de
No se evidencia
medición
Otros
Ámbito
País
Resultados
Educación universitaria
se
No.
De No
se
participantes
especifica
Cadde
Universidad Año
2015
pek, Ankara, 06550,
Turquía
Los países europeos han hecho adaptaciones de las plataformas
MOOC de EEUU, en Turquía, sin embargo, no existe plataforma
MOOC.
Las características que resaltan y favorecen las iniciativas, son:
abiertos, participativos y repartido.
Los principales países que se encuentran en la utilización de los
MOOCs son: estados unidos, Reino Unido e India.
El origen de los MOOCs era conectivista principalmente, sin
embargo, estudios demuestran que han cambiado al incluir
certificados de conocimiento que permiten entrar al campo
laboral.
218
Anexo 1
Conclusiones
Si bien, nació pensado en que el aprendizaje y evaluación se
realizará en pareja o grupos, las actividades han sido modificadas
a individuales, evaluaciones con selección simple y contenidos
en línea, que implican videos y lecturas principalmente.
Los MOOCs son una de las tendencias más importantes en la
educación superior en los últimos años. Representa el acceso
abierto, libre, contenido educativo global, basado en video,
boletines de problemas y foros. Debido a la tendencia de
utilizarlos cada vez más se hace indispensable generar
investigaciones que permitan reconocer su importancia, y
aquellos aspectos que permitan la mejora.
Otros
Criterios
establecidos
Criterios no
considerados
Cómo se hace el
tratamiento de
datos
Tratamiento de
datos
Análisis cualitativo
Implementación pedagógica e implementación tecnológica
No se evidencia
No se evidencia
Análisis de los datos bibliográficos de revistas, investigaciones,
entre otros.
219
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 6. Artículo 6. 2015
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Littlejohn, A., Hood, N.,
Área de
Milligan, C., & Mustain, P.
estudio
Nombre del artículo
Learning in MOOCs:
Año, Idioma
2015
Motivations and selforiginal y
regulated learning in
país
MOOCs.
Revista
The Internet and Higher
Objetivos
Investigar
la
Education, 29, 40-48.
influencia de las
diferentes
motivaciones en los
comportamientos de
aprendizaje
autorregulado
Tipo de estudio
Hipótesis
Otros
Citado 117 veces
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
La motivación del aprendizaje autorregulado
HERRAMIENTAS UTILIZADAS
Entrevistas
Semi estructurada. La Encuesta
Encuesta validada
entrevista surgió de la
de una versión
modificación
de
una
validada la cual fue
encuesta ya realizada en
modificada
otra investigación. Esta se
adaptó al contexto de esta
investigación
(Experiencias MOOC)
Instrumentos de
medición
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universidad
de Población
788 participantes
Washington
curso
el
aprendizaje de los
MOOCs
'Introducción a la
Ciencia de datos'
Muestra
362
contestaron
la Observaciones
encuesta. Las entrevistas se
realizaron a través de
Skype con 32 participantes
de 16 países. Todas las
220
Anexo 1
Método
procedimiento
País
Resultados
entrevistas fueron grabadas
y transcritas textualmente.
y Se obtuvieron datos cuantitativos, se obtuvieron a partir de la
encuesta, los cuales permitieron desarrollar un perfil para cada
participante. Se realizó una puntuación por separado para 8
subprocesos específicos y se analizó en base a la estructura factorial
y la estadística descriptiva.
Las entrevistas se realizaron a través de Skype, fueron grabadas y
transcritas textualmente. Estas se analizaron en combinación con los
datos cuantitativos con el fin de sondear cómo los participantes
autorregulan su comportamiento en relación a cada uno de los
subprocesos.
En un primer momento, se realizarán tres rondas sucesivas para los
8 subprocesos y poder interpretar cada dato de forma independiente.
En segundo lugar, se les asigna a los participantes un rango entre (1
a 32) correspondiente a su puntuación SRL general, que se calculó
mediante la adición de las respuestas para cada uno de los 39
artículos, con una puntuación posible mínimo de 39 y una
puntuación máxima de 195.
Las puntuaciones totales sirvieron de referencia para el análisis. El
análisis de correlación de Pearson realizado entre los ocho factores
determina la fuerte correlación entre cada uno de los ocho subfactores y para la puntuación global para el instrumento, indicando
que las construcciones forman un grupo coherente.
Estados Unidos
Año
2015
1. Ajuste de la motivación: Cuatro categorías de objetivos
surgieron: el aprendizaje y el desarrollo general; adopción de
enfoques específicos sabe cómo; para lograr la certificación; y
para completar todas las asignaciones.
2. La autoeficacia: relacionada con la confianza en su capacidad
de aprender, la confianza en sus conocimientos de la materia, y
la determinación y disciplina al llevar a cabo actividades de
aprendizaje.
3. Las estrategias de las tareas: surgieron un gran número de
temas: el aprendizaje selectivo; llevar a cabo la lectura de fondo;
comprometerse con el material adicional que complementa el
MOOC; toma de notas y la creación de registros personales de
contenido desde el MOOC (y sin hacer notas o registros);
observación de conferencias y la realización de las pruebas y
asignaciones; y la realización de actividades prácticas para
consolidar el aprendizaje.
4. Interés: se evidenció por parte de los participantes, total interés
en utilizar los MOOC, ya que le permiten desarrollar
conocimientos en el área laboral, la capacidad para establecer
relación teoría- práctica, y la obtención de un certificado.
221
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Conclusiones
5. Auto- satisfacción y autoevaluación:
Los participantes
demuestras satisfacción por los conocimientos adquiridos, al
autoevaluarse y valorar su desenvolvimiento durante el curso
MOOC
Se evidencia un contraste de resultados entre los alumnos con índice
alto e índice bajo, confirmando las teorías de los estudios anteriores
en el área.
1. Los individuos con altas puntuaciones ven los MOOCs
principalmente como una oportunidad de aprendizaje
profesional. Centraron su motivación y objetivos de
participación en el desarrollo del conocimiento y la experiencia
que estaba relacionada a su contexto de trabajo en lugar de las
motivaciones más extrínsecos tales como pasar las asignaciones
y recibir el certificado de finalización.
Esto llevó a la conceptualización del MOOC como una
oportunidad de aprendizaje no formal, permitiendo a cada
alumno lograr el alcance de manera independiente de las
actividades y objetivos basados en sus necesidades e intereses,
más que en las formalidades del curso como tal. Por lo que
centrarse en sus necesidades, le permite comprometerse y
adoptar estrategias de trabajo más flexibles y mejor adaptación.
La estrecha relación entre su participación en el MOOC y sus
necesidades del lugar de trabajo (presentes y futuras) llevó a
estos estudiantes a puntuar alto la tarea de interés, ya que podrían
aplicar sus conocimientos directamente a sus funciones
profesionales. Este enfoque en el desarrollo de conocimientos
especializados de sus funciones profesionales en lugar de los
logros formales se traduce en una mayor satisfacción general.
2. Por el contrario, aquellos alumnos con bajas puntuaciones
tendían a estar más preocupados con la obtención de un
certificado de finalización y en consecuencia estaban más
centrados en completar todas las actividades y evaluaciones. Al
mismo tiempo, estos estudiantes eran más propensos a ser
impulsados por factores de motivación extrínseca, y se utilizan
marcadores externos como evidencia de su aprendizaje. Estos
estudiantes fueron menos propensos a conectar su aprendizaje
con tareas específicas del lugar de trabajo o para discutir la
forma en que estaban aplicando activamente el conocimiento y
la experiencia que se estaban desarrollando en su contexto de
trabajo. Tendían a conceptualizar el MOOC como una actividad
de aprendizaje formal, la adopción de un enfoque más uniforme
y lineal para su compromiso. Su aprendizaje se centra
principalmente en el propio MOOC, en lugar de ser distribuida
entre el MOOC y el entorno en línea de su lugar de trabajo. Esto
llevó a los niveles más bajos de interés e influyó en la forma en
que estos alumnos evalúan su aprendizaje, con la mayoría de los
estudiantes a través de medidas extrínsecos, como el logro de las
222
Anexo 1
evaluaciones o la finalización del curso, para evaluar su
aprendizaje.
3. Por lo que se puede concluir que la autorregulación varia, de
acuerdo al interés y la motivación
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
Se ofreció en la plataforma Coursera
223
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 7. Artículo 7. 2015
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Veletsianos, G., Collier, A., &
Área de
Schneider, E
estudio
Nombre
del Digging deeper into learners' Año, Idioma
2015
artículo
experiences in MOOC s:
original y
Participation
in
social
país
networks outside of MOOC s,
notetaking
and
contexts
surrounding
content
consumption
Revista
British Journal of Educational
Objetivos
Comprender las
Technology, 46(3), 570experiencias de
587.
los alumnos en las
actividades de los
cursos MOOC
Tipo de estudio
Cualitativo. Investigación
Hipótesis
Interpretativa
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
Semi estructurada
Encuesta
Demográfica
(Para
la
selección de la
Muestra
Instrumentos de
Se utilizó el método constante comparativa (Glaser y Strauss, 1967)
medición
para analizar los datos recogidos. Individualmente, se leyeron las
transcripciones de la entrevista en su totalidad para obtener una
comprensión de la experiencia de cada entrevistado. A
continuación, se leyó cada respuesta para establecer categorías de
análisis. En total surgieron 151 códigos.
Otros
Se midió con la entrevista la:
1. Interacciones alumno en las redes sociales fuera de las
plataformas MOOC,
2. Tomar notas
3. Factores contextuales contenidos
DATOS DE LAS EXPERIENCIAS
Ámbito
Población
41participantes.
Todos aquellos
que
hayan
participado
mínimo
tres
semanas en un
curso MOOC y
224
Anexo 1
Muestra
Método y
procedimiento
País
Resultados
hayan
completado la
encuentra
demográfica
Muestra de 13 participantes
Observaciones Por
la
repetición en
las respuestas
solo
se
aplicaron
13 entrevistas
Dos investigadores entrevistaron a los participantes usando un
protocolo de entrevista semiestructurada que se centró en pedir a los
alumnos a relatar y describir momentos particulares en sus
experiencias MOOC. El protocolo permitió a los entrevistadores
realizar comentarios y reflexiones, garantizando el cumplimiento
cabal del guion.
Las entrevistas duraron entre 25 y 50 minutos, se registraron y
transcribieron.
Año
2015
Todos los estudiantes que participan en esta investigación fueron
motivados para describir sus experiencias MOOC del día a día. En
la descripción de sus actividades de aprendizaje y la participación,
los alumnos describen (a) actividades que son digitales, pero se
producen en plataformas que no sean aquellas en los que se
imparten MOOCs (por ejemplo, grupos de apoyo en sitios de redes
sociales), (b) las actividades que no son digitales (por ejemplo,
tomar notas en el papel), (c) las actividades que son sociales (por
ejemplo, discutiendo experiencias MOOC con otros), y (d) las
actividades que son individuales (por ejemplo, la localización de un
espacio de estudio en casa).
1. Interacción en redes sociales: Un número de estudiantes aludió
a las interacciones que tuvieron con las personas que forman
parte de sus redes sociales. Estas relaciones se han realizado,
antes, durante y después del curso MOOC, intercambiando
conocimientos, experiencias de aprendizaje.
2. Tomar notas: A pesar del hecho de que ninguna de las
plataformas populares MOOC apoyar la toma de notas
integrado en el momento de escribir, casi todos los
entrevistados reportaron tomar notas mientras veían los videos
de conferencias. Sin embargo, las herramientas utilizadas para
tomar notas y el posterior uso de notas variaron sustancialmente
por alumno.
3. Uso de contenidos: son muchos los factores que intervienen en
cómo se consumen los contenidos MOOC, los videos se pueden
analizar por el tiempo de cada participante al interactuar con el
mismo, esta depende principalmente de los personales, del
225
Machine Learning y predicciones para la mejora del rendimiento en MOOC
tiempo principalmente, aunque se pudo demostrar que la
estructura del curso también puede ser determinante.
Conclusiones
Se obtuvo como resultado, que son tres las actividades y
experiencias que recibieron poca atención en la literatura previa
MOOC: interacciones en redes sociales fuera de la plataforma
MOOC, tomar notas, y el contenido que consumen.
Es un tema poco tratado por lo que se concluye la necesidad de
realizar más estudios en el área, esto permitirá mejorar los procesos
de enseñanza-aprendizaje de los cursos MOOCC y por lo tanto la
experiencia que se tiene en la interacción con ellos.´
Otros
La edad de los participantes oscila entre 25 y 67 años, 9 hombres y
4 mujeres, de diferentes partes del mundo. Sólo uno no había
culminado el título universitario. Han participado de Cursos
MOOCC en todas las plataformas: incluyendo Coursera, EDX
FutureLearn, Universidad P2P, NovoEd, y la pizarra CourseSites.
Todos habían completado al menos un curso MOOC aunque en su
mayoría ya habían hecho varios.
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
Coursera, EDX FutureLearn, Universidad P2P, NovoEd, y la pizarra
CourseSites
226
Anexo 1
Tabla 8. Artículo 8. 2015
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Bartolomé-Pina, AntonioÁrea de
Ramón and Steffens, Karl
estudio
Nombre del artículo
¿Son los MOOCs una Año, Idioma
2015
alternativa de aprendizaje?
original y
país
Revista
Promising
Learning
Objetivos
Establecer entre
Environments? Comunica,
los MOOCs y las
vol. 22, n. 44, pp. 91-99
teorías
del
aprendizaje.
Tipo de estudio
Bibliográfico y descriptivo
Hipótesis
No se evidencia
Otros
Revisión bibliográfica y discusión sobre ella.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Relación teoría práctica de los MOOC
HERRAMIENTAS UTILIZADAS
Entrevistas
No aplica
Encuesta
No aplica
Instrumentos de
Matriz de relación entre teoría y características de MOOC
medición
Otros
Focus groups, dos fases. 1- Revisar las teorías del aprendizaje
haciendo hincapié en la autorregulación. 2- Revisión de los
conceptos y características de cMOOC y xMOOC
DATOS DE LAS EXPERIENCIAS
Ámbito
Educación universitaria
Población
No especifica
Muestra
No especifica
Método y
procedimiento
Se establecieron grupos de discusión sobre las características y
conceptualización de los MOOCs y su relación con la
autorregulación y las diferentes teorías del aprendizaje. Las
discusiones se realizaron en diferentes grupos y en dos etapas,
las cual la segunda depende de la primera.
España
Año
2015
Los MOOCs soportan el aprendizaje mejor que cualquier otra
herramienta tradicional, utilizando la auto regulación en un
proceso de: explorar, comprender, practicar y transferir
Uno de los aspectos a discutir sobre los MOOC, es que estos
son abiertos y gratuitos, sin embargo, los certificados y
evaluaciones no, ya que el alumno paga para recibir la
certificación una vez culmina el curso. Por lo que, los
resultados obtenidos en diferentes investigaciones, dan por
sentado que los que mejor interactúan con los MOOCs son
aquellos que de alguna manera ya tienen algún tipo de práctica
con los cursos en línea.
País
Resultados
Conclusiones
Observaciones
Otros
227
Machine Learning y predicciones para la mejora del rendimiento en MOOC
EDx
Otros
SPOC
PLATAFORMA UTILIZADA
Open EDX
Youtube
228
Anexo 1
Tabla 9. Artículo 9. 2015
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Wang, Y., & Baker, R.
Área de
estudio
Nombre del artículo Content or platform:
Año, Idioma
Why do students
original y
complete
país
MOOCs.
Revista
MERLOT Journal of
Online Learning and
Teaching, 11(1), 17-30.
Educación
2015
Objetivos
Evaluar
la
motivación de los
alumnos por los
estudios a través de
los MOOCs y la
relación de esto por
la culminación o no
del curso.
Tipo de estudio
Hipótesis
Establecer relaciones
entre la motivación y
la culminación de
cursos MOOC.
Otros
El estudio se realizó en un MOOC, Big Data en la
educación , emitido a través de Coursera.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros)
Motivación de los alumnos al utilizar los MOOCs y como esto influye en la culminación
del curso
HERRAMIENTAS UTILIZADAS
Entrevistas
No aplica
Encuesta
Se
aplica
al
principio y final del
curso
Instrumentos
de Se utiliza el programa Spss para establecer correlaciones
medición
Para obtener los datos se utilizaron 3 instrumentos:
1. MOOC- artículos específicos de motivación;
2. dos PALS (patrones Adaptativo Encuesta de
aprendizaje) subescalas, Academic de eficacia y
Dominio de Goal orientación
3. y un elemento de confianza en torno a la finalización
del curso.
Otros
Se analizó cada instrumento por separado
DATOS DE LAS EXPERIENCIAS
Ámbito
Educación universitaria Población
El MOOC tuvo
una inscripción
de
aproximadamente
48.000
229
Machine Learning y predicciones para la mejora del rendimiento en MOOC
estudiantes en el
momento
de
finalización.
Muestra
Método
procedimiento
País
Resultados
Conclusiones
El pre-curso de estudio Observaciones
recibió
2.792
respuestas
El no responder la
encuesta no implica
que sea el número
real de deserción,
ya que esta no era
obligatoria.
y El curso MOOC constó de videoconferencias, foros de
discusión, y un conjunto de 8 tareas semanales con
evaluaciones flexibles.
En relación al procedimiento realizado para pasar la encuesta
se les envió por correo electrónico al inicio y culminación del
curso a todos, sin embargo, el estudio se realizó solo con
aquellos que dieron respuesta a la misma en el inicio y
finalización del curso.
Canadá
Año
2015
1. Los estudiantes que estaban motivados por las
oportunidades de cursos y / o MOOCs tenían menos
probabilidades de completar este MOOC.
2. Al mirar los artículos individuales, sólo Estoy seguro de
que puedo dominar las habilidades que se enseñan en la
clase de este año. Tenía una diferencia estadísticamente
significativa entre los grupos. Los alumnos que lo
completaron dieron calificaciones más altas por este
concepto que los que no completaron el MOOC.
3. La tercera sección de las preguntas consistía en una sola
pregunta pidiendo a los encuestados evaluar si es probable
completar el curso de acuerdo con el ritmo marcado por el
instructor. Vale la pena señalar que todos los estudiantes
tenían acceso al programa de los cursos. Por lo tanto, la
suposición era que todos los estudiantes registrados tenían
acceso a la información y requisitos antes de iniciar el
curso. Para esta pregunta, los resultados mostraron que los
estudiantes al tomar la encuesta previa al curso que
completaron el curso de auto-clasificado más alto (M =
7,27, SD = 2,10) que aquellos que no completaron el curso
(M = 6,41, SD = 2.26) , t (1.354) = 4.15, q <0,001
Aunque los participantes MOOC representan una población
diversa de estudiantes con una amplia gama de motivaciones,
puede haber importantes características comunes entre los
subgrupos de estudiantes MOOC. La baja tasa de retención
observada a través de diferentes plataformas MOOC es un
fenómeno importante.
1. Se observa que los estudiantes que están motivados sobre
todo por los nuevos y únicos aspectos de MOOCs como
230
Anexo 1
una nueva plataforma de aprendizaje tienen menos
probabilidades de completar el curso de acuerdo con el
conjunto de ritmo por el instructor.
2. En segundo lugar, los resultados de los elementos PALS
sobre la orientación dominio-objetivo y los niveles de
eficacia académica podrían no servir como predictores
útiles de si un alumno completa con éxito el curso o no.
3. Los estudiantes que pensaban que completarían el curso
eran más propensos a hacerlo, en comparación con los
estudiantes que no pensaban que completarían la clase.
Otros
EDx
Otros
SPOC
Coursera
PLATAFORMA UTILIZADA
Open EDX
Youtube
231
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 10. Artículo 10. 2015
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
RENE F. KIZILCEC y
Área de
Educación
EMILY SCHNEIDER
estudio
Nombre del artículo Motivation as a Lens to Año, Idioma
2015
Understand
original y
país
Revista
Online
Learners:
Objetivos
Elaborar un nuevo
Toward
Data-Driven
instrumento
para
Design with the OLEI
medir
las
Scale
motivaciones
del
alumno
en
los
ambientes MOOC
Tipo de estudio
Hipótesis
RQ1. ¿Qué motiva a
los estudiantes en
MOOCs?
PI2.
¿Cómo
pronunciadas son las
diferencias
individuales en las
motivaciones entre
demografía o dentro
de las materias?
PI3.
¿Qué
motivaciones
son
predictivos
de
comportamientos en
MOOCs, y cómo de
predictivos son?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Motivación de los estudiantes
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Opcional de 3
Instrumentos de
Para la RQ1 se compararon los porcentajes de alumnos en cada
medición
curso.
Para la encuesta se utilizaron 13 intenciones de inscripción en la escala
Otros
OLEI,
Ámbito
Muestra
DATOS DE LAS EXPERIENCIAS
Universitario
Población
Dieron respuesta a la Observaciones
encuesta
71.475
alumnos
232
Estudiantes de la
Universidad de
Stanford.
Estos estudiantes
pertenecían a 14
MOOCs en total
Anexo 1
Método y
procedimiento
País
Resultados
Conclusiones
Se les envió la encuesta a través del link por la dirección de
correo electrónico con la que se inscribieron en el curso.
Estados Unidos
Año
2013-2014
1. La motivación por parte de los estudiantes hace referencia a
la obtención de un certificado, conocer otras personas, la
importancia para su profesión, actividad laboral o estudios,
también por la relevancia del instructor o instituto que lo
presta, adicionalmente la publicidad del curso es
determinante a la hora de decidir tomar un curso o no, y por
último se encuentra la curiosidad por participar en un curso
online.
2. Se muestra una diferencia del 5% de inscripción de más
hombres que mujeres. La edad no se evidenció como parte
determinante del estudio, ya que no se presentaron
diferencias significativas en la inscripción de los 14 cursos,
si se evidencia el deseo de participar en diferentes cursos con
el grado de escolaridad, por lo que se corresponde la temática
con el interés y motivación.
3. Dentro de las conductas predictivas se encuentra la social, en
la cual se puede predecir que se toma el mismo curso MOOC
con los compañero o amigos, para poder interactuar con ellos,
al igual que ocurre con las intenciones de inscripción, es
decir: la intención de inscripción puede ser predictiva de la
motivación.
Se evidencia que tan sólo un porcentaje de los inscritos toman el
curso para la acreditación, un porcentaje significativo lo toma por
razones sociales, estos y otros criterios discrepan de los objetivos
principales de los cursos que es en definitiva la adquisición de
conocimientos de forma individual. Por lo que es indispensable
dar a conocer la fortaleza de estos cursos apoyando la autonomía
que generan los aprendizajes que se pueden lograr.
Si bien se utilizó la escala de OLEI para obtener los resultados,
es importante que se hagan estudios que permitan la inclusión de
la motivación en la escala, para así generar más investigaciones
en el área.
Otros
EDx
no SPOC
Otros
Coursera.
PLATAFORMA UTILIZADA
no Open
Si
Youtube
EDX
aplica
233
no
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 11. Artículo 1. 2016
Autor/es
Nombre del
artículo
Revista
Tipo
estudio
Otros
de
INFORMACIÓN GENERAL DEL ARTÍCULO
Conole, G. (2016).
Área de estudio Mooc Universitarios
MOOCs as disruptive
Año, Idioma
2016, inglés.
technologies: strategies
original y país
Inglaterra
for enhancing the
learner experience and
quality of MOOCs.
RED: Revista de
Objetivos
Proponer nuevos tipos
Educacion a Distancia,
de MOOC que sean
(50), 1-18.
pedagógicos y que por
lo tanto, contribuya a
la eficacia y calidad de
educativa.
Bibliográfico
Hipótesis
No se evidencia
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos de
No se evidencia
medición
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universitario
No.
De Bibliográfico, no
participantes
se indican cuantos
País
Reino Unido
Año
2016
Resultados
Las dimensiones necesarias para la mejora pedagógica de los
MOOCs son:
Que se haga uso de multimedia
Tenga cierto grado de comunicación y de colaboración
Tenga un itinerario de aprendizaje
Calidad, autonomía y diversidad.
Conclusiones
Los MOOCs son una iniciativa tecnológica que permite la
inclusión y masificación educativa, pero al mismo tiempo su
diseño poco estructurado, incita al fracaso y la deserción.
Otros
No se evidencia
Análisis cualitativo
Criterios
Tipos de MOOC, y elementos pedagógicos para la efectividad
establecidos
de MOOC y reducir la deserción.
234
Anexo 1
Criterios no
considerados
Cómo se hace el
tratamiento de
datos
Tratamiento de
datos
No se especifica
Análisis bibliográfico
Análisis bibliográfico
235
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 12. Artículo 2. 2016
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Hew, K. F.
Área de
estudio
Nombre
del Promoting
Año,
2016
artículo
engagement in online
Idioma
courses:
What original y
strategies can we
país
learn from three
highly
rated
MOOCS.
Revista
British Journal of
Objetivos Reconocer los factores que
Educational
existen detrás de la
Technology, 47(2),
popularidad de los MOOCs
320-341
Tipo de estudio
Estudio de casos.
Hipótesis ¿Qué factores podrían
cualitativo
influir en la participación
del estudiante en los cursos
3 MOOCs
en línea tradicionales?
¿También se aplican a los
cursos en línea de gran
tamaño y abiertos?
¿Qué factores consideran
los estudiantes importantes
en términos de su capacidad
percibida para promover
una
experiencia
satisfactoria o participar
aprendizaje en línea?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Factores que permiten el éxito en los cursos MOOCS
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
Si, online
Se
proporcionaron
las
siguientes
preguntas
de
guía para ayudar a los
Instrumentos
participantes
a
dar
sus
comentarios:
(1)
¿Cuál
fue
su
experiencia previa con
de medición
el tema? (2) ¿Cómo se compara este curso con otros? y (3) ¿qué le gustó /
no le gustó del curso?
Otros
Ámbito
Muestra
DATOS DE LAS EXPERIENCIAS
Universitario.
Población
Participantes
MOOCs.
965 participantes.
Observaciones
236
de
3
Anexo 1
Análisis de los cometarios
Método
y Se procedió a analizar los Tratamiento
resultados
de
una
encuesta
procedimiento
de
los de los participantes a través
enviada a través de resultados
de coursetalk y del
País
Resultados
Conclusiones
coursetalk.
rendimiento académico.
Hong Kong
Observaciones y análisis
reflexivo
2014
Año
De estos 965 participantes, 908 indicaron que completaron al menos uno de
los MOOC.
Organizando los elementos por orden de importancia:
(1) el aprendizaje centrado en el problema con exposiciones
claras.
(2) la accesibilidad y dedicación del instructor.
(3) el aprendizaje activo.
(4) la interacción entre compañeros.
(5) el uso de los recursos.
Este estudio destaca la importancia del papel que los instructores, los
recursos del curso y las prácticas pedagógicas que se centran en un
juego.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Coursera, edX, Udacity, Udemy y Canvas Network
237
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 13. Artículo 3. 2016
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Hone, K. S., & El
Área de
Universitario
Said, G. R.
estudio
Nombre
del Exploring the factors
Año,
2016, El Cairo Egipto,
artículo
affecting
MOOC
Idioma
Inglés
retention: A survey original y
study.
país
Revista
Computers
& Objetivos Explorar los factores que
Education, 98, 157afectan a la finalización
168
del
alumno
en
el
aprendizaje MOOC.
Tipo de estudio
Comparar encuestas
Hipótesis Explorar si las variables
a los que
experimentales (es decir,
concluyeron y no
las experiencias
concluyeron el
reportadas por los
MOOC
alumnos) fueron
predictivas en la medida
que los alumnos estén
comprometidos con el
curso, con el fin de
potencialmente
conseguir diseños de
MOOCs más eficaces.
Tres amplias categorías de
experiencia: experiencias
con el instructor del curso;
experiencias con otros
estudiantes en el curso; y
las experiencias con las
características de diseño
del curso.
Otros
Se centraron principalmente en la percepción del usuario de las
características de los MOOC, en lugar de las características
individuales del alumno, ya que su preocupación principal es el
diseño y suministro de MOOCs más eficaces para la amplia
gama de estudiantes que pueden acceder a ellos, incluidos los de
los países menos desarrollados como los que han formado la
muestra para este estudio.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Factores que influyen en la culminación o no de curso MOOC.
HERRAMIENTAS UTILIZADAS
Entrevistas
No aplica
Encuesta
Cuestionario tipo Likert
238
Anexo 1
Instrumentos
de medición
Se utilizó una escala de 5 criterios y las preguntas se centraron en los
3 aspectos principales del estudio. Se recogieron datos
demográficos de la edad, el género, la educación y la experiencia.
Al final del cuestionario había espacio para que los participantes
proporcionaran una respuesta de texto abierto en cuanto a por qué
lo hicieron o no completaron el curso.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universitario.
Población
Estudiantes de dos
Universidades del Cairo:
256 en un curso de
Sistemas
de
Información
de
Gestión (SIG) y 245 en
un curso de Habilidades
de software.
En
total
486
participantes.
Muestra
379 contestaron ambas Observaciones Estudiantes de bajos
encuestas.
recursos
con
el
instrumento en inglés.
Método
y Se pasó un primer Tratamiento
Proyección de datos y
procedimiento instrumento
al de
los el análisis factorial se
comenzar el curso y un resultados
llevó a cabo en SPSS.
instrumento al finalizar
PLS
(mínimos
el curso después de 6
cuadrados parciales) se
semanas.
utilizó para realizar el
análisis del modelo
estructural. PLS fue
elegido debido a la
naturaleza exploratoria
de este estudio.
País
Egipto
Año
2016
Resultados
Los estudiantes mostraron que el contenido del MOOC tiene un
efecto significativo en la retención. Este efecto está relacionado
con la eficacia percibida de la calidad del contenido del curso que
a su vez afecta a la retención. La interacción con el instructor
también ha demostrado tener un efecto directo en la retención, de
manera que la retención es mayor cuando la interacción con el
instructor es mayor. En general, estas construcciones explican el
79% de la varianza en la retención MOOC.
Es interesante observar que la tasa de finalización observada en
este estudio fue mayor que las encontradas en estudios anteriores,
con alrededor de un tercio de los participantes que completaron su
curso hasta el punto de su certificación. Esto sugiere que el uso de
un MOOC como una oportunidad de aprendizaje en el contexto de
239
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Conclusiones
Otros
EDx
Otros
un programa acreditado más amplio es beneficioso en términos de
aumento de la probabilidad de finalización. Sin embargo, la
mayoría de los estudiantes todavía no completó su curso, incluso
en este contexto, lo que sugiere que todavía existe un problema de
finalización entre un público motivado.
Los contenidos de los MOOCs demuestran eficacia e
interacción con el instructor, teniendo un efecto significativo en
la retención del alumno. Mientras que el contenido MOOC
tiene un efecto importante sobre la eficacia percibida y,
posteriormente, en la retención, la interacción con el instructor
también es importante para la retención. Esto puede representar
un factor limitante para la viabilidad de MOOCs muy a gran
escala y sugiere que los proveedores de MOOCs tienen que
pensar cuidadosamente sobre cómo proporcionar elementos
interactivos adecuados a sus cursos, así como un excelente
contenido.
Las hipótesis fueron reformuladas como sigue:
H1. El contenido del curso (CC) tendrá un efecto significativo
en la eficacia percibida.
H2. El contenido del curso (CC) tendrá un efecto significativo
en la retención del alumno dentro de un MOOC.
H3. La interacción instructor (Int) tendrá un efecto significativo
en la eficacia percibida de un MOOC.
H4. La interacción instructor (Int) tendrá un efecto significativo
en la retención del alumno.
H5. La eficacia percibida (PE) de un MOOC tendrá un efecto
significativo en la retención del alumno
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
No se evidencia
240
Anexo 1
Tabla 14. Artículo 4. 2016
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Nombre del
artículo
Revista
Tipo de estudio
Otros
Borras-Gene, O.,
Martinez-Nunez, M.,
& Fidalgo-Blanco, Á.
New challenges for
the motivation and
learning
in
engineering
education
using
gamification
in
MOOC.
International Journal
of Engineering
Education, 32(1),
501-512.
Área de
Universitario
estudio
Año,
2016. España, Inglés
Idioma
original y
país
Objetivos
Presentar
un
modelo
cooperativo
de
gamificación
MOOC
Model (gcMOOC) que se
puede aplicar en el diseño
de MOOC
Cuantitativo y
Hipótesis La hipótesis de este trabajo
cualitativo
es: que la incorporación de
metodologías y estrategias
de gamificación en MOOCs
puedan
potenciar
la
motivación
de
los
participantes a través del
uso de mecanismos de
juego; y puede influir en la
participación,
el
compromiso y la lealtad de
los alumnos.
En los métodos, el estudio investiga los factores que influyen en la
motivación, la colaboración y el aprendizaje en MOOCs.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad, Abandono, Otros)
Se presenta un modelo de MOOC cooperativo y de gamificación. También se muestra
la aplicación de este modelo en un curso particular y la metodología seguida para la
obtención de resultados.
HERRAMIENTAS UTILIZADAS
Entrevistas
Entrevistas
semiestructuradas
Encuesta
241
25 preguntas abiertas
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Instrumentos
de medición
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universitario
Población
Muestra
60 entrevistados
Observaciones
Método
y Se diseña el modelo de Tratamiento
acuerdo a la literatura
procedimiento
de
los
existente aplicando la
gamificación en los resultados
MOOC.
Se aplica a partir de la
mitad del curso.
Año
Segunda edición del
curso ''Aplicación de las
redes sociales a la
educación:
las
comunidades virtuales ''
239
ingenieros
participantes del curso
Se utilizaron los datos
cualitativos (entrevistas)
y de las encuestas, y se
integraron
con
los
hallazgos cuantitativos
en la sección de
resultados.
Los datos cualitativos
apoyan las conclusiones
de
los
resultados
cuantitativos,
proporcionando
razonamientos
detallados y los detalles
detrás de los números.
2016
País
España
Resultados
El elevado número de profesores de ingeniería que han participado en
este curso pone de relieve que las metodologías de gamificación en
cursos MOOC, como el que se sugiere en este documento, son
apropiados para la enseñanza de la ingeniería. De acuerdo con los
resultados obtenidos en este trabajo, las propuestas del curso (el
concurso de Instagram) se pueden aplicar a los cursos de ingeniería
formales.
Por lo tanto, la Universidad Politécnica de Madrid, como institución
de referencia de la enseñanza de la ingeniería en España, se enfrenta
a este tipo de cursos.
Conceptos tales como la motivación, la colaboración y el aprendizaje
tienen especial relevancia para este estudio, especialmente la
percepción de los participantes y su relación con la tasa de éxito del
MOOC. El modelo incluye la gamificación MOOC, propuesta que
242
Anexo 1
Conclusiones
Otros
EDx
Otros
implica la motivación del estudiante y satisface las necesidades de las
relaciones, la autonomía y la competencia.
En cuanto a la tasa de terminación, el modelo gcMOOC obtiene un
porcentaje del 39,9% de los estudiantes que completaron el curso,
muy por encima de la tasa media finalización para este tipo de curso,
que es de alrededor de 7%.
Un aumento de la motivación y el compromiso se han logrado con el
trabajo colaborativo utilizando un nuevo tipo de recurso llamado
''recursos de colaboración''.
Usar la gamificación en los MOOCs en la educación de ingeniería
supone un nuevo reto para mejorar la motivación y el aprendizaje,
pero todavía no se ha generalizado en todos los tipos de MOOCs.
La incorporación de las comunidades virtuales a través de las redes
sociales y las aplicaciones externas de gamificación son un nuevo
aporte para aumentar la motivación en el aprendizaje de los ingenieros
a través de los MOOCs. Los resultados del estudio indican que la
mayoría de los estudiantes ven positivo el uso de la gamificación y de
los medios sociales en la educación y en especial en MOOCs. Estos
resultados son compatibles con los resultados cualitativos de las
entrevistas semiestructuradas. Los resultados de este estudio sugieren
que cualquier análisis adicional de nuevos enfoques y entornos de
aprendizaje en el contexto de la ingeniería supondrá una mejor
comprensión de la relación entre MOOC y gamificaciones.
Estos estudiantes consideran de ayuda las herramientas de
gamificación para profundizar su aprendizaje e incrementar su
motivación. El modelo incorpora y mejora elementos de
Gamificación en los MOOCs .
Los participantes de la fase cuantitativa fueron invitados para
participar en la segunda fase del estudio. A pesar de que el
investigador tenía limitadas opciones en la selección de los
participantes de acuerdo con cuatro recomendaciones para un enfoque
secuencial, las preguntas de la entrevista estructurada se han
desarrollado sobre la base del análisis de datos inicial de los datos
cuantitativos para asegurar que los datos cualitativos de seguimiento
proporcionan una mejor comprensión de resultados de la encuesta.
PLATAFORMA UTILIZADA
SPOC
Open EDX
Plataforma MiriadaX.
243
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 15. Artículo 5. 2016
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Crossley,
S.,
Área de
Universitario
Paquette, L., Dascalu,
estudio
M., McNamara, D. S.,
& Baker, R. S.
Nombre
del Combining
clickAño,
2016, Ingles, California
artículo
stream data with NLP
Idioma
Estados Unidos
tools
to
better original y
understand MOOC
país
completion.
Revista
In Proceedings of the Objetivos El objetivo de este trabajo
sixth international
es crear un modelo
conference on
automatizado de éxito
learning analytics &
MOOC basado en ambos
knowledge (pp. 6índices de click-stream y
14). ACM
PNL.
Es decir; en examinar la
eficacia
del
enfoque
combinado en la predicción
de la probabilidad del
rendimiento del curso.
El objetivo a largo plazo de
esta investigación es dar a
conocer las intervenciones
que
proporcionan
la
retroalimentación
personalizada en términos
del uso del lenguaje y de la
interacción del MOOC para
los estudiantes o profesores
con el fin de aumentar la
tasa de finalización, y
aumentar la comprensión
científica de los factores
asociados
con
la
terminación de MOOC.
Tipo de estudio
Hipótesis El
desarrollo
de
la
comprensión completa y la
predicción de resultados de
los estudiantes requiere de
múltiples fuentes de datos y
una variedad de enfoques;
porque el aprendizaje no es
simple, sino más bien un
proceso complejo con
244
Anexo 1
múltiples capas y plazos.
Depende de una sola fuente
de datos, ya sea datos de
información de idioma o de
click-stream,
Otros
Se centra en la tasa de finalización de los estudiantes, ya que es un
componente importante del éxito de los estudiantes, no sólo en sí
mismo, sino porque predice la participación en una comunidad
científica. Las herramientas de PNL que se utilizan, en conjunto
con los datos tradicionales de selección de programas, abren un
amplio abanico de oportunidades para un mejor éxito de la
comprensión en los estudiantes.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
La predicción de la culminación de los participantes, a través de su partición en el foro
y sus clics en videos y streams.
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos Estos incluyen la Herramienta de Evaluación de Escritura (WAT),
de medición
la herramienta para el análisis automático de léxico sofisticación
(TAALES), la herramienta para el análisis automático de la
cohesión (TAACO), ReaderBench (RB), y el análisis de los
sentimientos y la cognición motor (SEANCE).
Otros
Los datos más comunes para este tipo de análisis son los datos de
click-stream, es decir, las interacciones de los estudiantes dentro
del software MOOC. Tales datos proporcionan a los
investigadores la evidencia de la participación en el curso y las
actividades asociadas con los objetivos de cada curso.
Otros enfoques utilizados en estudios recientes para evaluar el
éxito del estudiante incluyen el uso de herramientas de análisis de
los sentimientos para medir los estados afectivos de los
estudiantes, las características lingüísticas que miden la
sofisticación y organización de la escritura del estudiante dentro
de un MOOC.
Nos centramos en la tasa de finalización de los estudiantes, ya que
es un componente importante del éxito de los estudiantes, no sólo
en sí mismo, sino porque predice la participación en una
comunidad científica.
Ámbito
Muestra
DATOS DE LAS EXPERIENCIAS
Colegio de Profesores Población
426 estudiantes
Universidad
de
Columbia
320
personas
que Observaciones El curso tuvo una
realizaron al menos una
matrícula total de más
de
48.000
245
Machine Learning y predicciones para la mejora del rendimiento en MOOC
intervención
palabras
de
50
participantes, pero un
número mucho menor
participó activamente;
13.314
estudiantes
vieron al menos un
vídeo;
1.242
estudiantes
vieron
todos los videos; 1.380
estudiantes
completaron al menos
una asignación; y 710
hizo un post en los
foros de discusión. De
los que tienen puestos,
426 completaron al
menos una asignación
de clase
Método
y El MANOVA fue seguido por análisis de función discriminante
procedimiento por pasos (DFA), utilizando los índices de PNL seleccionados que
demostraron diferencias significativas entre los estudiantes que
completaron el curso y los que no lo hicieron, y no exhibió
multicolinealidad (r> 0,90) con otros índices en el conjunto.
En el caso de multicolinealidad, el índice que demuestra el mayor
tamaño del efecto se mantuvo en el análisis. La DFA se utilizó
para desarrollar un algoritmo para predecir la pertenencia al grupo
a través de un coeficiente función discriminante. Un modelo de
DFA fue desarrollado por primera vez para todo el corpus de
publicaciones. A continuación, se utilizó este modelo para
predecir la pertenencia al grupo de los mensajes utilizando dejar
uno fuera transversal de validación (LOOCV) con el fin de
asegurar que el modelo era estable en el conjunto de datos.
Tratamiento
Las medidas típicas calculadas a partir de los datos de secuencias
de
los de clics y usados en los MOOCs incluyen variables relacionadas
resultados
con la sincronización de acciones, cargos de los diferentes tipos
de posibles acciones, interacciones en el foro y las asignaciones.
Las marcas de tiempo en la selección de programas se han
utilizado para calcular la diferencia de tiempo entre el envío de las
tareas y los plazos de asignación para identificar a los estudiantes
que van a la zaga. Las interacciones de los estudiantes con los
foros del curso se pueden utilizar para determinar el número de
veces que cada estudiante leyó diferentes hilos del foro o publicó
en los foros.
El análisis de los clicks también se ha utilizado para examinar
cómo los estudiantes interactúan con las tareas del curso mediante
el cálculo del número de problemas distintos a los estudiantes y el
246
Anexo 1
número medio de presentaciones por problemas. Los datos acerca
de la interacción con videoconferencias se pueden utilizar para
calcular el porcentaje de conferencias disponibles que el
estudiante ha visto.
País
Resultados
Conclusiones
Otros
EDx
Otros
Estados Unidos
Año
1993
De estos 320 estudiantes, 132 no completado satisfactoriamente el
curso, mientras que los restantes 188 estudiantes completaron el
curso.
Los predictores más fuertes fueron las variables de secuencias de
clics seguidos de las variables de PNL. Una serie de variables de
selección de programas relacionadas: con los vídeos vistos, el
tiempo antes de entregar las tareas, las páginas y conferencias
vistas, mostró el gran impacto de éstas. Los índices de PNL
midieron una variedad de construcciones del lenguaje que incluye
el dominio de escritura, la fluidez, la cohesión local y global, el
sentimiento, el uso de los números, la sofisticación léxica,
entidades con nombre, y la colaboración social.
Los resultados indican que una combinación de datos de flujo y
los índices de click-PNL puede predecir con exactitud sustancial
(78%) si los estudiantes completan el MOOC. Esta capacidad de
predicción sugiere que los datos de interacción del estudiante y
datos de la lengua dentro de un MOOC pueden ayudarnos a
comprender tanto la retención de estudiantes en MOOCs como a
desarrollar señales automatizadas de éxito de los estudiantes.
Los resultados indican que las variables basadas en datos de
secuencias de clics fueron los predictores más relevantes de
finalización MOOC pero que las variables de la PNL también
fueron predictivas.
En cuanto a las características del lenguaje, los índices
relacionados con el número de entidades en un mensaje del foro,
la longitud de los posts (número medio de oraciones), la calidad
general del post escrito, sofisticación léxica, la cohesión entre los
posts, y la certeza de la palabra también fueron fuertes predictores
de la finalización MOOC.
Tales hallazgos tienen importantes implicaciones sobre cómo las
interacciones de los estudiantes y las diferencias individuales (las
habilidades lingüísticas) se pueden utilizar para predecir el éxito.
Los resultados indican que los que completaron el curso
interactuaban más dentro del sistema de la media (no
acumulativo) y eran más activos en los foros.
El MOOC de interés para este estudio es el Big Data en Educación
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
Plataforma Coursera
247
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 16. Artículo 6. 2016
INFORMACIÓN GENERAL DEL ARTÍCULO
tutor/es
Aguaded Gómez, I.,
Área de estudio
Educativa
Vázquez-Cano, E., &
López-Meneses, E.
Nombre del El impacto bibliométrico
Año, Idioma
2016, España,
artículo
del movimiento MOOC original y país
Castellano
en
la
Comunidad
Científica Española. .
Revista
- Educación XXI: revista de la Facultad de Educación, 19(2), 77-104
Objetivos
- Realizar un estudio bibliométrico de la repercusión científica en
forma de articulo o libro de investigación en revistas y editoriales
españolas durante el periodo comprendido entre enero de 2010 y
junio de 2014.
- Proporcionar un estado completo de la cuestión actual y de la
producción científica española sobre MOOC que sirva de referencia
para futuros estudios e investigaciones.
Tipo
de Bibliográfico. Metodología descriptiva y cuantitativa
estudio
Hipótesis
Tomando como referencia indicadores bibliométricos de producción,
en número de citas e indicadores de visibilidad y de impacto en
diferentes bases de datos se tienen las siguientes variables:
- número total de artículos publicados y su evolución por área de
conocimiento
- revistas, editoriales e instituciones con mayor índice de
publicación e impacto en bases de datos,
- autores, numero de citas recibidas, principales revistas citantes,
promedio de citas por año
- enfoque metodológico de los artículos.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Producción de bibliografía sobre los MOOCs
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos
de Tomando como referencia indicadores bibliométricos de
medición
producción, en número de citas e indicadores de visibilidad y de
impacto en diferentes bases de datos: Wos/Social Science
Citation Index, Scopus, In-Recs, Google Scholar y la
categorización de revistas científicas españolas (ANEP/
FECYT).
Las bases de datos utilizadas para determinar la indexación de
las editoriales de libros han sido: Catalogo del ISBN, Google
Books, Google Scholar y SPI (Scholarly Publishers Indicators).
248
Anexo 1
Otros
Ámbito
País
Resultados
Conclusiones
Otros
Criterios
establecidos
Revisión y análisis de documentos bibliográficos científicos.
Revistas, libros, estudios, periódicos
DATOS DE LAS EXPERIENCIAS
Ciencias sociales
No.
De No se especifica
participantes
España
Año
2013-2014
La evolución del movimiento en España por área de
conocimiento se ha centrado principalmente en el área de
Ciencias de la Educación que acapara el 89,5% de los artículos
publicados y el 75% de los libros del total de publicaciones
sobre MOOC.
En el intervalo de estudio analizado, se han publicado un total
de 38 artículos y 4 libros. El impacto del movimiento en España
se ha producido con una mayor incidencia a partir del año 2013
(11 artículos y 2 libros) y más acusadamente en los seis primeros
meses del año 2014 (27 artículos y 2 libros).
Como se puede comprobar, los tres primeros años no arrojan
ningún resultado conforme a los criterios de impacto
considerados en el estudio.
Los resultados muestran que el impacto de la producción
científica española en formato libro y articulo en prestigiosas
bases de datos internacionales (Wos-SSCI/Scopus) es muy bajo,
aunque el impacto nacional según categorización
ANEP/FECYT e In-Recs es moderadamente alto.
Los resultados muestran que la repercusión de la temática
MOOC en la comunidad científica española ha sido moderada.
El área de conocimiento en que la temática MOOC ha tenido
una mayor incidencia ha sido ≪Ciencias de la Educación≫ con
un porcentaje del 88,10% sobre el total de la producción
científica en el campo de las Ciencias Sociales.
Es significativo que no se haya publicado en el ámbito español
ningún artículo en el inicio y gestación del movimiento MOOC
(2010-2012). A partir de 2013, empieza la publicación tanto en
artículos y libros y destaca que en la primera mitad del 2014 (27
artículos) se doble ya el número de artículos publicados en el
2013 (11 artículos). Cuatro revistas españolas acaparan el
54,75% de las publicaciones sobre MOOC
Uno de los aspectos más significativos y, que puede explicar en
buena medida la baja repercusión internacional, es que una gran
parte de los artículos publicados (47,6%) son artículos teóricos.
Análisis cualitativo
Los indicadores empleados en el presente estudio han sido:
• Titulo.
• Carácter: Libro o artículo.
249
Machine Learning y predicciones para la mejora del rendimiento en MOOC
•
rea de conocimientos de la revista: Educación,
Comunicación, Biblioteconomía y Documentación.
• Autor/res.
• ISBN / ISSN.
• Revista / Editorial.
• Año de publicación.
• Categoría ANEP.
• Cuartil In-Recs.
• Citas (Google Scholar).
• Citas (Wos/SSCI).
• Citas (Scopus).
• Indexación en otras bases de datos.
• Citas recibidas.
• Principales revistas citantes.
• Nombre de la institución.
• rea de conocimiento.
• Enfoque metodológico del artículo.
no No se evidencian
Criterios
considerados
Cómo se hace el El procedimiento de análisis de datos abarca el periodo de
tratamiento
de estudio desde el 1 enero de 2010 hasta el 30 de junio de 2014 y
datos
la extracción de datos para el estudio del impacto del
movimiento MOOC en la comunidad científica española se ha
realizado atendiendo a las siguientes fases:
1. Utilización de la base de datos DICE: Con esta base de datos,
se filtraron tres áreas temáticas para la extracción:
Comunicación. Ciencias de la educación y Biblioteconomía y
Documentación.
2. Selección de la categoría ANEP/FECYT.
3. Extracción de cada una de las revistas
4. Cada uno de los artículos localizados se ha clasificado
5. Las variables que se obtienen de manera directa de la revista
Tratamiento
de Análisis de los estudios bibliográficos.
datos
250
Anexo 1
Tabla 17. Artículo 7. 2016
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Bayeck, R
Área de
estudio
Nombre
del Exploratory study of Año, Idioma
(2016).
artículo
MOOC
learners original y país
demographics
and
motivation: The case
of students involved
in groups.
Revista
Open
Praxis, 8(3),
Objetivos
Reconocer
las
223-233
características
de
los
participantes en cursos
MOOC
Tipo de estudio
Bibliográfica y
Hipótesis
¿Cuáles
son
las
descriptiva
características
de
los
estudiantes que participan
en un trabajo de grupo en
línea MOOC (es decir,
sexo, nivel de educación y
situación laboral)? Y lo que
motiva a los participantes
en este estudio para tomar
el curso.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
El interés y la motivación por participar y culminar cursos MOOC, siendo de gran interés
el trabajo cooperativo como metodología didáctica.
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
Una encuesta previa con
diferentes
preguntas
relacionadas
con:
la
información demográfica y
preferencias del grupo (por
ejemplo, grupos basados en
el lenguaje, las intenciones
para
completar,
o
disponibilidad de tiempo).
Otro elemento de la
encuesta previa al curso era
clasificar
nueve
declaraciones sobre cómo
les gustaría agruparse con
otros en una escala de 1 a 9
251
Machine Learning y predicciones para la mejora del rendimiento en MOOC
para captar la importancia
de cada declaración
Instrumentos
de medición
Otros
En línea a través Qualtrics
DATOS DE LAS EXPERIENCIAS
La Universidad del Población
Con una matrícula total de
Estado de Pensilvania
150.317
Muestra
655 que respondieron Observaciones Fue un curso de 8 semanas,
la encuesta
La
creatividad,
la
innovación y el cambio
(CIC 2.0)
Método
y La siguiente revisión de la literatura se divide en dos áreas: (a) la
procedimiento demografía de los estudiantes MOOC en términos de género, la situación
laboral y el nivel de educación y (b) la motivación para inscribirse en
MOOCs.
Para reclutar participantes, un correo electrónico fue enviado a los
estudiantes en el MOOC CIC 2.0 invitando a los estudiantes a
voluntarios para un estudio de investigación en el que se colocan en
grupos para enriquecer su experiencia MOOC (Hristova y Bayeck,
2015). El permiso para la realización del estudio se obtuvo de la junta
de revisión interna de la institución en la que se llevaron a cabo el
estudio y análisis de los datos.
Los análisis de frecuencia se realizaron con SPSS para responder a las
Tratamiento
de
los preguntas de investigación
resultados
País
Estados Unidos
Año
Resultados
Participaron 86 países, no se encontró ninguna diferencia en la zona
geográfica con respecto a la relación con los MOOC. Las mujeres
superaron a los hombres.
El 60% de los participantes del MOOC trabajan y tienen un grado de
profesionalidad que les hace necesitar el certificado del curso.
Ámbito
La motivación de los participantes para tomar el curso se puede colocar en
estas 3 categorías principales:
Construir relaciones que incluyen las siguientes razones: amigos
y conectarse con otros;
Desarrollo personal que contiene la adquisición de capacidades,
por supuesto relacionados con el trabajo, créditos ganados, e
intereses personales;
Reputación, que abarca los profesores y la institución.
Conclusiones
Se concluye que las actividades cooperativas llaman la atención más a
mujeres que hombres. La sociabilidad y el intercambio en el trabajo ha
hecho que en esta experiencia sea mayor en el número de mujeres
inscritas en comparación al de los hombres y que han concluido. Un
factor de gran influencia en este trabajo ha sido la formación
252
Anexo 1
académica del participante y el reconocimiento público, ya sea del
profesor que lo dicta o de la Universidad.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Coursera.
253
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 18. Artículo 1. 2017
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Kizilcec, R. F.,
Área de
Pérez-Sanagustín,
estudio
M., & Maldonado, J.
J.
Nombre
del Self-regulated
Año,
2017
artículo
learning
strategies
Idioma
predict
learner original y
behavior and goal
país
attainment in Massive
Open
Online
Courses. .
Revista
Computers &
Objetivos Estudiar la predicción de la
education, 104, 18-33
autorregulación para el
logro de las metas trazadas
en el estudio de los MOOC
Tipo de estudio
Descriptivo
Hipótesis ¿Qué
estrategias
de
autorregulación son más
útiles para lograr las metas
del curso?
¿De qué manera las
estrategias
de
autorregulación
se
manifiestan
en
las
interacciones
con
el
contenido del curso?
¿Cómo las estrategias de
autorregulación
varían
según las características
individuales del alumno?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Los estudiantes que se autorregulan logran un mayor éxito en los cursos MOOC
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Inicial acerca de sus
estrategias
de
autorregulación
y
características
demográficas,
intenciones
y
motivaciones.
Instrumentos Encuesta con preguntas de datos demográficos, intenciones, experiencias
previas con cursos MOOC. Se incorporó las intenciones de la escala OLEI
de medición
y la encuesta de estrategias de autorregulación sobre 6 factores.
254
Anexo 1
Otros
Ámbito
Muestra
6 MOOC de diversos temas ingeniería, ciencias de la computación,
administración, transporte y educación
DATOS DE LAS EXPERIENCIAS
Universidad Pontifica Población
6709
estudiantes
de chile
inscritos en alguno de
los seis MOOC
4831
Observaciones
Método
y Se presentó la encuesta Tratamiento
procedimiento de manera voluntaria a de
los
todos los inscritos en los resultados
MOOCs seleccionados.
País
Resultados
Se analizó cada una de
las preguntas de manera
individual utilizando las
estadísticas
correspondientes.
Coeficiente
de
correlación y logística de
regresión.
Chile
Año
Abril y diciembre del
2015
La mitad de los estudiantes reportaron haber tenido experiencias
previas en cursos en línea, el 95% expresó el deseo de participar de
todas las actividades, ver los videos y realizar las evaluaciones.
Dentro de las estrategias de autorregulación, la elaboración de planes,
la planificación estratégica, estrategias de trabajos, el establecimiento
de objetivos y la búsqueda de ayuda son las más expresadas por los
participantes.
En particular, la planificación estratégica fue un predictor fuerte y
positivo con el establecimiento de metas. Por lo tanto, los alumnos
que participan en la fijación de objetivos y evitar la búsqueda de
ayuda, fueron significativamente más predictivos en la probabilidad
de lograr sus objetivos personales en el curso.
En general, los estudiantes que reportan fuertes habilidades
autorreguladoras estaban más inclinados a revisar los materiales del
curso después de completar otros materiales, en lugar de iniciar uno
nuevo. Una excepción de esta tendencia, eran los estudiantes más
inclinados a buscar ayuda, estos eran menos propensos a pasar una
evaluación después de terminar una conferencia.
Se evidenció, que las mujeres presentaron mayor autorregulación en
los niveles de fijación de objetivos, las estrategias de trabajo y tienden
más a buscar ayuda, mientras que los hombres destacaron en la
planificación estratégica, la elaboración del plan y la autoevaluación.
Se encontró que con mayores niveles de escolaridad (doctorado,
master), mayor es la habilidad de establecer objetivos, estrategias de
trabajo y planificar.
Aquellos que ya tenían experiencia en cursos en línea mostraron
mayores habilidades de autorregulación que le permitían tener mayor
éxito.
255
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Conclusiones
Otros
EDx
Otros
Con este estudio se logró comprobar que las habilidades de
autorregulación, benefician la culminación exitosa en los MOOC.
Para la enseñanza del Español
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
Cousera
256
Anexo 1
Tabla 19. Artículo 2. 2017
Autor/es
Nombre
artículo
Wu, B., & Chen, X.
del
Revista
Tipo de estudio
Hipótesis
Continuance
intention to use
MOOCs: Integrating
the technology
acceptance model
(TAM) and task
technology fit (TTF)
model.
Computers in Human
Behavior, 67, 221232.
Área de
estudio
Año,
Idioma
original y
país
Objetivos
2017
El propósito de este estudio
es proponer un modelo
unificado que integre el
modelo de aceptación de
tecnología
(TAM),
el
modelo de tecnología de
ajuste de tareas (TTF), las
características del MOOC y
la motivación social para
investigar la continuidad en
la utilización de los MOOCs
.
Descriptivo
Pregunta de investigación:
¿En qué medida los factores influyen en los MOOC?
Hipótesis:
H1. La facilidad de uso percibida tiene un efecto positivo en la
percepción utilidad de los MOOCs.
H2. La facilidad de uso percibida tiene un efecto positivo en las
actitudes hacia los MOOCs.
H3. La utilidad percibida tiene un efecto positivo en la actitud
hacia los MOOCs.
H4. La utilidad percibida tiene un efecto positivo en la intención
de continuar usando MOOCs
H5. La actitud hacia el uso de MOOCs tiene un efecto positivo en
intención de seguir usándolos
H6. El ajuste individual de la tecnología tiene un efecto positivo
en la percepción de los que hacen uso de los MOOCs.
H7. El ajuste individual de la tecnología tiene un efecto positivo
en la percepción y facilita el uso de los MOOCs .
H8. El ajuste tarea-tecnología tiene un efecto positivo en la
percepción utilidad de los MOOCs.
H9. El ajuste de la tecnología de tareas tiene un efecto positivo en
la facilidad percibida de uso de los MOOCs
257
Machine Learning y predicciones para la mejora del rendimiento en MOOC
H10. La apertura tiene un efecto positivo en la percepción de la
utilidad de los MOOC.
H11. La apertura tiene un efecto positivo en la facilidad de uso
percibida de MOOCs.
H12. La reputación tiene un efecto positivo en la percepción de
los que utilizan los MOOCs
H13. El reconocimiento social tiene un efecto positivo en lo
percibido por los que utilizan de los MOOCs
H14. La influencia social tiene un efecto positivo en la utilidad
percibida de los MOOCs.
H15. La influencia social tiene un efecto positivo en la actitud
hacia utilizando MOOCs
Otros
El modelo se desarrolló en base a la literatura revisado otros
modelos, por lo que se fundamenta principalmente en el Modelo
TAM, haciendo énfasis en las interrelaciones que existentes entre
todos los elementos que intervienen para garantizar la continuidad
en el MOOC una vez se ha inscrito el participante.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Proponer y comprobar un modelo
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
Tipo cuestionario
Instrumentos Se utilizó la encuesta con un cuestionario con dos secciones para
de medición
probar el modelo teórico. La primera sección incluye preguntas
demográficas sobre los participantes, mientras que la segunda sección
presenta preguntas que miden los constructos en el modelo de
investigación.
Considerando las características de los MOOCs , el modelo de
investigación, constaba de diez construcciones, que se midieron
utilizando elementos múltiples y escalas de percepción.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
MOOC
Población
Todos los que han tenido
experiencia MOOC
Muestra
Se devolvieron 252 Observaciones
encuestas válidas
Método
y Los participantes objetivo de este estudio fueron aquellos con
procedimiento experiencia con MOOCs. Se enviaron encuestas en línea por
www.Sojump.com a aquellos que miembros de un grupo MOOCs en
Tencent QQ (la mayor red social online en china).
Tratamiento
El elemento correspondiente a las construcciones se midió utilizando
de
los una escala de Likert de siete puntos, anclada en 1 muy en
resultados
desacuerdo y 7 muy de acuerdo .
258
Anexo 1
País
Resultados
Conclusiones
Al analizar los datos recopilados, en primer lugar, se examinaron las
aptitudes y la validez del modelo de medición propuesto para la
evaluación, la validez convergente y la validez discriminante.
Luego, se examinó el modelo estructural para investigar las relaciones
entre los constructores teóricos.
La confiabilidad se evaluó utilizando el alfa de Cronbach.
China
Año
Los datos se recogieron
de enero a marzo en
2016
Los resultados muestran que el marco de investigación para integrar
el TAM y el modelo TTF de utilidad proporcionan una comprensión
más completa de los comportamientos relacionados con este contexto:
(1) la utilidad y la actitud percibidas son críticas para la intención
continua de utilizar MOOCs;
(2) la utilidad percibida es un mediador significativo de los efectos de
la facilidad de uso percibida, la reputación, el reconocimiento social
y la influencia social en la intención de continuidad;
(3) inesperadamente, la facilidad de uso percibida y la influencia
social no tienen un efecto significativo en la actitud, y la tecnología
individual y la apertura no afectan la utilidad percibida.
Hay poca investigación relacionada con los factores que influyen en
la adopción de los MOOCs y aún menos, el uso continuado de
MOOCs. El modelo propuesto en este estudio ayuda a los
investigadores y los profesionales a obtener una mejor comprensión
de los comportamientos de los usuarios en MOOCs.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
No se evidencia
259
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 20. Artículo 3. 2017
Autor/es
Nombre
artículo
Revista
INFORMACIÓN GENERAL DEL ARTÍCULO
Yamba-Yugsi, M., &
Área de
Universitarios profesores
Luján-Mora, S.
estudio
del Cursos
MOOC:
Año,
2017. Castellano, Ecuador
factores
que
Idioma
disminuyen
el original y
abandono en los
país
participantes.
el
nivel
de
Enfoque UTE, 8(1),
Objetivos - Medir
conocimiento
tecnológico
de
1-15
los participantes en el curso
MOOC.
- Conocer el estado de ánimo
previo a participar en el
curso MOOC.
- Medir la organización,
colaboración y evaluación
del curso.
Tipo de estudio
Descriptivo
Hipótesis
¿Cuál es el estado de ánimo,
previo a participar en el
curso MOOC?,
¿Cuál es la principal
motivación para concluir el
curso?, ¿cuál es el nivel de
satisfacción al concluir los
dos cursos?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
2 encuestas
Instrumentos Preguntas cerradas de SI o NO de diagnóstico
de medición
Encuesta con escala tipo likert, de satisfacción
Otros
2 MOOC, 1 de matemática y 1inducción a la plataforma
DATOS DE LAS EXPERIENCIAS
Ámbito
Profesores
Población
3.060
Universitarios
Muestra
En la ED participaron Observaciones El
certificado
de
367 personas, mientras
finalización
de los
que
en
la
ES
MOOCs fue avalado por
participaron
3.020
el
Ministerio
de
personas.
Educación de Ecuador
Método
y Se realizó una encuesta.
Tratamiento
Los
resultados
se
procedimiento
de
los analizaron
con
resultados
herramientas
260
Anexo 1
País
Resultados
Conclusiones
tecnológicas
Google
Form y Typeform
Ecuador
Año
Enero a septiembre 2015
La mayoría, el 82,6% correspondiente a 303 personas, dijo que el
curso lo realizó por Aplicar en la actividad como profesor . Solo 4,
correspondientes al 1,1%, contestaron por ser por exigencia de la
institución. En cuanto a satisfacción entre un 40% y un 56% están
Totalmente de acuerdo . Además la mayoría considera que el grado
de dificultad y el esfuerzo que se realiza para concluir el MOOC es
adecuado a lo esperado.
La motivación de los participantes al momento de la inscripción al
MOOC es fundamental para lograr el éxito, sin embargo, factores
tales como el reconocimiento del certificado y de la Institución que lo
otorgue, el diseño, planificación y ejecución del MOOC son
elementos también esenciales para poder tener un MOOC de calidad.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Forma X
261
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 21. Artículo 4. 2017
Autor/es
Nombre
artículo
INFORMACIÓN GENERAL DEL ARTÍCULO
Mengual-Andrés, S.,
Área de estudio
Vázquez-Cano, E., &
Meneses, E. L.
del La
productividad
Año, Idioma
2017, castellano,
científica sobre MOOC: original y país
España
aproximación
bibliométrica 2012-2016
a
través
de
SCOPUS. RIED.
Revista
Tipo
estudio
Otros
de
Revista Iberoamericana
de Educación a
Distancia, 20(1), 39-58
Bibliográfico
Objetivos
Analiza
la
productividad científica
del fenómeno MOOC
Hipótesis
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Producción científica y publicaciones
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos
de El total de las referencias fue exportado mediante CSV, se empleó
medición
Bibexel para la normalización de los datos y VosViewer para la
visualización y representación de los nodos de datos.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
No.
De 1451
documentos,
participantes
pero se seleccionaron
752
publicaciones
indexadas en la base
de datos SCOPUS.
País
España
Año
Periodo 2012-2016
Resultados
La mayor concentración ha sido descrita entre el año 2014, con
un 33,1% de las publicaciones (n=249) y en particular en 2015,
con un 42,4% (n=319) de las publicaciones totales. La tendencia
del año 2016, con un 11.6% (n=87) podría ser una evidencia de
la desaceleración del fenómeno (era post-MOOC) u otros factores
asociados como el retraso en la indexación de trabajos del último
trimestre por parte de SCOPUS.
262
Anexo 1
Conclusiones
Otros
Criterios
establecidos
Criterios
considerados
El 41,3% de la productividad (n=301) ha estado bajo el formato
de artículo. En dicho cómputo se incluyen también los artículos
en prensa (n=16) y los artículos de revisión (n=21).
Hemos excluido de este cómputo el 1.6% (n=12) de editoriales.
Otro gran bloque de trabajos sobre MOOC estaría conformado
por los conference papers que, con 358 documentos, confirman
un total del 47,6% de los trabajos publicados.
Por lo que respecta a los libros por compilación y capítulos de
libro indexados en SCOPUS, representan el 5,9% (n=44), siendo
dicha publicación algo mayor que el resto de documentos que
representan el 3,3% de la producción (cartas al editor, notas y
cuestionarios).
En primer lugar, se ha evidenciado una producción científica
destacada, que con una evolución constante se prevé que el 2016
se posicione, si cabe, al mismo nivel que los años 2014 y 2015.
Se pone de manifiesto la vigencia de la temática MOOC y la
confrontación con los investigadores que describen la ya era postMOOC.
Se pone de manifiesto que la actualidad de la temática se
manifiesta a través de dos fuentes básicas de difusión: a) el
artículo científico y b) los papers de comunicaciones indexadas.
Del mismo modo, el escenario en 2016 acogerá en mayor medida
el artículo científico como medio de difusión del conocimiento
respecto a MOOCs.
Los campos de las Ciencias Sociales y de la Computación son
aquellos más activos en la investigación y dinamización,
habiendo producido un 31,2% de la productividad científica total
del fenómeno tan solo en el año 2015, más de un 20% que en
2014.
Dos son los países que abanderan las mayores tasas de
productividad: Estados Unidos, con un 27,4% del total y España,
con un 10,6%.
Durante el mes de abril de 2016 se llevó a cabo la búsqueda,
recolección y cuantificación de las publicaciones científicas que
respondían al fenómeno MOOC
Análisis cualitativo
Se seleccionó la base de datos internacional SCOPUS en base al
reconocimiento científico de la misma y la amplia cobertura
nacional e internacional de los trabajos.
no La información recuperada aportó información sobre: a) fuente
de publicación, b) tipo de documento, c) localización geográfica,
d) afiliación institucional, e) citas recibidas, f) palabras clave, g)
año de publicación, h) área de conocimiento e i) referencias
citadas en los documentos.
263
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Cómo se hace el Análisis Bibliométrico
tratamiento
de Finalmente, los análisis descriptivos sobre indicadores
datos
bibliométricos de producción (productividad de los autores, tipo
de documentos, años, citas, etc.) se llevó a cabo con el paquete
estadístico SPSS 22 y fueron completados con un análisis de
concitación.
Tratamiento
de El análisis y tratamiento de datos se llevó a cabo a través de
datos
estadísticos descriptivos y medidas de tendencia central y
dispersión, complementadas con técnicas centradas en el análisis
de información en red.
264
Anexo 1
Tabla 22. Artículo 5. 2017
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Milligan, C., &
Área de
Salud
Littlejohn, A.
estudio
Nombre
del Why study on a
Año,
2017. inglés. Estados
artículo
MOOC? The motives
Idioma
Unidos
of
students
and original y
professionals. The
país
International
Revista
Review of Research
Objetivos Explorar las motivaciones
in Open and
de los alumnos que
Distributed
participan en dos MOOCs,
Learning, 18(2).
Tipo de estudio
Descriptivo
Hipótesis ¿Cuál fue su principal
motivación para realizar
este curso?
Otros
Proporciona una idea de las percepciones de estos alumnos a corto
plazo, las necesidades de aprendizaje del lugar de trabajo a largo
plazo y el papel que pueden jugar los MOOCs en el cumplimiento
de ellos.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Una
encuesta
tipo
cuestionario
de
preguntas cerradas y
abiertas. Se centró en los
ensayos clínicos (n=
303) y de la ciencia de
datos (n=667)
Instrumentos El instrumento de estudio fue diseñado para proporcionar una medida
de medición
de la capacidad de los participantes MOOC para autorregular su
aprendizaje, junto con la información demográfica y preguntas
abiertas adicionales que exploran la motivación y expectativas del
alumno. Se pidió a los encuestados que indicaran si trabajaban
actualmente como profesionales en un ámbito relacionado con el tema
del curso, o si lo estaban estudiando para obtener un título en un
campo relacionado. Las normas éticas se adoptaron de acuerdo con la
normativa local, y los participantes eran libres de abandonar el estudio
en cualquier momento y sin prejuicios.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universidad
de Población
En uno se inscribieron
Washington y otro en la
50.000 de 197 países, en
el segundo MOOC hubo
265
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Escuela de Medicina de
Harvard.
22.000 inscriptos de 168
países.
Los
requisitos
de
participación era tener
una
experiencia
intermedia
en
programación y ser
profesionales del área.
Muestra
12.500 y 6.500 de estos Observaciones
dos cursos.
Método
y El estudio se basa en Tratamiento
Los datos se recogieron
procedimiento datos recogidos durante de
los entre finales de 2013 y
dos estudios paralelos resultados
mediados de 2014. Se
que
exploran
analizaron en base al
experiencias MOOCs
programa
estadístico
de los profesionales de
Spss
y
distintas
la enseñanza.
categorías
para
las
Se les envió encuestas
preguntas abiertas con la
por correo electrónico y
colaboración de un
se complementaron en
tercer investigador.
línea.
País
Estados Unidos
Año
2013 hasta el 2014
Resultados
Se identificaron nueve tipos de motivaciones para participar en los
dos MOOCs, agrupándolas en dos categorías generales. La gran
mayoría de las respuestas hicieron referencia al tema del curso (cuatro
categorías codificadas como: interés general en el tema, la
oportunidad de aprender sobre el tema, la relevancia del tema del
curso y su relevancia para la futura intención de carrera). Un grupo
mucho más pequeño de respuestas se centraron en el curso como una
entidad (cinco categorías, codificado como: el prestigio del proveedor
de MOOC, la oportunidad de estudiar en un MOOC, la oportunidad
de obtener un certificado de aprendizaje, el (cero) el costo de la
participación, y el lenguaje de la entrega del curso).
Conclusiones
El análisis presentado aquí permite reconocer la variedad de
motivaciones para aprender que se han percibido por los participantes
MOOC. A través de estos dos MOOCs, que se centraron en temas
técnicos con poco atractivo para las masas, se plantea un perfil de
profesional cuya motivación para cursar el MOOC era ampliar y
perfeccionar los conocimientos específicos, y tiene una gran
vinculación con la función actual o futura carrera. Ambos cursos
demostraron que los alumnos no cursaban los MOOCs por una
motivación extrínseca, sino por la motivación intrínseca de aprender.
Otros
Los MOOCs seleccionados para su inclusión en el estudio fueron
cursos cuya temática estaba orientada a un público profesional. El
objetivo de este público era actualizar o complementar sus
266
Anexo 1
EDx
Otros
conocimientos profesionales o para obtener un certificado en un tema
como prueba de su conocimiento.
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
Curso de 8 semanas que se ofrece en la plataforma Coursera.
267
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 23. Artículo 6. 2017
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Bote-Lorenzo, M. L.,
Área de
Mooc en circuitos y
& Gómez-Sánchez,
estudio
electrónica
E.
Nombre
del Predicting
the
Año,
2017, inglés. España
artículo
decrease
of
Idioma
engagement
original y
indicators
in
a
país
MOOC.
Revista
In Proceedings of the Objetivos Presentar un enfoque para
Seventh International
predecir la disminución de
Learning Analytics
los
indicadores
de
& Knowledge
compromiso.
Conference (pp. 143147). ACM.
Tipo de estudio
Experimental
Hipótesis
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos Se analizó en base al comportamiento del alumno en cada uno de los
de medición
capítulos del MOOC, sacando medidas que permitieran comprobar
los criterios.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Educativo
Población
26.947 inscritos, sólo
6.002 realizaron al
menos una actividad.
Muestra
Un certificado de logro Observaciones
fue concedida a 1.099
estudiantes
Método
y Se
estableció
un Tratamiento
El indicador de la
procedimiento indicador
de de
los participación de vídeo se
compromiso diferente resultados
obtiene promediando los
para cada una de las 3
porcentajes
de
tareas principales que se
videoconferencias que
esperaba
de
los
fueron
total
o
estudiantes para llevar a
parcialmente vistos por
cabo en el curso:
un estudiante en cada
- La observación de
capítulo.
videos
de
conferencias,
- ejercicios y
268
Anexo 1
- la presentación de las
tareas.
País
Resultados
Conclusiones
Otros
EDx
Otros
Año
2013
El estudio experimental mostró que el enfoque propuesto en este
documento dio buenos resultados en la predicción de la disminución
de los indicadores de compromiso derivados de las tres tareas
principales que se llevaron a cabo por los estudiantes. Como se ha
señalado antes, las predicciones se hicieron al final de los capítulos 2
a 11 utilizando sólo la información que estaba disponible en esos
momentos.
La detección temprana de los indicadores de compromiso de los
estudiantes MOOC, permite realizar intervenciones dirigidas a la
prevención del compromiso de los participantes durante el curso. En
este trabajo se ha presentado un enfoque para predecir la disminución
de los indicadores de compromiso al final de los capítulos MOOCs
utilizando información sobre el comportamiento de los estudiantes
que esté disponible durante el curso. Se ha demostrado que se pueden
lograr buenos resultados para todos los indicadores, utilizando el
método CFS para la selección de características y el algoritmo de
SGD para la clasificación. Esto apoya la idea que el método propuesto
habría sido útil para detectar los estudiantes en retroceso y sugiere
que podría ser útil en otros MOOCs también.
El MOOC analizado contó con 14 semanas, diferentes actividades en
las que destaca video, actividades del libro y evaluación formativa y
sumativa
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
Plataforma edx.
269
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 24. Artículo 7. 2017
INFORMACIÓN GENERAL DEL ARTÍCULO
Almenara, J. C., Marín Área de estudio
Díaz, V., & Sampedro
Requena, B. E.
Nombre del
Aportaciones desde la
Año, Idioma
(2017).
artículo
investigación para la
original y país
utilización educativa de
los MOOC.
Revista
Revista Española de
Objetivos
Analizar las diversas
Pedagogía, 75 (266), 7contribuciones que se
27
han
realizado
a
revistas científicas de
corte educativo y de
ámbito internacional
sobre los MOOCs
entre el período de
2011-2016.
Tipo
de Revisión sistemática de diversos artículos, en los que se abordaba la
estudio
temática de los MOOCs pretendiendo obtener un índice cuantitativo
común, mediante el cual se ha efectuado una búsqueda metódica en
diversas bases de datos del área de Ciencias Sociales pero atendiendo
a revistas que fueran de carácter tecnológico educativo de acceso
abierto; y cualitativo, identificando las diversas áreas que se afrontan
en estos MOOCs desde el ámbito más científico.
Hipótesis
No se evidencia
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos de No se evidencia
medición
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Tecnológico
No.
De Se recopilaron un
educativo
participantes
total de 89 artículos
de las diferentes
revistas
consultadas.
País
España
Año
Período
comprendido entre
Autor/es
270
Anexo 1
Resultados
Conclusiones
2011 y los dos
primeros meses de
2016.
Los artículos analizados en revistas de tecnología educativa
reflejan que existe un aumento en las aportaciones, dado que
donde concurren un mayor número de artículos científicos sobre
el tópico MOOC es en 2015 (50,6%) y una menor cantidad en
2012 (3,4%); asimismo, se observa como en sólo dos meses
estudiados del 2016 existen el doble que en 2013 (7,9%),
mientras que en 2011 hay un 1%, hecho que induce a pensar que
en 2016 se superaran las contribuciones científicas del 2015.
En referencia al índice de impacto de los que gozan las revistas
donde se encuentran los artículos seleccionados, encontramos
que la mayoría de los artículos se engloban en revistas que
disfrutan de factor de impacto JCR y SCOPUS (57,3%).
En relación, a las categorías o áreas temáticas que quedaron
reestructuradas de los 89 artículos analizados el 33,7% se
refieren a diseño de contenidos y materiales; el 22,5% a la
categoría de otras; el 18% a la problemática de aplicación de los
MOOC; el 7,9% a las teorías de aprendizaje y MOOC; el 5,6%
a la motivación e implicación de los alumnos; el 3,4% a los
beneficios institucionales; el 2,2% a metodologías y estrategias
pedagógicas; el 1,1% a economía en los MOOC, y el mismo
porcentaje al análisis y/o presentación de plataformas MOOC, a
las herramientas de comunicación en los MOOCs y a la
comparativa con otras estrategias virtuales de formación.
En los últimos cinco años las publicaciones relacionadas con el
tópico de los MOOCs se han ido ampliando, lo que denota que
es una temática que está teniendo un alto impacto en el terreno
educativo.
Este estudio pone de manifiesto que los ámbitos en los cuales se
está fundamentando la aplicación de los MOOCs son por una
parte el universitario y por otro las acciones formativas
destinadas a la capacitación de las personas ya formadas, es
decir a su perfeccionamiento.
Otros
Criterios
establecidos
Análisis cualitativo
Para efectuar el análisis cuantitativo se contemplaron algunas de
las categorías:
- tipo de documento (investigación o teórico);
- índice de impacto de la revista;
- tipo de sección dentro de la revista;
- institución a la que se dirigen;
- metodología y diseño de investigación planteado;
- tipo de instrumento;
271
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Criterios
considerados
no
Cómo se hace el
tratamiento
de
datos
Tratamiento
datos
de
Con las mismas categorías se clasificaron y categorizaron los
artículos abordados.
Después del análisis previo, las mismas quedaron
reestructuradas en las siguientes áreas temáticas sobre MOOC:
- Diseño de contenidos y materiales.
- Análisis y/o presentación de plataformas MOOC.
- Beneficios institucionales.
- Problemática de la evaluación en los cursos MOOC:
técnicas y estrategias de evaluación.
- Economía en los MOOC: modelo de negocio.
- Herramientas de comunicación en los MOOC.
- Motivación e implicación de los alumnos.
- Comparativa con otras estrategias virtuales de formación.
- Problemática de aplicación de los MOOC.
- Metodología y estrategias pedagógicas.
- Teorías de aprendizaje y MOOC.
Otras (en las que se recogen diversas temáticas por cada
aportación que no se expresan en las áreas propuestas).
La metodología planteada en este estudio se basa, inicialmente,
en los anteriores análisis, seleccionando como palabra clave
«MOOC» en diversas bases de datos donde se encuentran
alojadas las revistas y las aportaciones más relevantes sobre la
temática de esta observación sistemática.
En concreto, se buscó en ISI Web of Knowledge para las
contribuciones con factor de impacto JCR, Scimago Journal &
Country Rank, SCOPUS y Sello Fecyt, aunque en todas se
partió de la premisa de que tuvieran acceso libre y que fueran
revistas del campo de la Tecnología Educativa.
Análisis de cada uno de los criterios con programas estadísticos
de Spss
272
Anexo 1
Tabla 25. Artículo 1. 2018
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Watted,
A.,
&
Área de
Barak, M.
estudio
Nombre del artículo
Motivating factors
Año,
2018
of
MOOC
Idioma
completers:
original y
Comparing between
país
university-affiliated
students and general
participants.
Revista
The Internet and Objetivos Examinar los factores de
Higher
motivación
de
los
Education, 37, 11estudiantes
que
20.
completaron con éxito un
MOOC en nanotecnología
y nanosensores
Tipo de estudio
Se utilizó el método Hipótesis Preguntas
de
de estudio de caso.
investigación:
Se examinó un
- ¿Qué expectativas sobre
fenómeno
las características y
contemporáneo
beneficios tiene los que
dentro del contexto
terminaron los MOOC?
de la vida real, y
- ¿Cuáles
son
las
había poco control
diferencias en cuanto a
sobre las variables
expectativas
en
el
que intervienen.
MOOC hay entre los
estudiantes
universitarios y los
participantes generales
(no universitarios)?
- ¿Qué diferencias en
cuanto
a
datos
demográficos
existe
entre los alumnos que
finalizaron los MOOC?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidenció
Encuesta
En línea
Instrumentos Se utilizó una encuesta en línea, mensajes en el foro y mensajes de correo
de medición
electrónico. Se organizó en dos partes: (1) datos demográficos: sexo,
edad, nivel de educación y el estado de ocupación; (2) una pregunta
273
Machine Learning y predicciones para la mejora del rendimiento en MOOC
abierta "¿Por qué estás tomando el MOOC en Nanotecnología y
Nanosensores"?
Otros
Los temas a tratar fueron tres: motivación profesional, personal y
educativo
DATOS DE LAS EXPERIENCIAS
Ámbito
Universitario
Población
11.210, se inscribieron
en el curso, 377
completaron el curso y
308 rellenaron la
autorización
de
participación en la
investigación.
Muestra
308 participantes:
114 inscritos en la universidad y 194 estudiantes en general.
Los participantes generales se repartieron en dos grupos: Los de
inscripción gratuita (libres) (N = 67) y participantes que pagaron (N =
127).
Observaciones El curso de 10 semanas incluyó áreas interdisciplinares que abarcaban
química, física, biología, ciencia de los materiales e ingeniería eléctrica.
Los materiales de aprendizaje consistieron en videoconferencias,
artículos y un libro electrónico. El curso incluye 3 tipos de tareas
calificadas: 10 pruebas semanales, 2 preguntas de ensayo y un proyecto
final. Con el fin de recibir una Declaración de Cumplimiento
(participantes generales) o un Certificado, los participantes están
obligados a recibir una calificación general del 70% o superior.
Método
y Se realizó durante el primer curso de Nanotecnología y nanosensores.
procedimiento En condiciones similares a las del curso presencial.
Tratamiento
En este estudio, se empleó un diseño de métodos mixtos, en el que un
de
los estudio cualitativo exploratorio conduce a un proceso de análisis
resultados
cuantitativo. El análisis de datos cualitativos siguió al enfoque
fenomenológico, subrayando las percepciones, creencias y puntos de
vista de los participantes. Para el proceso de análisis cualitativo, las
categorías emergentes fueron codificadas, se contaron y se compararon
con el fin de examinar las diferencias entre los grupos de investigación.
Además de la encuesta, se analizaron 116 mensajes en el foro y 45
mensajes de correo electrónico que hacen referencia explícita o
implícitamente a la motivación de los participantes para aprender. Entre
ellos, 44 mensajes en el foro y 17 mensajes de correo electrónico fueron
escritos por estudiantes universitarios, y 72 mensajes en el foro y 28
mensajes de correo electrónico fueron escritos por los participantes en
general. La información adicional se utilizó para triangular las categorías
que surgieron de la encuesta en línea.
Debido a la naturaleza ordinal de los datos, se utilizaron métodos no
paramétricos para el análisis estadístico. El análisis estadístico involucró
dos pruebas principales, un Mann - Whitney T prueba para comparar dos
274
Anexo 1
grupos independientes y la prueba de Kruskal - Wallis H-test para
comparar más de dos grupos.
País
Resultados
Conclusiones
Otros
EDx
Otros
Año
2013
Los dos grupos (universitarios y generales) fueron similares en cuanto a
que su motivación se basaba en los beneficios personales, junto con el
crecimiento y el enriquecimiento. Sin embargo, los dos grupos se
diferenciaron en otros parámetros, destacando la gran capacidad de los
alumnos universitarios.
El propósito de los MOOCs se caracterizó principalmente por el interés
con el crecimiento y el enriquecimiento. En concreto, los participantes
no universitarios estaban interesados en adquirir conocimientos y
habilidades relevantes para su lugar de trabajo, mientras que los
universitarios estaban interesados en aprender los contenidos que son
relevantes para su grado académico.
Se puede concluir, que ambos grupos fueron motivados por el interés
general, el crecimiento personal y enriquecimiento.
Con los resultados obtenidos se puede sugerir que el diseño de MOOCs
en el área académica debe dirigirse tanto a promover la comprensión de
nuevos conceptos como a generar nuevas habilidades.
Se evidenció la inscripción en mayor proporción de hombres que de
mujeres, aunque la distribución de los sexos en ambos grupos no
evidenció gran diferencia. En cuanto a la edad, los universitarios eran
más jóvenes que los generales. Aunque en su mayoría eran del área de
ingeniería, no se presentaron grandes diferencias en los resultados entre
ambos cursos. Solo uno pocos trabajan.
PLATAFORMA UTILIZADA
SPOC
Open
Youtube
EDX
Coursera
275
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 26. Artículo 2. 2018
Autor/es
Nombre
artículo
Revista
INFORMACIÓN GENERAL DEL ARTÍCULO
Zhu, M., Sari, A., & Lee, Área de estudio
Educativo
M. M.. A
del
Systematic review of
Año, Idioma
2018
research methods and
original y país
topics of the empirical
MOOC literature (2014
2016).
Proporcionar
The Internet and Higher
Objetivos
revisión
de
Education, 37, 31-39.
una
los
paradigmas
de
investigación y temas de
MOOCs
para
comprender mejor el
fenómeno y cuestiones
metodológicas
relacionadas con ellos.
Tipo
de Sistemático
estudio
Hipótesis
Las preguntas de investigación fueron las siguientes:
- ¿Cuáles son los métodos de investigación empleados en los estudios
empíricos MOOC?
- ¿Cuáles son los temas de investigación o focos de los estudios
anteriores MOOC?
- ¿Cómo están distribuidos geográficamente los investigadores de los
estudios empíricos?
- ¿cuáles son los países que mayor interés están teniendo sobre los
MOOCs ?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos de Los datos registrados de cada estudio incluyen una variedad de
medición
dimensiones, tales como los autores y sus afiliaciones, la
ubicación de los autores, la ubicación de los participantes, año
de publicación, título, nombre de la revista, método analítico
general (por ejemplo, cualitativa, cuantitativa, o mixto
métodos), los métodos de recolección de datos, métodos de
análisis de datos, el enfoque general de estudio, enfoque de
estudio especial, y la URL del artículo.
276
Anexo 1
Otros
Ámbito
País
Resultados
Conclusiones
Para aumentar la validez, dos investigadores cotejarán los datos,
discutieron las discrepancias, y llegaron a un consenso en los
análisis
DATOS DE LAS EXPERIENCIAS
No.
De 146 para la fase 1,
participantes
y 51 para la fase 2.
Año
Publicados entre
octubre 2014 a
julio 2017.
Este proyecto de investigación ha recogido estudios empíricos
publicados en 77 revistas diferentes. En total, 26 de 197
artículos (13%) se publicaron en 2014, 68 artículos (35%) en
2015, 57 artículos (29%) en 2016, y 46 artículos (23%) en sólo
el primer siete meses de 2017. La mayoría de los artículos se
publicaron en la Revista Internacional de Investigación en
educación abierta ya distancia (IRRODL).
Los resultados revelaron que:
- los métodos cuantitativos fueron los que utilizaron
principalmente,
- los métodos de recolección más usados fueron encuestas,
análisis de base de datos de la plataforma y entrevistas,
- la mayoría de los investigadores MOOC utilizan la
estadística descriptiva para analizar los datos,
- el foco de la investigación se centró principalmente en los
estudiantes, seguido del diseño, el contexto y en el impacto,
- la mayoría de los autores trabajaron en colaboración dentro
del mismo país, y
- Estados Unidos es el país que más investiga, seguido por el
Reino Unido, España y China.
Otros
Criterios
establecidos
Análisis cualitativo
- El estudio tenía que ser un estudio empírico.
- El estudio debe investigar principalmente los aspectos
educativos de MOOCs.
- Se incluyeron artículos de Scopus y otras reconocidas.
- La palabra clave MOOC se utilizó para la inspección en
títulos, resúmenes y palabras clave de la literatura.
- Los tipos de documentos incluidos en esta revisión fueron
artículos de revistas; no se incluyeron informes técnicos,
documentos de conferencias y comunicados de prensa.
- El idioma es inglés.
Se logró clasificar los datos recogidos como información de
inscripción, los registros de seguimiento de clics, porcentaje de
actividades terminadas, y el vídeo/páginas vistas.
277
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Cómo se hace el Este estudio incluye la fase 1(octubre 2014-noviembre 2016) y
tratamiento
de la fase 2 (diciembre el año 2016 - Julio 2017).
datos
Tratamiento
de Para dar respuesta a cada una de las preguntas de investigación
datos
se realizaron proyectos diferentes:
1- los investigadores codificaron los documentos
utilizando 3 categorías generales: investigación
cuantitativa, cualitativa de investigación y métodos
mixtos. Para el análisis de los métodos de recolección
de datos, los investigadores utilizaron categorías
identificadas por Tashakkori y Teddlie (2003), tales
como entrevistas, encuestas, grupos focales, pruebas y
observaciones
2- para aumentar la validez, los investigadores utilizaron 5
categorías de codificación identificados por Veletsianos
y Shepherdson (2015); a saber: (1) centrada en el
estudiante, (2) maestro-centrado, (3) designfocused, (4)
contexto y el impacto, y (5) otros. Estas categorías
encapsulan efectivamente las diversas áreas de la
investigación sobre MOOCs.
3- se calcularon las ubicaciones de todas las afiliaciones de
los autores MOOC en este estudio.
4- los investigadores calcularon los países que participan
de investigaciones MOOC.
278
Anexo 1
Tabla 27. Artículo 3. 2018
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Castaño-Garrido, C., Área
de
Garay, U., & Maizq, I estudio
Nombre
del Factores de éxito Año,
artículo
académico en la Idioma
integración de los original y
MOOCs en el aula país
universitaria
Revista
Revista Española de Objetivos
Pedagogía, 75(266).
Universitario
2018
Analizar el impacto en el
rendimiento académico de
la integración de un MOOC
cooperativo en las aulas
universitarias
Tipo de estudio
Estudio longitudinal Hipótesis
Preguntas de investigación:
a lo largo de 3 cursos
1. ¿Es eficaz un MOOC
académicos.
integrado en una asignatura
de Grado universitario para
el
aprendizaje
del
alumnado?
2. ¿Los factores sociales
contribuyen
al
éxito
académico en un MOOC?
3.
¿Qué
tipo
de
participación en el MOOC
obtiene un mayor nivel de
rendimiento académico?
Otros
La metodología didáctica implementada en el curso MOOC fue la
cooperativa, por lo que todas las actividades debían compartirse
entre los compañeros y con demás personas a través de las redes
sociales.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos El rendimiento se ha evaluado a través de evidencias de aprendizaje,
de medición
mientras que el diseño y la influencia del tipo de participación se han
controlado a través de instrumentos estandarizados (TAM,
Technology Acceptance Model, e IMMS, Instructional Materials
Motivation Survey).
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Los estudiantes de Población
2.358
participantes,
cuarto curso del Grado
distribuidos
de
la
de Educación Primaria
siguiente manera:
279
Machine Learning y predicciones para la mejora del rendimiento en MOOC
de la Universidad del
1º año: 744
País Vasco, y público en
2º año: 481
general.
3º año: 1.133
Muestra
Todos los alumnos de 4º Observaciones 5 semanas, 5 módulos
curso de Grado de
Educación Primaria de
la Universidad del País
Vasco, por lo que los
demás inscritos en el
curso fueron excluidos
de la muestra.
Los
participantes
fueron:
1º año: 150
2º año: 53 alumnos que
participaron
en
la
primera edición
3º año: 43 que lo
hicieron en la segunda y
54 en la tercera.
Método
y Se diseñó un curso cooperativo en el que los alumnos participan a
procedimiento partir de la interacción. Acceden a los materiales y a las actividades
y a su vez participan activamente en la parte social del aprendizaje:
resolución de tareas, foros de discusión, evaluaciones entre pares,
materiales adicionales, participación en la comunidad de aprendizaje,
etc.
Tratamiento
Los resultados se analizaron con técnicas diferentes para cada
de
los pregunta de investigación:
resultados
1. Número de caso de Clúster, Diferencia de medias, Error
estándar, Sig., Intervalo de confianza al 95%, comprobación a
través de ANOVA.
2. Se han analizado tres ediciones de un curso online masivo y
abierto en un estudio longitudinal, las cuatro variables del
cuestionario IMMS (confianza, atención, satisfacción y
relevancia)
3. Regresión múltiple para ver cuál de las variables estudiadas es
la más relevante para pronosticar los resultados académicos.
País
España
Año
2018
Resultados
Los resultados se obtuvieron de manera diferenciada en cada una de
las preguntas de investigación:
1. Realizar un MOOC insertado en la asignatura de Grado
influye de forma positiva en la mejora de los resultados
académicos, sobre todo, en aquellos alumnos que obtienen
peores resultados.
2. Se evidenciaron diferencias significativas entre las dos
primeras ediciones y la tercera, ya que la tercera era con
280
Anexo 1
actividades que implicaban menos cooperación entre los
participantes. Siendo los participantes de la edición 1 y 2 los
que más presentan confianza en sí mismos para realizar
actividades cooperativas.
3. El alumno debe estar satisfecho con el diseño del curso
MOOC para poder participar y así obtener un buen
rendimiento académico.
Conclusiones
Se puede concluir que la partición en cursos MOOCs de manera
cooperativa donde se interactúe activamente, permite una mejora
notable en el aprendizaje y en el rendimiento académico. Un aspecto
de gran influencia es la combinación entre el curso virtual y
presencial, lo que también promueve el interés y motivación. La
cooperación permite que entre compañeros se motiven lo que hace
que se obtengan mejores resultados y un mayor aprendizaje de la
experiencia.
Otros
Una de las principales limitaciones de la propuesta, fue que cada
edición utilizó una plataforma diferente, lo que de alguna manera
pudo afectar el resultado (aunque esto no fue valorado).
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
Cada año en el que se estudió el MOOC, se utilizó una plataforma
diferente:
1. Metauniversidad basada en Chamilo, solución de software
libre de gestión del e-learning y licenciada bajo la
GNU/GPLx3.
2. MetaMOOC sobre la plataforma de código libre de EdX
3. MiriadaX.
281
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 28. Artículo 4. 2018
Autor/es
Nombre
artículo
Revista
Tipo
estudio
INFORMACIÓN GENERAL DEL ARTÍCULO
Duart, J. M., Roig-Vila, Área de estudio
Educativo
R., Mengual-Andrés, S.,
& Maseda Durán, M. Á
del La calidad pedagógica de
Año, Idioma
2018.
Los MOOCs a partir de la original y país
revisión sistemática de
las publicaciones JCR y
Scopus (2013-2015).
Revista Española de
Objetivos
Determinar
los
Pedagogía, 2017, vol. 75,
aspectos abordados en
núm. 266, p. 29-46
relación a la calidad
pedagógica de los
MOOC.
de Sistemático
Hipótesis
En el marco de la
Educación Superior,
¿Los
MOOCs
presentan una buena
calidad pedagógica?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos de Revisar diferentes estudios que han evaluado la calidad
medición
pedagógica de los MOOCs y analizar qué criterios han utilizado.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Educativo
No.
De 33
artículos
participantes
publicados
País
Resultados
Año
En el intervalo de
2013 al 2015
Los resultados se presentan por cada uno de los criterios
analizados:
1. La planificación flexible permite que el alumno aprenda a
su propio ritmo, por lo que logra obtener un aprendizaje
significativo y autónomo.
2. Los contenidos no determinan que sean más o menos
demandados, lo que, si es cierto, es que el diseño y la
282
Anexo 1
Conclusiones
presentación de los contenidos forman parte de los factores
motivacionales para que los alumnos concluyan el MOOC.
3. La metodología pedagógica utilizada en el MOOC
determina el abandono o no del MOOC, es por eso que se
considera que pese a la importancia de estos criterios son
pocos los estudios que se encuentran sobre este tema. Los
estudios encontrados en su mayoría demuestran como la
metodología cooperativista beneficia la motivación, el logro
del aprendizaje y a su vez la disminución del abandono.
4. La calidad de los recursos, su variabilidad y la utilidad que
se les pretende dar, será de gran motivación para el logro del
aprendizaje.
5. La motivación en los MOOCs se logra según las diferentes
investigaciones, a través de diferentes factores, entre los que
se encuentra, el área temática, el prestigio de la universidad
que lo imparte y las actividades cooperativas que se
presentan, entre otros.
6. La comunicación es fundamental para evitar el abandono,
esta debe incentivarse con el profesor y demás compañeros
a través del foro y otras actividades de corte conectivista o
cooperativa, que permitan al estudiante expresarse, y
demostrar lo aprendido.
7. Las evaluaciones y certificaciones quizás son el tema menos
estudiado y más criticado, por lo que para considerarse
válidas, deben utilizarse diferentes estrategias de evaluación
que midan lo que realmente se pretende medir. Además, la
certificación no debe darse únicamente por haber pagado
una determinada tasa, sino por haber cumplimentado todas
las actividades y haber obtenido un aprobado en la
evaluación.
Los resultados del presente estudio ponen de manifiesto que la
valoración de la calidad de los MOOCs alude a un promedio de
calidad ligeramente superior a la media, exceptuando 3
variables, como son los contenidos, los recursos y actividades y
la evaluación. Asimismo, se advierte de la escasez de estudios
relacionados directamente con la calidad pedagógica de los
MOOC, por lo que se estima necesario desarrollar más estudios
que, desde el rigor metodológico, tiendan a obtener resultados
concluyentes.
Otros
Criterios
establecidos
-
Análisis cualitativo
Planificación del curso,
contenidos,
metodología,
recursos y actividades,
motivación,
283
Machine Learning y predicciones para la mejora del rendimiento en MOOC
-
comunicación,
evaluación y
certificación.
Criterios
no
considerados
Cómo se hace el Haciendo uso de las bases de datos académicas JCR y Scopus.
tratamiento
de En la fase de búsqueda de la información se buscaron resultados
datos
a partir del establecimiento de las siguientes palabras clave:
MOOC, Massively Open Online Course, Massive Open Online
Course.
Los términos que se buscaron fueron: ISI Web of Knowledge
(JCR) y Scopus (SJR).
Tratamiento
de Se estableció un listado de revistas punteras en educación para
datos
consultar y obtener la información necesaria atendiendo a
estudios con fecha de publicación entre los años 2013 y 2015.
284
Anexo 1
Tabla 29. Artículo 5. 2018
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Larionova,
V.,
Área de
Universitario
Brown, K., Bystrova,
estudio
T., & Sinitsyn, E
Nombre
del Russian perspectives
Año,
2018
artículo
of online learning
Idioma
technologies
in original y
higher education: An
país
empirical study of a
MOOC.
Revista
Research
in Objetivos Comparar los diferentes
Comparative
and
modelos de aprendizaje en
International
línea entre sí y con el
Education, 13(1), 70formato
tradicional
91.
enseñado
Tipo de estudio
Un
análisis Hipótesis - La elección de los
comparativo basado
métodos (modelos) para el
en
un
estudio
uso de los cursos en línea
empírico
de
la
en la implementación de
aplicación
de
un programa educativo en
diferentes modelos de
una universidad depende
aprendizaje en línea
de
los
objetivos
dentro
de
una
educativos
y
los
universidad.
estudiantes.
- Diferentes disciplinas y
categorías
de
los
estudiantes,
pueden
requerir
diferentes
modelos de aprendizaje en
línea con el fin de ser
eficientes.
Otros
El experimento pretende comprobar cómo se manejan algunas
disciplinas en el marco de un modelo de aprendizaje combinado y
un modelo de aprendizaje en línea con el apoyo de tutoría.
Los resultados del estudio piloto se compararon con los resultados
de la formación de un grupo de control de estudiantes que dominan
las mismas disciplinas en un formato tradicional enseñanza.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
Encuesta de satisfacción
Instrumentos Datos propios que se obtienen de la encuesta al inscribirse en el
de medición
MOOC
- puntuación media en el Examen de Estado Unificado (USO)
- rendimiento promedio para el período de estudio previo;
285
Machine Learning y predicciones para la mejora del rendimiento en MOOC
-
rendimiento actual académico de los estudiantes durante el
experimento.
Otros
DATOS DE LAS EXPERIENCIAS
Universidad Federal de Población
Más de 800 estudiantes
los Urales
de los programas de
licenciatura de distintas
carreras participaron en
este experimento
Muestra
El número total de Observaciones
participantes fue de 472
estudiantes:
- 115 estudiantes en
el grupo de control,
148 estudiantes en el
primer
grupo
experimental;
- 209 estudiantes en el
segundo
grupo
experimental
Método
y En el marco del experimento se seleccionaron 3 modelos de
procedimiento implementación de una disciplina:
- Formato tradicional extendido (modelo 1);
- Aprendizaje mezclado con el examen en línea (modelo 3);
- Formato en línea con el apoyo de un tutor (modelo 4).
Todos estos modelos de aprendizaje en línea se compararon entre sí y
con el formato tradicional de aprendizaje.
Los estudiantes fueron divididos en lotes con el fin de adoptar
diferentes enfoques para el estudio de una disciplina.
Tratamiento
Los datos experimentales se procesaron utilizando el siguiente
de
los algoritmo. En el primer paso, la normalidad y la homogeneidad en
resultados
términos de nivel de la formación inicial de los estudiantes se
evaluaron utilizando el criterio Kolmogorov-Smirnov.
Se utilizaron herramientas estadísticas descriptivas para el
procesamiento de las distribuciones de las puntuaciones medias de los
estudiantes (para el primer semestre del año académico 2016-17). Se
calcularon indicadores de distribución estadísticos y se representaron
barras del gráfico de frecuencia
Se agruparon los estudiantes en función de su rendimiento académico
anterior, y se hicieron subgrupos correspondientes a diferentes rangos
de puntuación de acuerdo con los criterios de evaluación estándar
utilizados en el sistema de clasificación de la universidad.
En el tercer paso, se analizaron los indicadores estadísticos de los
resultados finales de los estudiantes en una disciplina, mediante
diferentes modelos de aprendizaje utilizando estadística descriptiva.
Ámbito
286
Anexo 1
País
Resultados
Conclusiones
Rusia
Año
Todos los estudiantes
que
dominan
la
disciplina en el segundo
trimestre del curso
académico 2016-17.
Se demostró que ambos modelos presentan una mayor eficacia en
comparación con el modelo tradicional; tanto en términos de
resultados académicos como en términos de satisfacción con el
proceso de aprendizaje.
Para las disciplinas de ingeniería y técnicos, no hay ninguna
diferencia estadísticamente significativa en el uso de tecnologías de
aprendizaje combinado o en línea, mientras que para las disciplinas
humanitarias, en los que el componente comunicativo del proceso de
aprendizaje es significativo, la tecnología de aprendizaje combinado
produce mejores resultados.
Los resultados del experimento permiten la selección del modelo
propósito para la implementación del proceso educativo teniendo en
cuenta tanto las características específicas de las disciplinas, el nivel
de formación inicial de los alumnos y su disposición para el
aprendizaje en línea. Se confirma que el uso de los cursos en línea no
reduce los resultados de aprendizaje de los estudiantes.
Por otra parte, los modelos que utilizan MOOCs en el proceso
educativo, tales como el aprendizaje mixto y el aprendizaje en línea
con el apoyo de un tutor, demuestran una mayor eficacia en
comparación con el modelo tradicional. Se demostró que incluso el
uso del curso en línea como material adicional en el formato
tradicional impartido elevó logros académicos de los estudiantes.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
X
SPOC
Open EDX
Plataforma en línea
287
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 30. Artículo 6. 2018
Autor/es
Nombre
artículo
Revista
Tipo
estudio
Otros
INFORMACIÓN GENERAL DEL ARTÍCULO
Sastre, S. G., IdrissiÁrea de
Universitario
Cao, M., Arranz, A. O.,
estudio
& Sánchez, E. G.
del Uso de la colaboración
Año,
2018
y la gamificación en
Idioma
MOOC: un análisis original y
exploratorio.
país
RIED.
Revista Objetivos Analizar en detalle el uso
Iberoamericana
de
del aprendizaje colaborativo
Educación
a
y de la gamificación en los
Distancia, 21(2).
mencionados cursos.
de Análisis exploratorio
Hipótesis
La exploración de 20 cursos masivos, en diferentes idiomas, en
distintas plataformas y en diversos dominios de conocimiento.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
Encuesta de satisfacción
Instrumentos Ficha con información detallada de cada uno de ellos.
de medición
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Educativo universitario Población
Cursos MOOC
Muestra
20 cursos
Observaciones
Se seleccionaron entre
los
que
pudieran
presentar
dificultad
tecnológica y los que
tuvieran elementos de
gamificación
y
colaboración.
Método
y Esta investigación consta de una parte teórica que sustenta los
procedimiento conocimientos sobre los MOOCs y las metodologías didácticas.
En la segunda fase se observaron y analizaron 20 MOOCs, donde se
pudiera observar la gamificación y colaboración en los MOOCs.
Los cursos se seleccionaron de los buscadores de MOOCs a nivel
mundial, haciendo énfasis en aquellos con gamificación y los que
pudieran tener una limitación tecnológica.
Tratamiento
El resultado se organizó en 5 categorías, algunas con subcategorías:
de
los A. Datos básicos;
resultados
288
Anexo 1
País
Resultados
Conclusiones
B. Mecanismos para favorecer la interacción y la comunicación entre
participantes (creación de grupos, subgrupos, herramientas para
intercambiar ideas y opiniones: foros, chats, redes sociales, etc.);
C. Aprendizaje colaborativo (si está presente en el MOOC, a través
de la motivación, escala en la que se presenta, papel de la
colaboración en el aprendizaje, recursos, evaluación colaborativa);
D. Gamificación (si está presente en el MOOC, con el fin que se
utiliza, las mecánicas y dinámicas que se llevan a cabo, qué tipos de
acciones y herramientas gamificadas); y,
E. Observaciones.
España
Año
Se observan propuestas de actividades y herramientas en los MOOCs
que fomentan la interacción con una motivación fundamentalmente
social, mientras que en otros casos la meta podría ser lograr una
situación de aprendizaje colaborativa, como ocurre con frecuencia en
los diseños de aprendizaje para contextos presenciales.
Se ha observado que en ninguno de los 20 MOOCs analizados se
desarrollaban tareas en las que ese aprendizaje colaborativo fuera el
eje central de las actividades propuestas. Esto no significa que no
exista ningún tipo de interacción entre los participantes de los cursos
ya que en las plataformas se incluyen diferentes herramientas sociales
(como foros o herramientas para el soporte de revisiones entre pares).
De hecho, una vez finalizado el análisis de los MOOCs, se observó
que las dos herramientas más utilizadas son los foros y las redes
sociales.
En este sentido, en la mayoría de los MOOCs se plantean actividades
en las que el alumnado interactúa con grupo en total debido por una
parte a las limitaciones de las plataformas actuales a la hora de formar
grupos pequeños y por otra, por el alto grado de abandono.
En la mayoría de los MOOCs analizados, la interacción social a través
de los medios anteriormente descritos desempeña un papel relevante
dado que se hace alusión a ella a lo largo de todo el curso.
Se recuerda constantemente a los usuarios que utilicen los foros y las
redes sociales, e incluso (aunque sin ser obligatorio) la experiencia de
aprendizaje se expande a través de estos medios ya que se pide que se
reflexione y se debata con el resto de usuarios sobre las actividades
propuestas. Así, a través de estos medios termina por crearse un
proceso de aprendizaje colaborativo espontáneo.
El único tipo de evaluación que puede considerarse colaborativa, y
que sí ha sido utilizada en la mayoría de los MOOC, es el peer
assessment, casi siempre apoyado por rúbrica.
El otro foco de atención de este estudio es la gamificación. S resume
en que se ha encontrado presencia de la gamificación en algunos de
los cursos analizados, aunque no es muy frecuente.
Se puede concluir que los MOOCs logran una interacción social, pero
esta no ha sido diseñada intencionalmente desde su diseño
289
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Otros
EDx
Otros
pedagógico. La gamificación se ha diseñado en estos cursos para
lograr la motivación individual no colectiva.
Los contenidos de los cursos abarcan distintas categorías o áreas de
interés como: ciencias sociales, ciencias de la educación, diseño de
cursos, desarrollo personal, etc.
Los contenidos de los cursos abarcan distintas categorías o áreas de
interés como: ciencias sociales, ciencias de la educación, diseño de
cursos, desarrollo personal, etc.
PLATAFORMA UTILIZADA
SPOC
Open EDX
Youtube
Canvas Network2, ECOLearning (OpenMOOC)3, Coursera4,
FutureLearn5, EdX6, NovoEd7, y MiríadaX8, y un agregador de
búsquedas llamado class-central.com
290
Anexo 1
Ane o 2. I e aci n I. Re . bibliog fica II. Ficha de
e i i n de a
c lo .
291
Anexo 2
Tabla 31. Artículo 1. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Kizilcec, R. F., Piech, C.,
Área de
Educativo
& Schneider, E.
estudio
Nombre del
Deconstructing
Año,
2013
artículo
disengagement: analyzing
Idioma
learner subpopulations in
original y
massive open online
país
courses
Revista
In Proceedings of the third international conference on learning analytics
and knowledge (pp. 170-179). ACM.
Objetivos
El objetivo es proporcionar a los educadores, diseñadores y
desarrolladores de plataformas ideas para crear diseños y ambientes que
se adapten mejor a las necesidades de los participantes MOOC
aprendizaje
Tipo
de Método de clasificación simple, escalable e informativo que identifica
estudio
un pequeño número de trayectorias de acoplamiento en los MOOCs.
Hipótesis
Las variables son: demográficas, geográficas, intenciones, satisfacción,
colaboración, participación en foros y el acceso a los alumnos en
evaluaciones y vídeos.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos
de medición
En todos los cursos, los participantes recibieron una encuesta al final
del curso. En el curso de nivel UG, se administró una encuesta
adicional.
En las encuestas posteriores al curso, los participantes calificaron su
experiencia en general con el curso en una escala Likert de 7 puntos
de 'pobre' a 'excelente'. Esta medida da una idea de la satisfacción de
los alumnos con la experiencia.
Se obtuvo el análisis de cada variable de cada uno de los alumnos. Se
aplicó la k (agrupamiento del algoritmo) para poder determinar los
patrones de compromiso.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Población
Se basa en tres cursos de informática que varían en su nivel de
sofisticación: Computer Science 101 abarca contenidos de nivel de
básico (HS-nivel), Algoritmos: Diseño y análisis abarca contenidos
293
Machine Learning y predicciones para la mejora del rendimiento en MOOC
de nivel de licenciatura (UG nivel), y Modelos gráficos
probabilísticos es un curso de nivel graduado (GS-nivel)
Muestra
Los participantes de los Observaciones
tres cursos
Método
y Con los datos obtenidos se procedió en primer a calcular una
procedimiento descripción para cada estudiante en la cual el estudiante estaba
comprometido a lo largo de la duración de un curso y luego aplicar
técnicas de agrupamiento de subpoblaciones en estas descripciones de
compromiso.
Tratamiento
Se analizaron los datos para obtener trayectorias. Para ello se
de
los compararon los diferentes grupos de alumnos y cursos, a lo largo de
resultados
características de los comportamientos registrados en la base de datos
MOOC.
Se aplicó un análisis unidireccional de la varianza (ANOVA)
País
Estados Unidos
Año
2013
Resultados
La ejecución de esta metodología a través de los cursos en el estudio
revela cuatro patrones de compromiso para la interacción de los
alumnos con la creación de instancias de MOOCs.
A pesar de existir diferencias entre sexos en los diferentes cursos,
realmente no afectan significativamente a los resultados de
compromiso; sino más bien se refiere a la preferencia de sexo por el
área de estudio.
Otro aspecto encontrado de gran interés fue la motivación o interés por
la participación en el curso. Las dos razones más frecuentemente
elegidas para inscribirse son, porque les resulta divertido y desafiante,
y que están interesados en el tema.
Por otra parte, la probabilidad de inscribirse para mejorar su formación
profesional es particularmente alta.
La participación continua en el foros y mensajes permite la realización
de un aprendizaje cooperativo, elemento de gran influencia que
evidencia el compromiso del participante, al igual que la interacción
con videos o videoconferencias.
La satisfacción de los alumnos por el curso en general es satisfactoria
en los tres tipos de participantes estudiados.
Conclusiones En los tres cursos, la gran mayoría de los estudiantes activos son
empleados a tiempo completo, seguido por graduados y estudiantes
universitarios.
Se compararon las diferentes trayectorias obteniendo propuestas para
generar cambios que permitan un mayor compromiso de los
participantes. Además, con la incorporación de estrategias didácticas a
los cursos, se concluye que se evita la deserción y se aumenta el
compromiso e interés durante el curso.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
294
Anexo 2
Tabla 32. Artículo 2. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Xing Wanli y Du
Área de
Tecnología de la
Dongping
estudio
Información
Nombre del Predicción de deserción
Año,
2018, Inglés, Alemania
artículo
en MOOCs: Usando el
Idioma
aprendizaje profundo de original y
intervención
país
personalizada.
Revista
Journal of Educational Computing
Objetivos
Optimizar los modelos de predicción de deserción centrándose en la
personalización de la intervención para los estudiantes de riesgo.
Tipo
de Revisión de los modelos empíricos.
estudio
Hipótesis
No se evidencia
Otros
No se evidencia
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Predecir los riesgos de la deserción en los cursos MOOC
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
12 cuestionarios
Instrumentos Estadísticos
de medición
Otros
14 Foros de discusión
DATOS DE LAS EXPERIENCIAS
Ámbito
Educativo
Población
11.607 participantes en
la semana que comienza
Muestra
3.861participantes
Los datos se recogieron
durante el curso.
de
un
curso
de
psicología que fue
lanzado en marzo de
2013. El curso duró 12
semanas
Método
y Los datos provienen de 2 fuentes: (1) el nº de clics que informan las
procedimiento páginas visitadas, incluyendo cuándo y cuántos estudiantes lo hacen
y (2) los foros de discusión recuperados en formato JSON.
Este conjunto de datos incluye las puntuaciones de los cuestionarios
y los foros de discusión.
Se evaluaron los siguientes elementos:
- Solicitudes realizadas.
- Días de mayores visitas al curso.
- Nº de sesiones.
- Páginas visitadas.
- Nº de veces que se visualiza un video o actividad.
- Nº de pixeles.
295
Machine Learning y predicciones para la mejora del rendimiento en MOOC
-
País.
Tratamiento
Se revisaron los modelos empíricos de deserción de plazo fijo y el de
de
los predicción temporal, así como también el KNN, SVM y Árbol de
resultados
decisión.
País
Alemania
Fecha
2017
Resultados
El aprendizaje profundo obtuvo un rango de 0,95 mientras que el
KNN obtuvo uno de 0,86.
El aprendizaje profundo se comporta mejor con la predicción de
SVM para todas las semanas.
Al promediar el curso MOOC se obtuvo: KNN 0,89, Árbol de
decisión 0,84 y SVM 0,90
Conclusiones El modelo de predicción de plazo fijo no permite identificar con
suficiente antelación al alumno en riesgo de deserción, ni permite
conocer quienes permanecerán más allá de la primera semana.
El modelo de predicción temporal permite identificar el riesgo de
deserción en la semana siguiente a partir de datos recogidos en
semanas anteriores, es decir, una semana después.
Ninguno de los dos modelos permite personalizar la intervención de
los estudiantes.
El modelo de aprendizaje profundo permite a los profesores
personalizar la intervención para aquellos estudiantes que necesitan
más ayuda y asistencia inmediata.
En el KNN no se puede llevar a cabo este tipo de intervención, pero
con el SVM y el árbol de decisión si pueden llevar a cabo
intervenciones personalizadas.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
296
Anexo 2
Tabla 33. Artículo 3. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Millecamp, M., Gutiérrez,
Área de
Tecnológico
F., Charleer, S., Verbert,
estudio
K., & De Laet, T.
Nombre del A qualitative evaluation of
Año,
Bélgica 2018
artículo
a learning dashboard to
Idioma
support
advisor-student original y
dialogues.
país
Revista
In Proceedings of the 8th International Conference on Learning
Analytics and Knowledge (pp. 56-60). ACM
Objetivos
Presentar una evaluación de un tablero de instrumentos de aprendizaje
que apoya el diálogo entre un estudiante y un asesor de estudio.
Tipo
de Descriptivo/exploratorio
estudio
Hipótesis
Preguntas de los alumnos y conversaciones con el asesor
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
La efectividad del tablero de aprendizaje para el desempeño académico.
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
101 encuestas de las 224
reuniones
Instrumentos
Análisis de datos estadístico y gráficas y elaboración de cuadro de
de medición
mando
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universidad Católica de Población
224
Lovaina
Muestra
Se obtuvo finalmente 101 encuestas.
Observaciones
Al observar los diálogos entre el alumno y el asesor académico,
observó que todos los estudiantes tenían algunas dudas en mente sobre
sus posibles resultados en los cursos. En base a esta duda, se
categorizaron los estudiantes en tres grupos diferentes: los estudiantes
que dudaban si continuar el programa (grupo 1), los estudiantes que
dudaban que cursos escoger para el próximo año (grupo 2), y los
estudiantes que dudan si serían capaces de tolerar un curso (grupo 3).
Método
y Se tienen dos datos:
procedimiento
Archivo de progreso , que enumera todos los cursos del
estudiante junto con sus calificaciones obtenidas, el número de
créditos de cada curso, así como una indicación de la posición con
respecto a las calificaciones de los compañeros.
297
Machine Learning y predicciones para la mejora del rendimiento en MOOC
-
La segunda fuente de datos es la página de comentarios de la
licenciatura. Este sitio web proporcionaba información a los
estudiantes sobre la posición del alumno respecto a sus
compañeros y en relación con las expectativas del programa.
Tratamiento
Se analizaron las 224 entrevistas, y de acuerdo a las respuestas se
de
los diseñó el tablero, el cual es adaptable a cualquier curso universitario
resultados
País
Bélgica
Año
Septiembre de 2017
Resultados
En general, el tiempo que se utiliza el tablero de instrumentos es alta
en todos los grupos, e indica que el cuadro de mandos está apoyando
el diálogo entre el alumno y el asesor. En un diálogo más personal, el
alumnado espera con el asesor obtener más puntos de vista que en un
diálogo propio con los compañeros.
Para los estudiantes de los grupos 2 y 3 que están buscando
información sobre la regulación, el tablero de instrumentos se puede
modificar para mejor soporte de la toma de decisiones.
Conclusiones
Aunque el enfoque utilizado es menos avanzado que muchas otras
aplicaciones del tablero de instrumentos de aprendizaje, los resultados
indican que los datos de evaluación son útiles para apoyar ideas de
reflexión y toma de decisiones. El panel de control se ha desplegado
en 10 programas de la universidad, por lo que los investigadores están
convencidos que la activación de este instrumento es positiva para el
desempeño académico de los alumnos y su efectividad en los diferentes
cursos de las Universidades.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
No se evidencia
298
Anexo 2
Tabla 34. Artículo 4. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
García-Tinizaray, D.,
Área de estudio
Predictiva
Ordoñez-Briceño, K., &
Torres-Diaz, J. C.
Nombre del
Learning analytics para
Año, Idioma
2015, Castellano,
artículo
predecir la deserción de
original y país
Ecuador
estudiantes a distancia.
Revista
Campus virtuales, 3(1), 120-126.
Objetivos
Desarrollo de un modelo predictivo aplicando regresión logística para la
deserción
Tipo
de Métodos multivariantes
estudio
Hipótesis
La variable dependiente tomada en cuenta para este estudio es desertor ,
que indica si un estudiante abandonó o no su carrera universitaria.
Variables tecnológicas: se han seleccionado los datos de los cursos que
poseen una mayor interacción en: foros, tareas, recursos, accesos y
mensajes, tanto por parte del profesor como de los estudiantes del curso.
Otros
La variable que mide el número de mensajes entre compañeros y con el
profesor no alcanzó valores significativos por lo que fue excluida del
modelo final.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
La predicción del abandono
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos De los cursos seleccionados para el modelo, se recolectaron los datos
de medición
referentes al:
- número de veces que un estudiante revisa
- agrega un tema de discusión, da un mensaje de respuesta en el
foro
- agrega recursos adjuntos al foro
- el número de tareas enviadas
- el número de mensajes enviados a los compañeros o al docente
- el número de veces que realiza comentarios
- el número de accesos
- el tiempo total de duración en los accesos al curso
- el número de descargas de un recurso.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Modalidad abierta y a Población
Estudiantes
de
distancia
estudios virtuales
en la Universidad
Técnica Particular
de Loja,
299
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Muestra
6 cursos con mayor Observaciones
interacción, de los cuales
4 pertenecen a la carrera
de Sistemas Informáticos
y Computación, y los 2
restantes a la carrera de
Abogacía y Gestión
Ambiental
respectivamente, dando
un
total
de
205
estudiantes.
Método
y Una vez se obtuvieron los datos se hizo uso de técnicas estadísticas
procedimient multivariantes, como son el análisis factorial y la regresión logística. El
o
análisis factorial es utilizado para agrupar las variables por ámbito de
acción y con el propósito principal de reducir el conjunto de estas, y así
contar con pocas variables predictoras, que tengan una mayor influencia
sobre la deserción. Con estas se elaboró un modelo de regresión
combinando distintas posibilidades a fin de lograr la mayor explicación
de la varianza posible.
Tratamiento Cada uno de los aspectos que se tomó en cuenta para seleccionar el curso,
de
los fue tratado como variables, lo que permitió predecir el comportamiento
resultados
de los alumnos y diseñar un modelo que permita conocer el
comportamiento de la deserción.
País
Ecuador
Año
Período académico
Octubre 2012
Febrero 2013.
Resultados
Se organizaron los datos obtenidos en 4 variables: accesos, foros,
mensajes y recursos (los cuales determinaron el diseño del modelo
predictivo).
El nivel de predicción alcanzado por el modelo es de 64,4% y la varianza
explicada alcanza el 15,7%. El modelo resultante es el siguiente:
Conclusiones
Los elementos que determinan la deserción del estudiante son las tres
variables que se señalan en el modelo (se eliminó la que corresponde a
mensaje). El cambio en los valores de los coeficientes determina un
potencial cambio del estado final del estudiante (deserción/no deserción).
Los resultados muestran que las variables relacionadas con el acceso a un
entorno virtual, la participación en foros y la subida/descarga de recursos
educativos son las que determinan una potencial deserción.
Otros
300
Anexo 2
Tabla 35. Artículo 5. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Urrutia, M. L., Cano, E.
Área de
Educación
V., & Meneses, E. L.
estudio
Nombre
del MOOC learning analytics
Año,
2017
artículo
using real-time dynamic
Idioma
metrics
original y
país
Revista
Revista d'innovació educativa, (18), 3
Objetivos
Presentar el diseño y funcionamiento de una experiencia de analítica
mediante una plataforma que ofrece métricas dinámicas en tiempo real
denominada MOOC Dashboard.
Tipo
de Descriptivo-exploratorio
estudio
Hipótesis
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Presenta la experiencia de 2 universidades en el análisis del aprendizaje de los MOOCs,
para determinar las variables que intervienen y las que se pueden modificar para lograr una
mejora en el desempeño académico de los alumnos y una disminución de la deserción.
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos de Estadística descriptiva
medición
Otros
No se evidencia
DATOS DE LAS EXPERIENCIAS
Ámbito
Experiencia entre la Población
Curso
Digital
Universidad
de
Marketing: Challenges
Southampton
y
la
and Insights ofrecido
Universidad Autónoma
por
la
plataforma
de Madrid.
FutureLearn
Muestra
área
del
marketing Observaciones
(n=244),
educación
(n=192), la gestión de
servicios
y
la
información (n= 260).
Método
y Se seleccionó el curso, y se seleccionaron diferentes criterios con los
procedimiento
que se pueden dar información sobre los alumnos y su transitar por el
curso MOOC (datos demográficos, profesionales, intereses, accesos a
la plataforma, mensajes etc.).
Se analiza el MOOC Digital Marketing: Challenges and Insights
ofrecido por la plataforma FutureLearn y se presentan los resultados
de la aplicación de métricas analíticas dinámicas sobre el desempeño
académico de los estudiantes.
301
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tratamiento de El análisis de cada uno de los criterios seleccionados a través de la
los resultados
estadística, permite establecer estrategias de mejoras en los cursos para
lograr disminuir la deserción de los alumnos.
Por lo tanto, al conocer la profesión de cada uno y los intereses en
común, se pueden plantear lecturas y videos de interés que eviten la
deserción y alimenten la motivación.
País
España
Año
Resultados
El diseño del tablero para el filtrado de analíticas permite una
observación diaria del desempeño de los estudiantes y un resumen
final.
El modelo que se propone es un modelo mixto entre los dos modelos
que existen, por lo que las mejoras al desempeño académico se
plantean a través del análisis de las interacciones que el estudiante
establece durante el curso y sus intereses particulares.
Conclusiones
Se han presentado las principales funcionalidades del tablero dinámico
denominado MOOC Dashboard creado por la Universidad de
Southampton y la Universidad Autónoma de Madrid. Este tablero
permite el análisis, mediante métricas dinámicas en tiempo real, del
funcionamiento interno del curso, con grandes posibilidades de
retroalimentación para los estudiantes y para la mejora del MOOC por
parte de sus diseñadores. Las principales funcionalidades presentadas
se han concentrado en la posibilidad de filtrar información descriptiva
de los estudiantes matriculados, su desempeño académico conforme a
las actividades superadas, comentarios realizados y las correlaciones
entre el desempeño académico y la finalización de los estudios.
Desde esta perspectiva, cobra especial relevancia el diseño de
herramientas de analítica de aprendizaje en tiempo real, que ayudan a
diseñadores y a estudiantes a rediseñar el curso a medida que se va
desarrollando, y a modificar futuras ediciones sin esperar a realizar un
profundo análisis estadístico de las variables o aspectos que resultan
menos funcionales.
Asimismo, además de analizar y evaluar de forma dinámica el progreso
de los estudiantes en los MOOCs, permite avanzar en el proceso
metodológico en entornos masivos, se consigue visibilizar las posibles
causas de uno de los aspectos más controvertidos de estos cursos las
altas tasas de deserción
al permitir a sus diseñadores y a los
estudiantes conocer en tiempo real su desempeño y posibles carencias
en el diseño o en la propuesta de actividades. Asimismo, el análisis del
desempeño de los estudiantes en tiempo real, favorece la labor de los
tutores o curadores de contenido para ofrecer información y
actividades más personalizables y escalables.
302
Se han analizado 3
ediciones:
las
correspondientes a los
años 2014, 2015 y 2016.
Anexo 2
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
No se evidencia
303
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 36. Artículo 6. Learning Analytics.
Autor/es
INFORMACIÓN GENERAL DEL ARTÍCULO
Halawa, S., Greene,
D., & Mitchell, J.
Nombre del
artículo
Año
Dropout Prediction in
Año,
Idioma
original y
país
MOOCs using Learner
Activity Features
2014
Revista
Proceedings of the Second European MOOC Stakeholder Summit, 5865
Objetivos
Diseñar un modelo de predicción integrador para predecir la deserción
en los cursos en línea.
Tipo
de Descriptivo-experimental.
estudio
Hipótesis
¿Quién está en riesgo de abandono? ¿Cuándo la actividad de los
estudiantes empieza a exhibir los patrones predictivos de la deserción?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Entrevistas
Instrumentos
de medición
Otros
Ámbito
HERRAMIENTAS UTILIZADAS
Encuesta
DATOS DE LAS EXPERIENCIAS
Población
Muestra
Estudiantes de 12 cursos Observaciones
que se han unido en los
primeros 10 días del
curso y han visto al
menos un vídeo y a los
que nunca se les ha
hablado
sobre
la
deserción del curso.
Método
y 1. Se realizó un estudio para conocer los patrones comunes en las
procedimiento
actividades de los estudiantes y su relación con el rendimiento.
2. Una vez conocidos, se construyó un conjunto de curso que
abarcaban 12 de distintas áreas: matemáticas, física, agricultura,
ciencias políticas y ciencias de la computación. Se crearon docenas
304
Anexo 2
de variantes de nuestras características con distintos umbrales, con
el objetivo de encontrar aquellas que tenían éxito en predecir un
número sustancial de deserciones. Se destacaron 4 características
que fueron seleccionadas en el diseño de la versión actual del
modelo de predicción.
Tratamiento
Para conocer la efectividad del modelo se consideraron cuatro
de
los clases de los estudiantes:
resultados
1.
Negativos verdaderos: estudiantes que nunca
fueron marcados con una bandera roja y nunca
abandonaron el curso.
2.
Falsos negativos: estudiantes que nunca fueron
marcados con una bandera roja, pero abandonaron el curso.
3.
Falsos positivos: estudiantes que fueron marcados
con una bandera roja, pero nunca abandonaron.
4.
Verdaderos positivos: estudiantes que fueron
marcados con una bandera roja y abandonaron el curso.
País
Año
Al analizar los estudiantes marcados con bandera roja y que
Resultados
abandonaron el curso se obtuvieron los siguientes posibles casos:
a) Estudiantes que visitaron el curso varios días y vieron cualquiera
de los vídeos de la unidad o intentaron realizar alguna de sus
evaluaciones cada uno de esos días.
(b) Estudiantes que siguen una trayectoria suave, excepto que hay
una o más ausencias prolongadas . Se definen en este grupo,
ausencias de 10 o más días después de lo cual el estudiante continúa
desde donde se detuvo anteriormente.
(c) Estudiantes de una única clase, que visitan el curso de vez en
cuando, y por lo general recopilan contenidos de diferentes unidades
cada día que visitan el curso.
(d) Estudiantes que comienzan como visitantes continuos o por
ráfagas, pero desaparecen totalmente después de un cierto punto antes
del final del curso.
Conclusiones
Las conclusiones en cuanto a la aplicación del modelo son las
siguientes:
El predictor de modo activo fue capaz de predecir entre el 40% y el
50% de los abandonos. La situación más difícil fueron los cursos que
tenían una gran carga de trabajo, ya que en algún momento del curso
los estudiantes mostraban señales de poco interés si la carga de trabajo
es constantemente alta, incluso los que llegaron al final del curso.
El predictor de modo ausente reflejó más del 90% de los abandonos en
la mayoría de los cursos. Se evidenció menor especificidad en los
cursos con cargas de trabajo más livianas, pues estos cursos facilitan
305
Machine Learning y predicciones para la mejora del rendimiento en MOOC
que el estudiante se ponga al día y continúe en un curso después de una
ausencia prolongada.
El Predictor Integrado. Los valores constantemente altos de
recuperación del predictor integrado son una consecuencia de la
integración del predictor M2. La recuperación de un predictor
combinado es al menos tan buena como la recuperación de lo mejor de
sus componentes. Sin embargo, la mayor debilidad del predictor
integrado sigue siendo la especificidad, que tiene que ser peor que su
componente peor. La peor especificidad observada (0,3) fue para el
curso de modelos gráficos probabilísticos que tiene un número
relativamente alto de videos y tareas por semana, lo que lleva al
predictor a señalar falsamente a muchos estudiantes que se saltaron
algunos videos y tareas.
En cuanto a la predicción aproximadamente en el 80% de los
abandonos marcados, el estudiante persiste en el curso durante al
menos 4 días después de que la bandera roja se levante por primera vez.
Para más del 60% de los abandonos marcados, el estudiante comienza
a mostrar patrones de actividad que incrementan la bandera roja más
de 2 semanas antes de la última actividad.
En cuanto a las razones por la que los estudiantes abandonan el curso,
se concluye que son diversas y que en ella se encuentran involucrados
factores internos y externos, los cuales deben ser contemplados en los
modelos predictivos si se quiere obtener un modelo confiable. El factor
interno más influyente en la persistencia y en el rendimiento era la
capacidad; y el factor externo era la cantidad de tiempo que destinaban
los alumnos a otras actividades. Además, se concluye que el tiempo de
ausencia influye en la deserción pues hace que el estudiante pierda una
parte de los contenidos del curso, y al regresar tienden a funcionar peor
que los estudiantes que visitaron una que otra vez al curso, además
disminuye su capacidad para completar vídeos y evaluaciones, así
como su el rendimiento final.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
306
Youtube
Anexo 2
Tabla 37. Artículo 7. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Li, W., Gao, M., Li, H.,
Área de
Xiong, Q., Wen, J., &
estudio
Wu, Z.
Nombre del
Dropout prediction in
Año,
(2016), inglés. China
artículo
MOOCs using behavior
Idioma
features and multi-view
original y
semi-supervised learning.
país
Revista
In Neural Networks (IJCNN), 2016 International Joint Conference
on (pp. 3130-3137).
Objetivos
Predecir el abandono a través de la propuesta de un nuevo método de
predicción de deserción basado en características de comportamiento
y múltiples vistas del semi-aprendizaje supervisado.
Tipo
de Experimental
estudio
Hipótesis
Las preguntas que se proponen responder son:
1) ¿Cuáles son las diferencias en el comportamiento de los alumnos
que abandonan frente a los que lo finalizan?;
2) ¿En qué grado los algoritmos propuestos superan a los métodos
existentes?
2) ¿Se puede predecir la deserción de los estudiantes en las primeras
semanas de un curso?
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Predecir la deserción escolar basada en los registros del comportamiento.
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos
Se plantea el análisis de la predicción en base a los siguientes
de medición
criterios:
- Visualización de asignaciones: Trabajando en las tareas del
curso.
- Visualización de vídeos: Ver vídeos del curso.
- Acceso a otros elementos: Acceder a otros objetos del curso,
excepto vídeos y asignaciones.
- Página de cierre: El cierre de la página web.
- Wiki: Acceso a la wiki del curso.
- Foro: Acceso al foro curso.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Técno-educativo
Población
Alumnos de cursos
MOOCs
307
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Muestra
39 cursos Mooc
Observaciones
Se llevó a cabo experimentos de forma sincronizada, utilizando el
esquema experimental anterior y tomando el valor medio de la
exactitud de la predicción de 39 subconjuntos.
Por otra parte, se consideran estudiantes que abandonan aquellos que
no tienen registros de comportamiento en más de 10 días, por lo que
los métodos de predicción que desobedecen estas configuraciones no
son comparables.
Método
y El método de extracción de características se basa en el número de
procedimiento registros de comportamiento del aprendizaje de los estudiantes. Para
cada estudiante, el número de registros de comportamiento de un
curso se cuenta semanal, y luego se obtiene el número de registros
por semana. Debido a que el comportamiento de aprendizaje de un
estudiante es diverso, se pudo derivar múltiples subconjuntos de
características de cada tipo de registros de comportamiento. Después
del proceso de extracción de características, se obtuvieron
características de todos los usuarios en relación con cada tipo de
registros de comportamiento.
Tratamiento
Se llevó a cabo en dos experimentos:
de
los El experimento a se realizó en los siguientes pasos:
resultados
1) Conjunto de datos.
2) Métricas de evaluación: Con el fin de evaluar la exactitud del
método propuesto, se utilizan como criterios de evaluación:
Precision, Recall y F-medida.
3) Líneas de base: los datos básicos del usuario (por ejemplo, nombre,
edad, sexo y etc.) y los datos del curso (por ejemplo, contenido del
curso, dificultades, y etc.).
4) Esquema experimental.
País
El experimento b se realizó en los siguientes pasos:
1) Características de comportamiento: se derivan de cada tipo de
registro del comportamiento del usuario.
2) Multiformación: A partir de la discusión anterior, se demuestra que
se puede entrenar a un clasificador en cada vista característica de
comportamiento. Por otra parte, en comparación con las cuatro líneas
de base del experimento a , las características propuestas son
capaces de hacer la misma precisión de la predicción.
China
Año
2016
308
Anexo 2
Resultados
Los resultados del nuevo método y las líneas de base se reportaron en
el conjunto de prueba común. Para los métodos de referencia, todo el
conjunto de entrenamiento se utiliza para estimar el
modelo de predicción. Sin embargo, para el método propuesto, el
conjunto de entrenamiento se divide en dos partes: datos etiquetados
y no etiquetados.
El número de estudiantes con abandono disminuyó gradualmente a
medida que pasaba el tiempo y el número de alumnos participantes
mostró algunas fluctuaciones: en la segunda semana el número
alcanza el máximo valor, y en la tercera semana y la cuarta semana
del número tiende a ser FL, mientras que en la última semana el
número se desplomó.
Los 6 tipos de características del comportamiento son capaces de
distinguir los dos tipos de estudiantes. Por último, la regresión
logística es la mejor y la más eficaz para la predicción de deserción
en este conjunto de datos.
Conclusiones
Los experimentos llevados a cabo en un conjunto de datos del mundo
real muestran la eficacia del nuevo modelo de predicción que se ha
propuesto. Este modelo se puede utilizar para predecir otro
comportamiento que no sea necesariamente el abandono, por lo que
se propone incluir aspectos de interacción y realizar otras propuestas
de investigación experimental que midan otros comportamientos de
los participantes en los MOOC
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
No se evidencia
309
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 38. Artículo 8. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Kloft, M., Stiehler, F.,
Área de
Educativo
Zheng, Z., & Pinkwart, N.
estudio
Nombre del Predicting MOOC dropout
Año,
2014, Inglés, Alemania
artículo
over weeks using machine
Idioma
learning methods. In
original y
país
Revista
Proceedings of the EMNLP 2014 Workshop on Analysis of Large Scale
Social Interaction in MOOCs (pp. 60-65).
Objetivos
Diseñar un modelo de predicción a través de los clics como aprendizaje
autónomo
Tipo
de Correlativo
estudio
Hipótesis
A mayor interacción de navegación, menor deserción
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Predecir la deserción a partir del comportamiento de los alumnos utilizado como
predictor principal la interacción de los clics que el alumno da en el curso.
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Instrumentos Los datos seleccionados para establecer la predicción fueron la
de medición
navegación de los alumnos midiendo la cantidad de clics.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Curso de psicología Población
11.607 participantes en
MOOC
la semana que comienza.
Muestra
3.861 participantes que Observaciones El curso duró 12
se alojen hasta la última
semanas 81,4% de
semana del curso.
deserción.
Autor/es
Método
y Los datos de clics incluyen 3.475.485 registros que pueden ser
procedimiento clasificados en general en dos tipos: el registro de visualización de la
página y el registro de videoconferencia. El modelo plantea predecir
la deserción de acuerdo al comportamiento de navegación de alumnos
durante las semanas anteriores, por lo que el cálculo se realizó por cada
alumno y cada atributo y cada semana, por lo que para cada semana se
tendrán más datos que analizar y se establecerán las comparaciones
necesarias.
Lo primero que se realizó fue establecer los atributos de la navegación
a analizar, los cuales fueron 22 en total (por ejemplo, el número de
veces que inicia la sesión en la semana o el número de visualizaciones
de un video)
310
Anexo 2
Tratamiento
de
los
resultados
País
Resultados
Conclusiones
Los datos se analizan semana a semana para establecer comparaciones,
medias y correlaciones de cada alumno.
Alemania
Año
Marzo de 2013
Se evidencia la mayor probabilidad de deserción durante las dos
primeras semanas y las dos últimas.
Se obtuvieron datos significativos de predicción. Se logró un aumento
en la precisión de predicción en las semanas finales, siendo de un 15%
durante todo el curso. Las últimas semanas son las que permiten tener
una mayor predicción, ya que se tienen datos suficientes del
comportamiento durante todo el curso.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Cousera ID
311
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 39. Artículo 9. Learning Analytics
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Ye, C., & Biswas, G.
Área de
estudio
Nombre del Early prediction of student
Año,
2014, Inglés, Estados
artículo
dropout and performance
Idioma
Unidos
in MOOCs using higher
original y
granularity temporal
país
information.
Revista
Journal of Learning Analytics, 1(3), 169-172.
Objetivos
¿Podemos derivar predictores precisos y confiables del abandono y el
rendimiento de los estudiantes en entornos MOOC?
Tipo
de Análisis descriptivo.
estudio
Hipótesis
1) Se considera abandono cuando un estudiante ve menos del 10% de las
conferencias o deja de presentar las tareas asignadas;
2) La calificación final (con certificado o no) al completar el curso.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Entrevistas
Instrumentos
de medición
HERRAMIENTAS UTILIZADAS
No se evidencia
Encuesta
No se evidencia
Se analizan datos de videoconferencias, pruebas semanales y
evaluaciones del curso POSA de diez semanas.
Se consideró para el análisis las características tradicionales para
definir el comportamiento de los estudiantes, como: descargas de
videoconferencias, exámenes semanales y evaluaciones, junto con las
siguientes características adicionales: 1) número de vistas de vídeos
por semana; y 2) información temporal, como cuando se ve una
conferencia o se inicia una evaluación durante la semana
Otros
Ámbito
Muestra
DATOS DE LAS EXPERIENCIAS
Universidad
de Población
31.053 inscrito
Vanderbilt
Observaciones
Método
y Se realiza una correlación R de Pearson entre las características
procedimiento individuales y el rendimiento final del alumno (finalización normal vs
distinción).
Tratamiento
Se analiza la cantidad de pruebas de vídeo tomadas por semana y
de
los cuando una conferencia se accede por primera vez al video.
resultados
312
Anexo 2
País
Resultados
Conclusiones
El momento en que los estudiantes comienzan las evaluaciones fue un
buen predictor temprano de su tasa de deserción y rendimiento. Una
vez las puntuaciones de la evaluación estaban disponibles, se
convirtieron en los mejores indicadores de desempeño.
Estados Unidos
Año
2013
Los resultados muestran que la información temporal aumenta la
capacidad de predicción en las primeras fases del MOOC.
El análisis inicial de los datos de la primera semana indica dos grupos
dominantes: 1) estudiantes que vieron conferencias y realizaron las
pruebas (1.699 estudiantes) y 2) estudiantes que solo vieron
conferencias (6.953 estudiantes). Esta agrupación fue un fuerte
indicador de abandonos: el 60% del grupo de solo lectura se retiró para
la semana 4, mientras que solo el 20% de los participantes abandonaron
el cuestionario.
Se estudió la selección de funciones y los métodos de extracción de
funciones para mejorar predicciones con grandes conjuntos de datos
derivados de MOOCs.
Otros
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
No se evidenció
313
Youtube
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 40. Artículo 10. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Fei & Yeung
Área de
Educativo- Tecnológico
estudio
Nombre del
Temporal Models for
Año,
2015, Inglés Estados
artículo
Predicting Student
Idioma
Unidos
Dropout in Massive Open
original y
Online Courses
país
Revista
In Data Mining Workshop (ICDMW), 2015 IEEE International
Conference on (pp. 256-263)
Objetivos
Modelos de predicción temporal del estudiante en deserción
Tipo
de Descriptivo
estudio
Hipótesis
- Se considera la predicción de abandono al aplicar modelos
secuenciales que parten de la evaluación de la perspectiva para la
resolución de problemas.
- Utiliza un modelo de RNN de memoria a corto plazo (LSTM), al
analizar los resultados del pre y post test y aplicando los métodos de
deserción.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Predecir la deserción a partir del comportamiento del alumno en el curso MOOC
HERRAMIENTAS UTILIZADAS
Entrevistas
Encuesta
Al comenzar y al
terminar el curso
Instrumentos Se evalúa el comportamiento del alumno en el MOOC según los
de medición siguientes elementos:
- Participación en conferencias.
- Nº de descargas (videos y materiales).
- Nº de veces que se vio el foro.
- Nº de veces que se vieron los hilos del foro.
- Nº de participaciones en el foro.
- Nº de comentarios en respuesta a los comentarios de otros
participantes.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Educativo- Tecnológico Población
Curso Coursera: Este es
un curso de 6 semanas
con un total de 85.394
estudiantes matriculados
Curso edx:: Abarca 10
semanas
314
Anexo 2
Muestra
Curso Coursera: 39.877 Observaciones Los datos utilizados en
con al menos un registro
este documento son de
de participación durante
dos
MOOCs:
La
el curso.
Ciencia
de
la
Curso
edx:
27.629
Gastronomía
estudiantes con al menos
(Coursera)
e
un
registro
de
Introducción
a
la
participación durante el
programación
Java
curso.
(edx).
Método y
Se tomaron en cuenta los datos que se pueden obtener de la plataforma,
procedimiento los cuales son comunes en la mayoría de las investigaciones que se
realizan sobre lo predicción de la deserción en los cursos MOOCs. Las
cuales se relacionan principalmente con: la visualización de vídeos,
visualización de páginas, y la publicación de visualización de foros,
página, wiki de visualización y edición, de click-stream de vídeo.
Tratamiento Se aplica la regresión logística para predecir abandonos de los
de los
estudiantes de acuerdo con la última actividad del estudiante en el
resultados
curso.
País
Año
Resultados
Sobre la base de extensos experimentos llevados a cabo en 2 MOOCs
ofrecidos en Coursera y EDX, un modelo recurrente de red neuronal
(RNN) con memoria de largo a corto plazo, las células (LSTM) supera
a los métodos de referencia.
Conclusiones Por ejemplo, si un estudiante participa activamente en las primeras
semanas de un curso, es razonable suponer que seguirá participando
activamente en las siguientes semanas. Por el contrario, si un
estudiante nunca aparece en las primeras semanas, es poco probable
que participe de forma activa las siguientes semanas. En este sentido,
la aplicación de técnicas de marcaje de secuencia con la tarea de
predicción de deserción nos permite modelar la dependencia temporal
dentro de la secuencia de entrada.
Otros
PLATAFORMA UTILIZADA
EDx
X
SPOC
Open EDX
Youtube
Otros
Cousera
315
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Tabla 41. Artículo 11. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Sinha, T., Jermann, P., Li,
Área de
N., & Dillenbourg, P.
estudio
Nombre del Your click decides your
Año,
2014
artículo
fate: Inferring information
Idioma
processing and attrition
original y
behavior from MOOC
país
video clickstream
interactions.
Revista
arXiv
Objetivos
El objetivo es desarrollar un modelo de predicción tecnológico cognitivo
del comportamiento de los participantes.
Tipo
de Descriptivo, Explorativo
estudio
Hipótesis
a) ¿durante cuánto tiempo los estudiantes interactúan con el material del
curso y cómo ha sido la trayectoria en el curso?
b) La cantidad de clics e interacciones que se realizan durante el curso
determinan su trayectoria.
c) Los estudiantes que llegan al final del curso son aquellos que más
interacciones tienen durante el curso.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Predecir el abandono partiendo de las interacciones durante el curso
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos Análisis estadístico de los datos de la plataforma relacionados con la
de medición
interacción del participante principalmente con los videos.
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Tecnológico-educativo
Población
65.969 inscritos.
Sólo
36.536
interactuaron , de ellos
se obtuvieron registro de
762.137 sesiones que
contienen los tipos de
eventos de clic.
Muestra
Sólo se incluyen las Observaciones El MOOC incluye un
sesiones de vídeo. Esto
total
de
48
ha dado un conjunto de
videoconferencias
de
datos
de
222.021
(10 GB de datos JSON),
sesiones
de
21.952
que han sido analizadas
estudiantes
para
el
y procesadas
en un
análisis
316
Anexo 2
formato
conveniente
para la experimentación
Método
y Se llevó a cabo un análisis de clics en 3 niveles jerárquicos.
procedimiento Con este fin, también se desarrolló un índice de procesamiento de la
información cuantitativa y se supervisaron sus variaciones entre los
diferentes grupos de estudiantes que se definieron en el MOOC. Esto
puede ayudar a los instructores del curso a razonar sobre cómo el estilo
de navegación de los estudiantes refleja la asignación de recursos de
los alumnos a cada actividad y la retención de los conceptos enseñados
en el MOOC.
Se validó la metodología desarrollada mediante el establecimiento de
ciertos experimentos de aprendizaje automático relacionados con la
predicción del compromiso y del abandono.
Tratamiento
Se analizaron las diferentes acciones que cada participante realizó
de
los sobre las videoconferencias: pausas realizadas, visualizaciones, inicio
resultados
y fin entre otros datos de interés.
País
Año
2012
Resultados
En este trabajo, se logró construir un índice de procesamiento de la
información de los estudiantes, basado en el enfoque de la capacidad
limitada, la cual afirma que las personas asignan de forma
independiente cantidad limitada de recursos a las tareas de una
actividad compartida.
Hay dos aspectos positivos importantes aquí:
a) Los vectores de acción del comportamiento son capaces de alcanzar
valores casi similares de precisión en comparación con los clics.
b) La métrica de interés utilizada, es decir, la tasa de falsos negativos
1 es menor para el caso 1.B y Caso 3.B, en comparación con el Caso
1.A y Caso 3.A, lo que demuestra la eficacia del enfoque de clics en
pre-descifrar el destino de los estudiantes en cierta medida.
En este esquema de modelación, la variable de deserción es 1 en la
última semana de participación activa de los estudiantes (en términos
de visualización de videoconferencias), y es 0 para el resto de semanas.
Los resultados de la investigación indican que:
a) La deserción en el MOOC es un 37% menos probable, si tienen una
desviación estándar mayor que la media (razón de riesgo: 0,6367, p
<0,001). Tales estudiantes lidian más con el material del curso para
lograr sus resultados de aprendizaje deseados (como se refleja por su
participación video conferencia).
b) Los estudiantes con comportamiento rewatching , son un 33%
menos propensos a la deserción (razón de riesgo: 0,6734, p <0,001).
Conclusiones La investigación ha encontrado consistentemente que el nivel de
compromiso cognitivo es un aspecto importante de la participación de
los estudiantes. En este procesamiento cognitivo está relacionado con
el enfoque aversivo y los sistemas motivacionales del estudiante, que
se activan en respuesta a estímulos relevantes en el medio.
Otros
317
Machine Learning y predicciones para la mejora del rendimiento en MOOC
EDx
Otros
PLATAFORMA UTILIZADA
SPOC
Open EDX
Cousera
318
Youtube
Anexo 2
Tabla 42. Artículo 12. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Rosé, C. P., Carlson, R.,
Área de
Académico
Yang, D., Wen, M.,
estudio
Resnick, L., Goldman, P.,
& Sherer, J.
Nombre del
Social factors that
Año,
2014, Estados Unidos.
artículo
contribute to attrition in
Idioma
inglés
MOOCs.
original y
país
Revista
In Proceedings of the firs ACM conference on Learning@ scale
conference (pp. 197-198). ACM.
Objetivos
Medir el impacto de 3 factores sociales que hacen predicciones sobre el
desgaste de los estudiantes a lo largo del curso.
Tipo
de Descriptivo, exploratorio
estudio
Hipótesis
Hipótesis binarias y variables sociales.
Otros
Se explora el comportamiento de deserción de los estudiantes en un
MOOC.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Identificar los papeles sociales que intervienen en la deserción
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos Se analizó la participación en el foro
de medición
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Universidad
de Población
60.000 estudiantes
Pittsburgh
se inscribieron en el
curso, sólo alrededor de
25.000
estudiantes
accedieron a los
materiales del curso al
menos una vez
Muestra
4.709 mensajes
Observaciones
Método
y En primer lugar, con el fin de obtener una partición suave de la red
procedimiento social de los foros de discusión, se utilizó una membresía mixta de
modelos de bloques (MMSB).
Con el fin de evaluar el impacto de los factores sociales en la
participación continua se utilizó un modelo de supervivencia. Este
análisis permite proporcionar estimaciones menos sesgadas que las
técnicas más simples (por ejemplo, mínimos cuadrados de regresión
319
Machine Learning y predicciones para la mejora del rendimiento en MOOC
lineal estándar) que no toman en cuenta la naturaleza potencialmente
truncada de los datos.
Tratamiento
Se comenzó con el análisis de las variables binarias que indicaban si el
de
los alumno había comenzado su participación una semana en concreto. Del
resultados
curso duraba 7 semanas, por lo que había 7 variables binarias. Sólo en
el caso en que un estudiante comienza su participación en la primera
semana del curso, se hizo una predicción significativa.
La variable social se obtuvo a partir de los resultados de trabajos
anteriores y del comportamiento del participante en el foro.
País
Estados Unidos
Año
2013
Resultados
Se indica un riesgo relativo de 0,65, lo que significa que los estudiantes
que comenzaron su participación en la primera semana del curso eran
un 35% menos propensos a abandonar. En cada punto de tiempo el
promedio de la relación de riesgo indica un valor de casi 0, lo que
indica una probabilidad de casi el 100% de deserción.
En particular, los estudiantes que participaron en el foro en una semana
tuvieron casi diez veces más probabilidades de abandonar en la
siguiente semana que el promedio de los estudiantes.
Además, con análisis post-hoc se verifica que el patrón de desgaste se
relaciona con la participación de los estudiantes involucrados entre sí.
Conclusiones En este trabajo se exploraron 3 tipos de factores, todos los cuales
predicen la deserción escolar a lo largo del curso.
Lo novedoso de esta investigación es que se logra plantear un indicador
que obtiene, a través de la partición suave sin supervisión de la red
social, predicciones sobre la deserción; lo que indica que la
participación en un foro particular en el MOOC predice que la
deserción en la próxima semana es diez veces mayor que para los
estudiantes que no participan en ese foro.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
Cousera
320
Anexo 2
Tabla 43. Artículo 13. Learning Analytics.
Autor/es
Nombre del
artículo
Revista
Objetivos
Tipo
estudio
Hipótesis
INFORMACIÓN GENERAL DEL ARTÍCULO
Whitehill, J., Williams,
Área de
J., Lopez, G., Coleman,
estudio
C., & Reich, J.
Beyond prediction: First
Año,
2015, ingles. Estados
steps toward automatic
Idioma
Unidos
intervention in MOOC
original y
student stopout
país
Realizar encuestas dinámicas e intervenciones, la generalización de
nuevos MOOCs
de Descriptivo- exploratorio
Algunas de las preguntas que están abordando actualmente incluyen
¿quién se inscribe en los cursos HarvardX?
¿por qué se están inscribiendo?, y ¿cómo podemos mejorar su
experiencia educativa?
Otros
En particular, se pretende comprender si los participantes dejan los
cursos HarvardX por razones exógenas a su experiencia del curso, por
ejemplo, aumento de la tensión en el trabajo, o si dejan de participar
porque no les gustaba algún aspecto del curso, especialmente los
elementos que los desarrolladores del curso podrían ser capaces
mejorar.
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Una comprensión más profunda de las razones por las que los estudiantes dejan un
curso, podría ayudar a los desarrolladores a mejorar el contenido del curso.
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
No se evidencia
Instrumentos Análisis de los datos de los siguientes elementos.
de medición
- Definición de stopout / deserción: última actividad del
participante, durante el curso, sin que sea la actividad final.
- Características utilizadas para la predicción: datos de
navegación (intervención en foros, redes sociales,
plataforma)
Métodos de clasificación: aprendizaje supervisado estándar, tales
como máquinas de vectores soporte y de regresión logística:
- Clasificación de ajuste: Una cuestión fundamental es si un
detector stopout que está altamente adaptado a un curso
existente se podría generalizar a una futura oferta del mismo
curso, o incluso si se podría generalizar a otros cursos.
Otros
DATOS DE LAS EXPERIENCIAS
321
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Ámbito
Educativo
Población
Muestra
3.764 estudiantes
Observaciones
Hardvard EDX
Método
y Se diseñó un mecanismo de encuesta dinámica específicamente
procedimiento dirigida a los estudiantes que recientemente cursaron un MOOC y lo
dejaron para volver a entrar posteriormente.
Tratamiento
Se presenta un método basado en la optimización mediante
de
los simulación, para elegir un umbral de salida y clasificar por criterio de
resultados
desempeño. Se plantean intervenciones que permitan mejorar la
situación que ha producido la salida anteriormente del estudiante.
País
EEUU
Año
2014
Resultados
Al pasarse la encuesta al finalizar el curso, se obtuvo un porcentaje
de respuesta muy bajo alrededor de 2%, esto debido principalmente
que, al concluir y recibir el certificado, el participante ya no accede
más a la plataforma; además quedaban de lado aquellos que
abandonaron el curso y aquellos que abandonaron para volver en la
siguiente.
Se plantean mecanismos de mejora durante el curso que eviten el
abandono, como correos electrónicos semanales que avisen sobre las
actividades y la participación. Adicionalmente se recuerda la
evaluación del curso aunque no haya concluido.
Conclusiones Una vez el alumno abandona o culmina el curso, deja de conectarse,
es por eso que se hace necesario que la evaluación sea antes de que
culmine el curso y se invite a participar a aquellos que abandonaron
el mismo para conocer los motivos que los indujo a la deserción y así
poder actuar ante esto para prevenirla en el futuro.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
HarvardX
322
Anexo 2
Tabla 44. Artículo 14. Learning Analytics.
INFORMACIÓN GENERAL DEL ARTÍCULO
Autor/es
Liang, J., Yang, J., Wu,
Área de
Tecnología de la
Y., Li, C., & Zheng, L.
estudio
Información
Nombre del
Big data application in
Año,
2016, China
artículo
education: dropout
Idioma
prediction in edx
original y
MOOCs. In 2016
país
Revista
Segunda Conferencia Internacional sobre Multimedia Big Data
Objetivos
Probar el modelo de predicción de deserción en los MOOCs de Edx a
partir de los datos registrados sobre el comportamiento de los usuarios.
Tipo
de Descriptivo-exploratorio
estudio
Hipótesis
Al analizar el comportamiento de aprendizaje en los estudiantes
después de un mes, se podrá predecir en los próximos diez días si
abandonará el curso.
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Entrevistas
Instrumentos
de medición
HERRAMIENTAS UTILIZADAS
No se evidencia
Encuesta
No se evidencia
Base de datos de 4 modelos de clasificación: SVM, Regresión
logística, Bosque aleatorio y Árbol de decisión de aumento de
degradado (GBDT)
Otros
DATOS DE LAS EXPERIENCIAS
Población
Los cursos de la
plataforma XuetangX,
una de las plataformas
de aprendizaje en línea
más grandes de China.
Muestra
Se tomaron 39 cursos en Observaciones
total, los cuales tienen
casi 40 días (un mes más
10 días) y se registró el
comportamiento de los
usuarios.
Método
y Se extrajeron datos de la plataforma EDX tales como: información
procedimiento sobre el curso, la inscripción en el curso de los estudiantes y el
registro de comportamiento de los usuarios de Edx.
Ámbito
Se compararon algunos trabajos relacionados con el rendimiento del
estudiante en los cursos en línea. Se describió el conjunto de datos
extraídos de la plataforma Edx.
323
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Se describieron los métodos de preprocesamiento de datos y los
detalles de ingeniería. Se describió el desempeño de los 4 tipos de
modelos de clasificación. Se realizó la conclusión.
Tratamiento
Definimos 3 tipos de características de clasificación:
de
los
- Característica de inscripción.
resultados
- Característica del usuario: En este se tomará el tiempo total
de visitas y el tiempo total de los estudiantes comprometidos,
reflejando la vida del curso.
- Característica del curso: capítulo, combinados, información
del curso, dictado, discusión, HTML, enlace externo,
clasificación, problema, secuencial, tabulación estática,
vertical y video.
País
China
Año
2016
Resultados
Los datos obtenidos de las diferentes plataformas sobre el curso y la
inscripción en el curso son bastante claros, pero el registro de
comportamiento de los usuarios de Edx, no se corresponde con el
comportamiento de los usuarios. En cuanto a los cursos, se observó
que el video es importante, sin embargo, no se obtienen datos claros
al respecto.
El estudiante abandona si no tiene ninguna actividad de aprendizaje
en diez días continuos.
El modelo GBDT obtuvo un resultado predictivo del 0,88 lo que
demuestra que la extracción de datos de la plataforma Edx, el
preprocesamiento de datos, las características de ingeniería y la
capacitación en modelos de clasificación pueden ayudar a predecir la
deserción.
Conclusiones El modelo predictivo de deserción escolar puede ayudar a los
maestros a comprender cómo de probable es que cada estudiante
abandone en el curso. El método es extensible a otras plataformas
MOOC que se basan en Open Edx o puede proporcionar datos de
registro de comportamiento de usuarios similares.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
XuetangX plataforma la cual se basa en Open EDX
324
Anexo 2
Tabla 45. Artículo 15. Learning Analytics.
Autor/es
INFORMACIÓN GENERAL DEL ARTÍCULO
Henderikx, M. A., Kreijns,
Área de
K., & Kalz, M.
estudio
Nombre del
artículo
Refining success and
Año,
2017
dropout in massive open
Idioma
online courses based on
original y
the intention behavior gap
país
Revista
Distance Education, 38(3), 353-368
Objetivos
Explorar la aplicabilidad de la tipología para evaluar el éxito MOOC y
la deserción
Tipo
de Exploratorio
estudio
Hipótesis
No se evidencia
Otros
¿QUÉ SE PRETENDE MEDIR?
(Satisfacción, Rendimiento académico (notas), Efectividad ,Abandono, Otros)
Conocer la intensión de éxito o abandono
HERRAMIENTAS UTILIZADAS
Entrevistas
No se evidencia
Encuesta
Se
utilizó
un
cuestionario igual para
el comienzo y para el
final del curso
Instrumentos Navegación, participación parcial en los módulos, recepción de
de medición
certificados
Otros
DATOS DE LAS EXPERIENCIAS
Ámbito
Población
2 MOOCs de la
universidad abierta de
los Países Bajos (los
cursos se diseñaron
especialmente para la
investigación).
Mooc
1:
689
completaron
el
cuestionario previo y
163 el final.
Mooc
2:
821
completaron
el
cuestionario previo , 126
el cuestionario final
Muestra
Mooc 1. 65
Observaciones 1. MOOC
sobre
Mooc 2. 101
basura marina que se
desarrolló de octubre
325
Machine Learning y predicciones para la mejora del rendimiento en MOOC
hasta diciembre de
2015, que
abarca
ocho
módulos durante 8
semanas.
2. El segundo MOOC
(MOOC-II),
'El
cerebro
del
adolescente,' era en
holandés, y estuvo
desde abril hasta
junio de 2016, que
abarca
siete
módulos
durante 7 semanas.
Método
y En primer lugar, se discute la base teórica y trabajos relacionados. A
procedimiento través de la integración de varias perspectivas socio psicológicas sobre
la conexión entre la intención y el comportamiento se logró introducir
la propuesta.
A continuación, se analizaron los datos de los dos MOOCs en línea con
la teoría y la nueva tipología. Por último, se discuten los resultados y
las implicaciones para el uso de la tipología en estudios empíricos,
considerando las limitaciones del enfoque.
Tratamiento
Se analizan magnitudes, frecuencias, y formatos de respuesta en la
de
los medición del comportamiento.
resultados
País
Países Bajos
Año
2015-2016
Resultados
Siguiendo el enfoque tradicional basado en la finalización del curso
para identificar el éxito educativo, las tasas de culminación fueron del
6,5 y el 5,6%, las de deserción 93,5% y 94,4%.
Para las tasas de éxito, se tomó como muestra cuando se realizaron los
dos cuestionarios. Fueron del 59% de éxito frente al 41% de deserción
en el primer Mooc y en el segundo Mooc se evidenció el 70% de éxito
frente al 30% de abandono.
Conclusiones Siguiendo el enfoque tradicional basado en la finalización del curso
para identificar el éxito educativo, las tasas de éxito fueron del 6,5 y el
5,6%. Las tasas de éxito fueron del 59 y el 70%. Estos hallazgos
demuestran que simplemente mirando a la finalización del curso como
una medida del éxito no es suficiente en el contexto de MOOCs.
Otros
PLATAFORMA UTILIZADA
EDx
SPOC
Open EDX
Youtube
Otros
326
Anexo 3
Ane o 3. I e aci n II. C digo f en e c ip .
327
Anexo 3
courseData.py
# Python version 3.7
# Clase para manejar los datos de los cursos
import csv, statistics
from datetime import datetime
from math import ceil
class CourseDataManager:
# Constructor -> Filen with user data structure per week
def __init__(self, filename):
courseFile = open(filename, 'r', encoding='utf-8')
courseCSV = csv.reader(courseFile, doublequote=True, escapechar='\\')
self.data = {}
self.newId = {}
self.dateFormat = '%Y-%m-%d %H:%M:%S'
self.totalVideos = 0
self.totalProblems = 0
self.totalDiscussions = 0
self.totalEvaluations = 0
self.weekVideos = []
self.weekProblems = []
self.weekDiscussions = []
self.weekEvaluations = []
"course_id","week",
# Load problems data -> self.data[course_id][week]
next(courseCSV, None) # skip the headers
for row in courseCSV:
course_id = row[0]
week = row[1]
if (course_id not in self.data):
self.data[course_id] = {}
if (week not in self.data[course_id]):
self.data[course_id][week] = {
"course_percent": float(row[1]) / float(row[2]),
"sections": int(row[3]),
"videos": int(row[4]),
"problems": int(row[5]),
"discussions": int(row[6]),
"evaluations": int(row[7])
}
self.weekVideos.append(int(row[4]))
self.weekProblems.append(int(row[5]))
self.weekDiscussions.append(int(row[6]))
self.weekEvaluations.append(int(row[7]))
329
Machine Learning y predicciones para la mejora del rendimiento en MOOC
self.totalVideos = self.totalVideos + int(row[4])
self.totalProblems = self.totalProblems + int(row[5])
self.totalDiscussions = self.totalDiscussions + int(row[6])
self.totalEvaluations = self.totalEvaluations + int(row[7])
courseFile.close()
def getCourseData(self, course_id):
#if (course_id not in self.data):
#
return None
return self.data #return self.data[course_id]
def getCourseData2(self):
#if (course_id not in self.data):
#
return None
return self.data #return self.data[course_id]
def getCourseId(self, course_id):
# Simplify the course id
if (course_id not in self.newId):
course_num = len(self.newId) + 1
self.newId[course_id] = course_num
return self.newId[course_id]
def getTotalVideos(self):
return self.totalVideos
def getWeekVideos(self, week):
return self.weekVideos[int(week)-1]
def getWeekProblems(self,week):
return self.weekProblems[int(week)-1]
def getWeekDiscussions(self,week):
return self.weekDiscussions[int(week)-1]
def getWeekEvaluations(self,week):
return self.weekEvaluations[int(week)-1]
def getStats(self):
weeks = []
sections = []
videos = []
problems = []
discussions = []
evaluations = []
for course_id in self.data:
w = len(self.data[course_id])
weeks.append(w)
for week in self.data[course_id]:
sections.append(self.data[course_id][week]["sections"])
videos.append(self.data[course_id][week]["videos"])
problems.append(self.data[course_id][week]["problems"])
330
Anexo 3
discussions.append(self.data[course_id][week]["discussions"])
evaluations.append(self.data[course_id][week]["evaluations"])
stats = {
"courses": len(self.data),
"weeksMean": statistics.mean(weeks),
"weeksStdev": statistics.stdev(weeks),
"sectionsMean": statistics.mean(sections),
"sectionsStdev": statistics.stdev(sections),
"videosMean": statistics.mean(videos),
"videosStdev": statistics.stdev(videos),
"problemsMean": statistics.mean(problems),
"problemsStdev": statistics.stdev(problems),
"discussionsMean": statistics.mean(discussions),
"discussionsStdev": statistics.stdev(discussions),
"evaluationsMean": statistics.mean(evaluations),
"evaluationsStdev": statistics.stdev(evaluations),
}
return stats
331
Machine Learning y predicciones para la mejora del rendimiento en MOOC
dataNormParser.py
# Python version 3.7
# Clase para normalizar los datos
def parseBoolean(value):
if value == "False":
return 0
else:
return 1
def parseAge(value):
try:
if value == "":
return 0
else:
if (2019 - int(value)) < 16:
return 0
if (2019 - int(value)) >90 :
return 0
else:
return 2019 - int(value)
except ValueError:
return 0
def parseGrade(value):
if value == "PASS":
return 1
else:
return 0
def parsePercent(value):
if (value == ""):
return 0
else:
return value
def parseGender(value):
if (value == "female"):
return 1
else:
return 0
def parseEducation(value):
if (value == "none"):
return 1
elif (value == "primary education"):
return 2
elif (value == "elemental secondary education"):
return 3
elif (value == "obligatory secondary education"):
return 4
332
Anexo 3
elif (value ==
return 5
elif (value ==
return 6
elif (value ==
return 7
elif (value ==
return 8
elif (value ==
return 9
else:
return 0
"bachelor degree"):
"university degree"):
"master"):
"phd"):
"other"):
def parseDate(date):
if (date == "NULL"):
return 0
elif (date == ""):
return 0
else:
return date
333
Machine Learning y predicciones para la mejora del rendimiento en MOOC
extract_course_data.py
# Python version 3.7
# Lee el fichero student_courseenrollment, auth_user_prod_analytics,
grades_persistentcourse y course_users y
# genera un resumen con los datos necesarios de los usuarios.
# Output: ID_USUARIO;FECHA;0,ENROLLMENT,LAST_ACCESS, PERCENT, LETTER_GRADE,
PASSED TIME, FIRST_ACCESS
import csv, sys
# Removes NULL from CSV cell
def removeNULL(value):
if (value == "NULL"):
return ""
return value
ifilename = './input_data/student_courseenrollment.csv'
ifilename2 = './input_data/auth_user_prod_analytics.csv'
ifilename3 = './input_data/grades_persistentcourse.csv'
ifilename4 = './input_data/courseware_studentmodule.csv'
ofilename = './output_data1/course_users.csv'
fin = open(ifilename, 'r', encoding='utf-8')
fin2 = open(ifilename2, 'r', encoding='utf-8')
fin3 = open(ifilename3, 'r', encoding='utf-8')
fin4 = open(ifilename4, 'r', encoding='utf-8')
fout = open(ofilename, 'w', encoding='utf-8', newline='')
inputCSV = csv.reader(fin, delimiter='\t', doublequote=True, escapechar='\\')
#\t
inputCSV2 = csv.reader(fin2, delimiter=',', doublequote=True, escapechar='\\')
#\t
inputCSV3 = csv.reader(fin3, delimiter='\t', doublequote=True,
escapechar='\\') #\t
inputCSV4 = csv.reader(fin4, delimiter='\t', doublequote=True,
escapechar='\\') #\t
outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL)
header = ["user_id", "course_id", "mode", "enrollment", "last_access",
"percent", "grade", "passed_time", "first_access"]
outputCSV.writerow(header)
lastAccess = []
idAccess = []
idAccess2 = []
percent2 = []
grade2 = []
passed_time2 = []
idAccess3 = []
first_access = []
next(inputCSV2, None)
334
Anexo 3
for row2 in inputCSV2:
lastAccess.append(row2[4])
idAccess.append(row2[0])
next(inputCSV3, None)
for row3 in inputCSV3:
idAccess2.append(row3[1])
percent2.append(row3[3])
grade2.append(row3[4])
passed_time2.append(row3[5])
next(inputCSV4, None)
for row4 in inputCSV4:
if row4[3] in idAccess3:
first_access[idAccess3.index(row4[3])] =
min(first_access[idAccess3.index(row4[3])], row4[6])
else:
idAccess3.append(row4[3])
first_access.append(row4[6])
l = 0
next(inputCSV, None)
for row in inputCSV:
try:
if (row[1] in idAccess):
lastAccess_aux = lastAccess[idAccess.index(row[1])][:19]
else:
lastAccess_aux = None
if (row[1] in idAccess2):
percent_aux = percent2[idAccess2.index(row[1])]
grade_aux = grade2[idAccess2.index(row[1])]
passed_aux = passed_time2[idAccess2.index(row[1])][:19]
else:
percent_aux = None
grade_aux = None
passed_aux = None
if (row[1] in idAccess3):
first_access_aux = first_access[idAccess3.index(row[1])]
else:
first_access_aux = None
line = [row[1],row[2],'0',row[3],lastAccess_aux, percent_aux ,
grade_aux, passed_aux, first_access_aux]
outputCSV.writerow(line)
except Exception:
print(row[1])
print("Unexpected error at line: ", sys.exc_info()[0])
pass
335
Machine Learning y predicciones para la mejora del rendimiento en MOOC
extract_course_structure.py
# Python version 3.7
# Lee el fichero .json con los datos de la estructura del curso y genera un
resumen con lo necesario.
# Output: "course_id","week","section","type","module_id","graded"
import csv, json
def parseWeeksChapter(course_id, chapters, data, csvWriter):
week = 0
for c in chapters:
week = week + 1
added = False
sequentials = data[c]['children']
for s in sequentials:
section = 0
verticals = data[s]['children']
for v in verticals:
section = section + 1
elements = data[v]['children']
for e in elements:
line = [course_id, week, section, data[e]['block_type'],
data[e]['usage_key'], data[e]['graded']]
added = True
csvWriter.writerow(line)
if(not added):
line = [course_id, week, 0, "", "", False]
csvWriter.writerow(line)
ifilename = './input_data/course_structures.json'
ofilename = './output_data1/course_structure.csv'
fin = open(ifilename, 'r', encoding='utf-8')
fout = open(ofilename, 'w', encoding='utf-8', newline='')
inputJSON = json.load(fin)
outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL)
header = ["course_id", "week", "section", "type", "module_id", "graded"]
outputCSV.writerow(header)
for course in inputJSON:
for c in course.items():
if
((c[1]['category']!='chapter')&(c[1]['category']!='sequential')&(c[1]['categor
y']!='vertical')):
if (c[0].find('Unidad')>= 0):
graded = False
course_id = c[0][:c[0].index('@') + 1]
if c[0].find('Unidad') == -1:
continue
if c[0].find('Subsection') == -1:
continue
336
Anexo 3
week = c[0][c[0].index('Unidad') + 6:c[0].index('Subsection')]
section = c[0][c[0].index('Subsection') +
10:c[0].index('Vertical')]
blocktype = c[0][c[0].index('+type@') +
6:c[0].index('+block')]
if (c[1]['category']=='problem'):
graded = True
line = [course_id, week, section, blocktype,c[0], graded]
outputCSV.writerow(line)
337
Machine Learning y predicciones para la mejora del rendimiento en MOOC
extract_problems_data.py
# Python version 3.7
# Lee el fichero .json con los datos de la estructura del curso y genera un
resumen con lo necesario.
# Output: "course_id","week","section","type","module_id","graded"
import csv, json
def parseWeeksChapter(course_id, chapters, data, csvWriter):
week = 0
for c in chapters:
week = week + 1
added = False
sequentials = data[c]['children']
for s in sequentials:
section = 0
verticals = data[s]['children']
for v in verticals:
section = section + 1
elements = data[v]['children']
for e in elements:
line = [course_id, week, section, data[e]['block_type'],
data[e]['usage_key'], data[e]['graded']]
added = True
csvWriter.writerow(line)
if(not added):
line = [course_id, week, 0, "", "", False]
csvWriter.writerow(line)
ifilename = './input_data/course_structures.json'
ofilename = './output_data1/course_structure.csv'
fin = open(ifilename, 'r', encoding='utf-8')
fout = open(ofilename, 'w', encoding='utf-8', newline='')
inputJSON = json.load(fin)
outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL)
header = ["course_id", "week", "section", "type", "module_id", "graded"]
outputCSV.writerow(header)
for course in inputJSON:
for c in course.items():
if
((c[1]['category']!='chapter')&(c[1]['category']!='sequential')&(c[1]['categor
y']!='vertical')):
if (c[0].find('Unidad')>= 0):
graded = False
course_id = c[0][:c[0].index('@') + 1]
if c[0].find('Unidad') == -1:
continue
if c[0].find('Subsection') == -1:
continue
338
Anexo 3
week = c[0][c[0].index('Unidad') + 6:c[0].index('Subsection')]
section = c[0][c[0].index('Subsection') +
10:c[0].index('Vertical')]
blocktype = c[0][c[0].index('+type@') +
6:c[0].index('+block')]
if (c[1]['category']=='problem'):
graded = True
line = [course_id, week, section, blocktype,c[0], graded]
outputCSV.writerow(line)
339
Machine Learning y predicciones para la mejora del rendimiento en MOOC
extract_scores_data.py
# Python version 3.7
# Lee el fichero student_courseenrollment y genera un resumen con los datos
necesarios de los usuarios.
# Output: "user_id", "module_id", "course_id", "score", "attempts",
"timestamp"
import csv, re, sys
ifilename = './input_data/courseware_studentmodule.csv'
ofilename = './output_data1/course_scores_users.csv'
fin = open(ifilename, 'r', encoding='utf-8')
fout = open(ofilename, 'w', encoding='utf-8', newline='')
inputCSV = csv.reader(fin, delimiter='\t', doublequote=True, escapechar='\\')
outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL)
header = ["user_id", "module_id", "course_id", "score", "attempts",
"timestamp"]
outputCSV.writerow(header)
l = 0
for row in inputCSV:
l = l + 1
try:
#if(row[1] ==
user_id =
module_id
course_id
"drag-and-drop-v2"):
row[3]
= row[2]
= row[10]
# Guardan un registro del mal con todo el mundo haya hecho o no el
problema
# Si max score es null es que no ha hecho ni un itento
if (row[5] != "NULL") and (row[8] != "NULL") and (row[8] !=
"max_grade"):
max_score = float(row[8])
score = 0
if max_score > 0:
score = float(row[5]) / max_score
m = re.match(r"^.*\"attempts\":\s*(\d*).*$", row[4])
if m:
attempts = m.group(1)
timestamp = row[7]
line = [user_id, module_id, course_id, score, attempts,
timestamp]
outputCSV.writerow(line)
except Exception:
print(row)
print("Unexpected error at line ", l, ": ", sys.exc_info()[0])
pass
340
Anexo 3
extract_user_data.py
# Python version 3.7
# Lee el fichero auth_userprofile y genera un resumen con los datos necesarios
de los usuarios.
# Output: "user_id, gender_year, level, allow, country
import csv, sys
# Cambia el NULL por nada ""
def removeNULL(value):
if (value == "NULL"):
return ""
return value
# Normaliza el valor de nivel de sexo
def setSexo(value):
# Hombre
if (value == "m"):
return "male"
# Mujer
elif (value == "f"):
return "female"
else:
return ""
# Normaliza el valor de nivel de sexo
def setEducationLevel(value):
if (value == "none"): #Sin formación académica
return "none"
elif (value == "el"): #Educación primaria
return "primary education"
elif (value == "jhs"): #Educación secundaria elemental
return "elemental secondary education"
elif (value == "hs"): #Educación secundaria obligatoria
return "obligatory secondary education"
elif (value == "b"): #Título de bachillerato
return "bachelor degree"
elif (value == "a"): #Título universitario
return "university degree"
elif (value == "m"): #Título profesional o máster
return "master"
if (value == "p"): #Doctorado
return "phd"
elif (value == "other"): #Otras formaciones
return "other"
ifilename = './input_data/auth_userprofile.csv'
ofilename = './output_data1/user_profile.csv'
fin = open(ifilename, 'r',encoding='utf-8')
fout = open(ofilename, 'w', encoding='utf-8', newline='')
inputCSV = csv.reader(fin, delimiter=',', doublequote=True, escapechar='\\')
341
Machine Learning y predicciones para la mejora del rendimiento en MOOC
outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL)
l = 0
try:
for row in inputCSV:
l = l + 1
line = []
if (l == 1):
line = [row[1], row[5], row[7], row[8], row[10], row[11]]
outputCSV.writerow(line)
else:
line = [removeNULL(row[1]), setSexo(removeNULL(row[5])),
removeNULL(row[7]), setEducationLevel(removeNULL(row[8])),
removeNULL(row[10]), removeNULL(row[11])]
outputCSV.writerow(line)
except Exception:
print("Unexpected error at line ", l, ": ", sys.exc_info()[0])
pass
342
Anexo 3
extract_videos_data.py
# Python version 3.7
# Lee el fichero courseware_studentmodule y genera un resumen con los datos
necesarios de los usuarios.
# Output: ["user_id", "module_id", "course_id", "watched", "timestamp"]
import csv, re, sys
ifilename = './input_data/courseware_studentmodule.csv'
ofilename = './output_data1/course_videos_users.csv'
fin = open(ifilename, 'r', encoding='utf-8')
fout = open(ofilename, 'w', encoding='utf-8', newline='')
inputCSV = csv.reader(fin, delimiter='\t', doublequote=True, escapechar='\\')
outputCSV = csv.writer(fout, quoting=csv.QUOTE_ALL)
header = ["user_id", "module_id", "course_id", "watched", "timestamp"]
outputCSV.writerow(header)
l = 0
for row in inputCSV:
l = l + 1
try:
if(row[1] == "video"):
user_id = row[3]
module_id = row[2]
course_id = row[10]
videoData = row[4]
timestamp = row[6]
watched = 0
m =
re.match(r"^.*\"saved_video_position\":\s*\"(\d\d):(\d\d):(\d\d)\".*$",
videoData)
if m:
hours = int(m.group(1))
minutes = int(m.group(2))
seconds = int(m.group(3))
if (hours != 0) or (minutes != 0) or (seconds != 0):
watched = (hours * 60 * 60) + (minutes * 60) + seconds
line = [user_id, module_id, course_id, watched, timestamp]
outputCSV.writerow(line)
except Exception:
print(row)
print("Unexpected error at line ", l, ": ", sys.exc_info()[0])
pass
343
Machine Learning y predicciones para la mejora del rendimiento en MOOC
generate_csv.py
# Python version 3.7
# Este script carga los datos semanas obtenidos de generate_week_data y crea
un csv normalizado con los datos
# de todas las semanas
import csv, sys, datetime
from datetime import datetime
from math import ceil
from
from
from
from
courseData import CourseDataManager
userData import UserDataManager
userVideos import UserVideosManager
userProblems import UserProblemsManager
# Input files
rCourseDataFilename = './output_data2/courses_data.csv' #'../../smalldataset/per-week-data/courses_data.csv'
rUsersDataFilename = './output_data2/users_courses.csv' #'../../smalldataset/per-week-data/users_courses.csv'
rUsersVideosFilename = './output_data2/videos_users.csv' #'../../smalldataset/per-week-data/videos_users.csv'
rUsersProblemsFilename = './output_data2/problems_users.csv' #'../../smalldataset/per-week-data/problems_users.csv'
# Output files
outFilename = './output_data2/final_csv.csv'
outFile = open(outFilename, 'w', encoding='utf-8', newline='')
sampleCSV = csv.writer(outFile, quoting=csv.QUOTE_NONE)
# Fecha en la que se sacaron los datos
dump_date = datetime(2018, 4, 24)
myFormat = '%Y-%m-%d %H:%M:%S'
# Loads course data in the manager
CourseData = CourseDataManager(rCourseDataFilename)
# Loads user data in the manager
UserData = UserDataManager(rUsersDataFilename)
# Loads videos in the manager
UserVideos = UserVideosManager(rUsersVideosFilename)
# Loads problems in the manager
UserProblems = UserProblemsManager(rUsersProblemsFilename)
# Load users courses
header = ["course_id",
"course_weeks",
"user_id",
"user_age",
"user_gender",
"user_level_education",
"enrollment",
"last_aceess",
344
Anexo 3
"percent",
"grade",
"course_grade",
"passed_time",
"first_access",
"duration",
"first_10_days",
'%'+ "course_watched_videos",
"course_time_videos",
"dropout",
"absence_1_month"
]
course = CourseData.getCourseData2()
for w in course:
for xx in course[w]:
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str('%'+ "week"
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
+
+
+
+
+
+
+
+
+
+
+
+
+
"_problems"))
"_videos"))
"_discussions"))
"_evaluation_blocks"))
xx + "_watched_videos"))
"_time_videos"))
"_score"))
"_score_attemps"))
"_grade"))
"_grade_attempts"))
"_passed"))
"_elapsed_time"))
"%_problems"))
sampleCSV.writerow(header)
matriculas = UserData.getMatriculas()
absence1 = [0]*30000000
for user_id in matriculas:
absence1[int(user_id)] = 0
for course_id in matriculas[user_id]["courses"]:
course = CourseData.getCourseData(course_id)
# The course can not extist
#if course is not None:
course_watched_videos = 0
course_time_videos = 0
course_grade = 0
course_eval_weeks = 0
week_last_event = None
onlyonecourse =0
for w in course:
if onlyonecourse == 1:
break
345
Machine Learning y predicciones para la mejora del rendimiento en MOOC
++onlyonecourse
week_score = [0] * (len(course[w])+1)
week_watched_videos = [0] * (len(course[w])+1)
week_time_videos = [0] * (len(course[w])+1)
week_score = [0] * (len(course[w])+1)
week_score_attempts = [0] * (len(course[w])+1)
week_grade = [0] * (len(course[w])+1)
week_grade_attempts = [0] * (len(course[w])+1)
week_passed = [0] * (len(course[w])+1)
elapsed_time = [0] * (len(course[w])+1)
absence = [0] * (len(course[w])+1)
week_problems_per = [0] * (len(course[w])+1)
for xx in course[w]:
# Si no tiene videos ni problemas la semana se omite
if course[w][xx]["videos"] == 0 and course[w][xx]["problems"]
== 0:
continue
# stats de videos
videos = UserVideos.getWeekData(user_id, course_id, xx)
videos_end = datetime(1099, 9, 9)
videos_begin = datetime(2099, 9, 9)
if videos is not None:
week_watched_videos[int(xx)] = videos["watched"]
week_time_videos[int(xx)] = videos["seconds"]
course_watched_videos += week_watched_videos[int(xx)]
course_time_videos += week_time_videos[int(xx)]
videos_end = videos['end']
videos_begin = videos['begin']
if ((week_last_event is None) or (videos["end"] >
week_last_event)):
week_last_event = videos["end"]
week_score[int(xx)] = 0
week_score_attempts[int(xx)] = 0
week_grade[int(xx)] = 0
week_grade_attempts[int(xx)] = 0
week_passed[int(xx)] = 0
week_problems_per[int(xx)] = 0
# stats de problemas
problems = UserProblems.getWeekData(user_id, course_id, xx)
elapsed_time[int(xx)] = 0
problems_end = datetime(1099, 9, 9)
problems_begin = datetime(2099, 9, 9)
if problems is not None:
week_score[int(xx)] = problems["score"]
week_score_attempts[int(xx)] = problems["score_attempts"]
week_grade[int(xx)] = problems["grade"]
346
Anexo 3
week_grade_attempts[int(xx)] = problems["grade_attempts"]
week_passed[int(xx)] = problems["passed"]
week_problems_per[int(xx)] = problems["%problems"]
problems_end = problems['end']
problems_begin = problems['begin']
if ((week_last_event is None) or (problems["end"] >
week_last_event)):
week_last_event = problems["end"]
if (problems is not None or videos is not None):
if (str(problems_end) >= str(videos_end)):
max_end = problems_end
else:
max_end = videos_end
if (str(problems_begin) <= str(videos_begin)):
min_begin = problems_begin
else:
min_begin = videos_begin
elapsed_time[int(xx)] = ceil((max_end min_begin).total_seconds() / 60 / 60 / 24)
# Si la semana no tiene problemas puntuables no se
modifica el score
if course[w][xx]["evaluations"] > 0:
course_grade += week_grade[int(xx)]
course_eval_weeks += 1
# Compute week grade
course_tmp_grade = course_grade / course_eval_weeks
# Compute Absence
absence[int(xx)] = UserProblems.computeAbsence_1month(user_id,
course_id, xx, len(course[w]))
absence1[int(user_id)]= absence1[int(user_id)] +
absence[int(xx)]
print(absence1[int(user_id)])
if (user_id == '29464'):
print("hola")
first_10_days = 0
if ((matriculas[user_id]["first_access"] != "0") and
(matriculas[user_id]["enrollment"] !="0")):
if (((datetime.strptime(matriculas[user_id]["first_access"],'%Y-%m-%d
%H:%M:%S')) - datetime.strptime(matriculas[user_id]["enrollment"],'%Y-%m-%d
%H:%M:%S')).days < 11):
first_10_days = 1
duration = 0
if ((matriculas[user_id]["passed_time"] != "0" ) and
347
Machine Learning y predicciones para la mejora del rendimiento en MOOC
(matriculas[user_id]["first_access"] != "0" )):
duration = (datetime.strptime(matriculas[user_id]["passed_time"],'%Y%m-%d %H:%M:%S') - datetime.strptime(matriculas[user_id]["first_access"],'%Y%m-%d %H:%M:%S')).days
if (duration < 0):
duration = 0
if (user_id == '29464'):
print ("hola")
line = [CourseData.getCourseId(course_id),
len(course[w]),
user_id,
matriculas[user_id]["age"],
matriculas[user_id]["gender"],
matriculas[user_id]["education"],
matriculas[user_id]["enrollment"],
matriculas[user_id]["last_aceess"],
matriculas[user_id]["percent"],
matriculas[user_id]["grade"],
round(course_tmp_grade, 4),
matriculas[user_id]["passed_time"],
matriculas[user_id]["first_access"],
duration,
first_10_days,
round (100*(course_watched_videos/CourseData.getTotalVideos()),3)
if CourseData.getTotalVideos() != 0 else 0 ,
course_time_videos,
0 if float(matriculas[user_id]["percent"]) >= 0.50 else 1,
0 if absence1[int(user_id)] <=3 else 1
]
for w in course:
for wweek in course[w]:
line.append(course[w][wweek]["problems"])
line.append(course[w][wweek]["videos"])
line.append(course[w][wweek]["discussions"])
line.append(course[w][wweek]["evaluations"])
line.append(round(week_watched_videos[int(wweek)]/CourseData.getWeekVideos(wwe
ek),3) if CourseData.getWeekVideos(wweek)!=0 else 0 )
line.append(week_time_videos[int(wweek)])
line.append(week_score[int(wweek)])
line.append(week_score_attempts[int(wweek)])
line.append(week_grade[int(wweek)])
line.append(week_grade_attempts[int(wweek)])
line.append(week_passed[int(wweek)])
line.append(elapsed_time[int(wweek)])
line.append(week_problems_per[int(wweek)])
try:
sampleCSV.writerow(line)
except Exception:
print("Unexpected error: ", sys.exc_info()[0])
348
Anexo 3
generate_csv_summary.py
# Python version 3.7
# Este script carga los datos semanas obtenidos de generate_week_data y crea
un csv normalizado con los datos
# de todas las semanas
import csv, sys, datetime
from datetime import datetime
from math import ceil
from
from
from
from
courseData import CourseDataManager
userData import UserDataManager
userVideos import UserVideosManager
userProblems import UserProblemsManager
# Input files
rCourseDataFilename = './output_data2/courses_data.csv' #'../../smalldataset/per-week-data/courses_data.csv'
rUsersDataFilename = './output_data2/users_courses.csv' #'../../smalldataset/per-week-data/users_courses.csv'
rUsersVideosFilename = './output_data2/videos_users.csv' #'../../smalldataset/per-week-data/videos_users.csv'
rUsersProblemsFilename = './output_data2/problems_users.csv' #'../../smalldataset/per-week-data/problems_users.csv'
# Output files
outFilename = './output_data2/final_csv.csv'
outFile = open(outFilename, 'w', encoding='utf-8', newline='')
sampleCSV = csv.writer(outFile, quoting=csv.QUOTE_NONE)
# Fecha en la que se sacaron los datos
dump_date = datetime(2018, 4, 24)
myFormat = '%Y-%m-%d %H:%M:%S'
# Loads course data in the manager
CourseData = CourseDataManager(rCourseDataFilename)
# Loads user data in the manager
UserData = UserDataManager(rUsersDataFilename)
# Loads videos in the manager
UserVideos = UserVideosManager(rUsersVideosFilename)
# Loads problems in the manager
UserProblems = UserProblemsManager(rUsersProblemsFilename)
# Load users courses
header = ["course_id",
"course_weeks",
"user_id",
"user_age",
"user_gender",
"user_level_education",
"enrollment",
"last_aceess",
349
Machine Learning y predicciones para la mejora del rendimiento en MOOC
"percent",
"grade",
"course_grade",
"passed_time",
"first_access",
"duration",
"first_10_days",
'%'+ "course_watched_videos",
"course_time_videos",
"dropout",
"absence_1_month"
]
course = CourseData.getCourseData2()
for w in course:
for xx in course[w]:
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str('%'+ "week"
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
header.append(str("week" + xx
+
+
+
+
+
+
+
+
+
+
+
+
+
"_problems"))
"_videos"))
"_discussions"))
"_evaluation_blocks"))
xx + "_watched_videos"))
"_time_videos"))
"_score"))
"_score_attemps"))
"_grade"))
"_grade_attempts"))
"_passed"))
"_elapsed_time"))
"%_problems"))
sampleCSV.writerow(header)
matriculas = UserData.getMatriculas()
absence1 = [0]*30000000
for user_id in matriculas:
absence1[int(user_id)] = 0
for course_id in matriculas[user_id]["courses"]:
course = CourseData.getCourseData(course_id)
# The course can not extist
#if course is not None:
course_watched_videos = 0
course_time_videos = 0
course_grade = 0
course_eval_weeks = 0
week_last_event = None
onlyonecourse =0
for w in course:
if onlyonecourse == 1:
break
350
Anexo 3
++onlyonecourse
week_score = [0] * (len(course[w])+1)
week_watched_videos = [0] * (len(course[w])+1)
week_time_videos = [0] * (len(course[w])+1)
week_score = [0] * (len(course[w])+1)
week_score_attempts = [0] * (len(course[w])+1)
week_grade = [0] * (len(course[w])+1)
week_grade_attempts = [0] * (len(course[w])+1)
week_passed = [0] * (len(course[w])+1)
elapsed_time = [0] * (len(course[w])+1)
absence = [0] * (len(course[w])+1)
week_problems_per = [0] * (len(course[w])+1)
for xx in course[w]:
# Si no tiene videos ni problemas la semana se omite
if course[w][xx]["videos"] == 0 and course[w][xx]["problems"]
== 0:
continue
# stats de videos
videos = UserVideos.getWeekData(user_id, course_id, xx)
videos_end = datetime(1099, 9, 9)
videos_begin = datetime(2099, 9, 9)
if videos is not None:
week_watched_videos[int(xx)] = videos["watched"]
week_time_videos[int(xx)] = videos["seconds"]
course_watched_videos += week_watched_videos[int(xx)]
course_time_videos += week_time_videos[int(xx)]
videos_end = videos['end']
videos_begin = videos['begin']
if ((week_last_event is None) or (videos["end"] >
week_last_event)):
week_last_event = videos["end"]
week_score[int(xx)] = 0
week_score_attempts[int(xx)] = 0
week_grade[int(xx)] = 0
week_grade_attempts[int(xx)] = 0
week_passed[int(xx)] = 0
week_problems_per[int(xx)] = 0
# stats de problemas
problems = UserProblems.getWeekData(user_id, course_id, xx)
elapsed_time[int(xx)] = 0
problems_end = datetime(1099, 9, 9)
problems_begin = datetime(2099, 9, 9)
if problems is not None:
week_score[int(xx)] = problems["score"]
week_score_attempts[int(xx)] = problems["score_attempts"]
week_grade[int(xx)] = problems["grade"]
351
Machine Learning y predicciones para la mejora del rendimiento en MOOC
week_grade_attempts[int(xx)] = problems["grade_attempts"]
week_passed[int(xx)] = problems["passed"]
week_problems_per[int(xx)] = problems["%problems"]
problems_end = problems['end']
problems_begin = problems['begin']
if ((week_last_event is None) or (problems["end"] >
week_last_event)):
week_last_event = problems["end"]
if (problems is not None or videos is not None):
if (str(problems_end) >= str(videos_end)):
max_end = problems_end
else:
max_end = videos_end
if (str(problems_begin) <= str(videos_begin)):
min_begin = problems_begin
else:
min_begin = videos_begin
elapsed_time[int(xx)] = ceil((max_end min_begin).total_seconds() / 60 / 60 / 24)
# Si la semana no tiene problemas puntuables no se
modifica el score
if course[w][xx]["evaluations"] > 0:
course_grade += week_grade[int(xx)]
course_eval_weeks += 1
# Compute week grade
course_tmp_grade = course_grade / course_eval_weeks
# Compute Absence
absence[int(xx)] = UserProblems.computeAbsence_1month(user_id,
course_id, xx, len(course[w]))
absence1[int(user_id)]= absence1[int(user_id)] +
absence[int(xx)]
print(absence1[int(user_id)])
if (user_id == '29464'):
print("hola")
first_10_days = 0
if ((matriculas[user_id]["first_access"] != "0") and
(matriculas[user_id]["enrollment"] !="0")):
if (((datetime.strptime(matriculas[user_id]["first_access"],'%Y-%m-%d
%H:%M:%S')) - datetime.strptime(matriculas[user_id]["enrollment"],'%Y-%m-%d
%H:%M:%S')).days < 11):
first_10_days = 1
duration = 0
if ((matriculas[user_id]["passed_time"] != "0" ) and
352
Anexo 3
(matriculas[user_id]["first_access"] != "0" )):
duration = (datetime.strptime(matriculas[user_id]["passed_time"],'%Y%m-%d %H:%M:%S') - datetime.strptime(matriculas[user_id]["first_access"],'%Y%m-%d %H:%M:%S')).days
if (duration < 0):
duration = 0
if (user_id == '29464'):
print ("hola")
line = [CourseData.getCourseId(course_id),
len(course[w]),
user_id,
matriculas[user_id]["age"],
matriculas[user_id]["gender"],
matriculas[user_id]["education"],
matriculas[user_id]["enrollment"],
matriculas[user_id]["last_aceess"],
matriculas[user_id]["percent"],
matriculas[user_id]["grade"],
round(course_tmp_grade, 4),
matriculas[user_id]["passed_time"],
matriculas[user_id]["first_access"],
duration,
first_10_days,
round (100*(course_watched_videos/CourseData.getTotalVideos()),3)
if CourseData.getTotalVideos() != 0 else 0 ,
course_time_videos,
0 if float(matriculas[user_id]["percent"]) >= 0.50 else 1,
0 if absence1[int(user_id)] <=3 else 1
]
for w in course:
for wweek in course[w]:
line.append(course[w][wweek]["problems"])
line.append(course[w][wweek]["videos"])
line.append(course[w][wweek]["discussions"])
line.append(course[w][wweek]["evaluations"])
line.append(round(week_watched_videos[int(wweek)]/CourseData.getWeekVideos(wwe
ek),3) if CourseData.getWeekVideos(wweek)!=0 else 0 )
line.append(week_time_videos[int(wweek)])
line.append(week_score[int(wweek)])
line.append(week_score_attempts[int(wweek)])
line.append(week_grade[int(wweek)])
line.append(week_grade_attempts[int(wweek)])
line.append(week_passed[int(wweek)])
line.append(elapsed_time[int(wweek)])
line.append(week_problems_per[int(wweek)])
try:
sampleCSV.writerow(line)
except Exception:
print("Unexpected error: ", sys.exc_info()[0])
353
Machine Learning y predicciones para la mejora del rendimiento en MOOC
generate_week_data.py
# Python version 3.7
# Este script analiza los datos sin procesar en estadísticas semanales y los
almacena en datos por semana para
# construir el conjunto de datos final
import csv, sys
from datetime import datetime
from dataNormParser import parseAge, parseBoolean, parseEducation,
parseGender, parseDate, parseGrade, parsePercent
# Input files
courseDataFilename = './output_data1/course_structure.csv'
problemsFilename = './output_data1/course_problem_users.csv'
videosFilename = './output_data1/course_videos_users.csv'
usersDataFilename = './output_data1/user_profile.csv'
usersCoursesFilename = './output_data1/course_users.csv'
fCourseDataFile = open(courseDataFilename, 'r', encoding='utf-8')
fProblemsFile = open(problemsFilename, 'r', encoding='utf-8')
fVideosFile = open(videosFilename, 'r', encoding='utf-8')
fUsersDataFile = open(usersDataFilename, 'r', encoding='utf-8')
fUsersCoursesFile = open(usersCoursesFilename, 'r', encoding='utf-8')
# Output files
wCourseDataFilename = './output_data2/courses_data.csv'
wProblemsFilename = './output_data2/problems_users.csv'
wVideosFilename = './output_data2/videos_users.csv'
wUsersCoursesFilename = './output_data2/users_courses.csv'
fwCourseDataFile = open(wCourseDataFilename, 'w', encoding='utf-8',
newline='')
fwProblemsFile = open(wProblemsFilename, 'w', encoding='utf-8', newline='')
fwVideosFile = open(wVideosFilename, 'w', encoding='utf-8', newline='')
fwUsersCoursesFile = open(wUsersCoursesFilename, 'w', encoding='utf-8',
newline='')
# CSV READERS
rCourseDataCSV = csv.reader(fCourseDataFile, doublequote=True,
escapechar='\\')
rProblemsCSV = csv.reader(fProblemsFile, doublequote=True, escapechar='\\')
rVideosCSV = csv.reader(fVideosFile, doublequote=True, escapechar='\\')
rUsersDataCSV = csv.reader(fUsersDataFile, doublequote=True, escapechar='\\')
rUsersCoursesCSV = csv.reader(fUsersCoursesFile, doublequote=True,
escapechar='\\')
# CSV WRITERS
wCourseDataCSV = csv.writer(fwCourseDataFile, quoting=csv.QUOTE_ALL)
wProblemsCSV = csv.writer(fwProblemsFile, quoting=csv.QUOTE_ALL)
wVideosCSV = csv.writer(fwVideosFile, quoting=csv.QUOTE_ALL)
wUsersCoursesCSV = csv.writer(fwUsersCoursesFile, quoting=csv.QUOTE_ALL)
354
Anexo 3
# Dictionaries
Courses = {}
Modules = {}
ModulesGraded = {}
UsersProblems = {}
UsersVideos = {}
UsersData = {}
myFormat = '%Y-%m-%d %H:%M:%S'
# Generate course data normalized per week
next(rCourseDataCSV, None) # skip the headers
for row in rCourseDataCSV:
endCourse = row[0].find("+type@")
course_id = "course-v1" + row[0][8:endCourse]
if (course_id not in Courses):
Courses[course_id] = {"weeks":{}}
if (row[1] not in Courses[course_id]["weeks"]):
Courses[course_id]["weeks"][row[1]] = {"sections": set(), "videos": 0,
"discussions": 0, "problems": 0, "evaluation": 0}
Courses[course_id]["weeks"][row[1]]["sections"].add(row[2])
if (row[3] == "video"):
Courses[course_id]["weeks"][row[1]]["videos"] += 1
elif (row[3] == "discussion"):
Courses[course_id]["weeks"][row[1]]["discussions"] += 1
elif (row[3] == "problem"):
Courses[course_id]["weeks"][row[1]]["problems"] += 1
Modules[row[4]] = row[1]
ModulesGraded[row[4]] = row[5]
if (row[5] == "True") and (row[3] == "problem"):
Courses[course_id]["weeks"][row[1]]["evaluation"] += 1
header = ["course_id", "week", "course_weeks", "weeks_sections", "videos",
"problems", "discussions", "evaluation_blocks"]
wCourseDataCSV.writerow(header)
for c in Courses:
for w in Courses[c]["weeks"]:
line = [c, w, len(Courses[c]["weeks"]),
len(Courses[c]["weeks"][w]["sections"]), Courses[c]["weeks"][w]["videos"],
Courses[c]["weeks"][w]["problems"], Courses[c]["weeks"][w]["discussions"],
Courses[c]["weeks"][w]["evaluation"]]
wCourseDataCSV.writerow(line)
fCourseDataFile.close()
fwCourseDataFile.close()
# Generate problems data normalized per week
next(rProblemsCSV, None) # skip the headers
for row in rProblemsCSV:
if (row[0] not in UsersProblems):
UsersProblems[row[0]] = {"courses": {}}
if (row[2] not in UsersProblems[row[0]]["courses"]):
UsersProblems[row[0]]["courses"][row[2]] = {"weeks": {}}
if (row[1] in Modules):
355
Machine Learning y predicciones para la mejora del rendimiento en MOOC
week = Modules[row[1]]
if (week not in UsersProblems[row[0]]["courses"][row[2]]["weeks"]):
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week] =
{"score": 0.0, "score_attempts": 0, "grade": 0.0, "grade_attempts": 0,
"begin": 0, "end": 0,"num_problems":0 }
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["score"] +=
float(row[3])
if (UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["score"] >
1):
hola =0
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["score_attempts"] +=
int(row[4])
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["num_problems"] += 1
if (ModulesGraded[row[1]] == 'True'):
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["grade"]
+= float(row[3])
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["grade_attempts"] +=
int(row[4])
timestamp = datetime.strptime(row[5], myFormat)
if ((UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["begin"]
== 0) or (timestamp <
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["begin"])):
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["begin"] =
timestamp
if ((UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["end"] ==
0) or (timestamp >
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["end"])):
UsersProblems[row[0]]["courses"][row[2]]["weeks"][week]["end"] =
timestamp
header = ["users", "course_id", "week", "score", "score_attemps", "grade",
"grade_attempts", "begin", "end", "elapsed_time","num_problems","%problems" ]
wProblemsCSV.writerow(header)
for u in UsersProblems:
for c in UsersProblems[u]["courses"]:
for w in UsersProblems[u]["courses"][c]["weeks"]:
week_stats = UsersProblems[u]["courses"][c]["weeks"][w]
week_score = 0
week_grade = 0
if (Courses[c]["weeks"][w]["problems"] > 0):
week_score = week_stats["score"] /
Courses[c]["weeks"][w]["problems"]
if (Courses[c]["weeks"][w]["evaluation"] > 0):
week_grade = week_stats["grade"] /
Courses[c]["weeks"][w]["evaluation"]
line = [u, c, w, '{:.3f}'.format(week_score),
week_stats["score_attempts"], '{:.3f}'.format(week_grade),
356
Anexo 3
week_stats["grade_attempts"], datetime.strftime(week_stats["begin"],myFormat),
datetime.strftime(week_stats["end"],myFormat),(week_stats["end"]week_stats["begin"]).total_seconds(),
UsersProblems[u]["courses"][c]["weeks"][w]["num_problems"], round(
UsersProblems[u]["courses"][c]["weeks"][w]["num_problems"] /
Courses[c]["weeks"][w]["problems"],2) ]
wProblemsCSV.writerow(line)
fProblemsFile.close()
fwProblemsFile.close()
# Generate videos data normalized per week
next(rVideosCSV, None) # skip the headers
for row in rVideosCSV:
if (row[0] not in UsersVideos):
UsersVideos[row[0]] = {"courses": {}}
if (row[2] not in UsersVideos[row[0]]["courses"]):
UsersVideos[row[0]]["courses"][row[2]] = {"weeks": {}}
if (row[1] in Modules):
week = Modules[row[1]]
if (week not in UsersVideos[row[0]]["courses"][row[2]]["weeks"]):
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week] =
{"watched": 0, "seconds": 0, "begin": 0, "end": 0}
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["watched"] += 1
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["seconds"] +=
int(row[3])
timestamp = datetime.strptime(row[4], myFormat)
if ((UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["begin"] ==
0) or (timestamp <
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["begin"])):
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["begin"] =
timestamp
if ((UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["end"] ==
0) or (timestamp >
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["end"])):
UsersVideos[row[0]]["courses"][row[2]]["weeks"][week]["end"] =
timestamp
header = ["users", "course_id", "week", "watched", "seconds", "begin", "end",
"elapsed-time"]
wVideosCSV.writerow(header)
for u in UsersVideos:
for c in UsersVideos[u]["courses"]:
for w in UsersVideos[u]["courses"][c]["weeks"]:
week_stats = UsersVideos[u]["courses"][c]["weeks"][w]
line = [u, c, w, week_stats["watched"], week_stats["seconds"],
week_stats["begin"].strftime(myFormat), week_stats["end"].strftime(myFormat),
(week_stats["end"] - week_stats["begin"]).total_seconds()]
wVideosCSV.writerow(line)
fVideosFile.close()
fwVideosFile.close()
# Load users profiles
357
Machine Learning y predicciones para la mejora del rendimiento en MOOC
next(rUsersDataCSV, None) # skip the headers
for row in rUsersDataCSV:
UsersData[row[0]] = row
fUsersDataFile.close()
# Header file
header = ["user_id", "course_id", "year_of_birth", "gender",
"level_of_education", "enrollment", "last_aceess", "percent", "grade",
"passed_time", "first_access"]
wUsersCoursesCSV.writerow(header)
# Copy course - user_id data
next(rUsersCoursesCSV, None) # skip the headers
for row in rUsersCoursesCSV:
try:
# Ignoramos las matriculas anuladas porque pueden ser datos anomalos
if (row[2] == "0" and row[0] in UsersData):
profile = UsersData[row[0]]
line = [row[0], # user_id
row[1], # course_id
parseAge(profile[2]), # age
parseGender(profile[1]), # gender
parseEducation(profile[3]), # education
row[3], #enrollment
parseDate(row[4]), #last_access
parsePercent(row[5]), #percent
parseGrade(row[6]), #grade
parseDate(row[7]), #passed_time
parseDate(row[8]) #first_access
]
wUsersCoursesCSV.writerow(line)
except Exception:
print("Unexpected error: ", sys.exc_info()[0])
break
fwUsersCoursesFile.close()
fUsersCoursesFile.close()
358
Anexo 3
userData.py
# Python version 3.7
# Clase para manejar los datos de los usuarios
import csv, statistics
from datetime import datetime
from math import ceil
class UserDataManager:
# Constructor -> Filen with user data structure per week
def __init__(self, filename):
userFile = open(filename, 'r', encoding='utf-8')
userCSV = csv.reader(userFile, doublequote=True, escapechar='\\')
self.data = {}
self.dateFormat = '%Y-%m-%d %H:%M:%S' #'%Y-%m-%d %H:%M:%S.%f'
# Load problems data -> self.data[user_id][course_id]
next(userCSV, None) # skip the headers
for row in userCSV:
user_id = row[0]
course_id = row[1]
age = int(row[2])
gender = int(row[3])
education = int(row[4])
enrollment = row[5]
last_access = row[6]
percent = row[7]
grade = row[8]
passed_time = row[9]
first_access = row[10]
# Register user
if (user_id not in self.data):
self.data[user_id] = {
"age": age,
"gender": gender,
"education": education,
"courses": set(),
"enrollment": enrollment,
"last_aceess": last_access,
"percent": percent,
"grade": grade,
"passed_time": passed_time,
"first_access": first_access }
# Register course
self.data[user_id]["courses"].add(course_id)
userFile.close()
def getMatriculas(self):
return self.data
359
Machine Learning y predicciones para la mejora del rendimiento en MOOC
def getStats(self):
courses = set()
hombres = 0
mujeres = 0
ages = []
education = []
matriculas = 0
for user_id in self.data:
gender = self.data[user_id]["gender"]
if (gender == 1):
mujeres += 1
else:
hombres += 1
ages.append(self.data[user_id]["age"])
education.append(self.data[user_id]["education"])
for course_id in self.data[user_id]["courses"]:
courses.add(course_id)
matriculas += 1
stats = {
"users": len(self.data),
"courses": len(courses),
"hombres": hombres,
"mujeres": mujeres,
"agesMean": statistics.mean(ages),
"agesStdev": statistics.stdev(ages),
"educationMean": statistics.mean(education),
"educationStdev": statistics.stdev(education),
"samples": matriculas
}
return stats
360
Anexo 3
userProblems.py
# Python version 3.7
# Clase para manejar los datos de los problemas de los usuarios
import csv, statistics
from datetime import datetime
from math import ceil
class UserProblemsManager:
# Constructor -> Filen with user data structure per week
def __init__(self, filename):
problemsFile = open(filename, 'r', encoding='utf-8')
problemsCSV = csv.reader(problemsFile, doublequote=True,
escapechar='\\')
self.data = {}
self.dateFormat = '%Y-%m-%d %H:%M:%S' #'%Y-%m-%d %H:%M:%S.%f'
# Fecha en la que se sacaron los datos
dump_date = datetime(2018, 4, 24)
# Load problems data -> self.data[user_id][course_id][week]
next(problemsCSV, None) # skip the headers
for row in problemsCSV:
user_id = row[0]
# EL PROBLEMA ESTA EN QUE AQUI SOLO LLEGA UnA SEMANA DE PROBLEMAS
if (user_id == "29464"):
hola = 1
course_id = row[1]
week = row[2]
# Register user
if (user_id not in self.data):
self.data[user_id] = {}
# Register course
if (course_id not in self.data[user_id]):
self.data[user_id][course_id] = {}
# Register week
if (week not in self.data[user_id][course_id]):
# Fields conversion
score = float(row[3])
score_attempts = int(row[4])
grade = float(row[5])
grade_attempts = int(row[6])
begin = datetime.strptime(row[7], self.dateFormat)
end = datetime.strptime(row[8], self.dateFormat)
# elapsed_time = float(row[12])
problems_per = float(row[11])
passed = 1
if (grade < 0.5):
passed = 0
# Compute elapsed time since the last problem and today (dump
361
Machine Learning y predicciones para la mejora del rendimiento en MOOC
data)
#elapsed_days = ceil((end - dump_date).total_seconds() / 60 /
60 / 24)
elapsed_days = ceil((end - begin).total_seconds() / 60 / 60 /
24)
self.data[user_id][course_id][week] = {
"score": score,
"score_attempts": score_attempts,
"grade": grade,
"grade_attempts": grade_attempts,
"passed": passed,
"begin": begin,
"end": end,
"elapsed_days": elapsed_days,
"%problems": problems_per
}
problemsFile.close()
def getWeekData(self, user_id, course_id, week):
if (user_id in self.data):
if (course_id in self.data[user_id]):
if (week in self.data[user_id][course_id]):
weekData = self.data[user_id][course_id][week]
return weekData
return None
def computeDropout(self, user_id, course_id, currentWeek, totalWeeks):
# Estoy en la última semana
if (currentWeek == totalWeeks):
currentWeekData = self.getWeekData(user_id, course_id,
currentWeek)
# No hay registros de problemas
if currentWeekData is None:
return 1
# Ha terminado el curso
if currentWeekData["passed"]:
return 0
# No ha termiando pero aun podria terminar (hace menos de 1 mes)
if currentWeekData["elapsed_days"] <= 30:
return 0
return 1
# Si hay semanas despues
else:
nextWeek = str(int(currentWeek) + 1)
nextWeekData = self.getWeekData(user_id, course_id, nextWeek)
# No hay registros de problemas
if nextWeekData is None:
return 1
# Ha terminado el curso
if nextWeekData["passed"]:
return 0
# No ha termiando pero aun podria terminar (hace menos de 1 mes)
if nextWeekData["elapsed_days"] <= 30:
362
Anexo 3
return 0
return 1
def computeAbsence_1month(self, user_id, course_id, currentWeek,
totalWeeks):
# Estoy en la última semana
if (currentWeek == totalWeeks):
currentWeekData = self.getWeekData(user_id, course_id,
currentWeek)
# No hay registros de problemas
if currentWeekData is None:
return 1
# Ha terminado el curso
if currentWeekData["passed"]:
return 0
# No ha termiando pero aun podria terminar (hace menos de 1 mes)
if currentWeekData["elapsed_days"] <= 30:
return 0
return 1
# Si hay semanas despues
else:
nextWeek = str(int(currentWeek) + 1)
nextWeekData = self.getWeekData(user_id, course_id, nextWeek)
# No hay registros de problemas
if nextWeekData is None:
return 1
# Ha terminado el curso
if nextWeekData["passed"]:
return 0
# No ha termiando pero aun podria terminar (hace menos de 1 mes)
if nextWeekData["elapsed_days"] <= 30:
return 0
return 1
def computeAbsence_10days(self, user_id, course_id, currentWeek,
totalWeeks):
# Estoy en la última semana
if (currentWeek == totalWeeks):
currentWeekData = self.getWeekData(user_id, course_id,
currentWeek)
# No hay registros de problemas
if currentWeekData is None:
return 1
# Ha terminado el curso
if currentWeekData["passed"]:
return 0
# No ha termiando pero aun podria terminar (hace menos de 10 dias)
if currentWeekData["elapsed_days"] <= 10:
return 0
return 1
# Si hay semanas despues
else:
nextWeek = str(int(currentWeek) + 1)
nextWeekData = self.getWeekData(user_id, course_id, nextWeek)
363
Machine Learning y predicciones para la mejora del rendimiento en MOOC
# No hay registros de problemas
if nextWeekData is None:
return 1
# Ha terminado el curso
if nextWeekData["passed"]:
return 0
# No ha termiando pero aun podria terminar (hace menos de 10 dias)
if nextWeekData["elapsed_days"] <= 10:
return 0
return 1
def getNextWeekGrade(self, user_id, course_id, currentWeek, totalWeeks):
# Estoy en la última semana devuelvo el actual
if (currentWeek == totalWeeks):
currentWeekData = self.getWeekData(user_id, course_id,
currentWeek)
# No hay registros de problemas
if currentWeekData is None:
return 0
return currentWeekData["grade"]
# Si hay semanas despues
else:
nextWeek = str(int(currentWeek) + 1)
nextWeekData = self.getWeekData(user_id, course_id, nextWeek)
# No hay registros de problemas
if nextWeekData is None:
return 0
return nextWeekData["grade"]
def getStats(self):
courses = set()
weeks = set()
scores = []
scoresAttempts = []
grades = []
gradesAttempts = []
passed = 0
for user_id in self.data:
for course_id in self.data[user_id]:
courses.add(course_id)
for week in self.data[user_id][course_id]:
weeks.add(course_id + "###" + week)
weekData = self.getWeekData(user_id, course_id, week)
scores.append(weekData["score"])
scoresAttempts.append(weekData["score_attempts"])
grades.append(weekData["grade"])
gradesAttempts.append(weekData["grade_attempts"])
passed += weekData["passed"]
364
Anexo 3
stats = {
"users": len(self.data),
"courses": len(courses),
"weeks": len(weeks),
"scoreMean": statistics.mean(scores),
"scoreStdev": statistics.stdev(scores),
"scoreAttemptsMean": statistics.mean(scoresAttempts),
"scoreAttemptsStdev": statistics.stdev(scoresAttempts),
"gradeMean": statistics.mean(grades),
"gradeStdev": statistics.stdev(grades),
"gradeAttemptsMean": statistics.mean(gradesAttempts),
"gradeAttemptsStdev": statistics.stdev(gradesAttempts),
"passed": passed,
"samples": len(scores)
}
return stats
365
Machine Learning y predicciones para la mejora del rendimiento en MOOC
userVideos.py
# Python version 3.7
# Clase para manejar los datos de los vídeos de los usuarios
import csv, statistics
from datetime import datetime
from math import ceil
class UserVideosManager:
# Constructor -> Filen with user data structure per week
def __init__(self, filename):
videosFile = open(filename, 'r', encoding='utf-8')
videosCSV = csv.reader(videosFile, doublequote=True, escapechar='\\')
self.data = {}
self.dateFormat = '%Y-%m-%d %H:%M:%S'#'%Y-%m-%d %H:%M:%S.%f'
# Fecha en la que se sacaron los datos
dump_date = datetime(2018, 4, 24)
# Load problems data -> self.data[user_id][course_id][week]
next(videosCSV, None) # skip the headers
for row in videosCSV:
user_id = row[0]
course_id = row[1]
week = row[2]
# Register user
if (user_id not in self.data):
self.data[user_id] = {}
# Register course
if (course_id not in self.data[user_id]):
self.data[user_id][course_id] = {}
# Register week
if (week not in self.data[user_id][course_id]):
# Fields conversion
watched = int(row[3])
seconds = int(row[4])
begin = datetime.strptime(row[5], self.dateFormat)
end = datetime.strptime(row[6], self.dateFormat)
# elapsed_time = float(row[7])
# Compute elapsed time since the last video and today (dump
data)
#elapsed_days = ceil((end - dump_date).total_seconds() / 60 /
60 / 24)
elapsed_days = ceil((end - begin).total_seconds() / 60 / 60 /
24)
self.data[user_id][course_id][week] = {
"watched": watched,
"seconds": seconds,
"begin": begin,
"end": end,
"elapsed_days": elapsed_days
366
Anexo 3
}
videosFile.close()
def getWeekData(self, user_id, course_id, week):
if (user_id in self.data):
if (course_id in self.data[user_id]):
if (week in self.data[user_id][course_id]):
weekData = self.data[user_id][str(course_id)][str(week)]
return weekData
return None
def getStats(self):
courses = set()
weeks = set()
watched = []
seconds = []
for user_id in self.data:
for course_id in self.data[user_id]:
courses.add(course_id)
for week in self.data[user_id][course_id]:
weeks.add(course_id + "###" + week)
weekData = self.getWeekData(user_id, course_id, week)
watched.append(weekData["watched"])
seconds.append(weekData["seconds"])
stats = {
"users": len(self.data),
"courses": len(courses),
"weeks": len(weeks),
"watchedMean": statistics.mean(watched),
"watchedStdev": statistics.stdev(watched),
"secondsMean": statistics.mean(seconds),
"secondsStdev": statistics.stdev(seconds),
"samples": len(watched)
}
return stats
367
Machine Learning y predicciones para la mejora del rendimiento en MOOC
MachineLearning_MOOCs.ipynb
# Importar librerías
import pandas as pd
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import matplotlib as mpl
import numpy as np
import seaborn as sns
%matplotlib inline
# Subiendo datos de Drive a Colaboratory
!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials
# Autenticación
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
link = 'https://drive.google.com/open?id=1Vtn8V_RTm25RPE_bPci7I6mjPyuWTG1a'
fluff, id = link.split('=')
downloaded = drive.CreateFile({'id':id})
downloaded.GetContentFile('final_csv_summary.csv')
#samples_upvx_weekly
df = pd.read_csv('final_csv_summary.csv')
#samples_upvx_weekly
# Los datos quedan almacenados en un Pandas Dataframe
df.info()
df.head()
Index(['course_id', 'course_weeks', 'user_id', 'dropout', 'user_age',
'user_gender', 'user_level_education', 'percent', 'grade', 'duration',
'first_10_days', '50%course_watched_videos', 'course_time_videos',
'absence_1_month', 'absence_10_days', 'low_scores', '1week_attemps',
'week2%_problems', 'week2%_watched_videos', 'week3%_problems',
'week3%_watched_videos', 'week4%_problems', 'week4%_watched_videos',
'week5%_problems', 'week5%_watched_videos', 'week6%_problems',
'week6%_watched_videos', 'week7%_problems', 'week7%_watched_videos',
'week8%_problems', 'week8%_watched_videos', 'week9%_problems',
'week9%_watched_videos', 'week1%_problems', 'week1%_watched_videos',
'week10%_problems', 'week10%_watched_videos'],
dtype='object')
df.isnull().any()
# Usuarios Unicos; Aprobados y suspensos; Distribución por género;
# Distribución por nivel de educación; Distribución por edades; abandono
print('1) Usuarios Unicos: %d' % len(df['user_id'].unique()))
print("\n")
print('2) Aprobados y suspensos:')
print(df['grade'].value_counts())
368
Anexo 3
print("\n")
print('3) Distribución por género:')
print(df['user_gender'].value_counts())
print('Valores Nulos: %d' % df['user_gender'].isnull().values.sum())
print("\n")
print('4) Distribución por nivel de educación:')
print(df['user_level_education'].value_counts())
print('Valores Nulos: %d' % df['user_level_education'].isnull().sum())
print("\n")
print ('5) Distribución por edades')
print(df['user_age'].value_counts())
print('Valores Nulos: %d' % df['user_age'].isnull().sum())
print("\n")
print('6) Abandonos:')
print(df['dropout'].value_counts())
print('Valores Nulos: %d' % df['dropout'].isnull().sum())
# Selección de Features para analizar su distribución estadística:
subset_attributes = ['course_id', 'course_weeks', 'user_id', 'dropout',
'user_age',
'user_gender', 'user_level_education', 'percent', 'grade', 'duration',
'first_10_days', '50%course_watched_videos', 'course_time_videos',
'absence_1_month','absence_10_days' ,'low_scores', '1week_attemps',
'week1%_problems',
'week1%_watched_videos', 'week2%_problems', 'week2%_watched_videos',
'week3%_problems', 'week3%_watched_videos', 'week4%_problems',
'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos',
'week6%_problems', 'week6%_watched_videos', 'week7%_problems',
'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos']
for i in range(len(subset_attributes)):
distribution = round(df[subset_attributes[i:i+3]].describe(), 2)
print(distribution)
i = i+3
# Para la visualización de las variables se eliminan los ceros.
df[df['user_age'] > 0 ].hist('user_age')
df.hist('user_gender')
df.hist('user_level_education')
df[df['percent'] > 0 ].hist('percent')
df.hist('grade')
df[df['duration'] > 0 ].hist('duration')
df.hist('first_10_days')
df.hist('50%course_watched_videos')
df[df['course_time_videos'] > 0 ].hist('course_time_videos')
df.hist('absence_1_month')
df.hist('absence_10_days')
df.hist('low_scores')
df.hist('1week_attemps')
df[df['week1%_problems'] > 0 ].hist('week1%_problems')
df[df['week2%_problems'] > 0 ].hist('week2%_problems')
369
Machine Learning y predicciones para la mejora del rendimiento en MOOC
df[df['week3%_problems']
df[df['week4%_problems']
df[df['week5%_problems']
df[df['week6%_problems']
df[df['week7%_problems']
df[df['week8%_problems']
>
>
>
>
>
>
0
0
0
0
0
0
].hist('week3%_problems')
].hist('week4%_problems')
].hist('week5%_problems')
].hist('week6%_problems')
].hist('week7%_problems')
].hist('week8%_problems')
df[df['week1%_watched_videos']
df[df['week2%_watched_videos']
df[df['week3%_watched_videos']
df[df['week4%_watched_videos']
df[df['week5%_watched_videos']
df[df['week6%_watched_videos']
df[df['week7%_watched_videos']
df[df['week8%_watched_videos']
>
>
>
>
>
>
>
>
0
0
0
0
0
0
0
0
].hist('week1%_watched_videos')
].hist('week2%_watched_videos')
].hist('week3%_watched_videos')
].hist('week4%_watched_videos')
].hist('week5%_watched_videos')
].hist('week6%_watched_videos')
].hist('week7%_watched_videos')
].hist('week8%_watched_videos')
# Correlación entre biodatos, indicadores de abandono y variables de uso
subset04 = ['user_age',
'user_gender', 'user_level_education', 'percent', 'grade', 'duration',
'first_10_days', '50%course_watched_videos', 'course_time_videos',
'absence_1_month','absence_10_days', 'low_scores',
'1week_attemps','week1%_problems',
'week2%_problems', 'week3%_problems', 'week1%_watched_videos',
'week2%_watched_videos', 'week3%_watched_videos']
f, ax = plt.subplots(figsize=(20, 12))
corr = df[subset04].corr()
hm = sns.heatmap(round(corr,2), annot=True, ax=ax, cmap="coolwarm",fmt='.2f',
linewidths=.05)
f.subplots_adjust(top=0.93)
t= f.suptitle('Correlation Heatmap', fontsize=14)
#Importando las columnas con las que vamos a trabajar
cols= ['dropout', 'user_age', 'user_gender',
'user_level_education', 'percent', 'grade', 'duration',
'first_10_days', '50%course_watched_videos', 'course_time_videos',
'absence_1_month', 'absence_10_days', 'low_scores', '1week_attemps',
'week1%_problems',
'week1%_watched_videos', 'week2%_problems', 'week2%_watched_videos',
'week3%_problems', 'week3%_watched_videos', 'week4%_problems',
'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos',
'week6%_problems', 'week6%_watched_videos', 'week7%_problems',
'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos',
'course_time_videos', 'absence_1_month','absence_10_days',
'course_time_videos', 'first_10_days', 'low_scores', '1week_attemps']
# Indicamos la variable de salida (dropout)
y=df[cols].iloc[:, 0].values
# Indicamos las variables (features) con las que queremos trabajar en cada una
de las hipótesis
370
Anexo 3
# Hipotesis 1: Lee, & Choi (2011): edad y sexo
X1=df[cols].iloc[:, [1,2]].values
# Hipotesis 2: Urrutia et al (2017): edad, sexo y nivel educativo
X2=df[cols].iloc[:, [1,2,3]].values
# Hipotesis 3: García et al (2015): Interacciones en las tareas.
#
Halawa, Greene y Mitchell (2014): omisión de las asignaciones
X3=df[cols].iloc[:, [14,16,18,20,22,24,26,28]].values
# Hipotesis 4: Kizilcec et al (2018): Participación activa --> tiempo viendo
videos
X4=df[cols].iloc[:, [9,30]].values
# Hipotesis 5: Halawa, Greene y Mitchell (2014): El estudiante ha estado
ausente del curso en un periodo superior a 1 mes
X5=df[cols].iloc[:, [10,31]].values
# Hipotesis 6: Liang, Yang, Wu, Li & Zheng (2016): los estudiantes suelen
abandonar los cursos si no tienen ninguna actividad de aprendizaje en diez
días continuos
X6=df[cols].iloc[:, [11,32]].values
# Hipotesis 7: Halawa, Greene y Mitchell (2014): El estudiante ha visto menos
de 50% de los videos en el curso
X7=df[cols].iloc[:, [8,33]].values
# Hipotesis 8: Halawa, Greene y Mitchell (2014): Iniciar el curso después de
dos semanas
X8=df[cols].iloc[:, [7,34]].values
# Hipotesis 9: Halawa, Greene y Mitchell (2014): Omisión de videos en la
unidad anterior
X9=df[cols].iloc[:, [15,17,19,21,23,25,27,29]].values
# Hipotesis 10: Halawa, Greene y Mitchell (2014): puntuaciones bajas en las
pruebas de las primeras semanas
X10=df[cols].iloc[:, [12,35]].values
# Hipotesis 11: Halawa, Greene y Mitchell (2014): cuántos intentos hace el
estudiante para volver a realizar una prueba
X11=df[cols].iloc[:, [13,36]].values
#DUPLICANDO LAS HIPÓTESIS E INCLUYENDO LAS VARIABLES ETNOGRAFICAS
# Hipotesis 3bis: García et al (2015): Interacciones en las tareas.
#
Halawa, Greene y Mitchell (2014): omisión de las asignaciones
X3bis=df[cols].iloc[:, [1,2,3,14,16,18,20,22,24,26,28]].values
# Hipotesis 4bis: Kizilcec et al (2018): Participación activa --> tiempo
viendo videos
X4bis=df[cols].iloc[:, [1,2,3,9,30]].values
371
Machine Learning y predicciones para la mejora del rendimiento en MOOC
# Hipotesis 5bis: Halawa, Greene y Mitchell (2014): El estudiante ha estado
ausente del curso en un periodo superior a 1 mes
X5bis=df[cols].iloc[:, [1,2,3,10,31]].values
# Hipotesis 6bis: Liang, Yang, Wu, Li & Zheng (2016): los estudiantes suelen
abandonar los cursos si no tienen ninguna actividad de aprendizaje en diez
días continuos
X6bis=df[cols].iloc[:, [1,2,3,11,32]].values
# Hipotesis 7bis: Halawa, Greene y Mitchell (2014): El estudiante ha visto
menos de 50% de los videos en el curso
X7bis=df[cols].iloc[:, [1,2,3,8,33]].values
# Hipotesis 8bis: Halawa, Greene y Mitchell (2014): Iniciar el curso después
de dos semanas
X8bis=df[cols].iloc[:, [1,2,3,7,34]].values
# Hipotesis 9bis: Halawa, Greene y Mitchell (2014): Omisión de videos en la
unidad anterior
X9bis=df[cols].iloc[:, [1,2,3,15,17,19,21,23,25,27,29]].values
# Hipotesis 10bis: Halawa, Greene y Mitchell (2014): puntuaciones bajas en las
pruebas
X10bis=df[cols].iloc[:, [1,2,3,12,35]].values
# Hipotesis 11bis: Halawa, Greene y Mitchell (2014): cuántos intentos hace el
estudiante para volver a realizar una prueba
X11bis=df[cols].iloc[:, [1,2,3,13,36]].values
# Se divide el conjunto de datos entre entrenamiento y testeo
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X11bis, y, test_size =
0.20, random_state = 0)
# Escalando los datos
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)
#Aplicando Random Forest al conjunto de datos
from sklearn.ensemble import RandomForestClassifier
classifier=RandomForestClassifier(n_estimators=10,criterion='entropy',random_s
tate=0)
classifier.fit(X_train,y_train)
# Predicting the Test set results
y_pred = classifier.predict(X_test)
y_pred
# Matriz de confusión
372
Anexo 3
from sklearn.metrics import confusion_matrix, accuracy_score,
classification_report
cm = confusion_matrix(y_test, y_pred)
#print('Accuracy Score: ', accuracy_score(y_test, y_pred))
print(classification_report(y_test, y_pred))
# TP , FP
# FN , TN
# ------Cm
import seaborn as sns
import matplotlib.pyplot as plt
ax= plt.subplot()
sns.heatmap(cm, annot=True, ax = ax); #annot=True to annotate cells
# labels, title and ticks
ax.set_xlabel('Predicción');ax.set_ylabel('Realidad');
ax.set_title('Matriz confusión');
ax.xaxis.set_ticklabels(['No Abandono', 'Abandono']);
ax.yaxis.set_ticklabels(['No Abandono', 'Abandono']);
#Automatizando hipótesis
cols= ['dropout', 'user_age', 'user_gender',
'user_level_education', 'percent', 'grade', 'duration',
'first_10_days', '50%course_watched_videos', 'course_time_videos',
'absence_1_month', 'absence_10_days', 'low_scores', '1week_attemps',
'week1%_problems',
'week1%_watched_videos', 'week2%_problems', 'week2%_watched_videos',
'week3%_problems', 'week3%_watched_videos', 'week4%_problems',
'week4%_watched_videos', 'week5%_problems', 'week5%_watched_videos',
'week6%_problems', 'week6%_watched_videos', 'week7%_problems',
'week7%_watched_videos', 'week8%_problems', 'week8%_watched_videos',
'course_time_videos', 'absence_1_month','absence_10_days',
'course_time_videos', 'first_10_days', 'low_scores', '1week_attemps']
X1=df[cols].iloc[:, [1,2]].values
X2=df[cols].iloc[:, [1,2,3]].values
X3=df[cols].iloc[:, [14,16,18,20,22,24,26,28]].values
X4=df[cols].iloc[:, [9,30]].values
X5=df[cols].iloc[:, [10,31]].values
X6=df[cols].iloc[:, [11,32]].values
X7=df[cols].iloc[:, [8,33]].values
X8=df[cols].iloc[:, [7,34]].values
X9=df[cols].iloc[:, [15,17,19,21,23,25,27,29]].values
X10=df[cols].iloc[:, [12,35]].values
X11=df[cols].iloc[:, [13,36]].values
X3bis=df[cols].iloc[:, [1,2,3,14,16,18,20,22,24,26,28]].values
X4bis=df[cols].iloc[:, [1,2,3,9,30]].values
X5bis=df[cols].iloc[:, [1,2,3,10,31]].values
373
Machine Learning y predicciones para la mejora del rendimiento en MOOC
X6bis=df[cols].iloc[:, [1,2,3,11,32]].values
X7bis=df[cols].iloc[:, [1,2,3,8,33]].values
X8bis=df[cols].iloc[:, [1,2,3,7,34]].values
X9bis=df[cols].iloc[:, [1,2,3,15,17,19,21,23,25,27,29]].values
X10bis=df[cols].iloc[:, [1,2,3,12,35]].values
X11bis=df[cols].iloc[:, [1,2,3,13,36]].values
X = []
X.append(X1)
X.append(X2)
X.append(X3)
X.append(X4)
X.append(X5)
X.append(X6)
X.append(X7)
X.append(X8)
X.append(X9)
X.append(X10)
X.append(X11)
X.append(X3bis)
X.append(X4bis)
X.append(X5bis)
X.append(X6bis)
X.append(X7bis)
X.append(X8bis)
X.append(X9bis)
X.append(X10bis)
X.append(X11bis)
counter = 1
for i in X:
# Se divide el conjunto de datos entre entrenamiento y testeo
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(i, y, test_size = 0.20,
random_state = 0)
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)
from sklearn.ensemble import RandomForestClassifier
classifier=RandomForestClassifier(n_estimators=10,criterion='entropy',random_s
tate=0)
classifier.fit(X_train,y_train)
y_pred = classifier.predict(X_test)
print ('Hipotesis' + str(counter))
374
Anexo 3
from sklearn.metrics import confusion_matrix, accuracy_score,
classification_report
cm = confusion_matrix(y_test, y_pred)
print(classification_report(y_test, y_pred))
# TP , FP
# FN , TN
# ------cm
counter = counter + 1
375
Anexo 4
Ane o 4. I e aci n II. Li ado de c
377
o anali ado .
Machine Learning y predicciones para la mejora del rendimiento en MOOC
fecha inicio
2016-06-28T12:00:00Z
2015-10-06T08:00:00Z
2017-04-25T14:00:00Z
2018-04-24T12:00:00Z
2015-03-31T00:00:00Z
2016-04-05T14:30:00Z
2019-05-07T12:00:00Z
2017-03-28T12:00:00Z
2018-03-27T12:00:00Z
2019-03-26T13:30:00Z
2015-04-21T00:00:00Z
2016-04-19T14:00:00Z
2017-04-25T12:00:00Z
2019-04-22T23:00:00Z
2019-04-23T12:00:00Z
2015-02-17T06:00:00Z
2016-05-23T04:00:00Z
2016-03-22T12:00:00Z
2015-04-14T00:00:00Z
2017-05-23T12:00:00Z
2018-05-22T12:00:00Z
2019-05-21T13:00:00Z
2016-05-03T04:00:00Z
2015-05-19T00:00:00Z
2017-06-27T12:00:00Z
Tabla 46. Listado de cursos analizados
Titulo curso
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Android: Introducci\u00f3n a la programaci\u00f3n
Android: Introducci\u00f3n a la Programaci\u00f3n
Android: Introducci\u00f3n a la Programaci\u00f3n
Android: Introducci\u00f3n a la Programaci\u00f3n
Android: Introducci\u00f3n a la Programaci\u00f3n
Buscar en Internet
Buscar en Internet
Buscar en Internet
Buscar en Internet
Buscar en Internet
Bases matem\u00e1ticas: \u00c1lgebra
Bases matem\u00e1ticas: \u00c1lgebra
Bases matem\u00e1ticas: \u00c1lgebra
Bases matem\u00e1ticas: \u00c1lgebra
Bases matem\u00e1ticas: \u00c1lgebra
Bases matem\u00e1ticas: \u00c1lgebra
Bases Matem\u00e1ticas: Derivadas
Bases Matem\u00e1ticas: Derivadas
Bases Matem\u00e1ticas: Derivadas
Bases Matem\u00e1ticas: Derivadas
Bases Matem\u00e1ticas: Derivadas
Bases matem\u00e1ticas: Integrales
Bases matem\u00e1ticas: Integrales
378
Nº alumnos
492
589
8559
7757
8325
6126
1740
2338
2180
615
2000
2105
1606
1109
306
1146
1018
721
1677
1750
1173
295
339
1155
1023
% abandonos
68,9%
57,6%
97,0%
96,5%
87,2%
91,9%
100,0%
73,7%
71,9%
96,1%
71,8%
79,4%
81,6%
86,0%
91,2%
74,7%
78,6%
70,3%
71,6%
78,8%
77,2%
77,6%
77,9%
68,8%
80,4%
Bases matem\u00e1ticas: Integrales
Bases matem\u00e1ticas: Integrales
Bases matem\u00e1ticas: Integrales
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
Basic Spanish 1: Getting Started
Basic Spanish 1: Getting Started
Basic Spanish 1: Getting Started
Basic Spanish 1: Getting Started
Basic Spanish 2: One Step Further
Basic Spanish 2: One Step Further
Basic Spanish 2: One Step Further
Dise\u00f1o de diques rompeolas con cub\u00edpodos
Dise\u00f1o de diques rompeolas con cub\u00edpodos
Dynamics and Control
Dynamics and Control
Dynamics and Control
Dynamics and Control
Dynamics and Control
379
2018-06-26T10:30:00Z
2019-06-25T13:00:00Z
2016-06-07T04:00:00Z
2015-01-20T07:00:00Z
2017-03-21T00:00:00Z
2018-03-20T12:00:00Z
2019-03-26T13:00:00Z
2016-05-23T00:00:00Z
2016-02-09T11:00:00Z
2017-03-21T00:00:00Z
2018-03-20T12:00:00Z
2019-03-26T13:00:00Z
2016-05-23T00:00:00Z
2016-05-11T00:00:00Z
2017-04-04T13:00:00Z
2018-04-03T12:00:00Z
2019-04-02T12:00:00Z
2015-09-15T00:00:00Z
2017-06-20T13:00:00Z
2017-09-19T00:00:00Z
2018-10-02T12:00:00Z
2018-05-15T12:00:00Z
2018-10-16T12:00:00Z
2017-02-28T12:00:00Z
2018-03-06T12:00:00Z
2019-03-12T13:00:00Z
2015-04-14T00:00:00Z
2016-05-23T00:00:00Z
745
120
810
1257
2022
1511
390
1136
1225
6631
5047
1237
1801
2183
19553
34135
3695
36371
1550
9342
6934
69
63
741
879
262
1074
554
Anexo 4
79,9%
78,3%
79,9%
70,6%
72,8%
76,6%
84,1%
69,8%
60,5%
68,2%
72,8%
97,8%
64,3%
47,5%
85,0%
95,5%
97,8%
92,1%
82,0%
86,0%
94,8%
84,1%
77,8%
78,8%
73,3%
96,2%
69,2%
80,3%
2018-09-11T12:00:00Z
2015-04-21T00:00:00Z
2015-05-05T00:00:00Z
2016-04-05T10:00:00Z
2017-06-06T12:00:00Z
2018-06-05T12:00:00Z
2019-06-04T13:00:00Z
2017-06-20T12:00:00Z
2017-09-26T13:00:00Z
2018-09-24T12:00:00Z
2015-06-02T00:00:00Z
2016-04-26T12:30:00Z
2017-06-06T12:00:00Z
2018-06-05T12:00:00Z
2019-06-04T13:00:00Z
2018-10-30T12:00:00Z
2016-02-23T14:15:00Z
2015-03-24T01:00:00Z
2016-04-26T13:30:00Z
2017-06-06T14:30:00Z
2018-06-05T12:00:00Z
2019-06-04T12:00:00Z
2018-10-29T15:00:00Z
2017-06-20T12:00:00Z
2017-09-19T00:00:00Z
2018-09-18T12:00:00Z
1047
6023
957
549
399
336
65
551
5526
3092
1137
1096
1057
882
167
482
427
979
1049
754
453
88
4161
1297
6911
1902
93,2%
74,7%
79,9%
80,7%
91,7%
90,8%
100,0%
79,9%
81,8%
88,2%
75,3%
84,7%
88,2%
81,2%
94,0%
87,8%
67,2%
59,9%
74,3%
85,4%
89,2%
98,9%
89,5%
98,3%
99,9%
99,6%
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Dynamics and Control
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
Aprendizaje autom\u00e1tico y ciencia de datos
Dise\u00f1a, fabrica y programa tu propio robot
Dise\u00f1a, fabrica y programa tu propio robot
Dise\u00f1a, fabrica y programa tu propio robot
Introducci\u00f3n a los encofrados y las cimbras en obra civil y
edificaci\u00f3n
Introducci\u00f3n a los encofrados y las cimbras en obra civil y
edificaci\u00f3n
Excel
Fundamentos de Comunicaciones \u00d3pticas
Fundamentos de Comunicaciones \u00d3pticas
Fundamentos de Comunicaciones \u00d3pticas
Fundamentos de Comunicaciones \u00d3pticas
Fundamentos de Comunicaciones \u00d3pticas
FlashDiet: Aprende a comer sano
FlashDiet: Aprende a comer sano
FlashDiet: Aprende a comer sano
Fundamentos de Mec\u00e1nica
Fundamentos de Mec\u00e1nica
Fundamentos de Mec\u00e1nica
Fundamentos de Mec\u00e1nica
Fundamentos de Mec\u00e1nica
380
Fundamentos de electromagnetismo
Fundamentos de electromagnetismo
Fundamentos de electromagnetismo
Fundamentos de electromagnetismo
Fundamentos de electromagnetismo
C\u00f3mo implantar grupos de mejora de procesos
C\u00f3mo implantar grupos de mejora de procesos
C\u00f3mo implantar grupos de mejora de procesos
C\u00f3mo implantar grupos de mejora de procesos
C\u00f3mo implantar grupos de mejora de procesos
C\u00f3mo implantar grupos de mejora de procesos
Gesti\u00f3n participativa (High Involvement Work Practices)
Gesti\u00f3n participativa (High Involvement Work Practices)
Gesti\u00f3n participativa (High Involvement Work Practices)
Gesti\u00f3n participativa (High Involvement Work Practices)
Gesti\u00f3n participativa (High Involvement Work Practices)
Gesti\u00f3n participativa (High Involvement Work Practices)
Upper-Intermediate English: Business
Upper-Intermediate English: Business
Upper-Intermediate English: Modern Life
Upper-Intermediate English: Modern Life
Upper-Intermediate English: Globalization
Upper-Intermediate English: Globalization
Upper-Intermediate English: Technology Today
Upper-Intermediate English: Technology Today
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
381
2015-09-08T00:00:00Z
2016-06-07T12:00:00Z
2017-07-18T10:00:00Z
2018-07-17T12:00:00Z
2019-07-16T12:00:00Z
2017-04-04T04:00:00Z
2015-03-25T08:00:00Z
2016-04-12T12:00:00Z
2017-05-29T21:00:00Z
2019-05-28T12:00:00Z
2018-05-28T00:00:00Z
2017-01-31T10:00:00Z
2017-03-28T12:00:00Z
2019-03-26T12:00:00Z
2018-03-27T00:00:00Z
2015-09-15T08:30:00Z
2016-09-20T10:00:00Z
2018-09-11T00:00:00Z
2018-12-04T12:00:00Z
2018-10-16T14:30:00Z
2018-12-04T12:00:00Z
2019-01-08T13:00:00Z
2018-11-13T00:00:00Z
2019-01-29T14:30:00Z
2018-12-11T14:00:00Z
2016-06-14T12:00:00Z
2017-06-13T12:00:00Z
2018-06-12T12:00:00Z
1145
656
1217
743
42
986
2151
1456
1810
606
1915
553
680
1206
1359
2125
236
11450
10576
10325
11483
3980
5208
3860
5351
4341
6097
4472
Anexo 4
77,7%
84,1%
82,8%
79,1%
95,2%
92,4%
81,6%
81,7%
95,9%
100,0%
95,8%
86,1%
87,9%
99,9%
96,8%
78,0%
89,4%
99,5%
99,1%
99,6%
99,6%
97,5%
99,5%
98,4%
99,7%
62,1%
69,2%
64,8%
2019-06-11T12:00:00Z
2015-11-10T13:00:00Z
2017-03-21T12:00:00Z
2018-03-20T12:00:00Z
2019-03-26T13:00:00Z
2016-03-15T11:00:00Z
2015-06-09T00:00:00Z
2016-05-23T00:00:00Z
2016-04-12T12:00:00Z
2017-04-25T12:00:00Z
2019-04-22T23:00:00Z
2019-04-23T12:00:00Z
2015-07-07T00:00:00Z
2016-05-17T12:00:00Z
2017-05-23T12:00:00Z
2018-05-22T12:00:00Z
2019-05-21T12:00:00Z
2015-09-08T00:00:00Z
2017-06-27T00:00:00Z
2018-06-26T10:30:00Z
2019-06-25T12:00:00Z
2018-10-30T12:00:00Z
2018-10-30T12:00:00Z
2018-10-16T12:00:00Z
2018-12-11T14:00:00Z
2017-07-25T12:00:00Z
2018-07-10T12:00:00Z
2019-07-09T12:00:00Z
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Introducci\u00f3n a la estructura de la materia
Introducci\u00f3n a la estructura de la materia
Introducci\u00f3n a la estructura de la materia
Introducci\u00f3n a la estructura de la materia
Introducci\u00f3n a la estructura de la materia
Introducci\u00f3n a la estructura de la materia
El enlace qu\u00edmico y las interacciones moleculares
El enlace qu\u00edmico y las interacciones moleculares
El enlace qu\u00edmico y las interacciones moleculares
El enlace qu\u00edmico y las interacciones moleculares
El enlace qu\u00edmico y las interacciones moleculares
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
\u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones
\u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones
Sales: reacciones qu\u00edmicas y aplicaciones
Sales: reacciones qu\u00edmicas y aplicaciones
Sustainability in Architecture: An Interdisciplinary Introduction
Sustainability in Architecture: An Interdisciplinary Introduction
Sustainability in Architecture: An Interdisciplinary Introduction
382
509
3935
708
853
181
191
658
555
484
563
917
168
714
567
801
882
147
890
954
883
43
108
367
192
141
337
2073
347
94,7%
62,3%
45,1%
36,1%
52,5%
53,4%
43,8%
40,7%
62,8%
55,4%
42,1%
50,6%
49,9%
82,7%
67,7%
79,9%
93,9%
73,9%
65,7%
52,0%
86,0%
94,4%
65,4%
98,4%
63,1%
77,7%
85,1%
97,1%
Information Systems and Computer Applications, Part 1: IT
IT Fundamentals for Business Professionals: Enterprise Systems
IT Fundamentals for Business Professionals: Enterprise Systems
Information Systems and Computer Applications, Part 1: IT
Information Systems and Computer Applications, Part 2: Hardware
IT Fundamentals for Business Professionals: Hardware
IT Fundamentals for Business Professionals: Hardware
Information Systems and Computer Applications, Part 2: Hardware
Information Systems and Computer Applications, Part 3: Software
Development
IT Fundamentals for Business Professionals: Software development
IT Fundamentals for Business Professionals: Software development
Information Systems and Computer Applications, Part 3: Software
Development
Information Systems and Computer Applications, Part 4: Programming
IT Fundamentals for Business Professionals: Programming
IT Fundamentals for Business Professionals: Programming
Information Systems and Computer Applications, Part 4: Programming
Information Systems and Computer Applications, Part 5: Social
Implications
IT Fundamentals for Business Professionals: Cybersecurity and social
implications
IT Fundamentals for Business Professionals: Cybersecurity and social
implications
Information Systems and Computer Applications, Part 5: Social
Implications
Measure and Improve Innovation at the Workplace
Measure and Improve Innovation at the Workplace
Liderazgo para mandos intermedios
383
2018-07-10T00:00:00Z
2019-01-01T00:00:00Z
2017-01-31T12:00:00Z
2015-11-10T14:00:00Z
2017-01-31T12:00:00Z
2019-01-01T00:00:00Z
2018-06-12T00:00:00Z
2015-12-01T10:00:00Z
2017-01-31T12:00:00Z
2019-01-01T00:00:00Z
2018-05-15T00:00:00Z
2017-01-31T12:00:00Z
2018-02-13T00:00:00Z
2019-01-01T00:00:00Z
2015-09-15T00:00:00Z
2017-01-31T12:00:00Z
2018-04-10T00:00:00Z
2019-01-01T00:00:00Z
2015-10-13T11:00:00Z
548
132
94
550
409
147
197
917
301
1037
4079
724
456
416
788
2275
5867
942
4027
682
1199
267
1580
34,9%
100,0%
97,9%
77,8%
87,8%
85,7%
66,5%
33,6%
62,1%
97,7%
96,3%
34,9%
62,3%
92,3%
76,3%
78,5%
95,2%
97,1%
64,3%
72,0%
82,4%
93,3%
44,6%
Anexo 4
2015-12-29T23:30:00Z
2018-09-04T12:00:00Z
2018-11-06T12:00:00Z
2017-05-30T12:00:00Z
2018-11-20T12:00:00Z
2019-06-18T15:00:00Z
2017-03-28T12:00:00Z
2018-09-18T14:00:00Z
2017-12-12T12:00:00Z
2017-07-11T14:00:00Z
2017-09-26T00:00:00Z
2018-09-24T12:00:00Z
2015-04-05T07:00:00Z
2016-04-05T10:30:00Z
2019-03-12T13:00:00Z
2018-03-13T12:00:00Z
2019-06-25T21:00:00Z
2018-06-26T00:00:00Z
2017-07-27T12:00:00Z
2017-06-27T14:00:00Z
2017-09-19T00:00:00Z
2018-09-04T00:00:00Z
2017-09-26T14:00:00Z
2017-11-28T12:00:00Z
2018-11-27T12:00:00Z
2017-06-27T14:00:00Z
2017-09-26T00:00:00Z
2018-10-02T12:00:00Z
547
264
76
192
2374
1594
4102
2246
1060
1171
878
1862
310
9831
16138
323
703
501
289
193
159
86
438
204
90,9%
100,0%
76,3%
82,3%
87,4%
66,0%
74,1%
84,6%
63,5%
77,2%
91,0%
70,0%
99,7%
96,7%
95,7%
85,8%
81,7%
82,0%
93,1%
72,5%
90,6%
76,7%
83,3%
87,7%
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Liderazgo para mandos intermedios
Liderazgo para mandos intermedios
Liderazgo para mandos intermedios
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n
Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n
Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n
Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3
Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3
Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3
ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los
Objetivos de Desarrollo Sostenible
ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los
Objetivos de Desarrollo Sostenible
ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los
Objetivos de Desarrollo Sostenible
Dise\u00f1a presentaciones eficaces con Powerpoint
Dise\u00f1a presentaciones eficaces con Powerpoint
Dise\u00f1a presentaciones eficaces con Powerpoint
Retos agricultura y alimentaci\u00f3n en el s.XXI
Retos agricultura y alimentaci\u00f3n en el s.XXI
Radio para internet con Podcast: creaci\u00f3n y conceptos
b\u00e1sicos
Radio para internet con Podcast: creaci\u00f3n y conceptos
b\u00e1sicos
Introducci\u00f3n a las radiocomunicaciones
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
384
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
Sonido Espacial y 3D
Sonido Espacial y 3D
Sonido Espacial y 3D
Sonido Espacial y 3D
Fundamentos TIC para profesionales de negocios: Aplicaciones
empresariales
Fundamentos TIC para profesionales de negocios: Aplicaciones
empresariales
Fundamentos TIC para profesionales de negocios: Aplicaciones
empresariales
Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware
Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware
Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware
Fundamentos TIC para profesionales de negocios: Desarrollo de
Software
Fundamentos TIC para profesionales de negocios: Desarrollo de
Software
Fundamentos TIC para profesionales de negocios: Desarrollo de
Software
Fundamentos TIC para profesionales de negocios: programaci\u00f3n
Fundamentos TIC para profesionales de negocios: programaci\u00f3n
Fundamentos TIC para profesionales de negocios: programaci\u00f3n
Fundamentos TIC para profesionales de negocios: Ciberseguridad e
implicaciones sociales
Fundamentos TIC para profesionales de negocios: Ciberseguridad e
implicaciones sociales
385
2019-01-01T00:00:00Z
2018-05-15T00:00:00Z
2019-01-01T00:00:00Z
2018-06-12T00:00:00Z
2017-09-19T12:00:00Z
2017-05-23T13:00:00Z
2019-01-01T00:00:00Z
2016-12-13T11:00:00Z
2017-03-21T12:00:00Z
2018-04-10T00:00:00Z
2019-01-01T00:00:00Z
2019-01-01T00:00:00Z
2018-02-13T00:00:00Z
2018-03-27T12:00:00Z
2019-03-26T13:00:00Z
2016-03-29T13:00:00Z
2016-05-23T00:00:00Z
2017-03-21T11:00:00Z
2017-06-13T12:00:00Z
2018-06-12T12:00:00Z
2019-06-11T12:00:00Z
345
110
1264
1676
2780
375
204
1232
1378
541
1423
1251
806
4385
60
13
117
74
153
241
322
55
82,0%
93,6%
18,6%
38,5%
63,9%
82,9%
55,9%
12,4%
67,3%
51,2%
26,8%
14,9%
99,3%
93,4%
78,3%
92,3%
57,3%
77,0%
73,2%
72,2%
83,5%
100,0%
Anexo 4
2018-07-10T00:00:00Z
2018-11-06T12:00:00Z
2019-04-16T12:00:00Z
2018-11-06T12:00:00Z
2019-05-14T12:00:00Z
2019-07-02T14:00:00Z
2016-09-06T11:00:00Z
2017-09-19T00:00:00Z
2018-10-02T12:00:00Z
2015-04-28T00:00:00Z
2016-05-03T12:00:00Z
2017-06-20T13:00:00Z
2018-06-19T13:00:00Z
2019-06-18T15:00:00Z
2019-04-30T12:00:00Z
2016-05-10T12:00:00Z
2017-05-02T12:00:00Z
2018-05-01T12:00:00Z
2015-10-06T00:00:00Z
2016-06-28T12:00:00Z
2017-06-13T12:00:00Z
2018-06-12T12:00:00Z
2019-06-11T12:00:00Z
2015-11-03T12:00:00Z
2016-05-23T00:00:00Z
2018-09-18T12:00:00Z
2017-11-28T12:00:00Z
589
230
225
143
8
3476
10084
1551
2801
1399
1646
1798
240
207
126
319
106
253
126
319
106
19
253
847
1944
44
84,4%
98,7%
92,9%
100,0%
100,0%
68,5%
90,7%
82,5%
58,6%
72,6%
78,9%
88,2%
100,0%
98,1%
66,7%
38,2%
83,0%
49,4%
67,5%
38,2%
83,0%
94,7%
49,4%
54,2%
93,1%
88,6%
Machine Learning y predicciones para la mejora del rendimiento en MOOC
Fundamentos TIC para profesionales de negocios: Ciberseguridad e
implicaciones sociales
Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo
fotovoltaico
Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo
fotovoltaico
Creaci\u00f3n musical con Soundcool: Introducci\u00f3n
Creaci\u00f3n musical con Soundcool: Introducci\u00f3n
Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas
Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas
T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n
T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n
T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n
Tecnolog\u00edas Educativas
Tecnolog\u00edas Educativas
Tecnolog\u00edas Educativas
Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n
Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Introducci\u00f3n al desarrollo de videojuegos con Unity
386
Introducci\u00f3n al desarrollo de videojuegos con Unity
Introducci\u00f3n al desarrollo de videojuegos con Unity
Introducci\u00f3n al desarrollo de videojuegos con Unity
Introducci\u00f3n al desarrollo de videojuegos con Unity
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
Introducci\u00f3n a Excel
Introducci\u00f3n a Excel
Excel: Fundamentos y herramientas
Introducci\u00f3n a Excel
Excel 2: Gesti\u00f3n de datos
Excel: gesti\u00f3n de datos
Excel 2: Gesti\u00f3n de datos
Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos
Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos
Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos
387
2017-06-06T12:00:00Z
2018-06-05T12:00:00Z
2019-06-04T13:00:00Z
2016-02-16T11:30:00Z
2017-04-25T14:00:00Z
2018-04-24T13:00:00Z
2019-04-23T12:00:00Z
2016-04-26T11:00:00Z
2015-02-24T00:30:00Z
2016-05-10T12:00:00Z
2018-02-06T00:00:00Z
2019-01-01T00:00:00Z
2017-06-13T12:00:00Z
2018-02-06T00:00:00Z
2019-01-01T00:00:00Z
2016-12-13T10:00:00Z
2018-05-15T00:00:00Z
2018-07-24T14:00:00Z
2019-07-23T14:00:00Z
1184
643
144
1422
776
738
131
723
1402
13129
28763
13953
15078
10041
5550
7770
6109
4684
514
Anexo 4
57,2%
59,6%
97,2%
45,5%
76,8%
79,7%
97,7%
56,8%
58,2%
84,8%
93,7%
98,9%
91,4%
82,5%
98,6%
82,4%
98,3%
96,7%
100,0%
Anexo 5
Ane o 5. I e aci n II. Tabla de m
po c
o anali ado.
389
ica hip e i
Anexo 5
390
Tabla 47. Resultados de las hipótesis para cada curso
1
0,48
2
0,93
3
0,85
0,80
4
0,90
0,83
5
0,97
0,90
6
0,83
0,90
7
0,45
0,45
8
0,84
0,94
9
0,92
0,96
10
0,95
0,91
11
0,90
0,92
3bis
0,77
0,89
4bis
0,99
0,83
5bis
0,95
0,94
6bis
0,86
0,78
7bis
0,50
0,46
8bis
0,81
0,85
9bis
0,94
0,90
10bis
0,94
0,91
11bis
Anexo 5
0,45
0,98
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Hipotesis
0,46
UPV-IQ101.4x-2T2016
precision
0,45
11bis
recall
0,94
0,94
10bis
0,92
0,88
0,91
0,96
0,83
9bis
0,87
0,45
0,97
0,91
0,84
8bis
0,79
0,94
7bis
0,46
0,96
0,94
6bis
0,87
0,55
0,82
5bis
0,88
0,44
0,94
4bis
0,86
0,78
0,96
3bis
0,89
0,76
0,87
11
0,94
0,89
0,96
10
0,96
0,87
0,51
9
0,90
0,95
0,84
8
0,84
0,95
0,89
7
0,48
0,75
0,94
6
0,79
0,77
0,77
5
0,94
0,94
0,90
4
0,96
0,94
0,48
3
0,88
0,94
0,49
2
0,91
0,94
f1-score
1
0,45
0,87
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Hipotesis
0,51
0,92
UPV-IQ101.4x-3T2015
precision
0,80
11bis
0,89
10bis
0,88
0,47
9bis
0,96
0,50
8bis
0,87
0,88
7bis
0,48
0,78
6bis
0,81
0,90
5bis
0,94
0,94
4bis
0,83
0,94
3bis
0,94
0,91
11
0,96
0,86
10
0,94
0,81
9
0,92
0,89
8
0,88
0,92
7
0,48
0,48
6
0,83
0,48
5
0,87
0,50
4
0,87
0,51
3
0,93
recall
2
0,92
f1-score
1
0,48
Android: Introducci\u00f3n a la programaci\u00f3n
Hipotesis
0,42
0,96
UPValenciaX-AIP201x-1T2017
precision
0,94
11bis
0,79
0,93
0,48
10bis
0,94
0,81
0,89
0,94
9bis
0,95
0,90
0,91
0,83
8bis
0,79
0,97
0,49
0,94
7bis
0,49
0,99
0,95
0,93
6bis
0,84
0,55
0,89
0,78
5bis
0,95
0,94
0,81
0,94
4bis
0,93
0,81
0,90
0,91
3bis
0,87
0,50
0,90
0,51
11
0,94
recall
0,91
0,94
10
0,89
0,94
0,92
0,82
9
0,87
0,49
0,88
0,90
8
0,93
0,89
0,46
0,85
7
0,54
0,75
0,76
0,99
6
0,77
0,99
0,94
0,99
5
0,96
0,81
0,93
0,52
4
0,94
0,88
0,89
0,89
3
0,84
0,96
0,96
0,84
2
0,96
0,90
0,42
0,51
1
0,53
0,44
0,45
f1-score
Hipotesis
0,52
Android: Introducci\u00f3n a la Programaci\u00f3n
precision
UPValenciaX-AIP201x-1T2018
recall
391
0,87
10
0,94
0,98
11
0,97
0,95
3bis
0,98
0,90
4bis
0,85
0,82
5bis
0,98
0,89
6bis
0,94
0,90
7bis
0,85
0,49
8bis
0,52
0,86
9bis
0,89
0,91
10bis
0,91
0,92
11bis
0,88
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,48
9
0,88
0,84
8
0,88
0,90
7
0,51
0,92
6
0,77
0,79
5
0,95
0,96
4
0,82
0,48
3
0,88
0,50
2
0,93
f1-score
1
0,45
Android: Introducci\u00f3n a la Programaci\u00f3n
Hipotesis
0,44
0,95
UPValenciaX-AIP201x-2T2015
precision
0,94
11bis
0,94
0,92
0,50
10bis
0,90
0,83
0,96
0,95
9bis
0,86
0,94
0,89
0,84
8bis
0,95
0,90
0,44
0,99
7bis
0,48
0,90
0,82
0,85
6bis
0,79
0,45
0,96
0,79
5bis
0,97
0,95
0,95
0,92
4bis
0,94
0,79
0,81
0,91
3bis
0,77
0,49
0,96
0,52
11
0,94
recall
0,96
0,93
10
0,93
0,96
0,89
0,96
9
0,96
0,48
0,98
0,91
8
0,82
0,94
0,49
0,97
7
0,50
0,78
0,86
0,94
6
0,73
0,92
0,94
0,94
5
0,94
0,86
0,94
0,52
4
0,90
0,84
0,90
0,90
3
0,81
0,85
0,95
0,87
2
0,97
0,90
0,43
0,48
1
0,46
0,46
0,43
f1-score
Hipotesis
0,50
Android: Introducci\u00f3n a la Programaci\u00f3n
precision
UPValenciaX-AIP201x-2T2016
recall
0,94
11bis
0,94
10bis
0,89
0,95
9bis
0,94
0,94
0,46
8bis
0,97
0,94
0,80
7bis
0,41
0,93
0,96
6bis
0,84
0,48
0,98
5bis
0,88
0,74
0,92
4bis
0,81
0,87
0,98
3bis
0,93
0,85
0,91
11
0,95
0,75
0,93
0,94
10
0,94
0,94
0,94
0,89
9
0,89
0,91
0,88
0,52
8
0,94
0,92
0,48
0,74
7
0,44
0,93
0,89
0,87
6
0,76
0,45
0,92
0,88
5
0,87
0,84
0,94
0,74
4
0,96
0,93
0,93
0,90
3
0,79
0,93
0,94
0,53
2
0,95
0,87
0,97
0,51
1
0,47
0,95
0,93
f1-score
Hipotesis
0,42
0,45
0,85
Android: Introducci\u00f3n a la Programaci\u00f3n
precision
0,55
0,53
UPValenciaX-AIP201x-2T2019
recall
0,88
3bis
0,94
0,93
0,93
11
0,81
0,94
0,94
10
0,44
0,90
0,45
9
f1-score
0,94
Buscar en Internet
8
UPValenciaX-BI101x-1T2017
0,49
0,91
7
11bis
0,90
0,89
6
10bis
0,92
9bis
5
0,92
0,89
0,95
8bis
4
0,94
0,51
0,80
0,87
7bis
3
0,94
0,90
0,97
0,94
6bis
2
0,92
0,94
0,50
0,90
0,93
1
0,55
5bis
0,48
0,86
4bis
Hipotesis
0,89
0,82
precision
0,90
0,91
0,83
0,46
0,97
0,82
0,53
0,87
0,49
0,88
recall
392
0,80
5
0,90
0,95
6
0,89
0,81
7
0,84
0,43
8
0,51
0,88
9
0,88
0,94
10
0,95
0,89
11
0,95
0,94
3bis
0,97
0,79
4bis
0,91
0,90
5bis
0,94
0,96
6bis
0,91
0,83
7bis
0,76
0,41
8bis
0,47
0,86
9bis
0,89
0,94
10bis
0,98
0,94
11bis
0,94
Anexo 5
0,91
4
0,97
0,49
3
0,83
0,48
2
0,90
f1-score
1
0,48
Buscar en Internet
Hipotesis
0,41
0,88
UPValenciaX-BI101x-1T2018
precision
0,91
11bis
0,97
0,94
0,47
10bis
0,90
0,84
0,93
0,98
9bis
0,95
0,92
0,94
0,89
8bis
0,96
0,90
0,44
0,88
7bis
0,46
0,88
0,86
0,85
6bis
0,87
0,50
0,92
0,83
5bis
0,98
0,91
0,87
0,95
4bis
0,91
0,86
0,79
0,95
3bis
0,79
0,53
0,96
0,47
11
0,97
recall
0,88
0,88
10
0,89
0,87
0,90
0,96
9
0,91
0,48
0,94
0,87
8
0,83
0,92
0,44
0,90
7
0,48
0,77
0,91
0,96
6
0,77
0,95
0,94
0,96
5
0,89
0,82
0,83
0,47
4
0,94
0,85
0,93
0,88
3
0,73
0,86
0,94
0,90
2
0,98
0,99
0,45
0,48
1
0,47
0,45
0,48
f1-score
Hipotesis
0,55
Buscar en Internet
precision
UPValenciaX-BI101x-1T2019
recall
0,94
11bis
0,90
10bis
0,93
0,83
9bis
0,92
0,94
0,50
8bis
0,90
0,92
0,77
7bis
0,47
0,93
0,90
6bis
0,91
0,50
0,83
5bis
0,88
0,82
0,77
4bis
0,80
0,94
0,94
3bis
0,86
0,94
0,94
11
0,90
0,73
0,93
0,96
10
0,96
0,88
0,94
0,81
9
0,93
0,94
0,97
0,49
8
0,87
0,88
0,53
0,86
7
0,43
0,86
0,79
0,91
6
0,83
0,45
0,93
0,87
5
0,86
0,83
0,87
0,75
4
0,85
0,94
0,85
0,96
3
0,84
0,91
0,94
0,53
2
0,94
0,78
0,92
0,46
1
0,46
0,94
0,93
f1-score
Hipotesis
0,49
0,45
0,94
Buscar en Internet
precision
0,55
0,43
UPValenciaX-BI101x-2T2015
recall
0,87
3bis
0,97
0,93
0,98
11
0,86
0,88
0,97
10
0,44
0,90
0,47
9
f1-score
0,86
Buscar en Internet
8
UPValenciaX-BI101x-2T2016
0,45
0,96
7
11bis
0,86
0,94
6
10bis
0,94
9bis
5
0,99
0,88
0,92
8bis
4
0,95
0,46
0,89
0,89
7bis
3
0,94
0,88
0,94
0,94
6bis
2
0,94
0,94
0,45
0,83
0,93
1
0,48
5bis
0,43
0,75
4bis
Hipotesis
0,92
0,95
precision
0,95
0,96
0,72
0,52
0,92
0,82
0,52
0,94
0,51
0,85
recall
393
0,87
8
0,49
0,94
9
0,84
0,93
10
0,95
0,97
11
0,98
0,91
3bis
0,94
0,84
4bis
0,75
0,81
5bis
0,88
0,87
6bis
0,92
0,95
7bis
0,85
0,47
8bis
0,52
0,94
9bis
0,90
0,94
10bis
0,94
0,89
11bis
0,95
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,90
7
0,46
0,90
6
0,92
0,88
5
0,94
0,90
4
0,97
0,43
3
0,88
0,46
2
0,97
f1-score
1
0,44
Bases matem\u00e1ticas: \u00c1lgebra
Hipotesis
0,45
0,94
UPValenciaX-BMA101x-1T2017
precision
0,93
11bis
0,95
0,94
0,49
10bis
0,89
0,80
0,94
0,89
9bis
0,87
0,88
0,92
0,76
8bis
0,87
0,91
0,45
0,97
7bis
0,47
0,94
0,95
0,86
6bis
0,83
0,46
0,90
0,80
5bis
0,94
0,94
0,92
0,90
4bis
0,88
0,76
0,92
0,95
3bis
0,83
0,48
0,96
0,49
11
0,94
recall
0,95
0,94
10
0,94
0,87
0,94
0,93
9
0,97
0,52
0,88
0,89
8
0,94
0,94
0,43
0,97
7
0,51
0,85
0,79
0,90
6
0,76
0,94
0,94
0,90
5
0,89
0,85
0,97
0,50
4
0,90
0,89
0,84
0,94
3
0,79
0,95
0,95
0,86
2
0,97
0,99
0,47
0,44
1
0,52
0,49
0,41
f1-score
Hipotesis
0,52
Bases matem\u00e1ticas: \u00c1lgebra
precision
UPValenciaX-BMA101x-1T2018
recall
0,96
11bis
0,87
10bis
0,88
0,89
9bis
0,94
0,94
0,46
8bis
0,94
0,94
0,79
7bis
0,45
0,95
0,93
6bis
0,94
0,54
0,85
5bis
0,89
0,89
0,81
4bis
0,86
0,92
0,95
3bis
0,92
0,90
0,94
11
0,96
0,82
0,94
0,94
10
0,93
0,91
0,94
0,90
9
0,94
0,95
0,98
0,45
8
0,89
0,94
0,50
0,91
7
0,42
0,91
0,75
0,92
6
0,76
0,48
0,95
0,91
5
0,96
0,81
0,95
0,76
4
0,91
0,96
0,81
0,93
3
0,87
0,97
0,92
0,51
2
0,93
0,86
0,92
0,45
1
0,45
0,94
0,91
f1-score
Hipotesis
0,43
0,48
0,98
Bases matem\u00e1ticas: \u00c1lgebra
precision
0,52
0,51
UPValenciaX-BMA101x-1T2019
recall
0,86
3bis
0,96
0,98
0,86
11
0,78
0,92
0,95
10
0,49
0,94
0,43
9
f1-score
0,87
Bases matem\u00e1ticas: \u00c1lgebra
8
UPValenciaX-BMA101x-2T2015
0,45
0,95
7
11bis
0,88
0,94
6
10bis
0,95
9bis
5
0,93
0,86
0,94
8bis
4
0,92
0,42
0,85
0,89
7bis
3
0,89
0,78
0,96
0,97
6bis
2
0,90
0,91
0,48
0,95
0,91
1
0,46
5bis
0,44
0,84
4bis
Hipotesis
0,94
0,97
precision
0,92
0,87
0,86
0,53
0,90
0,90
0,49
0,93
0,54
0,94
recall
394
0,89
8
0,45
0,85
9
0,94
0,95
10
0,94
0,88
11
0,94
0,94
3bis
0,98
0,91
4bis
0,90
0,86
5bis
0,91
0,90
6bis
0,91
0,82
7bis
0,87
0,48
8bis
0,43
0,90
9bis
0,86
0,92
10bis
0,95
0,89
11bis
0,94
Anexo 5
0,93
7
0,49
0,94
6
0,92
0,89
5
0,96
0,98
4
0,94
0,44
3
0,78
0,53
2
0,96
f1-score
1
0,41
Bases matem\u00e1ticas: \u00c1lgebra
Hipotesis
0,50
0,94
UPValenciaX-BMA101x-2T2016
precision
0,87
11bis
0,93
0,94
0,47
10bis
0,94
0,75
0,89
0,94
9bis
0,94
0,90
0,92
0,78
8bis
0,90
0,98
0,49
0,94
7bis
0,48
0,93
0,83
0,91
6bis
0,82
0,49
0,89
0,86
5bis
0,87
0,98
0,86
0,88
4bis
0,94
0,72
0,96
0,91
3bis
0,82
0,46
0,97
0,51
11
0,94
recall
0,88
0,89
10
0,87
0,89
0,90
0,85
9
0,86
0,47
0,88
0,90
8
0,84
0,94
0,48
0,88
7
0,51
0,79
0,87
0,93
6
0,88
0,97
0,94
0,94
5
0,89
0,92
0,84
0,51
4
0,89
0,79
0,78
0,93
3
0,83
0,95
0,92
0,79
2
0,93
0,93
0,44
0,51
1
0,53
0,44
0,43
f1-score
Hipotesis
0,48
Bases matem\u00e1ticas: \u00c1lgebra
precision
UPValenciaX-BMA101x-T1_2016
recall
0,95
11bis
0,94
10bis
0,95
0,84
9bis
0,89
0,94
0,49
8bis
0,90
0,88
0,81
7bis
0,45
0,85
0,89
6bis
0,91
0,54
0,95
5bis
0,96
0,81
0,82
4bis
0,96
0,96
0,92
3bis
0,85
0,91
0,94
11
0,89
0,89
0,90
0,90
10
0,89
0,90
0,89
0,91
9
0,91
0,88
0,83
0,50
8
0,90
0,94
0,50
0,86
7
0,47
0,95
0,78
0,94
6
0,86
0,50
0,94
0,83
5
0,86
0,77
0,99
0,88
4
0,83
0,95
0,78
0,92
3
0,81
0,94
0,96
0,43
2
0,94
0,80
0,94
0,44
1
0,41
0,92
0,90
f1-score
Hipotesis
0,46
0,51
0,87
Bases Matem\u00e1ticas: Derivadas
precision
0,48
0,51
UPValenciaX-BMD101x-2016_T2
recall
0,85
3bis
0,94
0,91
0,98
11
0,75
0,97
0,90
10
0,46
0,88
0,47
9
f1-score
0,94
Bases Matem\u00e1ticas: Derivadas
8
UPValenciaX-BMD101x-2T2015
0,46
0,97
7
11bis
0,80
0,94
6
10bis
0,93
9bis
5
0,85
0,95
0,91
8bis
4
0,94
0,41
0,89
0,78
7bis
3
0,96
0,87
0,96
0,95
6bis
2
0,95
0,91
0,47
0,85
0,93
1
0,48
5bis
0,45
0,80
4bis
Hipotesis
0,91
0,97
precision
0,88
0,84
0,78
0,48
0,93
0,89
0,53
0,90
0,54
0,94
recall
395
0,80
8
0,49
0,83
9
0,96
0,93
10
0,87
0,98
11
0,88
0,98
3bis
0,97
0,93
4bis
0,81
0,91
5bis
0,86
0,88
6bis
0,88
0,77
7bis
0,91
0,47
8bis
0,46
0,86
9bis
0,93
0,98
10bis
0,94
0,94
11bis
0,90
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,94
7
0,47
0,94
6
0,84
0,83
5
0,94
0,91
4
0,91
0,46
3
0,91
0,49
2
0,90
f1-score
1
0,50
Bases Matem\u00e1ticas: Derivadas
Hipotesis
0,44
0,94
UPValenciaX-BMD101x-2T2017
precision
0,94
11bis
0,95
0,95
0,54
10bis
0,93
0,89
0,90
0,94
9bis
0,96
0,94
0,93
0,72
8bis
0,87
0,89
0,49
0,94
7bis
0,46
0,97
0,77
0,80
6bis
0,88
0,46
0,94
0,71
5bis
0,94
0,96
0,90
0,96
4bis
0,93
0,83
0,85
0,89
3bis
0,82
0,55
0,94
0,53
11
0,90
recall
0,94
0,91
10
0,95
0,95
0,90
0,90
9
0,95
0,46
0,83
0,81
8
0,86
0,88
0,45
0,87
7
0,47
0,91
0,89
0,99
6
0,74
0,90
0,94
0,92
5
0,89
0,83
0,83
0,44
4
0,94
0,86
0,77
0,94
3
0,85
0,83
0,90
0,77
2
0,92
0,91
0,46
0,52
1
0,51
0,48
0,48
f1-score
Hipotesis
0,55
Bases Matem\u00e1ticas: Derivadas
precision
UPValenciaX-BMD101x-2T2018
recall
0,99
11bis
0,93
10bis
0,94
0,91
9bis
0,91
0,90
0,48
8bis
0,86
0,94
0,74
7bis
0,43
0,96
0,94
6bis
0,77
0,50
0,88
5bis
0,92
0,83
0,84
4bis
0,81
0,94
0,98
3bis
0,84
0,95
0,92
11
0,94
0,84
0,88
0,97
10
0,95
0,92
0,94
0,89
9
0,94
0,98
0,96
0,43
8
0,94
0,89
0,49
0,79
7
0,43
0,83
0,86
0,93
6
0,92
0,52
0,96
0,90
5
0,88
0,88
0,85
0,74
4
0,82
0,94
0,84
0,95
3
0,92
0,98
0,98
0,47
2
0,98
0,75
0,91
0,44
1
0,49
0,91
0,87
f1-score
Hipotesis
0,49
0,53
0,81
Bases Matem\u00e1ticas: Derivadas
precision
0,46
0,49
UPValenciaX-BMD101x-2T2019
recall
0,76
3bis
0,93
0,95
0,94
11
0,89
0,94
0,95
10
0,52
0,95
0,51
9
f1-score
0,94
Bases matem\u00e1ticas: Integrales
8
UPValenciaX-BMI101x-2T2015
0,50
0,91
7
11bis
0,81
0,94
6
10bis
0,89
9bis
5
0,94
0,89
0,94
8bis
4
0,94
0,44
0,78
0,83
7bis
3
0,97
0,89
0,89
0,95
6bis
2
0,95
0,98
0,42
0,85
0,95
1
0,55
5bis
0,45
0,72
4bis
Hipotesis
0,95
0,81
precision
0,88
0,94
0,86
0,52
0,96
0,79
0,53
0,88
0,52
0,94
recall
396
0,90
8
0,52
0,85
9
0,83
0,89
10
0,97
0,90
11
0,94
0,92
3bis
0,89
0,92
4bis
0,78
0,92
5bis
0,85
0,88
6bis
0,91
0,77
7bis
0,81
0,48
8bis
0,47
0,87
9bis
0,94
0,93
10bis
0,94
0,89
11bis
0,94
Anexo 5
0,97
7
0,44
0,93
6
0,80
0,77
5
0,93
0,90
4
0,86
0,51
3
0,77
0,47
2
0,95
f1-score
1
0,49
Bases matem\u00e1ticas: Integrales
Hipotesis
0,49
0,94
UPValenciaX-BMI101x-2T2017
precision
0,93
11bis
0,83
0,88
0,55
10bis
0,99
0,85
0,98
0,98
9bis
0,98
0,88
0,92
0,80
8bis
0,82
0,92
0,46
0,94
7bis
0,48
0,90
0,78
0,79
6bis
0,76
0,48
0,91
0,82
5bis
0,96
0,98
0,95
0,94
4bis
0,85
0,83
0,95
0,95
3bis
0,83
0,54
0,94
0,53
11
0,95
recall
0,91
0,94
10
0,94
0,89
0,95
0,94
9
0,94
0,52
0,94
0,89
8
0,82
0,94
0,50
0,85
7
0,46
0,78
0,87
0,94
6
0,81
0,96
0,94
0,95
5
0,91
0,96
0,96
0,46
4
0,94
0,76
0,92
0,88
3
0,85
0,89
0,89
0,82
2
0,97
0,95
0,44
0,51
1
0,53
0,50
0,46
f1-score
Hipotesis
0,48
Bases matem\u00e1ticas: Integrales
precision
UPValenciaX-BMI101x-2T2018
recall
0,94
11bis
0,98
10bis
0,91
0,95
9bis
0,94
0,88
0,53
8bis
0,94
0,94
0,89
7bis
0,48
0,84
0,91
6bis
0,88
0,49
0,86
5bis
0,91
0,88
0,78
4bis
0,98
0,89
0,94
3bis
0,96
0,93
0,97
11
0,94
0,75
0,89
0,94
10
0,89
0,93
0,92
0,80
9
0,94
0,87
0,84
0,50
8
0,91
0,86
0,50
0,78
7
0,47
0,88
0,77
0,96
6
0,77
0,54
0,91
0,94
5
0,98
0,83
0,98
0,77
4
0,96
0,93
0,91
0,92
3
0,92
0,89
0,96
0,46
2
0,93
0,81
0,98
0,51
1
0,47
0,98
0,94
f1-score
Hipotesis
0,46
0,46
0,95
Bases matem\u00e1ticas: Integrales
precision
0,45
0,51
UPValenciaX-BMI101x-2T2019
recall
0,76
3bis
0,96
0,94
0,88
11
0,80
0,94
0,96
10
0,48
0,92
0,45
9
f1-score
0,93
Bases matem\u00e1ticas: Integrales
8
UPValenciaX-BMI101x-T3_2016
0,43
0,89
7
11bis
0,84
0,90
6
10bis
0,94
9bis
5
0,99
0,84
0,94
8bis
4
0,87
0,44
0,86
0,78
7bis
3
0,94
0,85
0,92
0,92
6bis
2
0,93
0,94
0,41
0,89
0,87
1
0,55
5bis
0,46
0,78
4bis
Hipotesis
0,93
0,90
precision
0,94
0,80
0,83
0,47
0,95
0,89
0,50
0,94
0,55
0,95
recall
397
0,93
11
0,89
0,96
3bis
0,92
0,94
4bis
0,92
0,90
5bis
0,98
0,94
6bis
0,93
0,79
7bis
0,91
0,45
8bis
0,47
0,90
9bis
0,96
0,99
10bis
0,94
0,94
11bis
0,94
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,82
10
0,88
0,50
9
0,91
0,90
8
0,90
0,94
7
0,43
0,93
6
0,90
0,76
5
0,94
0,92
4
0,92
0,52
3
0,80
0,43
2
0,95
f1-score
1
0,51
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Hipotesis
0,46
0,89
UPValenciaX-BMN101x-1T2015
precision
0,88
11bis
0,86
0,97
0,49
10bis
0,94
0,87
0,94
0,94
9bis
0,88
0,94
0,91
0,87
8bis
0,90
0,90
0,47
0,94
7bis
0,46
0,88
0,87
0,87
6bis
0,73
0,54
0,91
0,83
5bis
0,90
0,89
0,86
0,96
4bis
0,92
0,72
0,88
0,91
3bis
0,74
0,46
0,93
0,51
11
0,94
recall
0,89
0,97
10
0,99
0,94
0,89
0,98
9
0,96
0,44
0,90
0,76
8
0,91
0,90
0,49
0,94
7
0,53
0,87
0,87
0,89
6
0,73
0,92
0,86
0,87
5
0,89
0,81
0,95
0,52
4
0,93
0,74
0,92
0,88
3
0,76
0,94
0,92
0,76
2
0,92
0,99
0,49
0,50
1
0,53
0,46
0,50
f1-score
Hipotesis
0,54
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
precision
UPValenciaX-BMN101x-1T2017
recall
0,93
11bis
0,93
10bis
0,96
0,97
9bis
0,95
0,89
0,51
8bis
0,94
0,90
0,86
7bis
0,43
0,81
0,87
6bis
0,94
0,54
0,98
5bis
0,96
0,76
0,81
4bis
0,84
0,94
0,91
3bis
0,81
0,85
0,93
11
0,98
0,76
0,91
0,94
10
0,92
0,91
0,93
0,95
9
0,93
0,91
0,82
0,52
8
0,84
0,94
0,45
0,77
7
0,50
0,85
0,79
0,93
6
0,81
0,54
0,93
0,89
5
0,90
0,73
0,94
0,84
4
0,81
0,92
0,77
0,91
3
0,91
0,94
0,94
0,48
2
0,89
0,85
0,94
0,48
1
0,50
0,95
0,94
f1-score
Hipotesis
0,50
0,53
0,96
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
precision
0,51
0,48
UPValenciaX-BMN101x-1T2018
recall
0,88
3bis
0,99
0,94
0,91
11
0,89
0,95
0,97
10
0,45
0,91
0,53
9
f1-score
0,97
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
8
UPValenciaX-BMN101x-1T2019
0,45
0,94
7
11bis
0,77
0,89
6
10bis
0,91
9bis
5
0,99
0,90
0,94
8bis
4
0,94
0,49
0,80
0,75
7bis
3
0,94
0,85
0,91
0,94
6bis
2
0,91
0,98
0,45
0,95
0,97
1
0,45
5bis
0,44
0,78
4bis
Hipotesis
0,92
0,83
precision
0,88
0,88
0,77
0,45
0,95
0,81
0,55
0,89
0,50
0,86
recall
398
0,94
11
0,99
0,92
3bis
0,94
0,89
4bis
0,78
0,91
5bis
0,84
0,95
6bis
0,94
0,84
7bis
0,82
0,47
8bis
0,45
0,90
9bis
0,94
0,97
10bis
0,91
0,88
11bis
0,94
Anexo 5
0,98
10
0,88
0,46
9
0,94
0,75
8
0,86
0,94
7
0,42
0,89
6
0,87
0,82
5
0,94
0,98
4
0,87
0,53
3
0,91
0,45
2
0,89
f1-score
1
0,50
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
Hipotesis
0,49
0,92
UPValenciaX-BMN101x-2T2016
precision
0,94
11bis
0,83
0,97
0,55
10bis
0,96
0,81
0,93
0,98
9bis
0,94
0,93
0,93
0,75
8bis
0,88
0,90
0,48
0,96
7bis
0,45
0,93
0,79
0,89
6bis
0,73
0,46
0,94
0,81
5bis
0,94
0,89
0,85
0,96
4bis
0,93
0,86
0,95
0,98
3bis
0,76
0,45
0,96
0,50
11
0,89
recall
0,95
0,94
10
0,94
0,94
0,94
0,98
9
0,90
0,47
0,98
0,90
8
0,81
0,94
0,43
0,89
7
0,53
0,76
0,75
0,94
6
0,80
0,95
0,90
0,96
5
0,90
0,85
0,86
0,45
4
0,96
0,85
0,89
0,94
3
0,83
0,98
0,91
0,88
2
0,91
0,95
0,42
0,49
1
0,52
0,44
0,50
f1-score
Hipotesis
0,46
Bases Matem\u00e1ticas: n\u00fameros y terminolog\u00eda
precision
UPValenciaX-BMN101x-T1_2016
recall
0,94
11bis
0,94
10bis
0,94
0,89
9bis
0,94
0,94
0,45
8bis
0,90
0,93
0,92
7bis
0,42
0,96
0,89
6bis
0,84
0,55
0,87
5bis
0,87
0,85
0,83
4bis
0,85
0,96
0,97
3bis
0,88
0,90
0,88
11
0,94
0,83
0,94
0,95
10
0,94
0,94
0,95
0,84
9
0,95
0,91
0,98
0,50
8
0,83
0,87
0,47
0,80
7
0,51
0,90
0,78
0,87
6
0,91
0,47
0,94
0,86
5
0,87
0,84
0,83
0,90
4
0,97
0,97
0,77
0,91
3
0,82
0,94
0,94
0,47
2
0,92
0,81
0,94
0,49
1
0,47
0,91
0,97
f1-score
Hipotesis
0,49
0,46
0,82
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
precision
0,55
0,43
UPValenciaX-BOL1201.x-1T2017
recall
0,83
3bis
0,94
0,94
0,90
11
0,77
0,99
0,91
10
0,49
0,90
0,45
9
f1-score
0,88
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
8
UPValenciaX-BOL1201.x-1T2018
0,50
0,94
7
11bis
0,90
0,94
6
10bis
0,89
9bis
5
0,94
0,82
0,92
8bis
4
0,86
0,44
0,91
0,83
7bis
3
0,97
0,91
0,95
0,94
6bis
2
0,98
0,94
0,47
0,81
0,97
1
0,47
5bis
0,41
0,72
4bis
Hipotesis
0,92
0,82
precision
0,94
0,94
0,83
0,46
0,94
0,83
0,46
0,97
0,51
0,89
recall
399
0,97
10
0,92
0,98
11
0,94
0,96
3bis
0,94
0,93
4bis
0,92
0,93
5bis
0,86
0,92
6bis
0,95
0,81
7bis
0,80
0,43
8bis
0,52
0,88
9bis
0,84
0,89
10bis
0,94
0,93
11bis
0,89
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,51
9
0,93
0,84
8
0,94
0,94
7
0,50
0,89
6
0,81
0,86
5
0,87
0,94
4
0,94
0,51
3
0,76
0,49
2
0,92
f1-score
1
0,44
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
Hipotesis
0,50
0,89
UPValenciaX-BOL1201.x-1T2019
precision
0,93
11bis
0,97
0,94
0,45
10bis
0,97
0,84
0,94
0,96
9bis
0,92
0,90
0,94
0,81
8bis
0,95
0,94
0,46
0,91
7bis
0,50
0,91
0,81
0,90
6bis
0,85
0,50
0,92
0,83
5bis
0,87
0,96
0,82
0,98
4bis
0,91
0,83
0,80
0,94
3bis
0,78
0,53
0,97
0,50
11
0,94
recall
0,93
0,97
10
0,91
0,93
0,93
0,98
9
0,88
0,44
0,87
0,78
8
0,87
0,87
0,45
0,86
7
0,54
0,90
0,78
0,98
6
0,85
0,94
0,88
0,92
5
0,89
0,93
0,98
0,45
4
0,94
0,87
0,85
0,94
3
0,79
0,97
0,95
0,83
2
0,96
0,94
0,42
0,44
1
0,55
0,51
0,42
f1-score
Hipotesis
0,49
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
precision
UPValenciaX-BOL1201.x-2T2016
recall
0,94
11bis
0,94
10bis
0,95
0,94
9bis
0,92
0,89
0,44
8bis
0,86
0,94
0,85
7bis
0,50
0,92
0,94
6bis
0,82
0,55
0,82
5bis
0,91
0,78
0,87
4bis
0,98
0,92
0,95
3bis
0,79
0,95
0,93
11
0,97
0,83
0,94
0,94
10
0,94
0,97
0,93
0,95
9
0,94
0,88
0,98
0,47
8
0,94
0,93
0,46
0,90
7
0,49
0,92
0,91
0,94
6
0,76
0,48
0,89
0,94
5
0,94
0,78
0,85
0,86
4
0,95
0,96
0,91
0,94
3
0,86
0,98
0,95
0,50
2
0,97
0,74
0,98
0,47
1
0,47
0,94
0,95
f1-score
Hipotesis
0,44
0,49
0,84
Introducci\u00f3n a la inversi\u00f3n burs\u00e1til
precision
0,47
0,48
UPValenciaX-BOL1201.x-T12016
recall
0,77
3bis
0,96
0,95
0,85
11
0,89
0,94
0,93
10
0,50
0,94
0,50
9
f1-score
0,95
Basic Spanish 1: Getting Started
8
UPValenciaX-BSP101x-1T2017
0,47
0,94
7
11bis
0,86
0,91
6
10bis
0,89
9bis
5
0,89
0,92
0,92
8bis
4
0,94
0,51
0,76
0,87
7bis
3
0,94
0,79
0,91
0,90
6bis
2
0,94
0,86
0,42
0,84
0,84
1
0,51
5bis
0,47
0,87
4bis
Hipotesis
0,89
0,95
precision
0,94
0,96
0,85
0,52
0,94
0,87
0,47
0,93
0,48
0,92
recall
400
0,94
7
0,88
0,43
8
0,48
0,86
9
0,88
0,94
10
0,89
0,97
11
0,98
0,98
3bis
0,99
0,92
4bis
0,79
0,80
5bis
0,82
0,94
6bis
0,92
0,77
7bis
0,89
0,45
8bis
0,50
0,97
9bis
0,95
0,95
10bis
0,96
0,90
11bis
0,92
Anexo 5
0,88
6
0,75
0,90
5
0,90
0,99
4
0,83
0,49
3
0,92
0,51
2
0,94
f1-score
1
0,47
Basic Spanish 1: Getting Started
Hipotesis
0,44
0,95
UPValenciaX-BSP101x-1T2018
precision
0,95
11bis
0,86
0,93
0,47
10bis
0,97
0,86
0,95
0,87
9bis
0,96
0,94
0,90
0,76
8bis
0,83
0,96
0,45
0,95
7bis
0,55
0,91
0,94
0,84
6bis
0,74
0,55
0,96
0,79
5bis
0,90
0,95
0,92
0,99
4bis
0,92
0,82
0,96
0,95
3bis
0,85
0,51
0,94
0,46
11
0,89
recall
0,98
0,91
10
0,94
0,95
0,93
0,94
9
0,93
0,46
0,88
0,79
8
0,79
0,95
0,51
0,84
7
0,46
0,90
0,77
0,96
6
0,78
0,96
0,89
0,91
5
0,89
0,83
0,91
0,46
4
0,91
0,86
0,83
0,92
3
0,74
0,94
0,91
0,89
2
0,89
0,98
0,51
0,49
1
0,47
0,44
0,45
f1-score
Hipotesis
0,45
Basic Spanish 1: Getting Started
precision
UPValenciaX-BSP101x-1T2019
recall
0,90
11bis
0,94
10bis
0,94
0,94
9bis
0,94
0,87
0,49
8bis
0,88
0,87
0,78
7bis
0,44
0,95
0,95
6bis
0,77
0,46
0,87
5bis
0,90
0,85
0,84
4bis
0,88
0,94
0,93
3bis
0,89
0,93
0,98
11
0,96
0,78
0,89
0,96
10
0,94
0,95
0,90
0,85
9
0,94
0,94
0,87
0,51
8
0,85
0,95
0,46
0,78
7
0,47
0,96
0,85
0,94
6
0,85
0,51
0,94
0,97
5
0,95
0,78
0,94
0,81
4
0,87
0,94
0,80
0,93
3
0,88
0,94
0,96
0,43
2
0,94
0,85
0,94
0,48
1
0,43
0,97
0,98
f1-score
Hipotesis
0,51
0,49
0,97
Basic Spanish 1: Getting Started
precision
0,54
0,44
UPValenciaX-BSP101x-2T2017
recall
0,83
3bis
0,99
0,95
0,86
11
0,84
0,94
0,94
10
0,49
0,94
0,43
9
f1-score
0,84
Basic Spanish 1: Getting Started
8
UPValenciaX-BSP101x-3T2015
0,48
0,94
7
11bis
0,83
0,97
6
10bis
0,91
9bis
5
0,90
0,92
0,89
8bis
4
0,96
0,51
0,80
0,84
7bis
3
0,94
0,87
0,94
0,94
6bis
2
0,94
0,94
0,44
0,87
0,95
1
0,55
5bis
0,46
0,86
4bis
Hipotesis
0,99
0,93
precision
0,94
0,94
0,86
0,47
0,94
0,79
0,53
0,94
0,54
0,86
recall
401
0,98
7
0,85
0,47
8
0,51
0,83
9
0,87
0,96
10
0,98
0,94
11
0,94
0,89
3bis
0,92
0,88
4bis
0,83
0,87
5bis
0,97
0,96
6bis
0,96
0,91
7bis
0,76
0,51
8bis
0,49
0,90
9bis
0,95
0,94
10bis
0,91
0,94
11bis
0,90
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,91
6
0,83
0,91
5
0,94
0,95
4
0,92
0,51
3
0,78
0,45
2
0,95
f1-score
1
0,49
Basic Spanish 2: One Step Further
Hipotesis
0,46
0,96
UPValenciaX-BSP102x-2T2017
precision
0,87
11bis
0,88
0,96
0,54
10bis
0,92
0,85
0,99
0,95
9bis
0,91
0,98
0,96
0,77
8bis
0,86
0,99
0,44
0,88
7bis
0,52
0,94
0,91
0,95
6bis
0,78
0,55
0,94
0,84
5bis
0,89
0,95
0,94
0,94
4bis
0,98
0,77
0,81
0,97
3bis
0,83
0,54
0,94
0,52
11
0,98
recall
0,99
0,97
10
0,96
0,94
0,94
0,88
9
0,86
0,44
0,84
0,92
8
0,88
0,91
0,48
0,85
7
0,47
0,79
0,75
0,88
6
0,87
0,88
0,86
0,89
5
0,94
0,96
0,94
0,48
4
0,94
0,78
0,87
0,94
3
0,85
0,85
0,94
0,88
2
0,98
0,96
0,42
0,43
1
0,54
0,45
0,49
f1-score
Hipotesis
0,55
Basic Spanish 2: One Step Further
precision
UPValenciaX-BSP102x-3T2017
recall
0,93
11bis
0,94
10bis
0,92
0,94
9bis
0,92
0,91
0,43
8bis
0,84
0,94
0,86
7bis
0,46
0,93
0,92
6bis
0,89
0,48
0,94
5bis
0,93
0,85
0,78
4bis
0,98
0,95
0,91
3bis
0,87
0,94
0,91
11
0,94
0,77
0,94
0,95
10
0,89
0,96
0,93
0,97
9
0,94
0,90
0,86
0,47
8
0,94
0,94
0,47
0,87
7
0,47
0,91
0,83
0,99
6
0,90
0,45
0,94
0,91
5
0,91
0,82
0,98
0,84
4
0,95
0,92
0,88
0,95
3
0,84
0,97
0,92
0,44
2
0,89
0,73
0,94
0,45
1
0,42
0,99
0,87
f1-score
Hipotesis
0,45
0,53
0,96
Basic Spanish 2: One Step Further
precision
0,50
0,50
UPValenciaX-BSP102x-3T2018
recall
0,74
3bis
0,94
0,94
0,86
11
0,85
0,88
0,99
10
0,53
0,94
0,49
9
f1-score
0,90
Dise\u00f1o de diques rompeolas con cub\u00edpodos
8
UPValenciaX-CUB301x-2T2018
0,48
0,91
7
11bis
0,76
0,94
6
10bis
0,93
9bis
5
0,94
0,88
0,94
8bis
4
0,90
0,43
0,93
0,85
7bis
3
0,95
0,86
0,91
0,94
6bis
2
0,96
0,92
0,47
0,79
0,82
1
0,48
5bis
0,48
0,82
4bis
Hipotesis
0,94
0,90
precision
0,94
0,94
0,76
0,51
0,89
0,77
0,55
0,93
0,50
0,98
recall
402
0,86
10
0,88
0,95
11
0,89
0,93
3bis
0,94
0,89
4bis
0,90
0,95
5bis
0,95
0,91
6bis
0,97
0,90
7bis
0,89
0,45
8bis
0,52
0,93
9bis
0,85
0,94
10bis
0,95
0,94
11bis
0,94
Anexo 5
0,45
9
0,97
0,78
8
0,88
0,96
7
0,45
0,91
6
0,80
0,83
5
0,98
0,94
4
0,95
0,44
3
0,84
0,44
2
0,89
f1-score
1
0,43
Dise\u00f1o de diques rompeolas con cub\u00edpodos
Hipotesis
0,51
0,89
UPValenciaX-CUB301x-3T2018
precision
0,94
11bis
0,82
0,91
0,47
10bis
0,93
0,85
0,97
0,96
9bis
0,94
0,85
0,88
0,78
8bis
0,94
0,89
0,42
0,87
7bis
0,46
0,94
0,81
0,80
6bis
0,82
0,55
0,91
0,71
5bis
0,94
0,94
0,87
0,90
4bis
0,94
0,88
0,90
0,94
3bis
0,76
0,51
0,88
0,50
11
0,92
recall
0,92
0,94
10
0,95
0,92
0,94
0,85
9
0,93
0,50
0,94
0,75
8
0,94
0,94
0,44
0,93
7
0,48
0,77
0,82
0,98
6
0,87
0,94
0,92
0,92
5
0,96
0,92
0,94
0,51
4
0,92
0,87
0,87
0,95
3
0,78
0,84
0,90
0,76
2
0,89
0,90
0,43
0,49
1
0,47
0,47
0,41
f1-score
Hipotesis
0,47
Dynamics and Control
precision
UPValenciaX-DC201x-1T2017
recall
0,88
11bis
0,89
10bis
0,89
0,82
9bis
0,91
0,87
0,53
8bis
0,85
0,91
0,83
7bis
0,49
0,86
0,96
6bis
0,91
0,48
0,89
5bis
0,94
0,87
0,84
4bis
0,86
0,91
0,95
3bis
0,96
0,98
0,90
11
0,97
0,77
0,98
0,88
10
0,98
0,91
0,92
0,95
9
0,94
0,92
0,94
0,46
8
0,88
0,89
0,51
0,76
7
0,45
0,91
0,87
0,88
6
0,90
0,49
0,90
0,90
5
0,99
0,72
0,92
0,80
4
0,99
0,98
0,87
0,97
3
0,76
0,97
0,94
0,53
2
0,92
0,77
0,97
0,51
1
0,43
0,94
0,94
f1-score
Hipotesis
0,44
0,45
0,95
Dynamics and Control
precision
0,54
0,44
UPValenciaX-DC201x-1T2018
recall
0,87
3bis
0,94
0,94
0,94
11
0,78
0,97
0,94
10
0,49
0,90
0,46
9
f1-score
0,93
Dynamics and Control
8
UPValenciaX-DC201x-1T2019
0,50
0,94
7
11bis
0,79
0,92
6
10bis
0,88
9bis
5
0,86
0,94
0,91
8bis
4
0,93
0,42
0,77
0,74
7bis
3
0,98
0,94
0,90
0,97
6bis
2
0,94
0,96
0,45
0,88
0,88
1
0,46
5bis
0,47
0,86
4bis
Hipotesis
0,95
0,81
precision
0,94
0,87
0,87
0,46
0,94
0,79
0,53
0,94
0,55
0,94
recall
403
0,94
6
0,87
0,81
7
0,76
0,44
8
0,44
0,92
9
0,95
0,99
10
0,94
0,97
11
0,94
0,89
3bis
0,98
0,96
4bis
0,82
0,98
5bis
0,88
0,92
6bis
0,90
0,85
7bis
0,75
0,41
8bis
0,44
0,87
9bis
0,85
0,95
10bis
0,96
0,97
11bis
0,89
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,88
5
0,94
0,94
4
0,87
0,43
3
0,82
0,49
2
0,90
f1-score
1
0,47
Dynamics and Control
Hipotesis
0,50
0,94
UPValenciaX-DC201x-2T2015
precision
0,94
11bis
0,96
0,93
0,51
10bis
0,91
0,89
0,94
0,88
9bis
0,86
0,91
0,85
0,81
8bis
0,83
0,93
0,46
0,94
7bis
0,47
0,87
0,89
0,96
6bis
0,76
0,48
0,97
0,86
5bis
0,90
0,94
0,96
0,94
4bis
0,87
0,78
0,95
0,92
3bis
0,78
0,46
0,94
0,47
11
0,96
recall
0,96
0,96
10
0,94
0,90
0,97
0,95
9
0,94
0,48
0,86
0,81
8
0,82
0,89
0,45
0,87
7
0,47
0,83
0,87
0,98
6
0,88
0,98
0,94
0,88
5
0,97
0,87
0,87
0,46
4
0,94
0,80
0,90
0,97
3
0,77
0,90
0,99
0,77
2
0,90
0,95
0,43
0,49
1
0,52
0,45
0,45
f1-score
Hipotesis
0,45
Dynamics and Control
precision
UPValenciaX-DC201x-2T2016
recall
0,94
11bis
0,91
10bis
0,97
0,85
9bis
0,94
0,87
0,53
8bis
0,94
0,92
0,84
7bis
0,41
0,84
0,90
6bis
0,93
0,54
0,97
5bis
0,94
0,81
0,91
4bis
0,83
0,93
0,94
3bis
0,80
0,96
0,97
11
0,92
0,87
0,98
0,97
10
0,88
0,92
0,94
0,95
9
0,90
0,90
0,97
0,50
8
0,91
0,93
0,46
0,84
7
0,49
0,81
0,76
0,94
6
0,91
0,53
0,94
0,93
5
0,94
0,78
0,95
0,89
4
0,83
0,96
0,87
0,95
3
0,82
0,94
0,94
0,49
2
0,94
0,82
0,94
0,46
1
0,42
0,93
0,87
f1-score
Hipotesis
0,48
0,54
0,80
Dynamics and Control
precision
0,48
0,43
UPValenciaX-DC201x-T1_2016
recall
0,87
3bis
0,88
0,90
0,89
11
0,86
0,90
0,89
10
0,47
0,92
0,44
9
f1-score
0,91
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
8
UPValenciaX-DMT201x-2T2015
0,42
0,96
7
11bis
0,83
0,89
6
10bis
0,94
9bis
5
0,98
0,92
0,90
8bis
4
0,94
0,47
0,75
0,82
7bis
3
0,93
0,77
0,94
0,95
6bis
2
0,93
0,94
0,44
0,85
0,92
1
0,47
5bis
0,43
0,81
4bis
Hipotesis
0,99
0,82
precision
0,94
0,91
0,87
0,47
0,94
0,87
0,47
0,91
0,52
0,90
recall
404
0,94
11
0,95
0,98
3bis
0,95
0,82
4bis
0,80
0,80
5bis
0,96
0,89
6bis
0,94
0,90
7bis
0,78
0,48
8bis
0,51
0,90
9bis
0,94
0,94
10bis
0,90
0,94
11bis
0,92
Anexo 5
0,95
10
0,93
0,50
9
0,91
0,90
8
0,87
0,93
7
0,42
0,85
6
0,90
0,74
5
0,94
0,91
4
0,96
0,44
3
0,83
0,51
2
0,94
f1-score
1
0,47
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
Hipotesis
0,45
0,87
UPValenciaX-DMT201x-2T2016
precision
0,98
11bis
0,92
0,93
0,48
10bis
0,89
0,87
0,99
0,89
9bis
0,91
0,99
0,90
0,85
8bis
0,92
0,94
0,48
0,92
7bis
0,45
0,97
0,78
0,82
6bis
0,87
0,49
0,95
0,84
5bis
0,98
0,93
0,84
0,94
4bis
0,90
0,81
0,95
0,94
3bis
0,90
0,50
0,93
0,54
11
0,98
recall
0,99
0,94
10
0,94
0,91
0,93
0,89
9
0,94
0,49
0,94
0,92
8
0,94
0,89
0,51
0,83
7
0,50
0,91
0,86
0,98
6
0,85
0,97
0,94
0,93
5
0,90
0,82
0,84
0,52
4
0,88
0,83
0,88
0,90
3
0,74
0,98
0,93
0,83
2
0,96
0,94
0,50
0,51
1
0,53
0,48
0,46
f1-score
Hipotesis
0,46
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
precision
UPValenciaX-DMT201x-2T2017
recall
0,94
11bis
0,94
10bis
0,94
0,93
9bis
0,94
0,91
0,44
8bis
0,94
0,90
0,86
7bis
0,47
0,95
0,94
6bis
0,92
0,52
0,87
5bis
0,94
0,81
0,89
4bis
0,85
0,94
0,97
3bis
0,81
0,95
0,94
11
0,96
0,74
0,91
0,93
10
0,91
0,94
0,94
0,94
9
0,94
0,87
0,94
0,49
8
0,86
0,86
0,47
0,80
7
0,46
0,87
0,76
0,97
6
0,79
0,52
0,94
0,94
5
0,88
0,85
0,83
0,84
4
0,95
0,91
0,83
0,94
3
0,92
0,94
0,92
0,44
2
0,94
0,84
0,94
0,46
1
0,49
0,90
0,94
f1-score
Hipotesis
0,50
0,54
0,92
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
precision
0,49
0,51
UPValenciaX-DMT201x-2T2018
recall
0,90
3bis
0,93
0,91
0,90
11
0,90
0,94
0,93
10
0,49
0,94
0,49
9
f1-score
0,85
Dispositivos M\u00f3viles para la Gesti\u00f3n del Territorio
8
UPValenciaX-DMT201x-2T2019
0,42
0,92
7
11bis
0,80
0,97
6
10bis
0,88
9bis
5
0,85
0,99
0,94
8bis
4
0,88
0,49
0,84
0,79
7bis
3
0,96
0,89
0,94
0,94
6bis
2
0,90
0,89
0,47
0,92
0,92
1
0,55
5bis
0,50
0,80
4bis
Hipotesis
0,97
0,92
precision
0,93
0,86
0,74
0,47
0,95
0,75
0,46
0,94
0,47
0,94
recall
405
0,52
9
0,93
0,90
10
0,93
0,88
11
0,94
0,97
3bis
0,89
0,91
4bis
0,81
0,88
5bis
0,87
0,87
6bis
0,94
0,90
7bis
0,77
0,44
8bis
0,52
0,85
9bis
0,86
0,90
10bis
0,96
0,94
11bis
0,89
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,90
8
0,83
0,94
7
0,48
0,84
6
0,90
0,87
5
0,89
0,96
4
0,80
0,46
3
0,83
0,47
2
0,94
f1-score
1
0,44
Aprendizaje autom\u00e1tico y ciencia de datos
Hipotesis
0,47
0,87
UPValenciaX-DSC201x-3T2018
precision
0,94
11bis
0,96
0,93
0,53
10bis
0,98
0,76
0,91
0,91
9bis
0,94
0,93
0,89
0,81
8bis
0,93
0,95
0,50
0,88
7bis
0,50
0,94
0,87
0,93
6bis
0,80
0,46
0,91
0,76
5bis
0,94
0,93
0,81
0,94
4bis
0,94
0,72
0,88
0,94
3bis
0,80
0,45
0,94
0,46
11
0,94
recall
0,94
0,95
10
0,93
0,94
0,91
0,90
9
0,87
0,47
0,83
0,82
8
0,88
0,87
0,41
0,88
7
0,48
0,83
0,92
0,94
6
0,76
0,94
0,94
0,91
5
0,90
0,99
0,94
0,48
4
0,94
0,74
0,82
0,94
3
0,88
0,88
0,94
0,84
2
0,90
0,90
0,42
0,50
1
0,47
0,48
0,43
f1-score
Hipotesis
0,50
Dise\u00f1a, fabrica y programa tu propio robot
precision
UPValenciaX-DYOR101x-2T2017
recall
0,94
11bis
0,99
10bis
0,88
0,84
9bis
0,98
0,93
0,44
8bis
0,99
0,97
0,76
7bis
0,43
0,94
0,94
6bis
0,80
0,49
0,88
5bis
0,94
0,79
0,87
4bis
0,89
0,94
0,88
3bis
0,80
0,94
0,92
11
0,97
0,73
0,94
0,96
10
0,97
0,94
0,91
0,98
9
0,97
0,94
0,94
0,45
8
0,85
0,88
0,45
0,78
7
0,48
0,97
0,87
0,94
6
0,82
0,49
0,94
0,89
5
0,93
0,79
0,84
0,90
4
0,85
0,90
0,82
0,96
3
0,88
0,93
0,96
0,45
2
0,96
0,79
0,89
0,53
1
0,43
0,93
0,94
f1-score
Hipotesis
0,43
0,52
0,82
Dise\u00f1a, fabrica y programa tu propio robot
precision
0,46
0,52
UPValenciaX-DYOR101x-3T2017
recall
0,84
3bis
0,91
0,92
0,94
11
0,90
0,95
0,94
10
0,51
0,94
0,43
9
f1-score
0,91
Dise\u00f1a, fabrica y programa tu propio robot
8
UPValenciaX-DYOR101x-3T2018
0,43
0,96
7
11bis
0,83
0,97
6
10bis
0,99
9bis
5
0,92
0,94
0,91
8bis
4
0,91
0,41
0,91
0,88
7bis
3
0,94
0,91
0,94
0,94
6bis
2
0,92
0,96
0,44
0,92
0,96
1
0,49
5bis
0,42
0,73
4bis
Hipotesis
0,89
0,97
precision
0,98
0,96
0,85
0,54
0,94
0,89
0,45
0,94
0,51
0,86
recall
406
0,85
5bis
0,84
0,92
6bis
0,90
0,90
7bis
0,90
0,43
8bis
0,46
0,93
9bis
0,97
0,94
10bis
0,88
0,89
11bis
0,89
Anexo 5
0,94
4bis
0,81
0,89
3bis
0,87
0,96
11
0,91
0,83
10
0,94
0,43
9
0,95
0,90
8
0,94
0,94
7
0,41
0,94
6
0,84
0,79
5
0,94
0,94
4
0,88
0,53
3
0,86
0,47
2
0,94
f1-score
1
0,47
Introducci\u00f3n a los encofrados y las cimbras en obra civil y edificaci\u00f3n
Hipotesis
0,42
0,88
UPValenciaX-ENC101x-3T2018a
precision
0,91
11bis
0,91
0,89
0,48
10bis
0,89
0,74
0,93
0,87
9bis
0,89
0,92
0,90
0,85
8bis
0,87
0,92
0,48
0,94
7bis
0,50
0,93
0,90
0,87
6bis
0,89
0,50
0,90
0,72
5bis
0,97
0,98
0,89
0,93
4bis
0,85
0,82
0,96
0,94
3bis
0,81
0,52
0,96
0,51
11
0,98
recall
0,94
0,96
10
0,93
0,91
0,89
0,86
9
0,94
0,47
0,91
0,87
8
0,92
0,87
0,48
0,94
7
0,50
0,89
0,86
0,93
6
0,88
0,94
0,93
0,97
5
0,93
0,96
0,90
0,51
4
0,94
0,75
0,77
0,98
3
0,85
0,94
0,94
0,85
2
0,89
0,94
0,44
0,48
1
0,52
0,50
0,44
f1-score
Hipotesis
0,50
Introducci\u00f3n a los encofrados y las cimbras en obra civil y edificaci\u00f3n
precision
UPValenciaX-ENC101x-3T2018b
recall
0,89
11bis
0,90
10bis
0,92
0,82
9bis
0,94
0,95
0,44
8bis
0,87
0,89
0,90
7bis
0,48
0,82
0,94
6bis
0,86
0,49
0,94
5bis
0,94
0,83
0,80
4bis
0,98
0,95
0,93
3bis
0,90
0,89
0,93
11
0,94
0,80
0,95
0,94
10
0,94
0,94
0,94
0,84
9
0,94
0,94
0,89
0,51
8
0,93
0,96
0,50
0,90
7
0,42
0,86
0,85
0,89
6
0,88
0,54
0,93
0,93
5
0,87
0,81
0,86
0,86
4
0,89
0,99
0,90
0,97
3
0,88
0,91
0,92
0,51
2
0,94
0,79
0,94
0,48
1
0,50
0,92
0,98
f1-score
Hipotesis
0,48
0,46
0,91
Excel
precision
0,45
0,45
UPValenciaX-EX101x-2T2015
recall
0,80
3bis
0,94
0,99
0,88
11
0,84
0,94
0,98
10
0,51
0,92
0,48
9
f1-score
0,96
Fundamentos de Comunicaciones \u00d3pticas
8
UPValenciaX-FCO201x-2T2015
0,45
0,93
7
11bis
0,81
0,96
6
10bis
0,89
9bis
5
0,92
0,91
0,90
8bis
4
0,95
0,45
0,80
0,88
7bis
3
0,89
0,84
0,94
0,90
6bis
2
0,89
0,96
0,44
0,96
0,82
1
0,54
5bis
0,42
0,83
4bis
Hipotesis
0,90
0,84
precision
0,95
0,93
0,73
0,52
0,98
0,88
0,49
0,97
0,50
0,94
recall
407
0,50
9
0,99
0,98
10
0,95
0,94
11
0,97
0,94
3bis
0,89
0,88
4bis
0,89
0,94
5bis
0,96
0,87
6bis
0,92
0,84
7bis
0,88
0,51
8bis
0,46
0,94
9bis
0,94
0,94
10bis
0,87
0,97
11bis
0,89
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,86
8
0,92
0,99
7
0,44
0,94
6
0,82
0,82
5
0,96
0,93
4
0,85
0,51
3
0,90
0,51
2
0,94
f1-score
1
0,45
Fundamentos de Comunicaciones \u00d3pticas
Hipotesis
0,44
0,91
UPValenciaX-FCO201x-2T2016
precision
0,91
11bis
0,95
0,94
0,51
10bis
0,96
0,72
0,89
0,97
9bis
0,88
0,94
0,89
0,82
8bis
0,83
0,91
0,43
0,90
7bis
0,53
0,92
0,93
0,88
6bis
0,72
0,53
0,94
0,86
5bis
0,87
0,93
0,82
0,99
4bis
0,94
0,84
0,97
0,96
3bis
0,73
0,47
0,94
0,53
11
0,96
recall
0,90
0,97
10
0,96
0,94
0,97
0,81
9
0,98
0,46
0,86
0,79
8
0,79
0,91
0,45
0,98
7
0,53
0,92
0,79
0,94
6
0,83
0,94
0,89
0,98
5
0,93
0,92
0,83
0,44
4
0,94
0,86
0,83
0,94
3
0,81
0,94
0,96
0,86
2
0,97
0,94
0,49
0,43
1
0,45
0,50
0,47
f1-score
Hipotesis
0,55
Fundamentos de Comunicaciones \u00d3pticas
precision
UPValenciaX-FCO201x-2T2017
recall
0,94
11bis
0,92
10bis
0,94
0,87
9bis
0,90
0,89
0,48
8bis
0,94
0,88
0,79
7bis
0,51
0,91
0,96
6bis
0,87
0,53
0,89
5bis
0,94
0,75
0,76
4bis
0,85
0,96
0,98
3bis
0,89
0,85
0,91
11
0,97
0,82
0,89
0,96
10
0,94
0,91
0,94
0,81
9
0,94
0,93
0,85
0,47
8
0,85
0,94
0,46
0,89
7
0,47
0,87
0,91
0,94
6
0,91
0,51
0,94
0,97
5
0,89
0,78
0,94
0,83
4
0,92
0,89
0,78
0,95
3
0,76
0,88
0,94
0,52
2
0,90
0,85
0,94
0,46
1
0,44
0,94
0,93
f1-score
Hipotesis
0,43
0,51
0,88
Fundamentos de Comunicaciones \u00d3pticas
precision
0,53
0,48
UPValenciaX-FCO201x-2T2018
recall
0,81
3bis
0,94
0,89
0,92
11
0,79
0,97
0,96
10
0,47
0,90
0,49
9
f1-score
0,89
Fundamentos de Comunicaciones \u00d3pticas
8
UPValenciaX-FCO201x-2T2019
0,43
0,92
7
11bis
0,77
0,91
6
10bis
0,92
9bis
5
0,85
0,82
0,92
8bis
4
0,93
0,50
0,89
0,80
7bis
3
0,95
0,78
0,98
0,93
6bis
2
0,93
0,94
0,46
0,94
0,91
1
0,49
5bis
0,41
0,73
4bis
Hipotesis
0,96
0,84
precision
0,95
0,82
0,88
0,50
0,90
0,81
0,50
0,91
0,50
0,92
recall
408
0,95
7
0,86
0,50
8
0,49
0,85
9
0,85
0,99
10
0,91
0,90
11
0,94
0,91
3bis
0,94
0,97
4bis
0,85
0,81
5bis
0,94
0,97
6bis
0,94
0,89
7bis
0,87
0,51
8bis
0,49
0,93
9bis
0,96
0,96
10bis
0,94
0,97
11bis
0,93
Anexo 5
0,84
6
0,86
0,89
5
0,92
0,94
4
0,92
0,44
3
0,81
0,46
2
0,96
f1-score
1
0,42
FlashDiet: Aprende a comer sano
Hipotesis
0,49
0,94
UPValenciaX-FDIET101x-2T2017
precision
0,97
11bis
0,92
0,95
0,54
10bis
0,88
0,87
0,94
0,89
9bis
0,90
0,92
0,89
0,85
8bis
0,87
0,95
0,49
0,95
7bis
0,55
0,87
0,92
0,87
6bis
0,77
0,52
0,94
0,80
5bis
0,94
0,95
0,93
0,92
4bis
0,86
0,78
0,86
0,93
3bis
0,88
0,49
0,93
0,49
11
0,94
recall
0,89
0,91
10
0,94
0,90
0,96
0,84
9
0,94
0,52
0,84
0,81
8
0,92
0,89
0,46
0,98
7
0,49
0,89
0,83
0,93
6
0,74
0,98
0,96
0,89
5
0,93
0,95
0,85
0,50
4
0,94
0,88
0,92
0,94
3
0,77
0,96
0,94
0,80
2
0,94
0,91
0,46
0,44
1
0,46
0,43
0,47
f1-score
Hipotesis
0,51
FlashDiet: Aprende a comer sano
precision
UPValenciaX-FDIET101x-3T2017
recall
0,96
11bis
0,89
10bis
0,95
0,83
9bis
0,92
0,89
0,51
8bis
0,94
0,94
0,78
7bis
0,42
0,82
0,94
6bis
0,81
0,48
0,90
5bis
0,94
0,84
0,81
4bis
0,81
0,91
0,97
3bis
0,82
0,90
0,94
11
0,94
0,75
0,91
0,95
10
0,94
0,94
0,89
0,90
9
0,94
0,95
0,92
0,48
8
0,93
0,94
0,50
0,84
7
0,46
0,89
0,78
0,97
6
0,82
0,50
0,92
0,87
5
0,87
0,85
0,92
0,75
4
0,95
0,98
0,90
0,94
3
0,84
0,94
0,98
0,47
2
0,94
0,81
0,93
0,51
1
0,49
0,93
0,94
f1-score
Hipotesis
0,47
0,48
0,90
FlashDiet: Aprende a comer sano
precision
0,50
0,45
UPValenciaX-FDIET101x-3T2018
recall
0,75
3bis
0,94
0,96
0,89
11
0,84
0,88
0,92
10
0,52
0,91
0,53
9
f1-score
0,94
Fundamentos de Mec\u00e1nica
8
UPValenciaX-FFI101.1x-1T2015
0,43
0,89
7
11bis
0,84
0,92
6
10bis
0,89
9bis
5
0,94
0,84
0,94
8bis
4
0,98
0,43
0,90
0,76
7bis
3
0,94
0,86
0,99
0,92
6bis
2
0,93
0,93
0,44
0,80
0,85
1
0,47
5bis
0,45
0,72
4bis
Hipotesis
0,92
0,79
precision
0,96
0,95
0,86
0,55
0,92
0,76
0,50
0,94
0,45
0,92
recall
409
0,94
7
0,82
0,42
8
0,45
0,88
9
0,88
0,90
10
0,94
0,98
11
0,94
0,91
3bis
0,94
0,86
4bis
0,85
0,80
5bis
0,86
0,96
6bis
0,97
0,92
7bis
0,80
0,47
8bis
0,45
0,91
9bis
0,88
0,89
10bis
0,95
0,96
11bis
0,91
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,98
6
0,90
0,75
5
0,88
0,94
4
0,87
0,50
3
0,87
0,47
2
0,94
f1-score
1
0,42
Fundamentos de Mec\u00e1nica
Hipotesis
0,41
0,95
UPValenciaX-FFI101.1x-2T2016
precision
0,93
11bis
0,96
0,97
0,45
10bis
0,94
0,75
0,94
0,93
9bis
0,89
0,94
0,96
0,78
8bis
0,93
0,98
0,49
0,91
7bis
0,47
0,93
0,82
0,89
6bis
0,74
0,47
0,94
0,78
5bis
0,93
0,96
0,86
0,94
4bis
0,97
0,75
0,91
0,92
3bis
0,79
0,51
0,98
0,51
11
0,92
recall
0,94
0,91
10
0,97
0,98
0,93
0,98
9
0,90
0,51
0,95
0,79
8
0,87
0,96
0,48
0,94
7
0,50
0,79
0,81
0,93
6
0,74
0,94
0,98
0,93
5
0,90
0,83
0,83
0,53
4
0,94
0,80
0,83
0,87
3
0,86
0,97
0,93
0,83
2
0,96
0,94
0,42
0,49
1
0,53
0,52
0,41
f1-score
Hipotesis
0,49
Fundamentos de Mec\u00e1nica
precision
UPValenciaX-FFI101.1x-2T2017
recall
0,94
11bis
0,98
10bis
0,90
0,90
9bis
0,96
0,94
0,48
8bis
0,85
0,96
0,76
7bis
0,45
0,86
0,93
6bis
0,80
0,50
0,90
5bis
0,90
0,79
0,86
4bis
0,85
0,94
0,93
3bis
0,83
0,91
0,92
11
0,92
0,74
0,94
0,94
10
0,97
0,94
0,93
0,95
9
0,98
0,96
0,94
0,43
8
0,86
0,89
0,50
0,90
7
0,51
0,83
0,84
0,91
6
0,85
0,52
0,88
0,94
5
0,87
0,86
0,87
0,81
4
0,88
0,90
0,92
0,93
3
0,78
0,94
0,96
0,48
2
0,92
0,82
0,94
0,44
1
0,47
0,94
0,91
f1-score
Hipotesis
0,43
0,55
0,90
Fundamentos de Mec\u00e1nica
precision
0,51
0,51
UPValenciaX-FFI101.1x-2T2018
recall
0,88
3bis
0,94
0,99
0,94
11
0,86
0,93
0,90
10
0,47
0,94
0,53
9
f1-score
0,98
Fundamentos de Mec\u00e1nica
8
UPValenciaX-FFI101.1x-2T2019
0,42
0,99
7
11bis
0,77
0,94
6
10bis
0,89
9bis
5
0,88
0,99
0,88
8bis
4
0,98
0,48
0,92
0,86
7bis
3
0,96
0,90
0,94
0,92
6bis
2
0,91
0,96
0,47
0,84
0,87
1
0,47
5bis
0,44
0,77
4bis
Hipotesis
0,94
0,90
precision
0,92
0,79
0,84
0,52
0,94
0,84
0,45
0,97
0,47
0,94
recall
410
0,87
8
0,49
0,88
9
0,90
0,90
10
0,94
0,91
11
0,94
0,95
3bis
0,94
0,96
4bis
0,78
0,95
5bis
0,95
0,90
6bis
0,88
0,84
7bis
0,81
0,44
8bis
0,53
0,96
9bis
0,92
0,92
10bis
0,87
0,96
11bis
0,94
Anexo 5
0,90
7
0,42
0,89
6
0,83
0,90
5
0,95
0,99
4
0,87
0,52
3
0,85
0,51
2
0,94
f1-score
1
0,45
Fundamentos de electromagnetismo
Hipotesis
0,49
0,92
UPValenciaX-FFI101.2x-1T2015
precision
0,88
11bis
0,88
0,94
0,54
10bis
0,97
0,79
0,93
0,90
9bis
0,91
0,91
0,86
0,89
8bis
0,87
0,91
0,46
0,88
7bis
0,53
0,95
0,84
0,94
6bis
0,77
0,50
0,87
0,82
5bis
0,97
0,93
0,97
0,94
4bis
0,97
0,72
0,93
0,92
3bis
0,80
0,51
0,94
0,55
11
0,94
recall
0,94
0,96
10
0,94
0,95
0,94
0,96
9
0,99
0,43
0,84
0,86
8
0,80
0,99
0,50
0,85
7
0,49
0,77
0,80
0,97
6
0,88
0,89
0,96
0,88
5
0,94
0,98
0,94
0,50
4
0,94
0,79
0,79
0,94
3
0,73
0,94
0,98
0,83
2
0,97
0,90
0,49
0,52
1
0,47
0,47
0,44
f1-score
Hipotesis
0,53
Fundamentos de electromagnetismo
precision
UPValenciaX-FFI101.2x-2T2016
recall
0,95
11bis
0,89
10bis
0,94
0,84
9bis
0,93
0,94
0,52
8bis
0,92
0,88
0,88
7bis
0,51
0,86
0,90
6bis
0,88
0,46
0,94
5bis
0,99
0,82
0,91
4bis
0,83
0,95
0,94
3bis
0,92
0,91
0,95
11
0,96
0,76
0,95
0,99
10
0,97
0,90
0,90
0,96
9
0,91
0,98
0,90
0,51
8
0,94
0,97
0,43
0,83
7
0,48
0,89
0,88
0,94
6
0,78
0,50
0,89
0,92
5
0,91
0,89
0,97
0,73
4
0,89
0,97
0,76
0,94
3
0,77
0,94
0,91
0,48
2
0,95
0,72
0,94
0,49
1
0,43
0,90
0,98
f1-score
Hipotesis
0,48
0,51
0,86
Fundamentos de electromagnetismo
precision
0,52
0,46
UPValenciaX-FFI101.2x-2T2017
recall
0,83
3bis
0,92
0,98
0,99
11
0,78
0,94
0,94
10
0,51
0,89
0,43
9
f1-score
0,83
Fundamentos de electromagnetismo
8
UPValenciaX-FFI101.2x-2T2018
0,44
0,94
7
11bis
0,91
0,97
6
10bis
0,94
9bis
5
0,86
0,87
0,88
8bis
4
0,90
0,47
0,86
0,89
7bis
3
0,92
0,82
0,94
0,90
6bis
2
0,91
0,94
0,48
0,92
0,95
1
0,54
5bis
0,44
0,77
4bis
Hipotesis
0,94
0,82
precision
0,90
0,93
0,85
0,47
0,90
0,83
0,53
0,95
0,51
0,93
recall
411
0,85
8
0,47
0,87
9
0,88
0,99
10
0,89
0,94
11
0,94
0,94
3bis
0,94
0,93
4bis
0,80
0,91
5bis
0,93
0,92
6bis
0,91
0,86
7bis
0,75
0,44
8bis
0,48
0,95
9bis
0,87
0,98
10bis
0,92
0,92
11bis
0,96
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,96
7
0,48
0,88
6
0,79
0,86
5
0,93
0,95
4
0,98
0,52
3
0,86
0,51
2
0,99
f1-score
1
0,50
Fundamentos de electromagnetismo
Hipotesis
0,50
0,94
UPValenciaX-FFI101.2x-2T2019
precision
0,91
11bis
0,82
0,98
0,48
10bis
0,96
0,73
0,97
0,88
9bis
0,90
0,94
0,99
0,78
8bis
0,88
0,92
0,45
0,97
7bis
0,48
0,94
0,89
0,90
6bis
0,81
0,53
0,90
0,82
5bis
0,88
0,94
0,89
0,88
4bis
0,94
0,83
0,92
0,97
3bis
0,73
0,46
0,98
0,46
11
0,94
recall
0,98
0,89
10
0,94
0,88
0,89
0,86
9
0,94
0,47
0,96
0,89
8
0,89
0,99
0,44
0,99
7
0,47
0,76
0,79
0,91
6
0,78
0,98
0,94
0,93
5
0,90
0,96
0,95
0,53
4
0,96
0,86
0,91
0,94
3
0,84
0,88
0,94
0,83
2
0,90
0,92
0,43
0,52
1
0,55
0,49
0,45
f1-score
Hipotesis
0,54
C\u00f3mo implantar grupos de mejora de procesos
precision
UPValenciaX-GM201x-1T2017
recall
0,94
11bis
0,89
10bis
0,94
0,92
9bis
0,94
0,97
0,47
8bis
0,86
0,89
0,91
7bis
0,46
0,96
0,98
6bis
0,94
0,47
0,93
5bis
0,94
0,75
0,77
4bis
0,88
0,94
0,92
3bis
0,87
0,87
0,91
11
0,94
0,73
0,96
0,92
10
0,94
0,90
0,92
0,86
9
0,89
0,94
0,94
0,53
8
0,84
0,91
0,43
0,87
7
0,46
0,83
0,84
0,93
6
0,79
0,50
0,92
0,96
5
0,92
0,78
0,94
0,89
4
0,90
0,89
0,81
0,97
3
0,87
0,94
0,90
0,44
2
0,91
0,88
0,94
0,52
1
0,47
0,97
0,92
f1-score
Hipotesis
0,45
0,45
0,95
C\u00f3mo implantar grupos de mejora de procesos
precision
0,51
0,44
UPValenciaX-GM201x-2T2015
recall
0,83
3bis
0,93
0,95
0,95
11
0,78
0,91
0,94
10
0,48
0,92
0,52
9
f1-score
0,90
C\u00f3mo implantar grupos de mejora de procesos
8
UPValenciaX-GM201x-2T2016
0,50
0,94
7
11bis
0,75
0,94
6
10bis
0,87
9bis
5
0,94
0,95
0,96
8bis
4
0,89
0,47
0,85
0,89
7bis
3
0,90
0,80
0,94
0,94
6bis
2
0,93
0,93
0,51
0,91
0,89
1
0,55
5bis
0,42
0,73
4bis
Hipotesis
0,97
0,90
precision
0,89
0,97
0,74
0,53
0,94
0,89
0,47
0,92
0,49
0,93
recall
412
0,99
10
0,97
0,93
11
0,89
0,90
3bis
0,95
0,83
4bis
0,91
0,89
5bis
0,83
0,95
6bis
0,93
0,79
7bis
0,86
0,48
8bis
0,50
0,86
9bis
0,99
0,94
10bis
0,95
0,95
11bis
0,89
Anexo 5
0,47
9
0,94
0,84
8
0,90
0,88
7
0,49
0,85
6
0,81
0,74
5
0,91
0,89
4
0,93
0,50
3
0,76
0,46
2
0,94
f1-score
1
0,47
C\u00f3mo implantar grupos de mejora de procesos
Hipotesis
0,45
0,87
UPValenciaX-GM201x-2T2017
precision
0,94
11bis
0,95
0,89
0,50
10bis
0,92
0,79
0,94
0,94
9bis
0,87
0,94
0,85
0,79
8bis
0,95
0,96
0,47
0,96
7bis
0,49
0,94
0,91
0,96
6bis
0,84
0,46
0,88
0,75
5bis
0,94
0,93
0,91
0,93
4bis
0,87
0,78
0,97
0,94
3bis
0,88
0,55
0,95
0,55
11
0,96
recall
0,98
0,99
10
0,89
0,94
0,92
0,93
9
0,91
0,51
0,92
0,85
8
0,88
0,90
0,47
0,86
7
0,54
0,87
0,77
0,94
6
0,87
0,90
0,86
0,90
5
0,94
0,89
0,99
0,47
4
0,92
0,74
0,92
0,88
3
0,73
0,87
0,99
0,89
2
0,89
0,96
0,43
0,46
1
0,48
0,43
0,49
f1-score
Hipotesis
0,47
C\u00f3mo implantar grupos de mejora de procesos
precision
UPValenciaX-GM201x-2T2019
recall
0,94
11bis
0,92
10bis
0,91
0,96
9bis
0,97
0,94
0,48
8bis
0,94
0,88
0,86
7bis
0,48
0,91
0,90
6bis
0,81
0,50
0,94
5bis
0,96
0,83
0,93
4bis
0,97
0,91
0,97
3bis
0,83
0,98
0,98
11
0,94
0,79
0,93
0,95
10
0,98
0,92
0,95
0,82
9
0,89
0,91
0,88
0,45
8
0,94
0,98
0,48
0,88
7
0,51
0,84
0,88
0,94
6
0,79
0,55
0,87
0,92
5
0,90
0,78
0,98
0,79
4
0,92
0,94
0,84
0,96
3
0,84
0,94
0,94
0,48
2
0,97
0,78
0,96
0,45
1
0,46
0,89
0,94
f1-score
Hipotesis
0,48
0,45
0,81
C\u00f3mo implantar grupos de mejora de procesos
precision
0,46
0,45
UPValenciaX-GM201x-2T_2018
recall
0,73
3bis
0,90
0,97
0,94
11
0,90
0,96
0,92
10
0,46
0,93
0,46
9
f1-score
0,94
Gesti\u00f3n participativa (High Involvement Work Practices)
8
UPValenciaX-GP201x-1T2017
0,42
0,94
7
11bis
0,86
0,94
6
10bis
0,94
9bis
5
0,89
0,94
0,94
8bis
4
0,89
0,48
0,85
0,81
7bis
3
0,92
0,94
0,94
0,94
6bis
2
0,95
0,91
0,46
0,91
0,81
1
0,52
5bis
0,42
0,74
4bis
Hipotesis
0,91
0,95
precision
0,97
0,95
0,86
0,47
0,94
0,82
0,51
0,96
0,51
0,87
recall
413
0,94
11
0,99
0,94
3bis
0,92
0,96
4bis
0,88
0,97
5bis
0,93
0,87
6bis
0,88
0,81
7bis
0,90
0,48
8bis
0,45
0,88
9bis
0,91
0,95
10bis
0,94
0,90
11bis
0,93
Machine Learning y predicciones para la mejora del rendimiento en MOOC
0,82
10
0,89
0,53
9
0,93
0,76
8
0,89
0,95
7
0,43
0,91
6
0,87
0,82
5
0,86
0,89
4
0,81
0,46
3
0,83
0,51
2
0,89
f1-score
1
0,43
Gesti\u00f3n participativa (High Involvement Work Practices)
Hipotesis
0,47
0,91
UPValenciaX-GP201x-1T2017_2
precision
0,91
11bis
0,96
0,99
0,48
10bis
0,88
0,89
0,90
0,94
9bis
0,93
0,86
0,94
0,89
8bis
0,81
0,94
0,46
0,94
7bis
0,45
0,94
0,86
0,82
6bis
0,84
0,51
0,89
0,76
5bis
0,94
0,94
0,88
0,94
4bis
0,96
0,81
0,92
0,97
3bis
0,77
0,53
0,96
0,53
11
0,94
recall
0,94
0,98
10
0,94
0,91
0,92
0,91
9
0,87
0,46
0,87
0,86
8
0,84
0,94
0,48
0,88
7
0,55
0,77
0,84
0,91
6
0,78
0,90
0,97
0,95
5
0,94
0,93
0,95
0,47
4
0,88
0,78
0,93
0,93
3
0,76
0,97
0,92
0,83
2
0,89
0,91
0,50
0,51
1
0,52
0,49
0,47
f1-score
Hipotesis
0,54
Gesti\u00f3n participativa (High Involvement Work Practices)
precision
UPValenciaX-GP201x-1T2019
recall
0,94
11bis
0,90
10bis
0,94
0,97
9bis
0,94
0,90
0,45
8bis
0,94
0,90
0,82
7bis
0,49
0,85
0,94
6bis
0,84
0,54
0,89
5bis
0,94
0,75
0,87
4bis
0,92
0,91
0,96
3bis
0,88
0,89
0,96
11
0,97
0,79
0,92
0,94
10
0,94
0,97
0,92
0,86
9
0,94
0,91
0,93
0,48
8
0,87
0,91
0,47
0,79
7
0,42
0,91
0,76
0,99
6
0,93
0,54
0,90
0,91
5
0,94
0,86
0,91
0,76
4
0,91
0,95
0,88
0,97
3
0,81
0,91
0,94
0,51
2
0,94
0,87
0,95
0,52
1
0,48
0,99
0,94
f1-score
Hipotesis
0,47
0,48
0,95
Gesti\u00f3n participativa (High Involvement Work Practices)
precision
0,46
0,48
UPValenciaX-GP201x-1T_2018
recall
0,79
3bis
0,94
0,94
0,97
11
0,79
0,93
0,94
10
0,47
0,97
0,48
9
f1-score
0,84
Gesti\u00f3n participativa (High Involvement Work Practices)
8
UPValenciaX-GP201x-3T2015
0,50
0,94
7
11bis
0,82
0,94
6
10bis
0,88
9bis
5
0,99
0,98
0,90
8bis
4
0,88
0,48
0,92
0,87
7bis
3
0,93
0,83
0,93
0,87
6bis
2
0,94
0,94
0,43
0,87
0,84
1
0,49
5bis
0,46
0,81
4bis
Hipotesis
0,97
0,80
precision
0,88
0,85
0,76
0,46
0,89
0,84
0,50
0,94
0,47
0,94
recall
414
0,89
11
0,94
0,93
3bis
0,94
0,82
4bis
0,82
0,95
5bis
0,94
0,92
6bis
0,98
0,82
7bis
0,75
0,44
8bis
0,46
0,86
9bis
0,83
0,93
10bis
0,94
0,94
11bis
0,92
Anexo 5
0,81
10
0,88
0,50
9
0,96
0,80
8
0,90
0,95
7
0,44
0,90
6
0,76
0,78
5
0,88
0,94
4
0,81
0,44
3
0,78
0,44
2
0,94
f1-score
1
0,51
Gesti\u00f3n participativa (High Involvement Work Practices)
Hipotesis
0,48
0,95
UPValenciaX-GP201x-3T2016
precision
0,92
11bis
0,97
0,94
0,53
10bis
0,97
0,86
0,95
0,94
9bis
0,91
0,91
0,94
0,77
8bis
0,94
0,94
0,48
0,90
7bis
0,45
0,89
0,89
0,90
6bis
0,81
0,46
0,90
0,83
5bis
0,95
0,95
0,93
0,94
4bis
0,97
0,80
0,86
0,97
3bis
0,82
0,51
0,97
0,54
11
0,97
recall
0,96
0,91
10
0,89
0,88
0,98
0,96
9
0,94
0,52
0,94
0,90
8
0,91
0,94
0,41
0,93
7
0,51
0,75
0,79
0,94
6
0,83
0,95
0,96
0,91
5
0,96
0,95
0,89
0,51
4
0,94
0,87
0,82
0,90
3
0,76
0,85
0,97
0,77
2
0,93
0,91
0,41
0,49
1
0,53
0,47
0,50
f1-score
Hipotesis
0,50
Upper-Intermediate English: Business
precision
UPValenciaX-HIENGLISH201.1x3T2018
recall
0,93
11bis
0,94
10bis
0,94
0,84
9bis
0,94
0,89
0,47
8bis
0,94
0,94
0,87
7bis
0,50
0,89
0,94
6bis
0,82
0,49
0,97
5bis
0,94
0,83
0,85
4bis
0,94
0,94
0,96
3bis
0,90
0,86
0,93
11
0,90
0,75
0,94
10
0,94
0,96
0,97
9
0,93
0,92
0,44
8
0,94
0,94
0,88
7
0,44
0,84
0,94
6
0,92
0,45
0,92
5
0,93
0,73
0,87
4
0,95
0,93
0,94
3
0,80
0,91
0,48
2
0,89
0,88
0,53
1
0,50
0,98
f1-score
Hipotesis
0,46
0,48
Upper-Intermediate English: Business
precision
0,54
0,94
UPValenciaX-HIENGLISH201.1x3T2018a
recall
0,90
11bis
0,98
10bis
0,94
0,47
9bis
0,91
0,83
8bis
0,88
0,94
7bis
0,51
0,94
6bis
0,86
0,80
5bis
0,91
0,94
4bis
0,87
0,93
3bis
0,90
0,95
11
0,90
0,86
10
0,89
0,45
9
0,95
0,78
8
0,94
0,89
7
0,50
0,98
6
0,88
0,86
5
0,94
0,94
4
0,83
0,48
3
0,81
0,45
2
0,93
f1-score
1
0,44
Upper-Intermediate English: Modern Life
Hipotesis
0,43
UPValenciaX-HIENGLISH201.2x3T2018
precision
415
0,53
0,47
0,94
0,85
0,92
0,98
0,88
0,50
0,92
0,94
0,96
0,94
0,74
0,91
0,92
0,74
0,47
0,95
0,94
0,93
0,94
Machine Learning y predicciones para la mejora del rendimiento en MOOC
recall
0,96
11bis
0,95
10bis
0,89
0,47
9bis
0,94
0,82
8bis
0,94
0,94
7bis
0,49
0,89
6bis
0,82
0,92
5bis
0,91
0,99
4bis
0,88
0,94
3bis
0,86
0,88
11
0,96
0,96
10
0,98
0,51
9
0,90
0,83
8
0,91
0,94
7
0,50
0,92
6
0,86
0,78
5
0,95
0,98
4
0,89
0,49
3
0,88
0,46
2
0,97
f1-score
1
0,41
Upper-Intermediate English: Modern Life
Hipotesis
0,46
0,94
UPValenciaX-HIENGLISH201.2x3T2018a
precision
0,94
11bis
0,83
0,91
0,49
10bis
0,94
0,83
0,94
0,92
9bis
0,87
0,86
0,86
0,73
8bis
0,82
0,98
0,48
0,96
7bis
0,48
0,94
0,95
0,79
6bis
0,86
0,50
0,86
0,86
5bis
0,92
0,90
0,96
0,89
4bis
0,86
0,82
0,80
0,95
3bis
0,74
0,46
0,98
0,45
11
0,94
recall
0,93
0,94
10
0,92
0,94
0,94
0,94
9
0,96
0,44
0,94
0,84
8
0,97
0,98
0,44
0,94
7
0,55
0,82
0,77
0,94
6
0,80
0,94
0,94
0,94
5
0,89
0,98
0,96
0,46
4
0,94
0,76
0,92
0,94
3
0,77
0,89
0,92
0,78
2
0,89
0,99
0,42
0,52
1
0,52
0,51
0,42
f1-score
Hipotesis
0,49
Upper-Intermediate English: Globalization
precision
UPValenciaX-HIENGLISH201.3x1T2019
recall
0,94
11bis
0,93
10bis
0,97
0,95
9bis
0,94
0,94
0,50
8bis
0,91
0,93
0,77
7bis
0,48
0,97
0,97
6bis
0,82
0,47
0,91
5bis
0,96
0,83
0,79
4bis
0,85
0,94
0,93
3bis
0,80
0,94
0,96
11
0,94
0,90
0,94
10
0,94
0,94
0,84
9
0,98
0,95
0,44
8
0,89
0,88
0,82
7
0,50
0,85
0,94
6
0,89
0,49
0,91
5
0,96
0,85
0,83
4
0,90
0,94
0,94
3
0,85
0,92
0,52
2
0,98
0,82
0,51
1
0,43
0,93
f1-score
Hipotesis
0,44
0,50
0,93
Upper-Intermediate English: Globalization
precision
0,46
0,89
UPValenciaX-HIENGLISH201.3x3T2018
recall
0,93
11bis
0,45
10bis
0,89
9bis
0,92
8bis
0,92
7bis
0,78
6bis
0,93
5bis
0,90
4bis
0,91
3bis
0,98
11
0,44
10
0,83
9
0,97
8
0,94
7
0,74
6
0,97
5
0,49
4
0,45
3
f1-score
2
Upper-Intermediate English: Technology Today
1
UPValenciaX-HIENGLISH201.4x1T2019
Hipotesis
416
0,51
0,46
0,46
0,91
0,89
0,84
0,87
0,94
0,91
0,98
0,89
0,80
0,77
0,47
0,48
0,84
0,88
0,94
0,94
0,94
0,94
0,98
0,96
0,74
0,79
0,93
0,94
0,87
0,87
0,83
0,86
0,50
0,47
0,86
0,88
0,93
0,95
0,88
0,92
Anexo 5
precision
0,52
11bis
recall
0,97
0,92
10bis
0,97
0,87
0,94
0,96
0,92
9bis
0,94
0,43
0,94
0,93
0,86
8bis
0,95
0,94
7bis
0,44
0,83
0,98
6bis
0,83
0,50
0,87
5bis
0,94
0,48
0,89
4bis
0,92
0,88
0,94
3bis
0,97
0,88
0,93
11
0,97
0,91
0,93
10
0,96
0,99
0,46
9
0,96
0,89
0,85
8
0,94
0,91
0,91
7
0,48
0,74
0,95
6
0,91
0,90
0,75
5
0,94
0,91
0,96
4
0,97
0,90
0,50
3
0,89
0,91
0,50
2
0,94
0,96
f1-score
1
0,44
0,89
Upper-Intermediate English: Technology Today
Hipotesis
0,43
0,94
UPValenciaX-HIENGLISH201.4x3T2018
precision
0,81
11bis
0,84
10bis
0,94
0,46
9bis
0,90
0,50
8bis
0,86
0,77
7bis
0,48
0,80
6bis
0,91
0,95
5bis
0,92
0,95
4bis
0,84
0,93
3bis
0,97
0,99
11
0,89
0,80
10
0,94
0,82
9
0,94
0,97
8
0,85
0,92
7
0,50
0,50
6
0,86
0,46
5
0,94
0,45
4
0,88
0,49
3
0,84
recall
2
0,90
f1-score
1
0,47
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Hipotesis
0,43
0,97
UPValenciax-IGP101.x-2T2016
precision
0,88
11bis
0,82
0,93
0,55
10bis
0,94
0,86
0,98
0,94
9bis
0,94
0,86
0,91
0,83
8bis
0,86
0,91
0,45
0,87
7bis
0,55
0,90
0,78
0,87
6bis
0,84
0,46
0,94
0,84
5bis
0,95
0,97
0,98
0,95
4bis
0,91
0,80
0,80
0,97
3bis
0,73
0,54
0,99
0,51
11
0,99
recall
0,94
0,88
10
0,90
0,91
0,94
0,81
9
0,91
0,48
0,88
0,78
8
0,81
0,98
0,46
0,90
7
0,48
0,80
0,82
0,94
6
0,79
0,92
0,94
0,89
5
0,94
0,89
0,82
0,48
4
0,98
0,84
0,90
0,94
3
0,87
0,97
0,94
0,88
2
0,95
0,94
0,51
0,51
1
0,53
0,48
0,45
f1-score
Hipotesis
0,46
0,96
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
precision
0,94
UPValenciax-IGP101.x-2T2017
recall
0,84
11bis
0,48
10bis
0,85
9bis
0,95
8bis
0,97
7bis
0,82
6bis
0,96
5bis
0,96
4bis
0,94
3bis
0,88
11
0,52
10
0,85
9
0,87
8
0,87
7
0,77
6
0,91
5
0,45
4
0,50
3
f1-score
2
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
1
UPValenciax-IGP101.x-2T2018
Hipotesis
417
0,46
0,55
0,46
0,98
0,93
0,81
0,78
0,91
0,94
0,93
0,93
0,85
0,93
0,48
0,48
0,83
0,92
0,88
0,94
0,94
0,91
0,89
0,89
0,73
0,88
0,99
0,82
0,94
0,89
0,75
0,88
0,52
0,48
0,97
0,97
0,95
0,97
0,94
0,92
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,48
11bis
recall
0,89
0,91
10bis
0,94
0,87
0,96
0,93
0,88
9bis
0,98
0,48
0,94
0,97
0,88
8bis
0,83
0,92
7bis
0,43
0,94
0,91
6bis
0,84
0,55
0,89
5bis
0,98
0,49
0,98
4bis
0,85
0,81
0,94
3bis
0,91
0,84
0,94
11
0,94
0,87
0,95
10
0,90
0,87
0,45
9
0,95
0,86
0,78
8
0,95
0,92
0,98
7
0,45
0,90
0,89
6
0,80
0,86
0,85
5
0,93
0,94
0,88
4
0,96
0,96
0,51
3
0,86
0,93
0,51
2
0,93
0,91
f1-score
1
0,51
0,86
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Hipotesis
0,46
0,87
UPValenciax-IGP101.x-2T2019
precision
0,96
11bis
0,86
10bis
0,90
0,47
9bis
0,94
0,45
8bis
0,99
0,85
7bis
0,44
0,78
6bis
0,89
0,89
5bis
0,92
0,92
4bis
0,84
0,94
3bis
0,93
0,89
11
0,96
0,73
10
0,92
0,75
9
0,92
0,94
8
0,85
0,93
7
0,48
0,49
6
0,80
0,44
5
0,95
0,48
4
0,88
0,44
3
0,79
recall
2
0,89
f1-score
1
0,45
Introducci\u00f3n a la Gesti\u00f3n de Proyectos
Hipotesis
0,50
0,92
UPValenciax-IGP101.x-T32015
precision
0,94
11bis
0,95
0,96
0,50
10bis
0,93
0,87
0,95
0,94
9bis
0,91
0,95
0,86
0,76
8bis
0,88
0,89
0,45
0,94
7bis
0,51
0,98
0,77
0,84
6bis
0,82
0,47
0,88
0,77
5bis
0,94
0,94
0,87
0,97
4bis
0,99
0,82
0,88
0,94
3bis
0,80
0,54
0,97
0,47
11
0,92
recall
0,94
0,94
10
0,94
0,94
0,95
0,96
9
0,87
0,46
0,88
0,76
8
0,93
0,93
0,44
0,98
7
0,49
0,90
0,80
0,91
6
0,82
0,94
0,99
0,94
5
0,94
0,95
0,94
0,46
4
0,98
0,89
0,86
0,94
3
0,76
0,92
0,99
0,74
2
0,94
0,95
0,44
0,51
1
0,54
0,51
0,49
f1-score
Hipotesis
0,54
0,94
Introducci\u00f3n a la estructura de la materia
precision
0,94
UPValenciaX-IQ101.1x-1T2017
recall
0,94
11bis
0,52
10bis
0,82
9bis
0,97
8bis
0,86
7bis
0,77
6bis
0,89
5bis
0,89
4bis
0,87
3bis
0,89
11
0,48
10
0,75
9
0,95
8
0,96
7
0,85
6
0,95
5
0,51
4
0,44
3
f1-score
2
Introducci\u00f3n a la estructura de la materia
1
UPValenciaX-IQ101.1x-1T2018
Hipotesis
418
0,46
0,55
0,43
0,96
0,94
0,76
0,90
0,94
0,91
0,90
0,94
0,82
0,78
0,50
0,50
0,90
0,85
0,94
0,95
0,94
0,94
0,90
0,94
0,84
0,97
0,94
0,87
0,94
0,96
0,79
0,95
0,46
0,43
0,80
0,94
0,94
0,98
0,93
0,91
Anexo 5
precision
0,50
11bis
recall
0,92
0,94
10bis
0,94
0,93
0,94
0,99
0,96
9bis
0,95
0,49
0,94
0,93
0,77
8bis
0,86
0,94
7bis
0,44
0,89
0,95
6bis
0,87
0,50
0,78
5bis
0,91
0,49
0,90
4bis
0,91
0,74
0,90
3bis
0,94
0,92
0,91
11
0,90
0,90
0,88
10
0,89
0,94
0,47
9
0,93
0,90
0,89
8
0,85
0,93
0,96
7
0,46
0,77
0,98
6
0,79
0,75
0,77
5
0,86
0,98
0,94
4
0,98
0,92
0,44
3
0,85
0,94
0,50
2
0,92
0,97
f1-score
1
0,46
0,94
Introducci\u00f3n a la estructura de la materia
Hipotesis
0,47
0,94
UPValenciaX-IQ101.1x-1T2019
precision
0,93
11bis
0,91
10bis
0,94
0,51
9bis
0,91
0,50
8bis
0,92
0,75
7bis
0,47
0,91
6bis
0,85
0,94
5bis
0,87
0,94
4bis
0,87
0,93
3bis
0,87
0,97
11
0,92
0,81
10
0,92
0,79
9
0,90
0,97
8
0,94
0,93
7
0,43
0,45
6
0,79
0,53
5
0,87
0,53
4
0,93
0,53
3
0,89
recall
2
0,94
f1-score
1
0,42
Introducci\u00f3n a la estructura de la materia
Hipotesis
0,48
0,96
UPValenciaX-IQ101.1x-2016_T1
precision
0,91
11bis
0,83
0,89
0,51
10bis
0,94
0,78
0,98
0,94
9bis
0,97
0,94
0,93
0,88
8bis
0,89
0,94
0,50
0,87
7bis
0,48
0,94
0,89
0,93
6bis
0,73
0,46
0,91
0,82
5bis
0,94
0,89
0,82
0,94
4bis
0,95
0,79
0,97
0,91
3bis
0,79
0,49
0,98
0,45
11
0,90
recall
0,92
0,89
10
0,94
0,87
0,94
0,83
9
0,95
0,47
0,84
0,84
8
0,89
0,87
0,46
0,94
7
0,47
0,80
0,84
0,93
6
0,85
0,98
0,94
0,94
5
0,92
0,88
0,84
0,53
4
0,89
0,81
0,78
0,96
3
0,87
0,90
0,97
0,82
2
0,94
0,94
0,44
0,45
1
0,52
0,48
0,48
f1-score
Hipotesis
0,55
0,94
Introducci\u00f3n a la estructura de la materia
precision
0,88
UPValenciaX-IQ101.1x-2T2015
recall
0,86
11bis
0,52
10bis
0,79
9bis
0,90
8bis
0,83
7bis
0,86
6bis
0,91
5bis
0,98
4bis
0,89
3bis
0,91
11
0,45
10
0,77
9
0,95
8
0,89
7
0,89
6
0,90
5
0,53
4
0,46
3
f1-score
2
Introducci\u00f3n a la estructura de la materia
1
UPValenciaX-IQ101.1x-2T2016
Hipotesis
419
0,45
0,52
0,49
0,90
0,98
0,72
0,82
0,94
0,91
0,94
0,94
0,87
0,76
0,49
0,50
0,84
0,93
0,91
0,94
0,95
0,88
0,90
0,94
0,81
0,84
0,94
0,90
0,92
0,97
0,72
0,84
0,52
0,50
0,81
0,93
0,93
0,94
0,95
0,91
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,54
11bis
recall
0,97
0,98
10bis
0,96
0,94
0,92
0,96
0,87
9bis
0,86
0,45
0,94
0,93
0,87
8bis
0,92
0,87
7bis
0,44
0,96
0,93
6bis
0,92
0,49
0,79
5bis
0,94
0,44
0,98
4bis
0,96
0,89
0,94
3bis
0,91
0,79
0,94
11
0,90
0,94
0,81
10
0,98
0,95
0,45
9
0,91
0,94
0,78
8
0,97
0,83
0,91
7
0,49
0,86
0,85
6
0,91
0,80
0,88
5
0,94
0,99
0,98
4
0,98
0,98
0,43
3
0,90
0,96
0,49
2
0,93
0,94
f1-score
1
0,43
0,90
El enlace qu\u00edmico y las interacciones moleculares
Hipotesis
0,44
0,92
UPValenciaX-IQ101.2x-1T2016
precision
0,94
11bis
0,94
10bis
0,92
0,48
9bis
0,92
0,44
8bis
0,97
0,76
7bis
0,50
0,74
6bis
0,83
0,91
5bis
0,94
0,93
4bis
0,84
0,94
3bis
0,86
0,88
11
0,95
0,76
10
0,94
0,79
9
0,89
0,97
8
0,91
0,91
7
0,47
0,45
6
0,84
0,53
5
0,94
0,51
4
0,82
0,45
3
0,89
recall
2
0,94
f1-score
1
0,44
El enlace qu\u00edmico y las interacciones moleculares
Hipotesis
0,50
0,92
UPValenciaX-IQ101.2x-1T2017
precision
0,87
11bis
0,90
0,94
0,46
10bis
0,98
0,87
0,99
0,89
9bis
0,94
0,95
0,87
0,81
8bis
0,84
0,99
0,45
0,97
7bis
0,46
0,92
0,95
0,87
6bis
0,81
0,51
0,96
0,88
5bis
0,94
0,94
0,92
0,91
4bis
0,96
0,78
0,94
0,90
3bis
0,78
0,47
0,94
0,54
11
0,92
recall
0,93
0,92
10
0,93
0,94
0,98
0,96
9
0,96
0,50
0,89
0,85
8
0,84
0,94
0,43
0,93
7
0,47
0,91
0,81
0,97
6
0,81
0,94
0,93
0,94
5
0,94
0,85
0,90
0,45
4
0,94
0,79
0,87
0,94
3
0,82
0,94
0,91
0,78
2
0,90
0,93
0,49
0,52
1
0,48
0,46
0,49
f1-score
Hipotesis
0,55
0,94
El enlace qu\u00edmico y las interacciones moleculares
precision
0,94
UPValenciaX-IQ101.2x-1T2018
recall
0,88
11bis
0,53
10bis
0,92
9bis
0,94
8bis
0,94
7bis
0,82
6bis
0,91
5bis
0,94
4bis
0,94
3bis
0,97
11
0,43
10
0,78
9
0,94
8
0,88
7
0,84
6
0,96
5
0,44
4
0,48
3
f1-score
2
El enlace qu\u00edmico y las interacciones moleculares
1
UPValenciaX-IQ101.2x-1T2019
Hipotesis
420
0,47
0,55
0,47
0,93
0,98
0,84
0,86
0,98
0,88
0,94
0,95
0,77
0,78
0,49
0,46
0,81
0,99
0,90
0,96
0,94
0,90
0,93
0,94
0,84
0,91
0,95
0,87
0,93
0,95
0,87
0,86
0,46
0,43
0,90
0,91
0,87
0,91
0,89
0,94
Anexo 5
precision
0,53
11bis
recall
0,94
0,94
10bis
0,95
0,94
0,94
0,88
0,88
9bis
0,93
0,45
0,94
0,94
0,83
8bis
0,97
0,89
7bis
0,45
0,89
0,93
6bis
0,84
0,49
0,92
5bis
0,87
0,50
0,94
4bis
0,80
0,81
0,94
3bis
0,89
0,80
0,89
11
0,91
0,94
0,83
10
0,96
0,94
0,47
9
0,97
0,85
0,77
8
0,94
0,95
0,97
7
0,51
0,78
0,97
6
0,79
0,81
0,81
5
0,90
0,96
0,93
4
0,96
0,94
0,47
3
0,87
0,87
0,52
2
0,89
0,90
f1-score
1
0,47
0,91
El enlace qu\u00edmico y las interacciones moleculares
Hipotesis
0,48
0,94
UPValenciaX-IQ101.2x-2T2015
precision
0,94
11bis
0,95
10bis
0,94
0,45
9bis
0,89
0,50
8bis
0,94
0,76
7bis
0,48
0,79
6bis
0,81
0,91
5bis
0,90
0,96
4bis
0,96
0,89
3bis
0,92
0,92
11
0,89
0,88
10
0,94
0,75
9
0,94
0,94
8
0,98
0,92
7
0,46
0,52
6
0,78
0,47
5
0,93
0,49
4
0,81
0,46
3
0,93
recall
2
0,95
f1-score
1
0,48
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Hipotesis
0,42
0,97
UPValenciaX-IQ101.3x-2T2016
precision
0,89
11bis
0,86
0,94
0,55
10bis
0,93
0,76
0,94
0,92
9bis
0,90
0,90
0,94
0,74
8bis
0,83
0,94
0,47
0,93
7bis
0,54
0,88
0,91
0,82
6bis
0,89
0,48
0,92
0,81
5bis
0,94
0,88
0,91
0,93
4bis
0,94
0,86
0,84
0,94
3bis
0,79
0,53
0,90
0,48
11
0,94
recall
0,94
0,93
10
0,94
0,94
0,94
0,95
9
0,98
0,47
0,93
0,78
8
0,82
0,89
0,45
0,84
7
0,52
0,76
0,78
0,89
6
0,85
0,94
0,86
0,94
5
0,94
0,90
0,85
0,50
4
0,90
0,75
0,90
0,92
3
0,74
0,89
0,91
0,79
2
0,93
0,89
0,45
0,49
1
0,48
0,45
0,44
f1-score
Hipotesis
0,48
0,95
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
precision
0,94
UPValenciaX-IQ101.3x-2T2017
recall
0,87
11bis
0,44
10bis
0,83
9bis
0,91
8bis
0,92
7bis
0,86
6bis
0,93
5bis
0,89
4bis
0,87
3bis
0,96
11
0,48
10
0,77
9
0,88
8
0,89
7
0,74
6
0,95
5
0,45
4
0,45
3
f1-score
2
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
1
UPValenciaX-IQ101.3x-2T2018
Hipotesis
421
0,43
0,45
0,42
0,94
0,95
0,77
0,89
0,91
0,97
0,94
0,88
0,81
0,87
0,50
0,48
0,79
0,94
0,94
0,91
0,94
0,90
0,94
0,88
0,82
0,88
0,86
0,98
0,89
0,91
0,88
0,81
0,45
0,50
0,83
0,94
0,91
0,89
0,90
0,98
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,46
11bis
recall
0,97
0,94
10bis
0,94
0,94
0,94
0,93
0,98
9bis
0,92
0,49
0,89
0,94
0,86
8bis
0,90
0,94
7bis
0,46
0,86
0,94
6bis
0,84
0,46
0,80
5bis
0,92
0,49
0,99
4bis
0,95
0,76
0,90
3bis
0,94
0,80
0,88
11
0,94
0,91
0,87
10
0,96
0,94
0,51
9
0,94
0,94
0,80
8
0,88
0,94
0,90
7
0,44
0,75
0,89
6
0,78
0,89
0,82
5
0,99
0,89
0,91
4
0,91
0,91
0,50
3
0,84
0,96
0,52
2
0,96
0,94
f1-score
1
0,48
0,94
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Hipotesis
0,50
0,96
UPValenciaX-IQ101.3x-2T2019
precision
0,84
11bis
0,95
10bis
0,90
0,49
9bis
0,91
0,44
8bis
0,92
0,71
7bis
0,45
0,79
6bis
0,89
0,97
5bis
0,95
0,94
4bis
0,98
0,89
3bis
0,87
0,97
11
0,92
0,84
10
0,93
0,88
9
0,88
0,91
8
0,95
0,94
7
0,48
0,54
6
0,76
0,48
5
0,89
0,54
4
0,88
0,44
3
0,88
recall
2
0,94
f1-score
1
0,45
Formulaci\u00f3n y nomenclatura de compuestos qu\u00edmicos
Hipotesis
0,45
0,88
UPValenciaX-IQ101.3x-3T2015
precision
0,89
11bis
0,96
0,89
0,54
10bis
0,94
0,74
0,92
0,89
9bis
0,94
0,94
0,94
0,79
8bis
0,87
0,98
0,51
0,92
7bis
0,47
0,94
0,83
0,85
6bis
0,75
0,51
0,94
0,79
5bis
0,94
0,94
0,84
0,93
4bis
0,86
0,73
0,90
0,94
3bis
0,85
0,50
0,98
0,55
11
0,94
recall
0,93
0,94
10
0,94
0,87
0,93
0,89
9
0,90
0,47
0,91
0,89
8
0,91
0,89
0,42
0,92
7
0,46
0,83
0,91
0,98
6
0,76
0,94
0,94
0,94
5
0,94
0,94
0,87
0,49
4
0,90
0,88
0,78
0,94
3
0,81
0,98
0,97
0,76
2
0,89
0,91
0,41
0,50
1
0,55
0,46
0,49
f1-score
Hipotesis
0,48
0,89
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
precision
0,96
UPValenciaX-IQ101.4x-2T2017
recall
0,94
11bis
0,53
10bis
0,78
9bis
0,87
8bis
0,91
7bis
0,83
6bis
0,91
5bis
0,91
4bis
0,87
3bis
0,96
11
0,48
10
0,87
9
0,94
8
0,94
7
0,75
6
0,98
5
0,46
4
0,45
3
f1-score
2
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
1
UPValenciaX-IQ101.4x-2T2018
Hipotesis
422
0,44
0,46
0,50
0,96
0,94
0,76
0,76
0,96
0,87
0,99
0,90
0,78
0,86
0,53
0,51
0,88
0,89
0,88
0,94
0,94
0,91
0,94
0,98
0,81
0,84
0,95
0,90
0,97
0,89
0,73
0,83
0,53
0,49
0,85
0,93
0,93
0,94
0,92
0,94
Anexo 5
precision
0,51
11bis
recall
0,93
0,94
10bis
0,95
0,90
0,95
0,94
0,84
9bis
0,91
0,44
0,98
0,94
0,74
8bis
0,85
0,94
7bis
0,45
0,96
0,86
6bis
0,91
0,51
0,89
5bis
0,91
0,49
0,94
4bis
0,88
0,81
0,95
3bis
0,94
0,76
0,95
11
0,89
0,88
0,87
10
0,89
0,94
0,48
9
0,98
0,93
0,88
8
0,83
0,91
0,93
7
0,43
0,89
0,92
6
0,78
0,86
0,78
5
0,94
0,93
0,93
4
0,82
0,94
0,48
3
0,86
0,91
0,48
2
0,91
0,98
f1-score
1
0,46
0,94
Reacciones qu\u00edmicas y c\u00e1lculos estequiom\u00e9tricos
Hipotesis
0,48
0,94
UPValenciaX-IQ101.4x-2T2019
precision
0,79
11bis
0,88
10bis
0,99
0,47
9bis
0,96
0,52
8bis
0,94
0,78
7bis
0,50
0,80
6bis
0,94
0,94
5bis
0,87
0,94
4bis
0,92
0,94
3bis
0,86
0,93
11
0,91
0,78
10
0,90
0,83
9
0,94
0,91
8
0,90
0,91
7
0,46
0,46
6
0,78
0,44
5
0,92
0,47
4
0,94
0,47
3
0,86
recall
2
0,94
f1-score
1
0,42
\u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones
Hipotesis
0,41
0,95
UPValenciaX-IQ101.5x-3T2018
precision
0,94
11bis
0,88
0,91
0,55
10bis
0,91
0,77
0,96
0,87
9bis
0,90
0,86
0,88
0,75
8bis
0,82
0,89
0,45
0,97
7bis
0,49
0,86
0,90
0,92
6bis
0,77
0,47
0,93
0,74
5bis
0,94
0,99
0,84
0,92
4bis
0,92
0,75
0,83
0,95
3bis
0,79
0,52
0,95
0,50
11
0,90
recall
0,95
0,96
10
0,89
0,90
0,97
0,91
9
0,99
0,51
0,99
0,83
8
0,89
0,95
0,47
0,98
7
0,46
0,81
0,81
0,99
6
0,81
0,94
0,91
0,91
5
0,94
0,88
0,86
0,51
4
0,90
0,89
0,81
0,93
3
0,83
0,93
0,94
0,90
2
0,94
0,91
0,50
0,47
1
0,54
0,47
0,42
f1-score
Hipotesis
0,47
0,97
\u00c1cidos y bases: reacciones qu\u00edmicas y aplicaciones
precision
0,94
UPValenciaX-IQ101.5x-3T2018a
recall
0,95
11bis
0,47
10bis
0,90
9bis
0,91
8bis
0,88
7bis
0,86
6bis
0,94
5bis
0,92
4bis
0,96
3bis
0,88
11
0,53
10
0,78
9
0,87
8
0,99
7
0,82
6
0,94
5
0,51
4
0,45
3
f1-score
2
Sales: reacciones qu\u00edmicas y aplicaciones
1
UPValenciaX-IQ101.6x-3T2018
Hipotesis
423
0,42
0,46
0,48
0,97
0,94
0,86
0,79
0,97
0,92
0,98
0,90
0,84
0,83
0,45
0,47
0,97
0,93
0,90
0,89
0,96
0,93
0,94
0,96
0,85
0,92
0,87
0,82
0,91
0,92
0,80
0,77
0,52
0,51
0,86
0,89
0,91
0,99
0,94
0,95
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,48
11bis
recall
0,99
0,97
10bis
0,94
0,87
0,94
0,91
0,96
9bis
0,89
0,51
0,96
0,98
0,90
8bis
0,83
0,93
7bis
0,42
0,99
0,98
6bis
0,85
0,52
0,89
5bis
0,97
0,48
0,94
4bis
0,80
0,79
0,97
3bis
0,81
0,90
0,89
11
0,94
0,94
0,85
10
0,94
0,94
0,44
9
0,91
0,91
0,74
8
0,83
0,83
0,94
7
0,46
0,78
0,86
6
0,78
0,79
0,75
5
0,94
0,91
0,97
4
0,85
0,95
0,45
3
0,79
0,90
0,51
2
0,94
0,97
f1-score
1
0,45
0,88
Sales: reacciones qu\u00edmicas y aplicaciones
Hipotesis
0,48
0,92
UPValenciaX-IQ101.6x-3T2018a
precision
0,88
11bis
0,85
10bis
0,89
0,47
9bis
0,94
0,43
8bis
0,86
0,72
7bis
0,43
0,86
6bis
0,82
0,94
5bis
0,86
0,89
4bis
0,96
0,94
3bis
0,97
0,87
11
0,94
0,74
10
0,90
0,76
9
0,94
0,95
8
0,97
0,97
7
0,43
0,52
6
0,91
0,43
5
0,94
0,54
4
0,83
0,43
3
0,84
recall
2
0,99
f1-score
1
0,46
Sustainability in Architecture: An Interdisciplinary Introduction
Hipotesis
0,50
0,94
UPValenciaX-ISA201x-1T2018
precision
0,94
11bis
0,79
0,94
0,50
10bis
0,94
0,81
0,94
0,92
9bis
0,87
0,95
0,87
0,77
8bis
0,89
0,94
0,45
0,89
7bis
0,47
0,95
0,95
0,86
6bis
0,72
0,49
0,86
0,74
5bis
0,94
0,96
0,96
0,94
4bis
0,86
0,75
0,91
0,98
3bis
0,86
0,49
0,90
0,55
11
0,92
recall
0,94
0,92
10
0,94
0,95
0,97
0,97
9
0,94
0,53
0,95
0,82
8
0,81
0,94
0,49
0,94
7
0,52
0,89
0,85
0,96
6
0,87
0,94
0,93
0,94
5
0,98
0,95
0,89
0,45
4
0,94
0,83
0,83
0,94
3
0,80
0,94
0,98
0,85
2
0,98
0,94
0,42
0,51
1
0,46
0,50
0,49
f1-score
Hipotesis
0,45
0,88
Sustainability in Architecture: An Interdisciplinary Introduction
precision
0,93
UPValenciaX-ISA201x-2T2018
recall
0,82
11bis
0,53
10bis
0,76
9bis
0,96
8bis
0,84
7bis
0,88
6bis
0,98
5bis
0,93
4bis
0,93
3bis
0,97
11
0,46
10
0,76
9
0,97
8
0,84
7
0,89
6
0,93
5
0,46
4
0,51
3
f1-score
2
Sustainability in Architecture: An Interdisciplinary Introduction
1
UPValenciaX-ISA201x-2T2019
Hipotesis
424
0,43
0,51
0,43
0,98
0,91
0,79
0,85
0,92
0,97
0,94
0,86
0,85
0,84
0,47
0,46
0,97
0,88
0,96
0,93
0,93
0,89
0,96
0,93
0,82
0,82
0,90
0,85
0,89
0,96
0,73
0,79
0,53
0,48
0,80
0,94
0,97
0,99
0,95
0,95
Anexo 5
precision
0,46
11bis
recall
0,91
0,96
10bis
0,94
0,93
0,89
0,89
0,85
9bis
0,95
0,43
0,86
0,89
0,83
8bis
0,89
0,96
7bis
0,43
0,83
0,91
6bis
0,88
0,50
0,83
5bis
0,89
0,48
0,92
4bis
0,92
0,79
0,94
3bis
0,87
0,90
0,94
11
0,93
0,94
0,83
10
0,93
0,90
0,43
9
0,94
0,95
0,75
8
0,94
0,85
0,94
7
0,44
0,87
0,85
6
0,83
0,75
0,87
5
0,95
0,90
0,98
4
0,87
0,94
0,50
3
0,85
0,94
0,46
2
0,90
0,96
f1-score
1
0,50
0,88
Information Systems and Computer Applications, Part 1: IT
Hipotesis
0,51
0,90
UPValenciaX-ISC101.1x-1T2017
precision
0,88
11bis
0,94
10bis
0,93
0,46
9bis
0,94
0,46
8bis
0,97
0,86
7bis
0,44
0,79
6bis
0,79
0,91
5bis
0,93
0,91
4bis
0,85
0,98
3bis
0,83
0,92
11
0,90
0,76
10
0,92
0,81
9
0,91
0,98
8
0,92
0,89
7
0,42
0,55
6
0,78
0,43
5
0,91
0,48
4
0,99
0,46
3
0,76
recall
2
0,93
f1-score
1
0,49
IT Fundamentals for Business Professionals: Enterprise Systems
Hipotesis
0,49
0,94
UPValenciaX-ISC101.1x-1T2018
precision
0,92
11bis
0,80
0,94
0,50
10bis
0,89
0,89
0,91
0,87
9bis
0,94
0,94
0,95
0,76
8bis
0,81
0,97
0,44
0,94
7bis
0,47
0,87
0,92
0,94
6bis
0,87
0,52
0,97
0,74
5bis
0,93
0,94
0,80
0,96
4bis
0,95
0,77
0,87
0,94
3bis
0,73
0,50
0,90
0,55
11
0,97
recall
0,91
0,88
10
0,94
0,96
0,94
0,96
9
0,92
0,53
0,94
0,77
8
0,88
0,90
0,43
0,82
7
0,52
0,93
0,78
0,97
6
0,77
0,92
0,89
0,90
5
0,94
0,98
0,84
0,53
4
0,89
0,78
0,83
0,94
3
0,87
0,90
0,97
0,89
2
0,89
0,89
0,46
0,47
1
0,53
0,43
0,50
f1-score
Hipotesis
0,54
0,89
IT Fundamentals for Business Professionals: Enterprise Systems
precision
0,92
UPValenciaX-ISC101.1x-1T2019
recall
0,98
11bis
0,50
10bis
0,89
9bis
0,89
8bis
0,90
7bis
0,76
6bis
0,99
5bis
0,98
4bis
0,90
3bis
0,84
11
0,44
10
0,87
9
0,89
8
0,94
7
0,77
6
0,98
5
0,47
4
0,46
3
f1-score
2
Information Systems and Computer Applications, Part 1: IT
1
UPValenciaX-ISC101.1x-3T2015
Hipotesis
425
0,43
0,47
0,46
0,90
0,94
0,77
0,85
0,89
0,99
0,97
0,94
0,78
0,82
0,46
0,46
0,97
0,98
0,98
0,92
0,98
0,93
0,91
0,95
0,79
0,81
0,94
0,95
0,96
0,98
0,79
0,86
0,47
0,43
0,79
0,89
0,96
0,96
0,96
0,94
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,54
11bis
recall
0,94
0,93
10bis
0,94
0,94
0,94
0,89
0,85
9bis
0,86
0,50
0,96
0,99
0,82
8bis
0,84
0,93
7bis
0,47
0,87
0,87
6bis
0,87
0,52
0,78
5bis
0,94
0,49
0,93
4bis
0,97
0,80
0,91
3bis
0,85
0,91
0,89
11
0,91
0,94
0,82
10
0,89
0,92
0,45
9
0,90
0,94
0,77
8
0,98
0,87
0,94
7
0,46
0,87
0,87
6
0,87
0,82
0,78
5
0,94
0,98
0,91
4
0,98
0,94
0,52
3
0,76
0,92
0,46
2
0,94
0,96
f1-score
1
0,46
0,97
Information Systems and Computer Applications, Part 2: Hardware
Hipotesis
0,44
0,88
UPValenciaX-ISC101.2x-1T2017
precision
0,83
11bis
0,92
10bis
0,96
0,55
9bis
0,92
0,49
8bis
0,88
0,86
7bis
0,51
0,75
6bis
0,86
0,92
5bis
0,94
0,87
4bis
0,94
0,97
3bis
0,89
0,94
11
0,98
0,83
10
0,90
0,82
9
0,94
0,95
8
0,90
0,95
7
0,49
0,46
6
0,77
0,50
5
0,88
0,52
4
0,90
0,48
3
0,76
recall
2
0,89
f1-score
1
0,43
IT Fundamentals for Business Professionals: Hardware
Hipotesis
0,44
0,98
UPValenciaX-ISC101.2x-1T2018
precision
0,91
11bis
0,87
0,97
0,53
10bis
0,93
0,85
0,96
0,94
9bis
0,97
0,99
0,91
0,75
8bis
0,79
0,89
0,47
0,96
7bis
0,49
0,88
0,85
0,80
6bis
0,87
0,47
0,94
0,72
5bis
0,89
0,90
0,82
0,92
4bis
0,90
0,77
0,82
0,95
3bis
0,73
0,54
0,94
0,54
11
0,97
recall
0,96
0,94
10
0,87
0,95
0,96
0,93
9
0,94
0,51
0,91
0,85
8
0,93
0,94
0,49
0,83
7
0,55
0,79
0,77
0,92
6
0,78
0,92
0,90
0,91
5
0,93
0,97
0,96
0,50
4
0,96
0,77
0,80
0,91
3
0,84
0,92
0,94
0,88
2
0,96
0,95
0,47
0,52
1
0,46
0,48
0,46
f1-score
Hipotesis
0,48
0,94
IT Fundamentals for Business Professionals: Hardware
precision
0,96
UPValenciaX-ISC101.2x-1T2019
recall
0,91
11bis
0,53
10bis
0,88
9bis
0,94
8bis
0,83
7bis
0,81
6bis
0,88
5bis
0,93
4bis
0,94
3bis
0,90
11
0,46
10
0,83
9
0,94
8
0,89
7
0,74
6
0,92
5
0,52
4
0,43
3
f1-score
2
Information Systems and Computer Applications, Part 2: Hardware
1
UPValenciaX-ISC101.2x-3T2015
Hipotesis
426
0,45
0,51
0,48
0,98
0,91
0,88
0,83
0,94
0,82
0,94
0,94
0,74
0,86
0,51
0,47
0,89
0,87
0,94
0,99
0,94
0,90
0,96
0,89
0,88
0,94
0,94
0,87
0,93
0,89
0,75
0,86
0,51
0,49
0,90
0,98
0,94
0,94
0,97
0,92
Anexo 5
precision
0,51
11bis
recall
0,89
0,88
10bis
0,91
0,97
0,93
0,89
0,96
9bis
0,98
0,46
0,89
0,96
0,74
8bis
0,91
0,89
7bis
0,48
0,89
0,94
6bis
0,87
0,53
0,85
5bis
0,94
0,45
0,94
4bis
0,92
0,87
0,99
3bis
0,83
0,80
0,91
11
0,94
0,94
0,89
10
0,94
0,87
0,51
9
0,89
0,95
0,80
8
0,83
0,94
0,92
7
0,51
0,82
0,89
6
0,83
0,88
0,88
5
0,94
0,90
0,93
4
0,96
0,99
0,49
3
0,78
0,90
0,51
2
0,89
0,94
f1-score
1
0,50
0,94
Information Systems and Computer Applications, Part 3: Software Development
Hipotesis
0,46
0,93
UPValenciaX-ISC101.3x-1T2017
precision
0,82
11bis
0,94
10bis
0,90
0,49
9bis
0,93
0,45
8bis
0,92
0,78
7bis
0,43
0,79
6bis
0,93
0,96
5bis
0,99
0,94
4bis
0,89
0,92
3bis
0,92
0,90
11
0,97
0,80
10
0,88
0,75
9
0,90
0,94
8
0,94
0,99
7
0,45
0,49
6
0,89
0,46
5
0,89
0,48
4
0,98
0,47
3
0,78
recall
2
0,94
f1-score
1
0,43
IT Fundamentals for Business Professionals: Software development
Hipotesis
0,46
0,88
UPValenciaX-ISC101.3x-1T2019
precision
0,94
11bis
0,91
0,94
0,54
10bis
0,87
0,75
0,93
0,93
9bis
0,92
0,90
0,98
0,84
8bis
0,94
0,94
0,44
0,94
7bis
0,48
0,98
0,87
0,89
6bis
0,84
0,47
0,94
0,77
5bis
0,87
0,94
0,94
0,94
4bis
0,87
0,84
0,80
0,97
3bis
0,87
0,51
0,98
0,49
11
0,94
recall
0,94
0,94
10
0,94
0,97
0,90
0,94
9
0,94
0,44
0,89
0,79
8
0,89
0,90
0,47
0,96
7
0,54
0,88
0,77
0,94
6
0,77
0,92
0,89
0,97
5
0,94
0,90
0,89
0,49
4
0,92
0,84
0,92
0,91
3
0,77
0,89
0,90
0,84
2
0,94
0,99
0,44
0,44
1
0,50
0,49
0,48
f1-score
Hipotesis
0,50
0,91
IT Fundamentals for Business Professionals: Software development
precision
0,94
UPValenciaX-ISC101.3x-2T2018
recall
0,94
11bis
0,46
10bis
0,83
9bis
0,96
8bis
0,94
7bis
0,80
6bis
0,92
5bis
0,96
4bis
0,93
3bis
0,83
11
0,51
10
0,86
9
0,89
8
0,94
7
0,82
6
0,91
5
0,44
4
0,49
3
f1-score
2
Information Systems and Computer Applications, Part 3: Software Development
1
UPValenciaX-ISC101.3x-3T2015
Hipotesis
427
0,41
0,54
0,49
0,93
0,98
0,73
0,92
0,97
0,93
0,92
0,94
0,83
0,77
0,54
0,44
0,96
0,94
0,94
0,89
0,94
0,95
0,94
0,97
0,73
0,95
0,94
0,91
0,94
0,93
0,88
0,79
0,45
0,43
0,89
0,88
0,95
0,96
0,94
0,94
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,52
11bis
recall
0,97
0,93
10bis
0,94
0,88
0,91
0,92
0,94
9bis
0,91
0,43
0,89
0,94
0,82
8bis
0,79
0,87
7bis
0,42
0,86
0,84
6bis
0,90
0,49
0,90
5bis
0,94
0,45
0,97
4bis
0,98
0,84
0,94
3bis
0,81
0,88
0,92
11
0,95
0,92
0,94
10
0,93
0,96
0,47
9
0,98
0,94
0,74
8
0,89
0,87
0,97
7
0,48
0,74
0,99
6
0,92
0,91
0,80
5
0,92
0,95
0,91
4
0,94
0,96
0,44
3
0,89
0,94
0,48
2
0,97
0,94
f1-score
1
0,50
0,94
Information Systems and Computer Applications, Part 4: Programming
Hipotesis
0,50
0,94
UPValenciaX-ISC101.4x-1T2017
precision
0,84
11bis
0,97
10bis
0,89
0,55
9bis
0,98
0,45
8bis
0,94
0,72
7bis
0,47
0,87
6bis
0,94
0,94
5bis
0,92
0,87
4bis
0,89
0,89
3bis
0,82
0,85
11
0,94
0,83
10
0,93
0,75
9
0,97
0,94
8
0,93
0,90
7
0,50
0,52
6
0,92
0,43
5
0,93
0,54
4
0,83
0,46
3
0,85
recall
2
0,91
f1-score
1
0,45
IT Fundamentals for Business Professionals: Programming
Hipotesis
0,47
0,91
UPValenciaX-ISC101.4x-1T2019
precision
0,93
11bis
0,89
0,94
0,55
10bis
0,94
0,81
0,97
0,94
9bis
0,94
0,95
0,88
0,76
8bis
0,85
0,99
0,48
0,96
7bis
0,50
0,88
0,91
0,91
6bis
0,73
0,48
0,94
0,73
5bis
0,92
0,93
0,82
0,98
4bis
0,93
0,80
0,95
0,97
3bis
0,78
0,52
0,94
0,54
11
0,98
recall
0,98
0,92
10
0,91
0,94
0,95
0,88
9
0,98
0,48
0,94
0,77
8
0,93
0,94
0,48
0,98
7
0,47
0,77
0,80
0,94
6
0,84
0,99
0,94
0,89
5
0,91
0,99
0,94
0,48
4
0,94
0,89
0,75
0,91
3
0,86
0,92
0,91
0,74
2
0,94
0,94
0,51
0,49
1
0,48
0,50
0,44
f1-score
Hipotesis
0,48
0,94
IT Fundamentals for Business Professionals: Programming
precision
0,96
UPValenciaX-ISC101.4x-2T2018
recall
0,91
11bis
0,47
10bis
0,77
9bis
0,90
8bis
0,96
7bis
0,79
6bis
0,93
5bis
0,99
4bis
0,95
3bis
0,83
11
0,49
10
0,80
9
0,91
8
0,94
7
0,87
6
0,89
5
0,48
4
0,51
3
f1-score
2
Information Systems and Computer Applications, Part 4: Programming
1
UPValenciaX-ISC101.4x-3T2015
Hipotesis
428
0,48
0,54
0,43
0,93
0,94
0,88
0,76
0,89
0,81
0,98
0,87
0,79
0,78
0,49
0,46
0,81
0,89
0,94
0,93
0,94
0,94
0,89
0,93
0,76
0,96
0,94
0,88
0,97
0,88
0,84
0,81
0,45
0,50
0,87
0,93
0,91
0,93
0,94
0,91
Anexo 5
precision
0,48
11bis
recall
0,91
0,94
10bis
0,88
0,94
0,96
0,94
0,94
9bis
0,96
0,48
0,94
0,96
0,87
8bis
0,95
0,94
7bis
0,50
0,89
0,87
6bis
0,90
0,45
0,86
5bis
0,96
0,51
0,96
4bis
0,83
0,82
0,90
3bis
0,81
0,74
0,93
11
0,93
0,94
0,91
10
0,94
0,94
0,49
9
0,90
0,88
0,74
8
0,93
0,92
0,94
7
0,44
0,84
0,88
6
0,90
0,81
0,90
5
0,89
0,97
0,94
4
0,89
0,95
0,49
3
0,81
0,96
0,44
2
0,89
0,97
f1-score
1
0,42
0,89
Information Systems and Computer Applications, Part 5: Social Implications
Hipotesis
0,49
0,94
UPValenciaX-ISC101.5x-1T2017
precision
0,84
11bis
0,88
10bis
0,98
0,53
9bis
0,98
0,50
8bis
0,84
0,73
7bis
0,43
0,76
6bis
0,90
0,90
5bis
0,94
0,94
4bis
0,89
0,94
3bis
0,91
0,94
11
0,93
0,72
10
0,98
0,78
9
0,94
0,95
8
0,86
0,94
7
0,43
0,48
6
0,80
0,47
5
0,95
0,45
4
0,88
0,48
3
0,84
recall
2
0,91
f1-score
1
0,42
IT Fundamentals for Business Professionals: Cybersecurity and social implications
Hipotesis
0,45
0,94
UPValenciaX-ISC101.5x-1T2019
precision
0,94
11bis
0,96
0,94
0,47
10bis
0,94
0,76
0,94
0,93
9bis
0,94
0,85
0,92
0,79
8bis
0,85
0,94
0,44
0,94
7bis
0,52
0,87
0,92
0,79
6bis
0,83
0,53
0,88
0,72
5bis
0,94
0,94
0,98
0,98
4bis
0,96
0,85
0,93
0,91
3bis
0,74
0,53
0,95
0,50
11
0,94
recall
0,91
0,97
10
0,90
0,88
0,90
0,94
9
0,96
0,50
0,96
0,78
8
0,89
0,91
0,50
0,83
7
0,53
0,86
0,85
0,94
6
0,78
0,94
0,91
0,94
5
0,94
0,86
0,84
0,44
4
0,96
0,89
0,84
0,94
3
0,76
0,93
0,94
0,76
2
0,94
0,91
0,46
0,47
1
0,54
0,45
0,43
f1-score
Hipotesis
0,49
0,88
IT Fundamentals for Business Professionals: Cybersecurity and social implications
precision
0,96
UPValenciaX-ISC101.5x-2T2018
recall
0,90
11bis
0,48
10bis
0,92
9bis
0,89
8bis
0,94
7bis
0,79
6bis
0,96
5bis
0,94
4bis
0,88
3bis
0,95
11
0,47
10
0,81
9
0,91
8
0,97
7
0,86
6
0,96
5
0,53
4
0,53
3
f1-score
2
Information Systems and Computer Applications, Part 5: Social Implications
1
UPValenciaX-ISC101.5x-3T2015
Hipotesis
429
0,50
0,55
0,41
0,90
0,94
0,75
0,89
0,89
0,93
0,91
0,98
0,79
0,87
0,55
0,49
0,88
0,91
0,90
0,94
0,95
0,94
0,90
0,94
0,82
0,95
0,94
0,90
0,94
0,96
0,86
0,88
0,55
0,46
0,79
0,91
0,86
0,94
0,94
0,94
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,50
11bis
recall
0,91
0,94
10bis
0,93
0,89
0,99
0,89
0,90
9bis
0,92
0,48
0,89
0,90
0,81
8bis
0,81
0,94
7bis
0,50
0,95
0,90
6bis
0,86
0,53
0,84
5bis
0,94
0,47
0,98
4bis
0,94
0,89
0,98
3bis
0,88
0,86
0,94
11
0,91
0,95
0,91
10
0,97
0,94
0,52
9
0,96
0,96
0,77
8
0,97
0,94
0,94
7
0,42
0,86
0,88
6
0,77
0,86
0,90
5
0,87
0,89
0,98
4
0,92
0,94
0,44
3
0,83
0,87
0,46
2
0,98
0,97
f1-score
1
0,46
0,89
Measure and Improve Innovation at the Workplace
Hipotesis
0,48
0,99
UPValenciaX-LEADER201.4x-3T2018
precision
0,88
11bis
0,94
10bis
0,94
0,52
9bis
0,96
0,46
8bis
0,94
0,81
7bis
0,49
0,90
6bis
0,85
0,95
5bis
0,94
0,88
4bis
0,95
0,91
3bis
0,79
0,94
11
0,92
0,75
10
0,97
0,74
9
0,94
0,98
8
0,85
0,97
7
0,50
0,52
6
0,80
0,47
5
0,89
0,49
4
0,98
0,46
3
0,90
recall
2
0,94
f1-score
1
0,50
Measure and Improve Innovation at the Workplace
Hipotesis
0,44
0,87
UPValenciaX-LEADER201.4x3T2018a
precision
0,93
11bis
0,92
0,97
0,51
10bis
0,88
0,78
0,89
0,94
9bis
0,94
0,90
0,92
0,87
8bis
0,91
0,94
0,47
0,92
7bis
0,45
0,94
0,87
0,96
6bis
0,84
0,53
0,99
0,82
5bis
0,96
0,96
0,81
0,91
4bis
0,90
0,85
0,84
0,96
3bis
0,85
0,49
0,94
0,54
11
0,89
recall
0,91
0,94
10
0,88
0,89
0,94
0,94
9
0,86
0,51
0,94
0,76
8
0,91
0,89
0,43
0,97
7
0,45
0,92
0,76
0,94
6
0,82
0,90
0,95
0,95
5
0,93
0,86
0,86
0,47
4
0,96
0,78
0,81
0,94
3
0,82
0,92
0,97
0,77
2
0,94
0,97
0,51
0,52
1
0,46
0,45
0,47
f1-score
Hipotesis
0,54
0,98
Measure and Improve Innovation at the Workplace
precision
0,90
UPValenciaX-LEADER201.4x-3T2019
recall
0,83
11bis
0,52
10bis
0,89
9bis
0,90
8bis
0,86
7bis
0,79
6bis
0,96
5bis
0,98
4bis
0,90
3bis
0,87
11
0,44
10
0,86
9
0,93
8
0,94
7
0,86
6
0,92
5
0,44
4
0,51
3
f1-score
2
Liderazgo para mandos intermedios
1
UPValenciaX-LIDER201.3x-2T2017
Hipotesis
430
0,43
0,51
0,46
0,90
0,95
0,76
0,83
0,91
0,89
0,94
0,90
0,79
0,88
0,45
0,45
0,96
0,84
0,94
0,92
0,94
0,94
0,92
0,89
0,74
0,79
0,94
0,95
0,92
0,88
0,82
0,87
0,46
0,45
0,97
0,96
0,98
0,96
0,87
0,90
Anexo 5
precision
0,47
11bis
recall
0,88
0,92
10bis
0,90
0,94
0,94
0,90
0,97
9bis
0,96
0,53
0,95
0,88
0,91
8bis
0,93
0,92
7bis
0,47
0,84
0,97
6bis
0,85
0,53
0,93
5bis
0,94
0,44
0,94
4bis
0,88
0,80
0,94
3bis
0,93
0,84
0,95
11
0,91
0,88
0,93
10
0,94
0,92
0,45
9
0,94
0,94
0,86
8
0,90
0,93
0,91
7
0,42
0,81
0,94
6
0,87
0,76
0,83
5
0,94
0,94
0,94
4
0,91
0,91
0,48
3
0,83
0,95
0,52
2
0,96
0,97
f1-score
1
0,49
0,94
Liderazgo para mandos intermedios
Hipotesis
0,43
0,97
UPValenciaX-LIDER201.3x-2T2019
precision
0,92
11bis
0,99
10bis
0,89
0,55
9bis
0,91
0,47
8bis
0,94
0,75
7bis
0,50
0,86
6bis
0,84
0,94
5bis
0,93
0,94
4bis
0,94
0,95
3bis
0,95
0,94
11
0,96
0,72
10
0,88
0,91
9
0,94
0,95
8
0,94
0,95
7
0,50
0,50
6
0,89
0,46
5
0,93
0,55
4
0,98
0,51
3
0,82
recall
2
0,93
f1-score
1
0,50
Liderazgo para mandos intermedios
Hipotesis
0,44
0,88
UPValenciaX-LIDER201.3x-2T_2018
precision
0,88
11bis
0,87
0,94
0,50
10bis
0,95
0,84
0,97
0,88
9bis
0,89
0,93
0,89
0,89
8bis
0,95
0,99
0,50
0,93
7bis
0,54
0,88
0,95
0,81
6bis
0,78
0,48
0,93
0,79
5bis
0,94
0,94
0,83
0,89
4bis
0,92
0,74
0,90
0,95
3bis
0,73
0,48
0,95
0,48
11
0,94
recall
0,97
0,90
10
0,95
0,91
0,91
0,96
9
0,94
0,45
0,92
0,91
8
0,97
0,98
0,44
0,84
7
0,52
0,89
0,79
0,97
6
0,86
0,91
0,86
0,96
5
0,95
0,93
0,83
0,51
4
0,92
0,75
0,81
0,95
3
0,81
0,91
0,95
0,89
2
0,89
0,90
0,45
0,44
1
0,47
0,45
0,46
f1-score
Hipotesis
0,48
0,91
Liderazgo para mandos intermedios
precision
0,90
UPValenciaX-LIDER201.3x-3T2017
recall
0,83
11bis
0,48
10bis
0,79
9bis
0,95
8bis
0,89
7bis
0,84
6bis
0,94
5bis
0,92
4bis
0,93
3bis
0,90
11
0,50
10
0,84
9
0,91
8
0,94
7
0,76
6
0,89
5
0,51
4
0,44
3
f1-score
2
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
1
UPValenciaX-LIDER201.4x-2T2017
Hipotesis
431
0,51
0,51
0,43
0,94
0,94
0,75
0,84
0,88
0,95
0,94
0,93
0,80
0,79
0,49
0,47
0,93
0,92
0,93
0,88
0,90
0,94
0,94
0,94
0,73
0,80
0,86
0,95
0,94
0,92
0,77
0,92
0,46
0,43
0,94
0,88
0,96
0,93
0,94
0,94
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,46
11bis
recall
0,95
0,91
10bis
0,91
0,94
0,95
0,92
0,95
9bis
0,98
0,43
0,90
0,94
0,83
8bis
0,95
0,94
7bis
0,49
0,93
0,87
6bis
0,90
0,45
0,87
5bis
0,99
0,52
0,94
4bis
0,93
0,81
0,93
3bis
0,90
0,82
0,96
11
0,96
0,94
0,99
10
0,94
0,90
0,46
9
0,91
0,95
0,73
8
0,94
0,92
0,88
7
0,49
0,74
0,86
6
0,85
0,78
0,81
5
0,87
0,94
0,92
4
0,94
0,89
0,44
3
0,89
0,94
0,49
2
0,89
0,93
f1-score
1
0,45
0,94
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
Hipotesis
0,48
0,87
UPValenciaX-LIDER201.4x-3T2017
precision
0,86
11bis
0,91
10bis
0,94
0,47
9bis
0,96
0,48
8bis
0,85
0,76
7bis
0,44
0,78
6bis
0,79
0,96
5bis
0,87
0,95
4bis
0,85
0,97
3bis
0,96
0,91
11
0,97
0,87
10
0,96
0,86
9
0,94
0,90
8
0,91
0,93
7
0,45
0,50
6
0,79
0,49
5
0,94
0,47
4
0,84
0,43
3
0,89
recall
2
0,90
f1-score
1
0,44
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
Hipotesis
0,44
0,92
UPValenciaX-LIDER201.4x-3T2019
precision
0,94
11bis
0,95
0,95
0,53
10bis
0,94
0,74
0,99
0,90
9bis
0,87
0,91
0,94
0,85
8bis
0,91
0,89
0,51
0,91
7bis
0,50
0,90
0,94
0,92
6bis
0,77
0,51
0,87
0,86
5bis
0,95
0,92
0,83
0,89
4bis
0,95
0,77
0,83
0,95
3bis
0,77
0,45
0,89
0,48
11
0,89
recall
0,92
0,95
10
0,93
0,94
0,97
0,97
9
0,89
0,53
0,93
0,84
8
0,93
0,87
0,51
0,89
7
0,48
0,90
0,85
0,98
6
0,85
0,89
0,87
0,93
5
0,91
0,98
0,84
0,46
4
0,94
0,82
0,79
0,87
3
0,80
0,91
0,94
0,74
2
0,94
0,96
0,49
0,46
1
0,49
0,47
0,50
f1-score
Hipotesis
0,49
0,94
C\u00f3mo diagnosticar mis competencias de innovaci\u00f3n
precision
0,94
UPValenciaX-LIDER201.4x-3T_2018
recall
0,85
11bis
0,44
10bis
0,90
9bis
0,87
8bis
0,92
7bis
0,83
6bis
0,90
5bis
0,94
4bis
0,94
3bis
0,85
11
0,49
10
0,74
9
0,90
8
0,86
7
0,87
6
0,94
5
0,45
4
0,46
3
f1-score
2
Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n
1
UPValenciaX-MCAP101x-3T2017
Hipotesis
432
0,47
0,49
0,45
0,94
0,94
0,87
0,78
0,97
0,98
0,91
0,89
0,79
0,88
0,48
0,49
0,94
0,90
0,90
0,95
0,96
0,89
0,90
0,91
0,83
0,84
0,88
0,94
0,94
0,86
0,79
0,81
0,45
0,47
0,91
0,95
0,94
0,93
0,88
0,89
Anexo 5
precision
0,55
11bis
recall
0,88
0,91
10bis
0,94
0,98
0,98
0,94
0,86
9bis
0,86
0,49
0,93
0,90
0,84
8bis
0,79
0,89
7bis
0,46
0,93
0,95
6bis
0,82
0,50
0,92
5bis
0,91
0,49
0,97
4bis
0,97
0,81
0,97
3bis
0,94
0,89
0,96
11
0,94
0,99
0,93
10
0,90
0,87
0,48
9
0,91
0,87
0,89
8
0,83
0,85
0,93
7
0,48
0,72
0,86
6
0,88
0,92
0,74
5
0,94
0,99
0,89
4
0,85
0,89
0,47
3
0,78
0,92
0,47
2
0,96
0,88
f1-score
1
0,47
0,86
Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n
Hipotesis
0,42
0,94
UPValenciaX-MCAP101x-3T2017a
precision
0,93
11bis
0,99
10bis
0,92
0,49
9bis
0,93
0,46
8bis
0,91
0,77
7bis
0,49
0,78
6bis
0,93
0,99
5bis
0,94
0,94
4bis
0,96
0,94
3bis
0,86
0,90
11
0,89
0,84
10
0,88
0,82
9
0,99
0,90
8
0,92
0,94
7
0,45
0,47
6
0,92
0,46
5
0,96
0,54
4
0,86
0,50
3
0,86
recall
2
0,94
f1-score
1
0,46
Microc\u00e1psulas: Aplicaci\u00f3n y Caracterizaci\u00f3n
Hipotesis
0,49
0,94
UPValenciaX-MCAP101x-3T2018
precision
0,88
11bis
0,82
0,94
0,50
10bis
0,94
0,87
0,91
0,94
9bis
0,95
0,88
0,86
0,75
8bis
0,80
0,90
0,48
0,95
7bis
0,47
0,86
0,88
0,95
6bis
0,78
0,50
0,93
0,76
5bis
0,95
0,90
0,94
0,89
4bis
0,91
0,81
0,92
0,94
3bis
0,82
0,48
0,96
0,51
11
0,94
recall
0,94
0,88
10
0,89
0,95
0,99
0,98
9
0,94
0,52
0,84
0,87
8
0,91
0,96
0,43
0,96
7
0,49
0,92
0,78
0,97
6
0,77
0,94
0,89
0,94
5
0,98
0,81
0,90
0,51
4
0,88
0,83
0,77
0,90
3
0,74
0,88
0,94
0,78
2
0,98
0,99
0,43
0,44
1
0,52
0,44
0,46
f1-score
Hipotesis
0,45
0,94
M\u00e9todos num\u00e9ricos para matem\u00e1ticas con Octave
precision
0,88
UPValenciaX-MMO201x-3T2019
recall
0,85
11bis
0,48
10bis
0,80
9bis
0,94
8bis
0,94
7bis
0,89
6bis
0,94
5bis
0,92
4bis
0,89
3bis
0,87
11
0,49
10
0,91
9
0,90
8
0,90
7
0,73
6
0,89
5
0,44
4
0,52
3
f1-score
2
Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3
1
UPValenciaX-MP3201x-2T2017
Hipotesis
433
0,46
0,54
0,49
0,91
0,90
0,73
0,86
0,88
0,92
0,93
0,89
0,78
0,90
0,55
0,51
0,82
0,94
0,88
0,96
0,97
0,94
0,89
0,96
0,77
0,83
0,91
0,90
0,92
0,91
0,83
0,88
0,45
0,41
0,90
0,97
0,90
0,94
0,92
0,89
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,50
11bis
recall
0,92
0,94
10bis
0,87
0,96
0,92
0,94
0,96
9bis
0,92
0,52
0,87
0,91
0,86
8bis
0,80
0,94
7bis
0,50
0,91
0,84
6bis
0,82
0,49
0,81
5bis
0,99
0,52
0,89
4bis
0,87
0,86
0,97
3bis
0,82
0,75
0,94
11
0,97
0,89
0,90
10
0,89
0,91
0,51
9
0,94
0,89
0,77
8
0,97
0,86
0,94
7
0,50
0,73
0,89
6
0,83
0,88
0,76
5
0,94
0,94
0,94
4
0,99
0,91
0,46
3
0,75
0,92
0,44
2
0,89
0,96
f1-score
1
0,43
0,94
Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3
Hipotesis
0,43
0,95
UPValenciaX-MP3201x-3T2017
precision
0,83
11bis
0,93
10bis
0,90
0,52
9bis
0,94
0,50
8bis
0,93
0,76
7bis
0,48
0,79
6bis
0,91
0,89
5bis
0,92
0,95
4bis
0,85
0,91
3bis
0,93
0,89
11
0,94
0,87
10
0,97
0,87
9
0,93
0,94
8
0,98
0,90
7
0,50
0,49
6
0,88
0,45
5
0,94
0,53
4
0,93
0,53
3
0,81
recall
2
0,94
f1-score
1
0,46
Codificaci\u00f3n de audio: M\u00e1s all\u00e1 del MP3
Hipotesis
0,47
0,94
UPValenciaX-MP3201x-3T2018
precision
0,91
11bis
0,79
0,91
0,55
10bis
0,98
0,72
0,92
0,87
9bis
0,94
0,86
0,94
0,73
8bis
0,88
0,94
0,49
0,93
7bis
0,49
0,94
0,94
0,84
6bis
0,79
0,53
0,94
0,79
5bis
0,94
0,92
0,94
0,94
4bis
0,91
0,88
0,86
0,99
3bis
0,76
0,45
0,94
0,47
11
0,97
recall
0,99
0,88
10
0,94
0,94
0,97
0,94
9
0,99
0,46
0,95
0,82
8
0,87
0,94
0,46
0,94
7
0,50
0,82
0,81
0,93
6
0,72
0,94
0,91
0,97
5
0,98
0,81
0,85
0,49
4
0,90
0,75
0,87
0,94
3
0,80
0,90
0,94
0,80
2
0,97
0,93
0,47
0,48
1
0,46
0,49
0,45
f1-score
Hipotesis
0,50
0,90
ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible
precision
0,94
UPValenciaX-ODS101x-1T2018
recall
0,97
11bis
0,46
10bis
0,88
9bis
0,95
8bis
0,93
7bis
0,81
6bis
0,93
5bis
0,96
4bis
0,89
3bis
0,94
11
0,49
10
0,85
9
0,95
8
0,96
7
0,77
6
0,91
5
0,44
4
0,52
3
f1-score
2
ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible
1
UPValenciaX-ODS101x-1T2019
Hipotesis
434
0,45
0,45
0,50
0,94
0,99
0,80
0,88
0,96
0,92
0,89
0,93
0,76
0,79
0,53
0,47
0,83
0,96
0,94
0,90
0,96
0,89
0,92
0,89
0,87
0,79
0,94
0,89
0,87
0,94
0,72
0,95
0,52
0,44
0,79
0,97
0,90
0,94
0,94
0,94
Anexo 5
precision
0,55
11bis
recall
0,94
0,91
10bis
0,96
0,94
0,93
0,90
0,89
9bis
0,90
0,45
0,89
0,89
0,85
8bis
0,97
0,91
7bis
0,47
0,91
0,97
6bis
0,93
0,51
0,89
5bis
0,96
0,44
0,94
4bis
0,96
0,81
0,94
3bis
0,83
0,84
0,99
11
0,97
0,97
0,86
10
0,89
0,88
0,45
9
0,89
0,91
0,74
8
0,89
0,94
0,94
7
0,42
0,85
0,83
6
0,90
0,91
0,80
5
0,87
0,94
0,94
4
0,89
0,89
0,43
3
0,76
0,94
0,43
2
0,90
0,94
f1-score
1
0,49
0,94
ODS en la Agenda 2030 de las Naciones Unidas:\u00a0Retos de los Objetivos de Desarrollo Sostenible
Hipotesis
0,50
0,93
UPValenciaX-ODS101x-3T2017
precision
0,81
11bis
0,84
10bis
0,94
0,48
9bis
0,94
0,48
8bis
0,98
0,87
7bis
0,49
0,78
6bis
0,92
0,94
5bis
0,86
0,90
4bis
0,87
0,88
3bis
0,94
0,89
11
0,90
0,83
10
0,88
0,80
9
0,89
0,93
8
0,94
0,97
7
0,46
0,47
6
0,85
0,44
5
0,94
0,49
4
0,98
0,46
3
0,93
recall
2
0,95
f1-score
1
0,42
Dise\u00f1a presentaciones eficaces con Powerpoint
Hipotesis
0,42
0,95
UPValenciaX-PPT101x-2T2017
precision
0,94
11bis
0,96
0,92
0,46
10bis
0,88
0,73
0,98
0,94
9bis
0,86
0,89
0,84
0,76
8bis
0,93
0,92
0,43
0,92
7bis
0,47
0,97
0,81
0,89
6bis
0,85
0,55
0,94
0,78
5bis
0,91
0,93
0,83
0,94
4bis
0,94
0,75
0,92
0,94
3bis
0,75
0,48
0,93
0,53
11
0,94
recall
0,94
0,94
10
0,89
0,88
0,92
0,94
9
0,86
0,45
0,99
0,80
8
0,89
0,88
0,48
0,90
7
0,45
0,87
0,86
0,96
6
0,76
0,91
0,87
0,94
5
0,90
0,81
0,88
0,45
4
0,93
0,80
0,89
0,94
3
0,71
0,85
0,94
0,76
2
0,91
0,93
0,46
0,44
1
0,45
0,51
0,46
f1-score
Hipotesis
0,52
0,88
Dise\u00f1a presentaciones eficaces con Powerpoint
precision
0,96
UPValenciaX-PPT101x-3T2017
recall
0,89
11bis
0,50
10bis
0,88
9bis
0,90
8bis
0,84
7bis
0,81
6bis
0,95
5bis
0,94
4bis
0,88
3bis
0,88
11
0,49
10
0,87
9
0,89
8
0,90
7
0,79
6
0,97
5
0,50
4
0,46
3
f1-score
2
Dise\u00f1a presentaciones eficaces con Powerpoint
1
UPValenciaX-PPT101x-3T2018
Hipotesis
435
0,44
0,54
0,44
0,94
0,98
0,78
0,77
0,88
0,96
0,90
0,93
0,79
0,80
0,51
0,47
0,95
0,94
0,89
0,94
0,94
0,94
0,95
0,94
0,85
0,87
0,91
0,84
0,94
0,92
0,78
0,93
0,54
0,51
0,79
0,94
0,94
0,92
0,98
0,88
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,51
11bis
recall
0,91
0,88
10bis
0,93
0,91
0,89
0,96
0,96
9bis
0,88
0,47
0,93
0,94
0,81
8bis
0,95
0,94
7bis
0,43
0,95
0,99
6bis
0,82
0,54
0,88
5bis
0,94
0,49
0,97
4bis
0,85
0,79
0,94
3bis
0,89
0,87
0,88
11
0,94
0,94
0,84
10
0,96
0,94
0,50
9
0,98
0,93
0,90
8
0,96
0,88
0,91
7
0,43
0,78
0,97
6
0,90
0,93
0,83
5
0,88
0,89
0,93
4
0,94
0,89
0,43
3
0,82
0,94
0,51
2
0,97
0,89
f1-score
1
0,42
0,90
Retos agricultura y alimentaci\u00f3n en el s.XXI
Hipotesis
0,43
0,99
UPValenciaX-RA201x-1T2015
precision
0,88
11bis
0,98
10bis
0,88
0,52
9bis
0,95
0,51
8bis
0,94
0,80
7bis
0,48
0,75
6bis
0,91
0,94
5bis
0,86
0,90
4bis
0,93
0,96
3bis
0,92
0,94
11
0,90
0,88
10
0,89
0,86
9
0,94
0,97
8
0,84
0,94
7
0,44
0,50
6
0,83
0,44
5
0,95
0,50
4
0,82
0,49
3
0,92
recall
2
0,94
f1-score
1
0,50
Retos agricultura y alimentaci\u00f3n en el s.XXI
Hipotesis
0,44
0,97
UPValenciaX-RA201x-2T2016
precision
0,93
11bis
0,82
0,94
0,45
10bis
0,94
0,75
0,91
0,89
9bis
0,89
0,89
0,86
0,77
8bis
0,80
0,94
0,49
0,94
7bis
0,50
0,89
0,93
0,80
6bis
0,79
0,54
0,91
0,80
5bis
0,91
0,96
0,98
0,94
4bis
0,87
0,88
0,91
0,92
3bis
0,88
0,48
0,96
0,54
11
0,93
recall
0,94
0,94
10
0,92
0,96
0,93
0,82
9
0,87
0,49
0,94
0,89
8
0,82
0,93
0,46
0,83
7
0,49
0,89
0,92
0,97
6
0,76
0,94
0,95
0,91
5
0,97
0,83
0,93
0,48
4
0,88
0,74
0,85
0,88
3
0,81
0,94
0,93
0,78
2
0,89
0,97
0,50
0,48
1
0,49
0,46
0,44
f1-score
Hipotesis
0,48
0,95
Radio para internet con Podcast: creaci\u00f3n y conceptos b\u00e1sicos
precision
0,94
UPValenciaX-RADIO101x-3T2018
recall
0,90
11bis
0,50
10bis
0,77
9bis
0,94
8bis
0,88
7bis
0,85
6bis
0,98
5bis
0,91
4bis
0,88
3bis
0,85
11
0,50
10
0,87
9
0,93
8
0,98
7
0,82
6
0,90
5
0,44
4
0,52
3
f1-score
2
Radio para internet con Podcast: creaci\u00f3n y conceptos b\u00e1sicos
1
UPValenciaX-RADIO101x-3T2018a
Hipotesis
436
precision
0,45
0,45
0,48
0,49
0,92
0,94
0,87
0,81
0,96
0,95
0,91
0,94
0,80
0,85
0,46
0,46
0,96
0,86
0,94
0,99
0,94
0,94
0,90
0,97
0,72
0,81
0,94
0,91
0,94
0,90
0,78
0,88
0,53
0,50
0,94
0,94
0,88
0,98
0,96
0,98
0,94
Anexo 5
recall
0,94
11bis
0,83
10bis
0,95
0,45
9bis
0,94
0,89
8bis
0,94
0,90
7bis
0,43
0,86
6bis
0,90
0,85
5bis
0,96
0,99
4bis
0,94
0,91
3bis
0,85
0,94
11
0,94
0,88
10
0,92
0,44
9
0,97
0,86
8
0,99
0,91
7
0,45
0,94
6
0,85
0,81
5
0,87
0,94
4
0,92
0,90
0,51
3
0,89
0,89
0,51
2
0,92
0,97
f1-score
1
0,45
0,94
Introducci\u00f3n a las radiocomunicaciones
Hipotesis
0,43
0,92
UPValenciaX-RADIOCOM101x2T2019
precision
0,90
0,98
11bis
0,45
0,96
10bis
0,48
9bis
0,77
0,97
0,91
8bis
0,91
0,46
0,87
7bis
0,94
0,89
0,98
6bis
0,75
0,95
0,76
0,89
5bis
0,89
4bis
0,94
0,91
0,94
3bis
0,99
0,94
0,94
11
0,91
0,88
0,92
10
0,85
0,89
0,54
9
0,45
0,94
0,83
8
0,80
0,50
0,98
7
0,92
0,85
0,93
6
0,94
0,87
0,72
5
0,90
0,83
0,94
4
0,96
0,79
0,47
3
0,43
0,94
0,48
2
0,45
0,47
recall
1
f1-score
0,50
Introducci\u00f3n a las radiocomunicaciones
Hipotesis
UPValenciaX-RADIOCOM101x3T2019
precision
11bis
0,90
0,94
0,94
10bis
0,96
0,92
0,94
0,52
9bis
0,94
0,79
0,94
0,94
8bis
0,89
0,91
0,45
0,86
7bis
0,55
0,94
0,90
0,99
6bis
0,84
0,97
0,93
0,95
5bis
0,92
0,47
0,80
0,81
4bis
0,85
0,89
0,84
0,93
3bis
0,87
0,81
0,92
0,97
11
0,96
0,51
0,92
0,54
10
0,94
recall
0,98
0,91
9
0,94
0,88
0,91
0,94
0,93
8
0,86
0,92
0,53
0,46
0,96
0,80
7
0,49
0,47
0,95
0,92
0,76
0,94
6
0,85
0,92
0,81
0,95
0,94
0,97
5
0,94
0,86
0,94
0,99
0,94
0,87
4
0,94
0,96
0,83
0,93
0,89
0,45
3
0,75
0,97
0,81
0,89
0,51
0,94
2
0,93
0,78
0,87
0,48
0,94
0,83
1
0,53
0,88
0,90
0,50
0,77
0,43
Hipotesis
0,48
0,93
0,47
precision
0,43
f1-score
recall
0,49
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
f1-score
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
UPValenciaX-RDO301x-1T2017
UPValenciaX-RDO301x-1T2018
437
Hipotesis
0,45
1
0,45
2
0,95
3
0,90
4
0,95
5
0,90
6
0,76
7
0,47
8
0,84
9
0,94
10
0,94
11
0,96
3bis
0,85
4bis
0,99
5bis
0,86
6bis
0,88
7bis
0,50
8bis
0,93
9bis
0,94
10bis
0,94
0,93
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,89
11bis
0,90
0,94
0,55
10bis
0,95
0,81
0,98
0,92
9bis
0,90
0,89
0,87
0,80
8bis
0,95
0,89
0,49
0,94
7bis
0,47
0,96
0,87
0,97
6bis
0,87
0,50
0,94
0,81
5bis
0,94
0,97
0,84
0,90
4bis
0,94
0,87
0,81
0,92
3bis
0,73
0,48
0,94
0,49
11
0,94
recall
0,94
0,94
10
0,97
0,89
0,94
0,82
9
0,95
0,50
0,99
0,78
8
0,96
0,94
0,46
0,89
7
0,50
0,78
0,85
0,93
6
0,87
0,94
0,94
0,94
5
0,93
0,84
0,89
0,50
4
0,92
0,85
0,90
0,94
3
0,80
0,85
0,98
0,81
2
0,94
0,96
0,44
0,44
1
0,51
0,50
0,45
f1-score
Hipotesis
0,55
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
precision
0,93
UPValenciaX-RDO301x-1T2019
recall
0,91
11bis
0,94
10bis
0,95
0,45
9bis
0,90
0,80
8bis
0,92
0,88
7bis
0,46
0,98
6bis
0,78
0,93
5bis
0,92
0,89
4bis
0,93
0,92
3bis
0,81
0,90
11
0,89
0,95
10
0,94
0,48
9
0,94
0,82
8
0,86
0,98
7
0,42
0,94
6
0,90
0,78
5
0,96
0,94
4
0,95
0,52
3
0,90
0,53
2
0,96
f1-score
1
0,45
0,93
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
Hipotesis
0,47
0,92
UPValenciaX-RDO301x-2016_T2
precision
0,87
0,89
11bis
0,90
0,89
10bis
0,84
9bis
0,88
0,91
0,52
8bis
0,49
0,49
0,86
7bis
0,75
0,94
0,94
6bis
0,91
0,95
0,91
0,93
5bis
0,97
4bis
0,82
0,81
0,80
3bis
0,91
0,98
0,99
11
0,96
0,92
0,94
10
0,97
0,91
0,94
9
0,95
0,97
0,90
0,87
0,99
0,99
8
0,89
0,97
0,51
0,41
0,48
0,90
0,46
7
0,78
0,49
0,77
0,84
0,93
0,80
0,89
6
0,95
0,94
0,94
0,87
0,72
0,83
0,95
5
0,94
0,78
0,90
0,93
0,94
0,94
0,94
4
0,89
0,90
0,87
0,79
0,90
0,91
0,89
3
0,50
0,82
0,95
0,97
0,88
0,45
0,94
2
0,93
0,75
0,47
0,49
0,96
0,94
0,45
1
0,76
0,94
0,49
0,43
0,94
0,84
0,46
Hipotesis
0,51
0,95
recall
precision
0,45
0,48
f1-score
recall
0,50
Redes de difracci\u00f3n en comunicaciones \u00f3pticas
f1-score
Sonido Espacial y 3D
UPValenciaX-RDO301x-3T2016
UPValenciaX-S3D201x-1T2017
438
Hipotesis
0,47
1
0,48
2
0,89
3
0,86
4
0,95
5
0,92
6
0,77
7
0,42
8
0,94
9
0,93
10
0,94
11
0,90
3bis
0,83
4bis
0,82
5bis
0,94
6bis
0,81
7bis
0,49
8bis
0,90
9bis
0,98
10bis
0,88
0,94
11bis
Anexo 5
precision
0,94
11bis
0,82
0,89
0,54
10bis
0,93
0,73
0,94
0,88
9bis
0,89
0,85
0,88
0,80
8bis
0,91
0,93
0,43
0,93
7bis
0,46
0,94
0,95
0,88
6bis
0,85
0,51
0,95
0,78
5bis
0,94
0,92
0,81
0,89
4bis
0,97
0,88
0,80
0,93
3bis
0,85
0,50
0,93
0,54
11
0,95
recall
0,89
0,90
10
0,94
0,93
0,89
0,95
9
0,89
0,50
0,87
0,87
8
0,82
0,97
0,41
0,93
7
0,50
0,76
0,88
0,94
6
0,88
0,94
0,99
0,97
5
0,94
0,82
0,92
0,45
4
0,94
0,86
0,78
0,94
3
0,77
0,89
0,96
0,89
2
0,89
0,93
0,46
0,48
1
0,48
0,47
0,47
f1-score
Hipotesis
0,49
Sonido Espacial y 3D
precision
0,94
UPValenciaX-S3D201x-2T2017
recall
0,94
11bis
0,84
10bis
0,92
0,50
9bis
0,96
0,75
8bis
0,95
0,97
7bis
0,41
0,87
6bis
0,81
0,80
5bis
0,94
0,91
4bis
0,88
0,94
3bis
0,92
0,93
11
0,89
0,83
10
0,94
0,52
9
0,89
0,83
8
0,87
0,96
7
0,46
0,91
6
0,90
0,75
5
0,86
0,92
4
0,94
0,48
3
0,93
0,46
2
0,94
f1-score
1
0,49
0,94
Sonido Espacial y 3D
Hipotesis
0,45
0,88
UPValenciaX-S3D201x-2T2018
precision
0,90
0,92
11bis
0,94
0,98
10bis
0,80
9bis
0,89
0,97
0,47
8bis
0,51
0,42
0,89
7bis
0,78
0,92
0,91
6bis
0,93
0,94
0,98
0,85
5bis
0,97
4bis
0,87
0,97
0,85
3bis
0,97
0,95
0,94
11
0,88
0,90
0,89
10
0,88
0,96
0,99
9
0,94
0,88
0,98
0,98
0,96
0,97
8
0,81
0,87
0,54
0,46
0,48
0,88
0,46
7
0,89
0,51
0,72
0,87
0,89
0,74
0,83
6
0,96
0,94
0,95
0,91
0,78
0,83
0,95
5
0,91
0,76
0,94
0,99
0,89
0,90
0,88
4
0,87
0,94
0,74
0,87
0,90
0,90
0,85
3
0,54
0,89
0,94
0,94
0,77
0,45
0,94
2
0,96
0,80
0,49
0,47
0,93
0,94
0,45
1
0,78
0,84
0,51
0,50
0,91
0,74
0,49
Hipotesis
0,45
0,89
recall
precision
0,50
0,50
f1-score
recall
0,43
Sonido Espacial y 3D
f1-score
Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales
UPValenciaX-S3D201x-2T2019
UPValenciaX-SIC101.1x-1T2018
439
Hipotesis
0,42
1
0,47
2
0,94
3
0,76
4
0,93
5
0,92
6
0,88
7
0,41
8
0,83
9
0,93
10
0,94
11
0,92
3bis
0,95
4bis
0,86
5bis
0,94
6bis
0,82
7bis
0,47
8bis
0,85
9bis
0,94
10bis
0,96
0,89
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,92
11bis
0,81
0,90
0,49
10bis
0,94
0,86
0,93
0,98
9bis
0,95
0,99
0,88
0,78
8bis
0,84
0,94
0,42
0,90
7bis
0,52
0,94
0,80
0,89
6bis
0,83
0,51
0,93
0,78
5bis
0,95
0,98
0,98
0,88
4bis
0,99
0,79
0,81
0,95
3bis
0,83
0,50
0,91
0,47
11
0,94
recall
0,93
0,99
10
0,93
0,91
0,92
0,94
9
0,94
0,52
0,90
0,78
8
0,95
0,87
0,47
0,98
7
0,51
0,89
0,80
0,93
6
0,88
0,97
0,98
0,94
5
0,88
0,90
0,84
0,51
4
0,94
0,78
0,75
0,98
3
0,74
0,83
0,97
0,85
2
0,96
0,94
0,46
0,49
1
0,45
0,46
0,48
f1-score
Hipotesis
0,47
Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales
precision
0,91
UPValenciaX-SIC101.1x-1T2019
recall
0,94
11bis
0,82
10bis
0,88
0,46
9bis
0,93
0,87
8bis
0,90
0,91
7bis
0,45
0,94
6bis
0,77
0,89
5bis
0,96
0,95
4bis
0,95
0,91
3bis
0,90
0,97
11
0,95
0,84
10
0,91
0,43
9
0,97
0,88
8
0,92
0,94
7
0,45
0,98
6
0,86
0,87
5
0,90
0,94
4
0,98
0,47
3
0,76
0,44
2
0,92
f1-score
1
0,45
0,94
Fundamentos TIC para profesionales de negocios: Aplicaciones empresariales
Hipotesis
0,41
0,96
UPValenciaX-SIC101.1x-3T2016
precision
0,91
0,90
11bis
0,88
0,92
10bis
0,91
9bis
0,85
0,94
0,54
8bis
0,50
0,50
0,80
7bis
0,92
0,89
0,94
6bis
0,94
0,91
0,88
0,82
5bis
0,94
4bis
0,82
0,85
0,78
3bis
0,91
0,94
0,94
11
0,94
0,95
0,98
10
0,89
0,89
0,89
9
0,94
0,79
0,92
0,92
0,94
0,97
8
0,89
0,94
0,54
0,51
0,55
0,95
0,44
7
0,87
0,48
0,81
0,87
0,93
0,77
0,79
6
0,94
0,96
0,95
0,91
0,76
0,95
0,94
5
0,89
0,83
0,94
0,82
0,93
0,92
0,94
4
0,94
0,97
0,74
0,85
0,82
0,87
0,91
3
0,53
0,87
0,94
0,95
0,85
0,52
0,91
2
0,94
0,84
0,49
0,45
0,94
0,94
0,46
1
0,73
0,91
0,46
0,44
0,92
0,86
0,48
Hipotesis
0,48
0,94
recall
precision
0,51
0,49
f1-score
recall
0,50
Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware
f1-score
Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware
UPValenciaX-SIC101.2x-1T2017
UPValenciaX-SIC101.2x-1T2018
440
Hipotesis
0,44
1
0,47
2
0,92
3
0,84
4
0,95
5
0,94
6
0,75
7
0,46
8
0,88
9
0,95
10
0,94
11
0,94
3bis
0,85
4bis
0,90
5bis
0,93
6bis
0,81
7bis
0,47
8bis
0,85
9bis
0,89
10bis
0,90
0,91
11bis
Anexo 5
precision
0,90
11bis
0,82
0,88
0,45
10bis
0,97
0,89
0,98
0,97
9bis
0,95
0,86
0,94
0,82
8bis
0,83
0,96
0,47
0,89
7bis
0,49
0,94
0,95
0,94
6bis
0,82
0,46
0,86
0,80
5bis
0,92
0,94
0,82
0,95
4bis
0,98
0,75
0,84
0,91
3bis
0,78
0,48
0,94
0,46
11
0,94
recall
0,94
0,94
10
0,93
0,96
0,92
0,91
9
0,92
0,50
0,88
0,83
8
0,88
0,95
0,43
0,89
7
0,51
0,87
0,87
0,96
6
0,79
0,98
0,86
0,91
5
0,94
0,85
0,83
0,47
4
0,95
0,80
0,82
0,94
3
0,84
0,86
0,93
0,81
2
0,97
0,94
0,43
0,52
1
0,54
0,46
0,49
f1-score
Hipotesis
0,45
Sistemas de Informaci\u00f3n y ordenadores, Parte 2: Hardware
precision
0,94
UPValenciaX-SIC101.2x-1T2019
recall
0,87
11bis
0,93
10bis
0,98
0,45
9bis
0,94
0,88
8bis
0,88
0,94
7bis
0,50
0,91
6bis
0,77
0,79
5bis
0,94
0,92
4bis
0,89
0,93
3bis
0,85
0,97
11
0,97
0,87
10
0,88
0,46
9
0,91
0,87
8
0,94
0,94
7
0,47
0,94
6
0,88
0,74
5
0,94
0,92
4
0,81
0,50
3
0,85
0,46
2
0,96
f1-score
1
0,50
0,92
Fundamentos TIC para profesionales de negocios: Desarrollo de Software
Hipotesis
0,44
0,94
UPValenciaX-SIC101.3x-1T2019
precision
0,94
0,94
11bis
0,94
0,94
10bis
0,89
9bis
0,86
0,98
0,55
8bis
0,43
0,51
0,84
7bis
0,75
0,91
0,89
6bis
0,93
0,93
0,96
0,92
5bis
0,94
4bis
0,83
0,87
0,84
3bis
0,92
0,93
0,92
11
0,94
0,94
0,94
10
0,94
0,94
0,88
9
0,89
0,82
0,90
0,94
0,94
0,98
8
0,85
0,94
0,53
0,49
0,50
0,94
0,52
7
0,81
0,49
0,76
0,89
0,96
0,86
0,80
6
0,94
0,94
0,94
0,94
0,81
0,84
0,87
5
0,94
0,78
0,89
0,92
0,94
0,97
0,95
4
0,94
0,97
0,72
0,83
0,87
0,92
0,75
3
0,49
0,83
0,96
0,94
0,74
0,46
0,92
2
0,94
0,75
0,54
0,43
0,89
0,96
0,46
1
0,81
0,91
0,49
0,43
0,95
0,81
0,49
Hipotesis
0,49
0,94
recall
precision
0,47
0,49
f1-score
recall
0,53
Fundamentos TIC para profesionales de negocios: Desarrollo de Software
f1-score
Fundamentos TIC para profesionales de negocios: Desarrollo de Software
UPValenciaX-SIC101.3x-2T2017
UPValenciaX-SIC101.3x-2T2018
441
Hipotesis
0,42
1
0,51
2
0,98
3
0,83
4
0,95
5
0,86
6
0,86
7
0,45
8
0,87
9
0,99
10
0,94
11
0,98
3bis
0,85
4bis
0,85
5bis
0,94
6bis
0,95
7bis
0,47
8bis
0,89
9bis
0,95
10bis
0,95
0,98
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,94
11bis
0,92
0,94
0,54
10bis
0,93
0,74
0,92
0,88
9bis
0,90
0,87
0,95
0,84
8bis
0,83
0,94
0,50
0,91
7bis
0,49
0,94
0,84
0,90
6bis
0,78
0,54
0,94
0,84
5bis
0,97
0,90
0,92
0,93
4bis
0,98
0,79
0,95
0,93
3bis
0,74
0,49
0,99
0,52
11
0,94
recall
0,91
0,98
10
0,97
0,89
0,94
0,89
9
0,94
0,51
0,96
0,81
8
0,85
0,91
0,46
0,89
7
0,54
0,90
0,76
0,94
6
0,86
0,94
0,94
0,93
5
0,98
0,98
0,86
0,51
4
0,98
0,78
0,87
0,95
3
0,75
0,84
0,98
0,81
2
0,97
0,91
0,42
0,49
1
0,47
0,46
0,45
f1-score
Hipotesis
0,48
Fundamentos TIC para profesionales de negocios: programaci\u00f3n
precision
0,94
UPValenciaX-SIC101.4x-1T2019
recall
0,94
11bis
0,82
10bis
0,99
0,45
9bis
0,94
0,88
8bis
0,94
0,88
7bis
0,45
0,94
6bis
0,87
0,80
5bis
0,94
0,88
4bis
0,83
0,95
3bis
0,89
0,98
11
0,93
0,98
10
0,97
0,48
9
0,94
0,84
8
0,89
0,93
7
0,50
0,87
6
0,93
0,88
5
0,94
0,98
4
0,95
0,46
3
0,88
0,43
2
0,95
f1-score
1
0,42
0,92
Fundamentos TIC para profesionales de negocios: programaci\u00f3n
Hipotesis
0,49
0,94
UPValenciaX-SIC101.4x-2T2018
precision
0,89
0,94
11bis
0,97
0,91
10bis
0,91
9bis
0,84
0,92
0,55
8bis
0,50
0,46
0,75
7bis
0,87
0,78
0,91
6bis
0,94
0,94
0,88
0,95
5bis
0,94
4bis
0,74
0,88
0,88
3bis
0,96
0,92
0,96
11
0,88
0,95
0,91
10
0,95
0,94
0,97
9
0,94
0,94
0,86
0,90
0,98
0,91
8
0,82
0,89
0,52
0,48
0,48
0,91
0,49
7
0,87
0,47
0,83
0,88
0,92
0,75
0,90
6
0,94
0,94
0,94
0,94
0,88
0,87
0,98
5
0,90
0,85
0,88
0,97
0,96
0,90
0,88
4
0,89
0,95
0,83
0,92
0,80
0,88
0,88
3
0,54
0,85
0,94
0,91
0,78
0,48
0,92
2
0,97
0,88
0,46
0,45
0,94
0,94
0,46
1
0,84
0,94
0,50
0,51
0,94
0,82
0,48
Hipotesis
0,46
0,89
recall
precision
0,53
0,48
f1-score
recall
0,50
Fundamentos TIC para profesionales de negocios: programaci\u00f3n
f1-score
Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales
UPValenciaX-SIC101.4x-3T2017
UPValenciaX-sic101.5x-1T2019
442
Hipotesis
0,45
1
0,42
2
0,94
3
0,77
4
0,93
5
0,94
6
0,91
7
0,48
8
0,94
9
0,92
10
0,89
11
0,92
3bis
0,87
4bis
0,83
5bis
0,90
6bis
0,87
7bis
0,44
8bis
0,86
9bis
0,94
10bis
0,96
0,96
11bis
Anexo 5
precision
0,94
11bis
0,97
0,88
0,48
10bis
0,96
0,86
0,94
0,94
9bis
0,94
0,86
0,86
0,88
8bis
0,81
0,90
0,46
0,98
7bis
0,55
0,88
0,88
0,86
6bis
0,74
0,51
0,94
0,75
5bis
0,94
0,93
0,95
0,93
4bis
0,89
0,75
0,92
0,90
3bis
0,84
0,55
0,94
0,47
11
0,93
recall
0,94
0,97
10
0,92
0,93
0,92
0,93
9
0,95
0,48
0,90
0,81
8
0,84
0,94
0,45
0,84
7
0,53
0,84
0,93
0,89
6
0,84
0,94
0,97
0,99
5
0,94
0,86
0,87
0,52
4
0,93
0,81
0,83
0,94
3
0,84
0,94
0,91
0,84
2
0,94
0,94
0,45
0,44
1
0,53
0,53
0,49
f1-score
Hipotesis
0,48
Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales
precision
0,94
UPValenciaX-sic101.5x-2T2018
recall
0,98
11bis
0,92
10bis
0,90
0,50
9bis
0,94
0,75
8bis
0,98
0,89
7bis
0,51
0,94
6bis
0,88
0,90
5bis
0,90
0,94
4bis
0,95
0,88
3bis
0,88
0,91
11
0,94
0,82
10
0,94
0,49
9
0,98
0,83
8
0,86
0,94
7
0,48
0,86
6
0,82
0,81
5
0,92
0,92
4
0,88
0,49
3
0,80
0,49
2
0,94
f1-score
1
0,46
0,92
Fundamentos TIC para profesionales de negocios: Ciberseguridad e implicaciones sociales
Hipotesis
0,48
0,94
UPValenciaX-sic101.5x-3T2017
precision
0,90
0,88
11bis
0,94
0,90
10bis
0,83
9bis
0,81
0,95
0,55
8bis
0,50
0,41
0,89
7bis
0,76
0,90
0,89
6bis
0,92
0,86
0,93
0,97
5bis
0,94
4bis
0,73
0,82
0,79
3bis
0,90
0,97
0,96
11
0,93
0,98
0,94
10
0,88
0,91
0,95
9
0,94
0,89
0,94
0,98
0,97
0,96
8
0,89
0,94
0,49
0,48
0,47
0,94
0,45
7
0,83
0,53
0,86
0,79
0,88
0,80
0,88
6
0,99
0,91
0,96
0,90
0,89
0,98
0,95
5
0,96
0,83
0,94
0,94
0,94
0,99
0,92
4
0,91
0,90
0,80
0,89
0,91
0,94
0,86
3
0,55
0,90
0,89
0,96
0,84
0,45
0,90
2
0,88
0,87
0,51
0,44
0,96
0,94
0,43
1
0,84
0,87
0,55
0,46
0,94
0,90
0,51
Hipotesis
0,48
0,98
recall
precision
0,45
0,46
f1-score
recall
0,48
Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo fotovoltaico
f1-score
Introducci\u00f3n a la energ\u00eda solar fotovoltaica: El m\u00f3dulo fotovoltaico
UPValenciaX-SOLAR201x-3T2018
UPValenciaX-SOLAR201x-3T2018a
443
Hipotesis
0,46
1
0,50
2
0,94
3
0,92
4
0,90
5
0,89
6
0,81
7
0,49
8
0,94
9
0,95
10
0,94
11
0,92
3bis
0,88
4bis
0,92
5bis
0,90
6bis
0,92
7bis
0,49
8bis
0,99
9bis
0,93
10bis
0,94
0,88
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,94
11bis
0,79
0,91
0,47
10bis
0,96
0,82
0,89
0,95
9bis
0,87
0,85
0,94
0,87
8bis
0,84
0,97
0,41
0,92
7bis
0,49
0,87
0,81
0,79
6bis
0,78
0,50
0,94
0,81
5bis
0,94
0,89
0,84
0,95
4bis
0,94
0,84
0,92
0,93
3bis
0,80
0,54
0,92
0,47
11
0,92
recall
0,91
0,90
10
0,91
0,94
0,92
0,93
9
0,91
0,52
0,95
0,84
8
0,96
0,96
0,44
0,94
7
0,49
0,83
0,87
0,92
6
0,81
0,88
0,87
0,97
5
0,90
0,91
0,99
0,47
4
0,94
0,75
0,75
0,87
3
0,73
0,88
0,89
0,84
2
0,97
0,89
0,44
0,53
1
0,51
0,45
0,43
f1-score
Hipotesis
0,47
Creaci\u00f3n musical con Soundcool: Introducci\u00f3n
precision
0,94
UPValenciaX-SOUND101X-1T2019
recall
0,94
11bis
0,86
10bis
0,91
0,48
9bis
0,95
0,75
8bis
0,88
0,94
7bis
0,43
0,86
6bis
0,83
0,83
5bis
0,88
0,95
4bis
0,92
0,88
3bis
0,97
0,94
11
0,99
0,85
10
0,91
0,50
9
0,98
0,81
8
0,95
0,94
7
0,48
0,87
6
0,91
0,84
5
0,97
0,94
4
0,83
0,49
3
0,82
0,48
2
0,89
f1-score
1
0,48
0,93
Creaci\u00f3n musical con Soundcool: Introducci\u00f3n
Hipotesis
0,49
0,98
UPValenciaX-SOUND101X-3T2018
precision
0,93
0,94
11bis
0,91
0,95
10bis
0,84
9bis
0,92
0,84
0,52
8bis
0,46
0,46
0,87
7bis
0,92
0,94
0,89
6bis
0,92
0,95
0,94
0,84
5bis
0,98
4bis
0,80
0,95
0,84
3bis
0,94
0,96
0,91
11
0,91
0,94
0,88
10
0,90
0,90
0,94
9
0,87
0,83
0,93
0,95
0,91
0,96
8
0,87
0,97
0,54
0,46
0,52
0,88
0,50
7
0,80
0,44
0,74
0,81
0,95
0,81
0,73
6
0,94
0,92
0,94
0,94
0,76
0,94
0,91
5
0,93
0,76
0,93
0,95
0,94
0,98
0,91
4
0,96
0,89
0,72
0,77
0,90
0,98
0,87
3
0,52
0,81
0,94
0,89
0,78
0,51
0,94
2
0,98
0,81
0,53
0,47
0,88
0,94
0,48
1
0,79
0,86
0,49
0,46
0,91
0,82
0,52
Hipotesis
0,55
0,90
recall
precision
0,54
0,46
f1-score
recall
0,51
Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas
f1-score
Soundcool: M\u00f3dulos de v\u00eddeo y propuestas creativas
UPValenciaX-SOUND102X-2T2019
UPValenciaX-SOUND102X-2T2019a
444
Hipotesis
0,47
1
0,44
2
0,95
3
0,82
4
0,93
5
0,94
6
0,89
7
0,43
8
0,94
9
0,91
10
0,94
11
0,89
3bis
0,95
4bis
0,80
5bis
0,94
6bis
0,95
7bis
0,42
8bis
0,85
9bis
0,94
10bis
0,89
0,92
11bis
Anexo 5
precision
0,95
11bis
0,81
0,95
0,50
10bis
0,94
0,73
0,94
0,94
9bis
0,94
0,91
0,94
0,89
8bis
0,94
0,98
0,44
0,92
7bis
0,46
0,93
0,92
0,90
6bis
0,89
0,49
0,94
0,85
5bis
0,96
0,89
0,92
0,93
4bis
0,90
0,86
0,85
0,94
3bis
0,77
0,51
0,95
0,52
11
0,93
recall
0,88
0,89
10
0,94
0,94
0,99
0,95
9
0,90
0,53
0,94
0,85
8
0,89
0,91
0,51
0,98
7
0,50
0,91
0,87
0,92
6
0,73
0,89
0,96
0,93
5
0,96
0,89
0,90
0,49
4
0,91
0,77
0,92
0,91
3
0,77
0,90
0,95
0,78
2
0,97
0,91
0,46
0,43
1
0,55
0,50
0,48
f1-score
Hipotesis
0,51
T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n
precision
0,97
UPValenciaX-TCCI201.x-2016_T3
recall
0,91
11bis
0,97
10bis
0,89
0,49
9bis
0,96
0,90
8bis
0,97
0,94
7bis
0,46
0,86
6bis
0,92
0,76
5bis
0,90
0,97
4bis
0,89
0,94
3bis
0,87
0,94
11
0,94
0,89
10
0,94
0,49
9
0,89
0,81
8
0,94
0,94
7
0,50
0,94
6
0,91
0,81
5
0,90
0,96
4
0,90
0,45
3
0,76
0,53
2
0,94
f1-score
1
0,50
0,94
T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n
Hipotesis
0,43
0,90
UPValenciaX-TCCI201.x-3T2017
precision
0,94
0,94
11bis
0,96
0,92
10bis
0,87
9bis
0,97
0,94
0,51
8bis
0,46
0,48
0,79
7bis
0,90
0,81
0,94
6bis
0,90
0,94
0,98
0,81
5bis
0,87
4bis
0,78
0,89
0,82
3bis
0,91
0,94
0,90
11
0,98
0,90
0,95
10
0,95
0,94
0,94
9
0,89
0,90
0,86
0,90
0,94
0,96
8
0,85
0,99
0,50
0,43
0,48
0,85
0,47
7
0,89
0,51
0,83
0,87
0,89
0,90
0,74
6
0,91
0,96
0,98
0,87
0,79
0,92
0,90
5
0,94
0,85
0,88
0,90
0,94
0,97
0,84
4
0,95
0,98
0,76
0,79
0,80
0,95
0,81
3
0,49
0,85
0,91
0,94
0,88
0,52
0,93
2
0,94
0,74
0,49
0,51
0,98
0,88
0,48
1
0,79
0,96
0,53
0,47
0,89
0,83
0,51
Hipotesis
0,53
0,93
recall
precision
0,47
0,48
f1-score
recall
0,51
T\u00e9cnicas Cuantitativas y Cualitativas para la Investigaci\u00f3n
f1-score
Tecnolog\u00edas Educativas
UPValenciaX-TCCI201.x-3T2018
UPValenciaX-TE201x-2T2015
445
Hipotesis
0,44
1
0,50
2
0,94
3
0,92
4
0,97
5
0,86
6
0,80
7
0,44
8
0,94
9
0,93
10
0,97
11
0,97
3bis
0,95
4bis
0,88
5bis
0,87
6bis
0,79
7bis
0,47
8bis
0,93
9bis
0,94
10bis
0,94
0,94
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,98
11bis
0,92
0,97
0,50
10bis
0,87
0,85
0,94
0,92
9bis
0,92
0,95
0,84
0,73
8bis
0,86
0,90
0,45
0,93
7bis
0,48
0,90
0,87
0,95
6bis
0,81
0,46
0,91
0,87
5bis
0,95
0,91
0,95
0,97
4bis
0,94
0,86
0,93
0,94
3bis
0,78
0,46
0,94
0,49
11
0,89
recall
0,97
0,92
10
0,94
0,94
0,94
0,96
9
0,95
0,45
0,93
0,92
8
0,97
0,94
0,48
0,85
7
0,52
0,82
0,76
0,99
6
0,82
0,94
0,91
0,90
5
0,94
0,86
0,97
0,47
4
0,94
0,90
0,83
0,94
3
0,79
0,85
0,91
0,82
2
0,94
0,94
0,47
0,52
1
0,53
0,46
0,47
f1-score
Hipotesis
0,45
Tecnolog\u00edas Educativas
precision
0,94
UPValenciaX-TE201x-2T2016
recall
0,94
11bis
0,87
10bis
0,94
0,52
9bis
0,94
0,78
8bis
0,89
0,90
7bis
0,48
0,93
6bis
0,89
0,88
5bis
0,95
0,88
4bis
0,95
0,90
3bis
0,84
0,94
11
0,91
0,88
10
0,97
0,52
9
0,96
0,75
8
0,97
0,93
7
0,49
0,94
6
0,82
0,85
5
0,87
0,97
4
0,94
0,50
3
0,77
0,51
2
0,99
f1-score
1
0,49
0,95
Tecnolog\u00edas Educativas
Hipotesis
0,48
0,95
UPValenciaX-TE201x-2T2017
precision
0,87
0,92
11bis
0,97
0,93
10bis
0,81
9bis
0,90
0,96
0,45
8bis
0,49
0,44
0,83
7bis
0,88
0,91
0,91
6bis
0,97
0,87
0,87
0,83
5bis
0,86
4bis
0,83
0,88
0,91
3bis
0,91
0,91
0,97
11
0,94
0,94
0,90
10
0,96
0,95
0,93
9
0,88
0,85
0,93
0,94
0,94
0,92
8
0,91
0,88
0,47
0,41
0,52
0,89
0,48
7
0,82
0,49
0,74
0,80
0,94
0,77
0,90
6
0,90
0,96
0,89
0,98
0,73
0,84
0,87
5
0,95
0,75
0,89
0,92
0,98
0,99
0,94
4
0,94
0,94
0,83
0,79
0,86
0,96
0,78
3
0,54
0,83
0,95
0,93
0,82
0,43
0,97
2
0,96
0,76
0,54
0,48
0,92
0,96
0,45
1
0,79
0,94
0,55
0,44
0,94
0,91
0,51
Hipotesis
0,52
0,97
recall
precision
0,55
0,45
f1-score
recall
0,49
Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n
f1-score
Introducci\u00f3n a las tecnolog\u00edas para la Educaci\u00f3n
UPValenciaX-TE201x-2T2018
UPValenciaX-TE201x-2T2019
446
Hipotesis
0,44
1
0,48
2
0,93
3
0,76
4
0,94
5
0,86
6
0,85
7
0,50
8
0,98
9
0,90
10
0,90
11
0,89
3bis
0,81
4bis
0,81
5bis
0,87
6bis
0,94
7bis
0,43
8bis
0,89
9bis
0,94
10bis
0,91
0,90
11bis
Anexo 5
precision
0,91
11bis
0,81
0,88
0,54
10bis
0,87
0,89
0,96
0,95
9bis
0,89
0,88
0,87
0,81
8bis
0,82
0,94
0,49
0,98
7bis
0,49
0,86
0,89
0,81
6bis
0,89
0,50
0,86
0,74
5bis
0,92
0,98
0,86
0,93
4bis
0,85
0,88
0,82
0,98
3bis
0,84
0,48
0,89
0,45
11
0,90
recall
0,91
0,96
10
0,90
0,96
0,88
0,97
9
0,92
0,46
0,96
0,77
8
0,82
0,98
0,43
0,90
7
0,52
0,87
0,77
0,94
6
0,72
0,94
0,98
0,90
5
0,95
0,92
0,95
0,46
4
0,94
0,91
0,91
0,92
3
0,79
0,93
0,94
0,85
2
0,96
0,94
0,49
0,49
1
0,49
0,48
0,46
f1-score
Hipotesis
0,51
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
precision
0,93
UPValenciaX-TGV201x.1-1T2019
recall
0,94
11bis
0,83
10bis
0,94
0,51
9bis
0,97
0,84
8bis
0,86
0,94
7bis
0,51
0,88
6bis
0,86
0,85
5bis
0,95
0,95
4bis
0,80
0,89
3bis
0,93
0,94
11
0,99
0,87
10
0,91
0,50
9
0,96
0,90
8
0,91
0,93
7
0,43
0,86
6
0,91
0,77
5
0,94
0,99
4
0,91
0,51
3
0,87
0,45
2
0,94
f1-score
1
0,47
0,94
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
Hipotesis
0,43
0,88
UPValenciaX-TGV201x.1-2T2016
precision
0,91
0,94
11bis
0,93
0,94
10bis
0,79
9bis
0,88
0,99
0,47
8bis
0,49
0,48
0,78
7bis
0,88
0,81
0,93
6bis
0,96
0,98
0,93
0,97
5bis
0,91
4bis
0,83
0,95
0,82
3bis
0,95
0,94
0,95
11
0,94
0,92
0,94
10
0,94
0,94
0,87
9
0,90
0,83
0,96
0,91
0,91
0,86
8
0,80
0,94
0,47
0,43
0,48
0,88
0,52
7
0,88
0,47
0,84
0,78
0,97
0,86
0,81
6
0,90
0,89
0,91
0,95
0,84
0,87
0,90
5
0,92
0,91
0,95
0,91
0,93
0,94
0,94
4
0,90
0,96
0,80
0,92
0,93
0,94
0,89
3
0,49
0,94
0,97
0,89
0,87
0,52
0,89
2
0,94
0,89
0,49
0,47
0,95
0,92
0,50
1
0,84
0,83
0,52
0,43
0,94
0,74
0,45
Hipotesis
0,46
0,94
recall
precision
0,46
0,49
f1-score
recall
0,43
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
f1-score
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
UPValenciaX-TGV201x.1-2T2017
UPValenciaX-TGV201x.1-2T2018
447
Hipotesis
0,49
1
0,47
2
0,94
3
0,92
4
0,86
5
0,94
6
0,75
7
0,42
8
0,87
9
0,94
10
0,98
11
0,91
3bis
0,89
4bis
0,89
5bis
0,95
6bis
0,82
7bis
0,48
8bis
0,94
9bis
0,94
10bis
0,95
0,94
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,86
11bis
0,79
0,88
0,54
10bis
0,90
0,73
0,92
0,95
9bis
0,88
0,96
0,98
0,76
8bis
0,85
0,99
0,45
0,89
7bis
0,48
0,86
0,90
0,82
6bis
0,80
0,53
0,91
0,87
5bis
0,94
0,96
0,93
0,91
4bis
0,91
0,77
0,81
0,94
3bis
0,90
0,48
0,89
0,51
11
0,93
recall
0,90
0,89
10
0,97
0,93
0,99
0,95
9
0,94
0,44
0,94
0,82
8
0,90
0,91
0,46
0,98
7
0,54
0,82
0,90
0,94
6
0,78
0,88
0,92
0,92
5
0,97
0,90
0,90
0,45
4
0,96
0,90
0,82
0,99
3
0,86
0,94
0,94
0,79
2
0,94
0,92
0,49
0,45
1
0,47
0,51
0,47
f1-score
Hipotesis
0,50
Aplicaciones de la Teor\u00eda de Grafos a la Vida Real I
precision
0,96
UPValenciaX-TGV201x.1-3T2015
recall
0,96
11bis
0,97
10bis
0,94
0,51
9bis
0,94
0,88
8bis
0,86
0,95
7bis
0,42
0,89
6bis
0,95
0,85
5bis
0,88
0,94
4bis
0,97
0,94
3bis
0,84
0,93
11
0,89
0,95
10
0,97
0,53
9
0,94
0,87
8
0,93
0,97
7
0,44
0,94
6
0,78
0,89
5
0,90
0,95
4
0,97
0,53
3
0,87
0,46
2
0,94
f1-score
1
0,48
0,88
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Hipotesis
0,45
0,89
UPValenciaX-TGV201x.2-2T2016
precision
0,91
0,94
11bis
0,93
0,96
10bis
0,93
9bis
0,98
0,93
0,50
8bis
0,50
0,43
0,89
7bis
0,75
0,86
0,94
6bis
0,91
0,92
0,96
0,80
5bis
0,98
4bis
0,75
0,88
0,88
3bis
0,95
0,89
0,93
11
0,94
0,96
0,88
10
0,87
0,98
0,97
9
0,94
0,85
0,90
0,90
0,94
0,92
8
0,85
0,87
0,55
0,45
0,50
0,83
0,43
7
0,85
0,53
0,75
0,76
0,94
0,82
0,79
6
0,91
0,95
0,94
0,95
0,80
0,97
0,94
5
0,97
0,78
0,93
0,86
0,94
0,90
0,94
4
0,90
0,97
0,71
0,90
0,83
0,91
0,79
3
0,53
0,96
0,94
0,93
0,76
0,44
0,91
2
0,94
0,88
0,46
0,48
0,96
0,94
0,48
1
0,81
0,89
0,51
0,44
0,94
0,87
0,45
Hipotesis
0,47
0,92
recall
precision
0,48
0,48
f1-score
recall
0,46
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
f1-score
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
UPValenciaX-TGV201x.2-2T2017
UPValenciaX-TGV201x.2-2T2018
448
Hipotesis
0,42
1
0,43
2
0,90
3
0,91
4
0,87
5
0,94
6
0,87
7
0,48
8
0,86
9
0,93
10
0,94
11
0,96
3bis
0,82
4bis
0,80
5bis
0,94
6bis
0,90
7bis
0,48
8bis
0,94
9bis
0,90
10bis
0,94
0,88
11bis
Anexo 5
precision
0,95
11bis
0,79
0,92
0,52
10bis
0,96
0,84
0,91
0,97
9bis
0,86
0,91
0,94
0,90
8bis
0,88
0,94
0,51
0,96
7bis
0,49
0,94
0,90
0,85
6bis
0,86
0,45
0,95
0,81
5bis
0,98
0,94
0,81
0,97
4bis
0,93
0,88
0,88
0,95
3bis
0,85
0,47
0,94
0,47
11
0,92
recall
0,97
0,88
10
0,94
0,87
0,94
0,86
9
0,97
0,51
0,86
0,91
8
0,96
0,91
0,44
0,98
7
0,49
0,75
0,79
0,89
6
0,72
0,93
0,95
0,94
5
0,93
0,96
0,83
0,43
4
0,96
0,84
0,76
0,94
3
0,78
0,89
0,94
0,84
2
0,94
0,90
0,49
0,50
1
0,54
0,48
0,42
f1-score
Hipotesis
0,52
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
precision
0,94
UPValenciaX-TGV201x.2-2T2019
recall
0,97
11bis
0,87
10bis
0,94
0,43
9bis
0,90
0,83
8bis
0,87
0,94
7bis
0,44
0,94
6bis
0,85
0,83
5bis
0,91
0,93
4bis
0,81
0,94
3bis
0,84
0,95
11
0,90
0,83
10
0,90
0,47
9
0,95
0,91
8
0,89
0,89
7
0,42
0,87
6
0,78
0,83
5
0,91
0,95
4
0,96
0,52
3
0,86
0,48
2
0,97
f1-score
1
0,44
0,94
Aplicaciones de la Teor\u00eda de Grafos a la vida real II
Hipotesis
0,45
0,91
UPValenciaX-TGV201x.2-3T2015
precision
0,95
0,94
11bis
0,94
0,90
10bis
0,82
9bis
0,94
0,87
0,50
8bis
0,45
0,44
0,84
7bis
0,75
0,85
0,89
6bis
0,91
0,91
0,92
0,81
5bis
0,88
4bis
0,89
0,84
0,87
3bis
0,98
0,90
0,89
11
0,90
0,90
0,88
10
0,94
0,95
0,92
9
0,94
0,94
0,89
0,95
0,91
0,96
8
0,82
0,94
0,49
0,42
0,50
0,94
0,45
7
0,84
0,45
0,87
0,78
0,89
0,75
0,85
6
0,92
0,91
0,97
0,91
0,89
0,88
0,91
5
0,98
0,87
0,94
0,96
0,90
0,89
0,92
4
0,94
0,88
0,85
0,86
0,94
0,92
0,86
3
0,49
0,96
0,93
0,97
0,87
0,45
0,96
2
0,97
0,85
0,51
0,44
0,94
0,91
0,47
1
0,85
0,92
0,54
0,45
0,93
0,86
0,53
Hipotesis
0,51
0,96
recall
precision
0,54
0,47
f1-score
recall
0,53
Diagramas UML Estructurales para la Ingenier\u00eda del Software
f1-score
Introducci\u00f3n al desarrollo de videojuegos con Unity
UPValenciaX-UML101x-2T2019
UPValenciaX-UNY201.x-2T2016
449
Hipotesis
0,45
1
0,48
2
0,94
3
0,87
4
0,97
5
0,89
6
0,82
7
0,47
8
0,84
9
0,96
10
0,91
11
0,94
3bis
0,96
4bis
0,81
5bis
0,89
6bis
0,87
7bis
0,48
8bis
0,84
9bis
0,93
10bis
0,97
0,94
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,90
11bis
0,83
0,94
0,46
10bis
0,89
0,82
0,91
0,97
9bis
0,87
0,91
0,85
0,80
8bis
0,83
0,98
0,43
0,88
7bis
0,48
0,94
0,82
0,81
6bis
0,78
0,54
0,86
0,77
5bis
0,89
0,96
0,96
0,92
4bis
0,91
0,79
0,87
0,94
3bis
0,76
0,55
0,92
0,48
11
0,94
recall
0,96
0,94
10
0,90
0,94
0,89
0,94
9
0,96
0,46
0,83
0,90
8
0,90
0,97
0,47
0,94
7
0,55
0,87
0,81
0,88
6
0,78
0,89
0,94
0,97
5
0,94
0,99
0,82
0,46
4
0,91
0,89
0,85
0,95
3
0,72
0,99
0,93
0,78
2
0,96
0,94
0,44
0,45
1
0,53
0,46
0,49
f1-score
Hipotesis
0,49
Introducci\u00f3n al desarrollo de videojuegos con Unity
precision
0,92
UPValenciaX-UNY201.x-2T2017
recall
0,94
11bis
0,96
10bis
0,94
0,52
9bis
0,96
0,89
8bis
0,92
0,95
7bis
0,46
0,86
6bis
0,82
0,76
5bis
0,94
0,97
4bis
0,84
0,89
3bis
0,97
0,87
11
0,92
0,89
10
0,95
0,53
9
0,92
0,79
8
0,83
0,96
7
0,46
0,89
6
0,85
0,80
5
0,94
0,90
4
0,82
0,52
3
0,82
0,44
2
0,94
f1-score
1
0,49
0,89
Introducci\u00f3n al desarrollo de videojuegos con Unity
Hipotesis
0,46
0,94
UPValenciaX-UNY201.x-2T2018
precision
0,89
0,89
11bis
0,96
0,94
10bis
0,79
9bis
0,95
0,96
0,46
8bis
0,45
0,50
0,83
7bis
0,78
0,88
0,95
6bis
0,87
0,90
0,91
0,90
5bis
0,85
4bis
0,84
0,92
0,79
3bis
0,94
0,92
0,97
11
0,94
0,95
0,88
10
0,94
0,96
0,96
9
0,94
0,82
0,93
0,94
0,98
0,89
8
0,97
0,94
0,45
0,46
0,48
0,83
0,44
7
0,74
0,50
0,88
0,76
0,91
0,76
0,81
6
0,94
0,97
0,97
0,94
0,89
0,98
0,94
5
0,94
0,90
0,89
0,84
0,95
0,98
0,89
4
0,95
0,89
0,81
0,91
0,89
0,95
0,87
3
0,52
0,87
0,94
0,94
0,76
0,52
0,94
2
0,94
0,80
0,49
0,50
0,89
0,94
0,44
1
0,85
0,97
0,50
0,47
0,98
0,74
0,43
Hipotesis
0,47
0,94
recall
precision
0,45
0,44
f1-score
recall
0,50
Introducci\u00f3n al desarrollo de videojuegos con Unity
f1-score
Introducci\u00f3n al desarrollo de videojuegos con Unity
UPValenciaX-UNY201.x-2T2019
UPValenciaX-UNY201.x-T12016
450
Hipotesis
0,42
1
0,43
2
0,94
3
0,79
4
0,88
5
0,94
6
0,80
7
0,50
8
0,98
9
0,94
10
0,91
11
0,93
3bis
0,85
4bis
0,98
5bis
0,94
6bis
0,81
7bis
0,50
8bis
0,92
9bis
0,94
10bis
0,96
0,94
11bis
Anexo 5
precision
0,94
11bis
0,89
0,95
0,45
10bis
0,88
0,79
0,97
0,92
9bis
0,95
0,92
0,88
0,79
8bis
0,91
0,94
0,47
0,93
7bis
0,52
0,90
0,83
0,79
6bis
0,79
0,50
0,89
0,79
5bis
0,95
0,93
0,94
0,94
4bis
0,89
0,82
0,96
0,94
3bis
0,83
0,54
0,94
0,47
11
0,91
recall
0,93
0,93
10
0,91
0,89
0,91
0,90
9
0,94
0,50
0,86
0,90
8
0,84
0,87
0,45
0,94
7
0,52
0,76
0,90
0,93
6
0,74
0,95
0,91
0,92
5
0,96
0,88
0,85
0,48
4
0,88
0,86
0,76
0,90
3
0,85
0,93
0,91
0,76
2
0,90
0,96
0,42
0,43
1
0,53
0,45
0,48
f1-score
Hipotesis
0,46
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
precision
0,90
UPValenciaX-VF201x-1T2017
recall
0,91
11bis
0,91
10bis
0,92
0,46
9bis
0,97
0,75
8bis
0,94
0,94
7bis
0,42
0,88
6bis
0,92
0,92
5bis
0,95
0,90
4bis
0,84
0,97
3bis
0,93
0,89
11
0,95
0,91
10
0,95
0,46
9
0,94
0,83
8
0,88
0,89
7
0,43
0,93
6
0,88
0,80
5
0,94
0,89
4
0,94
0,47
3
0,82
0,52
2
0,95
f1-score
1
0,44
0,87
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
Hipotesis
0,48
0,94
UPValenciaX-VF201x-1T2018
precision
0,91
0,94
11bis
0,94
0,90
10bis
0,81
9bis
0,85
0,94
0,46
8bis
0,44
0,43
0,87
7bis
0,80
0,93
0,92
6bis
0,94
0,94
0,95
0,95
5bis
0,82
4bis
0,76
0,83
0,81
3bis
0,93
0,94
0,96
11
0,87
0,94
0,89
10
0,86
0,95
0,92
9
0,94
0,92
0,95
0,94
0,93
0,88
8
0,88
0,89
0,49
0,41
0,50
0,86
0,51
7
0,87
0,46
0,72
0,88
0,94
0,77
0,81
6
0,94
0,91
0,94
0,90
0,81
0,85
0,96
5
0,91
0,93
0,94
0,84
0,92
0,94
0,94
4
0,93
0,95
0,75
0,77
0,91
0,92
0,77
3
0,48
0,83
0,94
0,98
0,85
0,47
0,98
2
0,98
0,85
0,50
0,46
0,96
0,90
0,45
1
0,80
0,96
0,51
0,49
0,89
0,75
0,49
Hipotesis
0,54
0,91
recall
precision
0,51
0,51
f1-score
recall
0,45
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
f1-score
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
UPValenciaX-VF201x-1T2019
UPValenciaX-VF201x-2016_T2
451
Hipotesis
0,49
1
0,46
2
0,94
3
0,91
4
0,98
5
0,89
6
0,87
7
0,45
8
0,92
9
0,91
10
0,94
11
0,94
3bis
0,91
4bis
0,94
5bis
0,91
6bis
0,94
7bis
0,42
8bis
0,95
9bis
0,94
10bis
0,94
0,93
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,93
11bis
0,90
0,98
0,47
10bis
0,94
0,81
0,91
0,92
9bis
0,94
0,92
0,94
0,75
8bis
0,82
0,99
0,44
0,94
7bis
0,49
0,94
0,95
0,97
6bis
0,77
0,47
0,89
0,77
5bis
0,94
0,99
0,87
0,88
4bis
0,93
0,80
0,87
0,94
3bis
0,74
0,48
0,90
0,46
11
0,96
recall
0,92
0,90
10
0,93
0,94
0,92
0,94
9
0,95
0,51
0,85
0,88
8
0,81
0,90
0,45
0,88
7
0,53
0,92
0,88
0,89
6
0,80
0,88
0,89
0,90
5
0,99
0,94
0,97
0,48
4
0,94
0,78
0,79
0,97
3
0,82
0,94
0,95
0,83
2
0,96
0,93
0,44
0,48
1
0,55
0,51
0,43
f1-score
Hipotesis
0,51
Valoraci\u00f3n de futbolistas con el m\u00e9todo AHP
precision
0,94
UPValenciaX-VF201x-2T2015
recall
0,94
11bis
0,94
10bis
0,96
0,49
9bis
0,96
0,81
8bis
0,96
0,89
7bis
0,47
0,85
6bis
0,79
0,82
5bis
0,94
0,98
4bis
0,91
0,93
3bis
0,83
0,94
11
0,91
0,95
10
0,98
0,51
9
0,93
0,80
8
0,89
0,94
7
0,42
0,85
6
0,82
0,89
5
0,89
0,93
4
0,81
0,53
3
0,89
0,51
2
0,97
f1-score
1
0,48
0,95
Introducci\u00f3n a Excel
Hipotesis
0,51
0,95
UPValenciaX-xls101x-1T2016
precision
0,94
0,89
11bis
0,94
0,98
10bis
0,97
9bis
0,88
0,86
0,49
8bis
0,44
0,48
0,77
7bis
0,84
0,93
0,94
6bis
0,88
0,98
0,89
0,88
5bis
0,88
4bis
0,82
0,95
0,89
3bis
0,94
0,92
0,92
11
0,89
0,93
0,91
10
0,88
0,92
0,94
9
0,88
0,79
0,97
0,95
0,89
0,81
8
0,89
0,99
0,48
0,50
0,46
0,86
0,47
7
0,79
0,44
0,85
0,92
0,94
0,80
0,76
6
0,94
0,94
0,95
0,94
0,81
0,92
0,97
5
0,94
0,79
0,91
0,83
0,92
0,90
0,85
4
0,94
0,92
0,76
0,93
0,81
0,95
0,77
3
0,49
0,94
0,91
0,94
0,74
0,50
0,96
2
0,91
0,89
0,47
0,45
0,93
0,94
0,45
1
0,74
0,83
0,46
0,46
0,93
0,75
0,50
Hipotesis
0,46
0,91
recall
precision
0,50
0,43
f1-score
recall
0,49
Introducci\u00f3n a Excel
f1-score
Excel: Fundamentos y herramientas
UPValenciaX-xls101x-1T2018
UPValenciaX-xls101x-1T2019
452
Hipotesis
0,43
1
0,45
2
0,96
3
0,89
4
0,89
5
0,87
6
0,85
7
0,43
8
0,92
9
0,93
10
0,96
11
0,94
3bis
0,87
4bis
0,82
5bis
0,94
6bis
0,87
7bis
0,43
8bis
0,94
9bis
0,91
10bis
0,89
0,89
11bis
Anexo 5
precision
0,94
11bis
0,82
0,94
0,51
10bis
0,87
0,75
0,94
0,94
9bis
0,94
0,98
0,98
0,79
8bis
0,85
0,90
0,50
0,88
7bis
0,50
0,91
0,87
0,94
6bis
0,88
0,46
0,88
0,84
5bis
0,91
0,96
0,93
0,94
4bis
0,90
0,73
0,81
0,90
3bis
0,72
0,46
0,94
0,53
11
0,90
recall
0,94
0,95
10
0,94
0,94
0,90
0,84
9
0,95
0,52
0,94
0,83
8
0,95
0,87
0,48
0,83
7
0,49
0,89
0,90
0,89
6
0,78
0,94
0,86
0,96
5
0,98
0,98
0,89
0,49
4
0,93
0,75
0,86
0,87
3
0,77
0,87
0,97
0,73
2
0,90
0,88
0,42
0,48
1
0,54
0,51
0,51
f1-score
Hipotesis
0,54
Introducci\u00f3n a Excel
precision
0,94
UPValenciaX-xls101x-2T2017
recall
0,89
11bis
0,98
10bis
0,98
0,47
9bis
0,99
0,87
8bis
0,94
0,92
7bis
0,46
0,90
6bis
0,86
0,83
5bis
0,96
0,96
4bis
0,89
0,94
3bis
0,88
0,94
11
0,99
0,90
10
0,98
0,45
9
0,99
0,86
8
0,93
0,91
7
0,46
0,85
6
0,84
0,82
5
0,96
0,96
4
0,90
0,53
3
0,84
0,48
2
0,99
f1-score
1
0,46
0,97
Excel 2: Gesti\u00f3n de datos
Hipotesis
0,46
0,98
UPValenciaX-XLS201x-1T2018
precision
0,96
0,89
11bis
0,97
0,90
10bis
0,88
9bis
0,91
0,99
0,50
8bis
0,48
0,42
0,81
7bis
0,83
0,93
0,97
6bis
0,97
0,98
0,95
0,92
5bis
0,92
4bis
0,81
0,96
0,84
3bis
0,99
0,94
0,99
11
0,97
0,94
0,98
10
0,96
0,94
0,97
9
0,87
0,88
0,90
0,92
0,95
0,90
8
0,83
0,94
0,50
0,47
0,54
0,89
0,48
7
0,78
0,52
0,80
0,79
0,90
0,84
0,82
6
0,94
0,92
0,99
0,94
0,72
0,82
0,97
5
0,91
0,82
0,98
0,98
0,92
0,94
0,93
4
0,95
0,94
0,80
0,88
0,85
0,94
0,82
3
0,50
0,92
0,99
0,94
0,78
0,52
0,99
2
0,91
0,77
0,50
0,48
0,91
0,95
0,48
1
0,75
0,94
0,50
0,47
0,94
0,87
0,48
Hipotesis
0,51
0,94
recall
precision
0,46
0,50
f1-score
recall
0,49
Excel: gesti\u00f3n de datos
f1-score
Excel 2: Gesti\u00f3n de datos
UPValenciaX-XLS201x-1T2019
UPValenciaX-XLS201x-3T2016
453
Hipotesis
0,46
1
0,50
2
0,99
3
0,91
4
0,82
5
0,94
6
0,89
7
0,46
8
0,87
9
0,95
10
0,94
11
0,89
3bis
0,95
4bis
0,86
5bis
0,87
6bis
0,93
7bis
0,49
8bis
0,89
9bis
0,99
10bis
0,91
0,94
11bis
Machine Learning y predicciones para la mejora del rendimiento en MOOC
precision
0,94
11bis
0,86
0,90
0,52
10bis
0,94
0,81
0,94
0,94
9bis
0,93
0,96
0,86
0,73
8bis
0,95
0,95
0,51
0,88
7bis
0,47
0,88
0,92
0,84
6bis
0,88
0,53
0,90
0,75
5bis
0,94
0,96
0,83
0,98
4bis
0,89
0,88
0,88
0,96
3bis
0,87
0,49
0,89
0,48
11
0,93
recall
0,93
0,97
10
0,95
0,94
0,95
0,87
9
0,96
0,44
0,90
0,79
8
0,96
0,87
0,49
0,92
7
0,53
0,81
0,87
0,96
6
0,74
0,97
0,94
0,96
5
0,94
0,88
0,92
0,43
4
0,97
0,80
0,86
0,87
3
0,82
0,87
0,98
0,76
2
0,94
0,94
0,49
0,43
1
0,53
0,48
0,47
f1-score
Hipotesis
0,48
Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos
precision
0,91
UPValenciaX-XlS202x-2T2018
recall
0,92
11bis
0,97
10bis
0,90
0,44
9bis
0,94
0,88
8bis
0,94
0,94
7bis
0,44
0,94
6bis
0,84
0,90
5bis
0,97
0,99
4bis
0,89
0,99
3bis
0,80
0,87
11
0,94
0,90
10
0,94
0,47
9
0,94
0,85
8
0,94
0,96
7
0,44
0,98
6
0,76
0,84
5
0,86
0,96
4
0,84
0,51
3
0,81
0,51
2
0,94
0,94
f1-score
1
0,46
0,94
Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos
Hipotesis
0,50
0,94
UPValenciaX-XlS202x-2T2018a
precision
0,91
0,93
11bis
0,97
0,92
10bis
0,84
9bis
0,46
0,99
0,48
8bis
0,82
0,46
0,89
7bis
0,95
0,95
0,91
6bis
0,94
0,86
0,85
0,81
5bis
0,86
4bis
0,76
0,96
0,89
3bis
0,94
0,98
0,96
11
0,99
0,89
0,98
10
0,94
0,98
0,82
9
0,91
0,99
0,85
0,90
0,88
0,51
8
0,94
0,94
0,50
0,45
0,53
0,90
0,87
7
0,90
0,51
0,80
0,90
0,94
0,89
0,97
6
0,88
0,94
0,94
0,94
0,82
0,93
0,98
5
0,93
0,78
0,91
0,86
0,88
0,90
0,74
4
0,90
0,92
0,75
0,89
0,79
0,94
0,95
3
0,53
0,89
0,98
0,95
0,83
0,49
0,53
2
0,93
0,77
0,48
0,43
0,94
0,90
0,48
1
0,86
0,96
0,46
0,46
0,89
0,89
recall
Hipotesis
0,45
0,94
f1-score
precision
0,55
0,50
Excel avanzado: importaci\u00f3n y an\u00e1lisis de datos
recall
0,43
UPValenciaX-XlS202x-2T2019
f1-score
454
Anexo 6
Ane o 6. I e aci n III. Info me ejec i o de
p e en aci n de e l ado .
455
Anexo 6
457
Machine Learning y predicciones para la mejora del rendimiento en MOOC
458
Anexo 6
459
Machine Learning y predicciones para la mejora del rendimiento en MOOC
460
Anexo 6
461
Machine Learning y predicciones para la mejora del rendimiento en MOOC
462
Anexo 6
463
Machine Learning y predicciones para la mejora del rendimiento en MOOC
464
Anexo 6
465
Machine Learning y predicciones para la mejora del rendimiento en MOOC
466
Anexo 6
467
Machine Learning y predicciones para la mejora del rendimiento en MOOC
468
Anexo 7
Ane o 7. I e aci n III. P e en aci n pa a e po ici n
de e l ado .
469
Anexo 7
471
Machine Learning y predicciones para la mejora del rendimiento en MOOC
472
Anexo 7
473
Machine Learning y predicciones para la mejora del rendimiento en MOOC
474
Anexo 7
475
Machine Learning y predicciones para la mejora del rendimiento en MOOC
476
Anexo 7
477
Machine Learning y predicciones para la mejora del rendimiento en MOOC
478
Anexo 7
479
Machine Learning y predicciones para la mejora del rendimiento en MOOC
480
