Experiencias en la evaluación por pares para los MOOC Desarrollo y experimentación de un sistema de evaluación por pares para un curso masivo online Enrique Sánchez Acosta Juan José Escribano Otero Departamento de informática, automática y comunicaciones Universidad Europea Enrique Sánchez Acosta Ingeniero de Software en Soft S.A Doctorando en Tecnologías de Información Aplicadas ([email protected]) Juan José Escribano Otero Director del departamento de informática, automática y comunicaciones de la Universidad Europea ([email protected]) EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Resumen Aunque en un primer momento los MOOC (Massive Open Online Courses) no utilizaron la evaluación entre pares, esta ha demostrado con creces los beneficios que puede llegar a aportar para este tipo de cursos, mejora los procesos de aprendizaje, aumenta la capacidad de emitir juicios y desarrolla algunas competencias académicas que otros instrumentos evaluativos de los MOOC no poseen. En este artículo se analizará el resultado obtenido por las plataformas más utilizadas para los cursos masivos online, detallando sus características y limitaciones, así como la experiencia en la implementación y utilización de un sistema de evaluación por pares para un curso de más de 7300 alumnos. Se detallarán sus inicios en la realización de las rúbricas de definición y evaluación, junto a los resultados finales y las consecuencias de la inclusión de este tipo de evaluación en los MOOC. Palabras clave MOOC, Evaluación, Pares, Rúbrica, Automatismo, Masivo 2 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Abstract Although at first the MOOC (Massive Open Online Courses) did not use peer assessment, this has fully demonstrated the benefits you can get to contribute to this type of course, improve the learning process, increase the ability to make judgments academic skills and gets some other evaluative instruments that MOOC don´t have. In this report the results received by the most commonly used for massive online course platforms will be discussed, detailing its features and restrictions, as considerably as the experience gained in the implementation and use of a system of peer review for a course of more than 7300 pupils. Experience from its origins in the recognition of the headings of definition and assessment, until the final results and the shock of the inclusion of this type of evaluation will be detailed in the MOOC. Keywords MOOC, Evaluation, Pair, Rubric, Automatic, Massive 3 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Experiencias en la evaluación por pares para los MOOC En primer lugar es necesario definir y enmarcar la evaluación por pares utilizada actualmente en la mayoría de las revistas científicas dentro del contexto de los cursos masivos online. El sistema de evaluación del trabajo científico por los miembros de la comunidad llamado de revisión por pares (“peer review”) o sistema de arbitraje (“referee system”), es un proceso que se inicia cuando un científico somete su trabajo en forma de artículo al editor de una revista para ser publicado; este selecciona algunos especialistas (árbitros) quienes evalúan la calidad del trabajo y definen si el producto de la investigación realizada por el científico tiene potencial para ese propósito, o sí se debe hacer algún trabajo adicional antes de ser publicado (Cuevas y Mestaza, 2002). Sin embargo en los cursos masivos online este tipo de evaluaciones se ha desvirtualizado un poco, de modo que tal y como puede observarse en la definición anterior dada por Cuevas y Mestaza se especifica la palabra especialista, sin embargo, son los propios estudiantes quienes tratan de evaluar a sus compañeros. Para demostrar que estas evaluaciones son igualmente válidas que si las hiciera un especialista, las plataformas actuales que soportan los MOOC se basan en la gran cantidad de evaluaciones que estos estudiantes pueden realizar de un ejercicio, para determinar una calificación más igualitaria. De este modo, prácticamente todas las plataformas soportan este tipo de evaluaciones y todas ellas permiten ampliar el número de veces que se evalúa un trabajo a un número muy superior a 2. Por otro lado, se hace difícil enmarcar la evaluación por pares dentro de los instrumentos de evaluación utilizados en los MOOC, por ello se propone una división de estos instrumentos en 3 tipos fundamentales para poder definir mejor la evaluación por pares. Herramientas basadas en automatismos: Este tipo de herramientas o instrumentos de evaluación se basan en programas automáticos que analizan las respuestas mediante herramientas informáticas que implementan un algoritmo prefijado de corrección. Con estas herramientas, se persigue la fiabilidad de la corrección en tanto que una misma respuesta recibirá la misma evaluación todas las veces que se someta al automatismo. Existen diferentes tipos de instrumentos que pueden encajar en esta clasificación, pero la característica fundamental es que no precisan intervención humana, lo que los hace especialmente adecuados para el uso en MOOC. Algunos ejemplos podrían ser: Test de opción múltiple, 4 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Evaluación automática de conjuntos de problemas, Tareas de programación, Encuestas y cuestionarios, Ensayos, Escala de valoración de actitudes, Exámenes escritos, Solución de problemas , Comparación de gráficos e imágenes, Analizadores semánticos en respuestas de texto libre, con o sin diccionarios y tesauros con los que comparar, etc. El MIT (Massachusetts Institute of Technology) está investigando para su plataforma Edx varios sistemas de análisis de textos o AEG (Automated Essay Grading) (Markoff, 2013) para conseguir que los ensayos y las pruebas escritas sean también evaluados automáticamente. Por supuesto también tiene gran cantidad de detractores como los agrupados dentro HumanReaders.org que cuentan ya con más de 4.000 firmas de profesionales de diferentes universidades de todo el mundo. Están llevando a cabo un llamamiento a todas las escuelas y universidades para que dejen de utilizar herramientas automáticas de corrección de resúmenes o exámenes escritos en pruebas importantes o fundamentales para la graduación de los alumnos. Su argumento principal es que las computadoras no saben leer, no pueden medir los elementos esenciales de la comunicación escrita: la precisión, el razonamiento, la adecuación de las pruebas expuestas, el buen sentido, la postura ética, si el argumento es convincente, la organización significativa, la claridad y veracidad, entre otros («Human Readers», 2013). Sin embargo existe una gran cantidad de sistemas de este tipo funcionando actualmente en el mercado, no hay que olvidar que las máquinas son mucho más consistentes y pueden evaluar una gran cantidad de elementos en poco tiempo (Ezeiza, A, 2013). Actualmente, combinan métodos algorítmicos de análisis gramatical con análisis semánticos y métodos holísticos basados en búsquedas de textos. Por ejemplo, el sistema Summary Street (Steinhart, 2000) compara resúmenes con el texto original, o el Computer Learner Corpora (Granger, Hung, y Petch-Tyson, 2002) está recopilando una base de datos de textos de estudiantes sobre los que comparar los análisis. El e-rater (Attali y Burstein, 2006) combina análisis estadísticos y procesamiento de lenguaje natural para contrastar los resultados con su base de datos, analiza cuestiones gramaticales, marcadores de discurso y contenido léxico utilizando unos 100 indicadores. Aseguran que sus resultados tienen una tasa de acierto comparándolos con evaluadores humanos de entre el 84% y el 94%. Este sistema es impulsado por la empresa ETS (Educational Testing Service) para desarrollar el programa Criterion. ETS utiliza este sistema en algunas de las conocidas pruebas TOEFL (Test Of English as a Foreign Language) emparejando máquina con evaluador humano para algunas pruebas de evaluación, lo que 5 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC supone un ahorro de una importante suma de dinero (Knoch, 2009). Herramientas basadas en la autoridad: Son aquellas herramientas en las que interviene un profesional o una persona versada en la materia. Son muy difíciles de implementar en un MOOC, debido principalmente a la gran cantidad de alumnos matriculados en el curso, por lo que este tipo de evaluaciones requerirían de una cantidad ingente de tiempo del profesor o profesores. Sin embargo, a veces se delegan estas correcciones en profesores asistentes que dinamizan y apoyan a los estudiantes. Cuando en lugar de corregir un profesor lo hace un amplio conjunto de profesores, aparece el problema de la disparidad de criterios en la corrección, que puede provocar que una misma respuesta reciba muy distintas evaluaciones dependiendo del miembro del equipo docente que la evalúe, incluso, dependiendo del momento en que lo haga. Para paliar este problema, es posible aplicar rúbricas muy sofisticadas de evaluación que determinen un desarrollo más objetivo de las correcciones, se pueden parametrizar los criterios e incluso apoyarse en descriptores. Pero, al final, el ser humano evalúa en gran medida basándose en la intuición. Algunos autores piensan que es más relevante la experiencia de los evaluadores, su origen o sus conocimientos que cualquier descriptor o rúbrica que se determine, y por eso, más que dedicar horas y estudios a construir escalas fiables y válidas, les parece más rentable gastar ese dinero y esfuerzo en la preparación de las personas que vayan a evaluar las pruebas, su grado de acuerdo y la forma en la que manipulan esas escalas (Ezeiza, A, 2013). Algunas técnicas de evaluación que necesitan herramientas basadas en la autoridad son: Seminarios, Talleres, Exámenes prácticos, Entrevistas, Debates, La coevaluación de las actividades realizadas en los cMOOC. Herramientas basadas en la interacción social: Sin lugar a dudas el potencial comunicador de las redes sociales está todavía por descubrir y debe ser estudiado más en profundidad (Guerrero, 2010). Ahora es el momento en que se está comenzando a introducir este potencial en el sistema educativo y aprovechar al máximo las oportunidades que nos brindan las redes sociales, no solamente en cuanto a los MOOC se refiere sino también como herramienta de apoyo a las clases tradicionales. Algunos instrumentos que encajan en este sistema de interacción social son: Anecdotario, Portafolio, Wiki colaborativo, Gamificación o motivación basada en juegos colaborativos, Encuestas y cuestionarios, Foros de discusión, Proyectos, Talleres, Tareas, ejercicios y actividades o el conocimiento generado o colaboración en el aprendizaje en los cMOOC y xMOOC. Con estos datos se podría enmarcar la evaluación por pares a caballo entre las herramientas 6 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC basadas en la interacción social o basadas en la autoridad. Sin embargo dado que una parte fundamental de las herramientas basadas en la autoridad es que la persona sea versada en la materia, sería más acertado decir que los sistemas de evaluación por pares son una herramienta de evaluación para los MOOC basada en la interacción social, tanto es así que en la experiencia que se va a detallar en este estudio muchos de los alumnos comentaron en los foros que ¿Cómo iban ellos a evaluar un trabajo sobre algo que están aprendiendo?, es decir, no se les puede considerar autoridad. Necesidad del estudio La gran tasa de abandono que están teniendo los MOOC hace necesario estudiar la forma de mantener a esos estudiantes durante todo el curso y así garantizar su aprendizaje. Sin embargo entra en juego la pregunta de si es mejor disminuir la tasa de abandono o mejorar la calidad de lo aprendido, algo que se preguntan la mayoría de las instituciones que se adentran en este tipo de enseñanza online. La tasa actual de abandono de los MOOC está rondando el 95%, pero esta puede deberse también a la propia "curiosidad" que están generando estos cursos en la red. Los estudiantes quieren saber de qué se trata y las estadísticas actuales no muestran estos datos. Resultaría interesante incluir en el registro una casilla que indicase si solo desea probar el curso, algo así como "Estudiante oyente". Esto podría mejorar las estadísticas, al menos en estos momentos iniciales en que los MOOC despiertan tantas expectativas (Acosta, 2013). Hipótesis Este experimento se realiza para determinar si la utilización de la herramienta de evaluación por pares es útil o no para disminuir la alta tasa de abandono que tienen actualmente los cursos masivos online. Metodología Para lograr dar respuesta a esta hipótesis se incluyó en un MOOC sobre videojuegos con más de 7300 alumnos, una tarea de evaluación por pares. Gracias a esta muestra tan amplia y diversa de alumnos (Ver Gráficos 1, 2, 3 y 4) se puede ratificar la posible extensión de estos resultados a otros cursos masivos online 7 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Perfil Aun no he comenzado mi periodo universitario 13% Perfil Docente / investigador universitario 8% Perfil Perfil Personal de administración y servicios de universidad 1% Perfil Estudiante universitario 40% Perfil Finalicé mi periodo universitario 38% Gráfico 1.- Perfil de alumnos a los que se dirigió la evaluación por pares Edad 0-17 3% Edad Edad 45-54 5% Edad 35-44 18% Edad 55-64 Edad 65-+ 0% 0% Edad 25-34 39% Edad 18-24 35% Gráfico 2.- Edad de alumnos a los que se dirigió la evaluación por pares País España País Colombia País México País Perú Gráfico 3.- Nacionalidad de alumnos a los que se dirigió la evaluación por pares 8 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Sexo Mujer 18% Hombre 82% Gráfico 4.- Sexo de alumnos a los que se dirigió la evaluación por pares El experimento fue realizado sobre una plataforma en castellano donde existen multitud de otros cursos masivos, algunos con tareas por pares y otros no. Estudios realizados en otras plataformas ponen de manifiesto que la mayoría de los MOOC cuentan con una mezcla de auto-evaluaciones, generalmente relegados a un solo tipo de instrumento evaluativo, los test de opción múltiple, y evaluación por pares o entre iguales. (Ver Ilustración 1). ● 24 - MCQ (Multiple Choice Questions) y evaluación entre pares ● 114 - MCQ (Multiple Choice Questions) únicamente ● 10 - Evaluación entre pares únicamente. ● 7 - Otros. Ilustración 1.- Análisis de evaluaciones por Katy Jordan (Jordan, 2013) El curso se dividió en 6 módulos con una serie de lecciones cada uno, aproximadamente 10 lecciones con un vídeo en cada uno de ellas. La tarea de evaluación por pares fue introducida 9 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC en el segundo módulo y aunque aparecía en el plan de estudios inicial, mucho de los alumnos no se habían dado cuenta de esta posibilidad y les pilló por sorpresa, lo que enfatizó un descenso en la realización de estas tareas las primeras semanas del curso. A los alumnos se les advirtió de que la finalización y su calificación se realizarían durante las dos semanas siguientes al comienzo del módulo y que deberían evaluar al menos a un alumno para poder ser calificados dentro de la plataforma. Aun así hubo muchos problemas con la finalización de la misma debido a que ellos pensaban que tendrían hasta final de curso para terminar la evaluación. Uno de los principales comentarios realizados por los alumnos en la comunidad del curso fue “¿Cómo debían evaluar a sus compañeros?” Quizá la rúbrica de evaluación no fue del todo precisa y dejaba muchas opciones a la interpretación. Es muy importante que la rúbrica quede lo más específica posible y que los estudiantes sean capaces de evaluar eficazmente a sus compañeros. Durante las 6 semanas de duración del curso se tomaron estadísticas continuas para ver la evolución de la actividad a lo largo del tiempo y se realizó una encuesta final a la que respondieron más de 1200 alumnos. Resultados Una vez visto la metodología utilizada en el experimento y que la muestra es lo suficientemente grande como para refutar la fiabilidad del mismo, se pasa a detallar los datos estadísticos más relevantes del experimento en cuanto a la herramienta de evaluación por pares que se está estudiando. En primer lugar parece relevante comparar la finalización de los módulos entre sí, ya que como se ha dicho anteriormente solo se introdujo una técnica de evaluación por pares en el módulo 2, esto puede dar una idea de la diferencia entre este tipo de evaluación y otros utilizados en el curso como las preguntas de opción múltiple (Ver Tabla 1) 10 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC 11 Tabla 1.- Estadísticas de finalización por módulos Diseño Organización Evaluación de videojuegos y gamificación. Hay 7.386 usuarios inscritos. Iniciaron el curso 5689 personas y finalizaron 807 Módulo Cuantos Iniciaron 4826 5373 4004 2782 2254 1929 1521 Mo 0. Presentación del curso Mo 1. Historia y desarrollo de los videojuegos Mo 2. El diseño de un juego Mo 3. Los roles dentro de la industria Mo 4. Distribución financiación, el largo camino Mo 5. La crítica y evaluación el juego. El juego como arte Mo 6. La gamificación y otras tendencias actuales Cuantos Terminaron 4825 4211 1349 2365 1996 1671 1249 Se puede observar gráficamente (Ver Gráfico 5) como este tipo de evaluación causa una ligera desviación en la finalización del módulo que la contiene. Aun así, resulta mucho más interesante observar detenidamente esta herramienta dentro del módulo 2, ya que si se mezclan todos los módulos, es posible que las demás lecciones que no contienen evaluación por pares puedan enmascarar la estadística de este instrumento evaluativo. Módulos 6000 5000 4000 3000 2000 1000 0 1 2 3 Cuantos Iniciaron 4 5 6 7 Cuantos Terminaron Gráfico 5.- Comparativa de finalización de los módulos De este modo puede observarse en la última semana del curso como las diferencias entre el resto de las lecciones y esta, que contiene la actividad por pares, son sustanciales (Ver Tabla 2), aunque quizá se pueda ver con más detalle en el gráfico (Ver Gráfico 6). EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC 12 Tabla 2.- Estadísticas de las lecciones del Módulo 2 del curso Actividad Tema 1: Una duda razonable Cuestionario: Una duda razonable Tema 2: ¿Qué NO es el diseño de un juego? Cuestionario: ¿Qué NO es el diseño de un juego? Tema 3: Estableciendo las formas Cuestionario: Estableciendo las formas Tema 4: ¿Qué podemos hacer con todo esto? Cuestionario: ¿Qué podemos hacer con todo esto? Tema 5: Cómo generar tomas de decisión Cuestionario: Cómo generar tomas de decisión Tema 6: Hablemos de diseño con un teórico: Keith Burgun Tema 7: Niveles, la otra cara del diseño. Cuestionario: Niveles, la otra cara del diseño. Tema 8: La Master Class de Miyamoto-San Cuestionario: La Master Class de Miyamoto-San Entrevista a Raúl Rubio Entrevista a Lucas González Actividad Peer2Peer Documentación adicional Iniciaron Aprobaron 3873 3848 3833 3773 3771 3705 3674 3624 3602 3565 3562 3456 3421 3425 3384 3378 3209 1406 2950 3870 3776 3831 3728 3769 3662 3673 3583 3599 3525 3561 3456 3380 3424 3348 3376 3208 1360 2947 Nota Media 100 99,683 100 99,706 100 99,836 100 99,833 100 99,887 100 100 99,941 100 99,91 100 100 86,186 100 Gráfico de finalización del módulo 2 5000 4000 3000 2000 1000 0 1 2 3 4 5 6 7 8 Iniciaron 9 10 11 12 13 14 15 16 17 18 19 Finalizaron Gráfico 6.- Comparativa de la evaluación por pares dentro de su módulo Ya con estos datos, se pueden sacar interesantes conclusiones de este tipo de instrumento de evaluación con respecto a la tasa de finalización de los MOOC. A lo largo de las distintas etapas en las los estudiantes han estado completando la actividad que se está estudiando, se ha observado una importante disminución en la actividad de evaluación por pares. Este curso EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC contaba a su finalización con dos tipos de certificados avalados por la plataforma y por la universidad que lo impartía. Uno de ellos, el certificado de participación, se otorgaba a todos los estudiantes que superaran el 75% del curso, mientras que el otro certificado, de aprovechamiento, se otorgaba a aquellos que superasen con un 100% las actividades. Por lo tanto, todos aquellos que no pudieron terminar a tiempo la tarea de evaluación por pares quedaron fuera de este certificado, disminuyendo con diferencia lo que hubiera sucedido en caso de no haber incluido este tipo de evaluación. Cabe destacar en este punto que ese certificado tenía un coste de 40 euros con lo que podría haberse sufragado los gastos del curso, luego un descenso en este punto resulta muy importante para la financiación de los MOOC. Con todos estos resultados se puede obtener una idea de que están dispuestos a hacer los estudiantes para terminar un curso masivo online, sin embargo a la finalización de este experimento se les envió una encuesta con diferentes preguntas acerca del curso y algunas fueron muy significativas (Ver Gráfico 7 y 8), estas preguntas fueron contestadas por más de 1200 alumnos. ¿Qué tipo de cuestionario te gusta más? 15% 6% Resumen o ensayo Opción multiple 9% Emparejamiento 4% Respuesta corta 66% Verdadero o falso Gráfico 7.- Resultados de la encuesta con respecto a los tipos de preguntas 13 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Curso online 38% 62% Curso masivo, con poca interacción de los profesores Curso limitado con interacción directa con el profesor Gráfico 8.- Qué tipo de curso online prefieren los estudiantes Conclusiones A partir de los datos obtenidos en los resultados anteriores, se puede responder a la hipótesis planteada para este experimento de forma negativa, es decir, la utilización de mecanismos de evaluación por pares inciden negativamente en la tasa de finalización de los MOOC, esto no quiere decir que el aprendizaje sea de mayor o menor calidad, sino únicamente que si lo que se desea es aumentar la tasa de finalización, es mejor obviar este tipo de instrumentos evaluativos. Este experimento ha servido además para mejorar algunas pautas en su realización y que se están teniendo en cuenta para la próxima versión del curso que comenzará en breve. Por ejemplo, la tarea por pares debe mantenerse a lo largo de todo el curso para aceptar alumnos que se enganchen al mismo en semanas posteriores, muchos de los alumnos comenzaron en las semanas 3 y 4 y ya casi no tenían opción a realizar la tarea. Por otro lado las plataformas deben mejorar en este tipo de instrumentos de evaluación, en muchas de ellas no están teniendo en cuenta que algunos estudiantes no eran calificados por que en ocasiones los alumnos que debían realizar la calificación no la hacían, si eso sucede debe pasar a otro estudiante inmediatamente hasta su calificación, no debe ocurrir que estudiantes que realicen la tarea se queden sin calificar. Otro punto a tener en cuenta es que la rúbrica de evaluación ha de ser muy precisa, muchos estudiantes se fiaban de su intuición para calificar y al no ser expertos en la materia muchas calificaciones no estaban correctamente evaluadas, es decir, debe utilizarse al alumno como un pequeño “robot” que no sabe nada y se le han de dar todas las pautas necesarias para una 14 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC correcta evaluación, debe suponerse que el estudiante no sabe, está aprendiendo. Más que una rúbrica, debería ser un pequeño algoritmo para seguir paso a paso que permita evaluar minuciosamente un contenido, indicando los mínimos, en cuantas partes debe estar dividido, qué hacer si no tiene alguna de las partes fundamentales, que puntuación se le da a cada apartado, etc. 15 EXPERIENCIAS EN LA EVALUACIÓN POR PARES PARA LOS MOOC Referencias Acosta, E. S. (2013). MOOC: Resultados reales. elearningeuropa.info. Recuperado a partir de http://elearningeuropa.info/en/article/MOOC:-Resultados-reales Attali, Y., y Burstein, J. (2006). Automated essay scoring with e-rater® V. 2. The Journal of Technology, Learning and Assessment, 4(3). Cuevas, R. F., y Mestaza, M. (2002). La evaluación científica y el sistema de revisión por pares. CSI Boletín, 46. Ezeiza, A. (2013). ¡Horror! ¡Me evalúa un Robot! Boletín SCOPEO No 85. Recuperado a partir de http://scopeo.usal.es/horror-me-evalua-un-robot/ Granger, S., Hung, J., y Petch-Tyson, S. (2002). Computer learner corpora, second language acquisition, and foreign language teaching (Vol. 6). John Benjamins. Guerrero, C. S. (2010). Aprendizaje cooperativo e interacción asincrónica textual en contextos educativos virtuales. Pixel-Bit: Revista de medios y educación, (36), 53–67. Human Readers. (2013). Recuperado noviembre 6, 2013, a partir de http://humanreaders.org/petition/index.php Jordan, K. (2013). Synthesising MOOC completion rates. MoocMoocher. Recuperado julio 24, 2013, a partir de http://moocmoocher.wordpress.com/2013/02/13/synthesisingmooc-completion-rates/ Knoch, U. (2009). Diagnostic writing assessment: The development and validation of a rating scale (Vol. 17). Peter Lang. Steinhart, D. (2000). Summary street: An LSA based intelligent tutoring system for writing and revising summaries. Unpublished Doctoral Dissertation, University of Colorado. 16