EVALUACIÓN DE LA CALIDAD DEL SOFTWARE EDUCATIVO ELABORADO POR: JENNIFER KATHERINE PIEDRAHITA MIRANDA ANA MARGOTH VELASCO GONZÁLEZ PRESENTADO A: ANA MARÍA APARICIO FRANCO UNIVERSIDAD DE SANTANDER MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA EVALUACIÓN DE LA CALIDAD DE LA TECNOLOGÍA EDUCATIVA Y LOS LMS 2019 I. TABLA: EVALUACIÓN DE LA CALIDAD DEL SOFTWARE EDUCATIVO. MODELOS PARA LA EVALUACIÓN DE SOFTWARE EDUCATIVOS ANALIZADO POR: ÁNGELA COVA, XIOMARA ARRIETA Y JUDITH AULAR DE DURAN Las tecnologías de la información y la comunicación constituyen un eje importante para el mundo de hoy, pues son utilizadas en todos los ámbitos de la vida. En particular la evaluación del software educativo representa una labor que deben abordar los docentes en el proceso de enseñanzaaprendizaje; sin embargo, los docentes no estamos preparados para estos retos que nos traen las nuevas tecnologías. La educación tiene por finalidad propiciar el desarrollo de habilidades y destrezas y favorecer la adquisición de nuevos conocimientos; desde ahí la importancia de utilizar los programas informáticos en el terreno educativo, como una nueva herramienta para la enseñanza-aprendizaje. Considerado como un motivo virtual interactivo. Programa computacional. Producto tecnológico SOFTWARE EDUCATIVO Favorece el proceso de enseñanzaaprendizaje de todas las disciplinas Utilizado en contextos educativos, lo emplea quien enseña y quien aprende para alcanzar determinados propósitos Sirve de apoyo al proceso de enseñar, aprender y administrar 1. Escala de evaluación para software educativo de Barroso y Col (1997) EL objetivo es facilitar la toma de decisiones para su adquisición y uso respectivo. Contiene las siguientes partes: 1. Identificación del programa: se describen las caracteristicas educativas básicas sobre el programa, es decir cuáles serán los usuarios, para que estará hecho, una breve información comercial sobre el mismo, también información técnica. 2. Valoración de elementos que llevara a determinar su uso adecuado e inadecuado respecto a su instalación, manual de uso y el tutorial. 3. Valoración de relaciones: contexto. Es decir, el precio, requisito y manual y su respectiva distribución. Entrada. es decir, su objetivo, el currículo y Proceso. De enseñanza aprendizaje que se da a través de él. Igualmente presenta un esquema-guion para elaborar el informe de evaluación, para mirar y validar las interacciones de los actores, ellas son: Profesor-alumno. Diseñador-alumno. Profesor – diseñador. Este esquema guion determina los roles o papeles de cada uno de los actores en el proceso de evaluación. Es muy importante que cada uno de ellos tenga claro cuál es su rol y su función dentro del proceso de enseñanzaaprendizaje. Esta escala de evaluación permite tomar decisiones para su adquisición y uso, proporciona una lista de control, y está dirigido a docentes y administradores educativos. Es de suma importancia el procedimiento que se muestra entre los actores que intervienen en el proceso de evaluación, todo en pro de la enseñanzaaprendizaje. 2. Evaluación formativa de medios instruccionales aplicados a videos y software se Dorrego (1998) Su función es transmitir mensajes y desarrollar las destrezas necesarias para procesar la información contenida en el mensaje. Se debe tener en cuenta la etapa de la planificación o preproducción donde se muestra el contenido del mensaje incluyendo las variables pedagógicas. se mira los objetivos a lograr y las caracteristicas de la materia y la población a la cual va dirigido el material. Su propósito es recoger información sobre las posibles fallas del material con la finalidad de corregirlas. Tiene en cuenta preguntas como: ¿que se evalúa? ¿Quiénes evalúan? 3. Herramienta de evaluación de multimedia didáctica de Martìnez y col. (2002) 4. Modelo de evaluación de materiales educativos computarizados de Galvis (2000) 5. Lista de control para la evaluación de software educativo de Bostock (1998) ¿Cuáles son los procedimientos e instrumentos que se usan para evaluar? ¿Cómo se analizan los resultados? ¿Qué decisiones pueden tomarse a partir de los resultados? Todas estas preguntas apuntan a realizar un trabajo de buena calidad en cuanto evaluación formativa se refiere y es precisamente lo que se necesita hoy en día en nuestras instituciones. La finalidad de esta es obtener datos sobre las posibilidades educativas de distintas aplicaciones multimedia. Está formada por cinco dimensiones: una centrada en los datos de identificación del material y en sus aspectos descriptivos; dos dimensiones en relación con el análisis de los elementos didácticos y psicopedagógicos; una que contempla el costo económico y los aspectos relativos a la distribución del material y por último, se realiza una valoración global estructurada en calidad técnica, pedagógica y recomendaciones del evaluador. Otra característica es la evaluación de la optimización del proceso de enseñanza-aprendizaje; donde aborda la necesidad de cualificación informática del docente y estudiante, junto a la posibilidad de los recursos de fomentar el descubrimiento y/o exploración, además de la respuesta del usuario en su elección de lo que quiere aprender y cómo hacerlo. Establece la evaluación como actividad necesaria para la elaboración de información requerida en la toma de decisiones, siendo aplicable a cualquier sistema. Los MEC se desarrollan para satisfacer necesidades educativas prioritarias que no pueden ser abordadas por otros medios de enseñanza, debiendo ser de calidad y viables de utilizarlos por los usuarios. En este modelo es importante la calidad educativa, la calidad computacional y probabilidad de uso del recurso informático. Propone una lista de control para la evaluación de software educativo que define el papel del docente durante la aplicación del software en función de lo que le permita realizar el programa frente a sus estudiantes. La evidencia de progreso del estudiante muestras diversas maneras en que la aplicación puede llevar a cabo este seguimiento aunado a la realimentación establecen un posible tratamiento frente a respuestas incorrectas del aprendiz. Otro factor importante de este control es la protección del programa para cuando se presentan fallas en la aplicación. Este modelo establece la importancia de la evaluación del software educativo por el crecimiento rápido de la cantidad de estos en el mercado. Los docentes tienen la necesidad de evaluarlos para determinar su grado de adecuación a su propio entorno, mientras que los estudiantes requieren saber cómo pueden mejorar sus aprendizajes mediante una aplicación específica. 6. Metodología de evaluación de software educativo de Cataldi (2000) 7. Instrumento de evaluación de recursos multimedia de Soto y Gómez (2000) Cataldi (2000), propone una metodología de evaluación de software educativo en tres momentos de su ciclo de vida: una evaluación interna realizada por el equipo de desarrolladores del programa, durante su creación a dos prototipos del mismo. Otra externa, aplicada al producto final por los docentes; y la evaluación contextualizada efectuada en un contexto parecido a aquel para el cual fue elaborado el software, que brinda información sobre las reacciones de los usuarios y de la eficacia de la aplicación. Desde el punto de vista del producto, el software educativo integra dos aspectos fundamentales a evaluar: el técnico y el pedagógico, que conlleva a establecer la calidad técnica y educativa, es decir, la potenciación de habilidades cognitivas y de adquisición de conocimientos a partir del uso del software en particular. Proponen un instrumento denominado “EVALUA”, que es una base de datos sobre software educativo, que pretende ser un instrumento de apoyo a los docentes en la labor de evaluación y selección de recursos informáticos, con el propósito de favorecer la integración de las TIC en el sistema educativo. EVALUA contempla en su diseño la atención a la diversidad, en virtud que se abordan aspectos interés en la evaluación de software para estudiantes con necesidades especiales y por otra parte se incluyen referencias de programas para atender a la variedad de educandos. Esta contiene las siguientes partes: datos del programa, aspectos curriculares, aspectos pedagógicos, aspectos técnicos-estéticos y observación y valoración global. Todos estos aspectos buscando siempre el buen desarrollo en el aprendizaje del estudiante. EVALUACIÓN DE LA CALIDAD DEL SOTFWARE EDUCATIVO PROPUESTAS SOBRESALIENTES CARACTERÍSTICAS 1. Partes de la metodología Naranjo Sánchez (2013) La metodología propone las siguientes etapas o partes para el proceso de evaluación: 1. Establecimiento de la evaluación 2. Planificación de la evaluación 3. Establecer el modelo de calidad 4. Determinar la puntuación/calificación de los elementos que componen el modelo 5. Efectuar medición 6. Establecer resultados 7. Presentar informes. Determinar objetivo de la evaluación: concretar con el cliente el objetivo principal que se busca con la evaluación. Establecer tipo de evaluación: se centra en el producto final o su proceso de desarrollo. Identificar el tipo de producto: si es comercial o está hecho a la medida para la institución, si es un software gratis, alquilado, comprado. Elaborar cronograma de la evaluación: definir todas las actividades que se realizaran durante el proceso de evaluación de la calidad. Identificar responsables: identificar el recurso humano que intervendrán en el proyecto. Determinar roles: se determinan y asignan las actividades y/o tareas que van a desarrollar cada uno de los que participan en el proyecto. Elaborar contrato o acuerdo: elaborar un contrato que contenga las diferentes especificaciones que desean para las mediciones y como serán documentadas. Nivel 0, tipo de calidad. Está centrado en métricas de proceso y métricas de productos. Son basada en normas reconocidas ISO 9126 entre otras normas. Nivel 1, caracteristicas: seleccionar las características que se considere relevantes para la evaluación del software educativo, se puede modificar el modelo de calidad adicionando nuevas caracteristicas y métricas. Nivel 2, subcaracterísticas: corresponde a los atributos del producto, se enumeran los atributos que debe reunir el software ideal, igualmente se validan las subcaracteristicas propuestas con el cliente para luego ser incluida en el modelo si el cliente da su aprobación. Nivel 3, métricas: corresponden a las formulas y medidas que usaran para el determinar el grado de cumplimiento de cada una de las subcaracterísticas. Nivel 4, indicadores: Se calcula el valor resultante que puede ser un número, un porcentaje, un numerador y un 1. Establecimiento de la evaluación 2. Planificación de la evaluación 3. Establecer el modelo de calidad denominador, en fin, la medida en la cual las subcaracterísticas se cumplen. 4. Determinar la puntuación/ calificación de los elementos que componen el modelo. 5. Efectuar medición de la evaluación 6. Establecer resultados 7. Presentar informe de la evaluación de la calidad Nivel 0: tipos de calidad: se debe indicar cuanto se asigna a las métricas de producto, y cuanto se asigna a las metrics de proceso. La asignación de puntaje a métricas del proceso se realiza solo si la evaluación del software educativo se adelanta para la empresa o institución educativa que está desarrollando el software. Nivel 1: caracteristicas: se realiza la distribución de los puntajes definidos en el nivel anterior para métricas, producto y proceso. La distribución la sugiere el equipo de evaluación sobre las caracteristicas que sean seleccionadas para el modelo de calidad y se presentan al cliente para su aprobación. Nivel 2: subcaracterísticas: el equipo de evaluación debe asignar los puntajes para valorar las subcaracteristicas tanto del producto como del proceso, respetando los valores acordados con el cliente en el nivel 1. Para el cumplimiento de estas se utilizan instrumentos como entrevistas y en cuestas, u otros mecanismos como las pruebas técnicas. Nivel 3: métricas: El equipo de evaluación debe asignar los puntajes máximos de referencia para valorar cada una de las métricas a utilizar la suma total deberá ser igual a 100 puntos. Los valores que se obtengan al realizar las mediciones serán llamados puntajes obtenidos y deben ser representados en función de las escalas establecidas previamente; en el mejor de los casos el puntaje obtenido para una característica, subcaracteristicas, métricas e indicadores no debe superar el puntaje mayor de referencia fijado previamente. Naranjo Sánchez (2013) La matriz de resultados permitirá comparar los puntajes establecidos y obtenidos por el producto software educativo evaluado, facilitando determinar si el producto cumple con las especificaciones formuladas; en el caso de que requiera comparar varios productos similares al mismo tiempo se puede adicionar una columna de puntaje obtenido para cada uno de los productos. Se debe documentar el trabajo realizado a medida que se avanza en el proceso de evaluación, es decir, se debe elaborar un documento final que corresponde al informe de la evaluación, el cual es presentado a la institución que solicito la evaluación. Naranjo Sánchez (2013) se debe presenta un informe ejecutivo corto y un informe analítico que debe contener toda la documentación relativa a la evaluación que servirá como evidencia del trabajo realizado. II. INFORME SOBRE LOS ELEMENTOS Y CARACTERÍSTICAS DE LA CALIDAD DE LOS LMS EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS) “Los sistemas de gestión del aprendizaje (LMS, Learning Management System). Están diseñados para asistir al proceso de enseñanza-aprendizaje en un entorno virtual mediante un conjunto de herramientas. Puede tener una orientación hacia el profesor, alumno o el proceso enseñanzaaprendizaje. Existen números ejemplos de LMS, siendo los más comunes Moodle, Dokeos y ATutor.” (Menéndez & Castellanos, 2011). Partiendo del principio, que la educación es un proceso continuo, sistémico, transformador e integrador, el cual se articula desde sus estructuras y en las distintas áreas; un sistema de gestión debe fortalecer y enriquecer los procesos de enseñanza aprendizaje, y este fortalecimiento es lo se busca con un LMS ya que en la actualidad las instituciones educativas utilizan diferentes tipos de tecnologías ( aplicaciones) para organizar las diversas actividades que realizan con y para sus estudiantes, una de ellas y el más utilizado es el Sistema de Gestión del Aprendizaje (LMS). El uso de este tipo aplicaciones es utilizado en el proceso de enseñanza-aprendizaje porque: 1. Permite la mejor utilización de tiempo y espacio. 2. Es flexible en cuanto al aprendizaje. 3. Permite una interacción constante y continua entre tutores y estudiante. 4. Permite ser usado en diferentes ocasiones y actividades. Proyectos, procesos y prácticas pedagógicas, comunitarias, directivas y administrativas tal como lo plantea el ministerio de educación nacional en la guía 34. La educación, debe garantizar que, si bien estas prácticas se lleven a cabo, lo hagan de manera integral, eficaz, eficiente y bajo criterios y estándares de calidad; los cuales deberán ser establecidos por los interesados en el producto que se desea impulsar. De allí que cobra importancia la implementación, y estructuración de un Sistema de Gestión del Aprendizaje; porque implica una atención especial, y los evaluadores necesitan guías apropiadas, así como metodologías de evaluación efectivas. MARCO TICS Y Según (Menéndez y Castellanos) CARACTERÍSTICAS DE LA CALIDAD De estos aspectos se han METODOLOGÍA Lanzilotti dice que la propuesta generado una serie de guías y eLSE enfatiza la intervención usuario- una metodología de plataforma, además plantea que la evaluación denominada eLSE calidad de un SGA. Está definida que combina técnicas de por: Tecnología, intervención, inspección especificas con la contenido y servicios; evaluación de usuarios. LMS ELEMENTOS DE LA CALIDAD Proceso que inicia con la inspección de la plataforma por expertos que identificarán posibles problemas hasta el análisis de la aplicación con respecto a las dimensiones TICS, MARCO PARA EL Georgiakakis propone un esquema El criterio principal es el ANÁLISIS DE LA para validar la potencialidad y concepto de aceptación, el validez de este tipo de sistemas, cual caracteriza a los criterios para dicho objetivo se basa en pedagógicos y técnicos que establecer la Utilidad y calidad de hacen parte de este modelo y uso de un sistema de Gestión del se divide en práctico y Aprendizaje. educativo. Esto permite en un Establece un proceso de dos primer momento establecer pasos: Explorar el SGA y diferencias entre diversas determinar su naturaleza con base plataformas; en un segundo POTENCIALIDAD Y VALIDEZ a sus características y Examinar la momento se encarga de usabilidad y la utilidad, que son establecer si sus factores críticos de aceptación. características son bien soportadas. Esto lo hace a través de cinco criterios que se refieren a la facilidad de aprender y comprender la eficiencia en la realización de tareas, la eficiencia en la navegación, retorno a lugares seguros y por ultimo lo agradable que será realizar el proceso de enseñanzaaprendizaje desde la plataforma. SISTEMA DE Para la realización de dicha Su objetivo principal es GESTIÓN DE evaluación será básico tener en identificar los criterios cuenta las experiencias de los utilices que servirán para la usuarios llámense estos evaluación en cuanto uso de estudiantes, asesores, docentes y herramientas y beneficios que además teniendo presente otros pueda tener una plataforma estudios realizados. de este tipo. CONTENIDO DE CÓDIGO ABIERTO Adicionalmente surge un Este sistema se evaluará listado de características o mediante una escala de 0 a 5 herramientas vitales para el en done 0 equivale a “no sistema de Gestión del aprendizaje existe o pobre” 3 es los cuales son: administración, “promedio básico estándar” y seguridad, acceso, integración con 5 significa “excede las otros sistemas, diseño de curso, expectativas del estándar”. monitoreo de curso, diseño de Todos estos criterios con los actividades, colaboración en línea cuales se va a medir o evaluar y comunicaciones y herramientas la calidad apuntan de productividad. principalmente hacia el valor de uso, la mantenibilidad, hacia la efectividad y eficacia y hacia la seguridad entre otros. MODELO DE Este modelo nace de la unión de CALIDAD ISO/ IEC las normas ISO/IEC 9126 e ISO que existe entre el modelo de 14598. Sirve para medir la calidad calidad ISO y IEC 25000 y el de un sistema de Gestión de 9126 es que no tiene como aprendizaje para los usuarios y finalidad definir o evaluar los administradores, esta información elementos relacionados con puede ser importante en el las actividades de enseñanza- momento de selección y aprendizaje y además es escogencia de un sistema con el limitado a la hora de cual se quiera trabajar, ya que nos especificar algunas permitirá compararlos con otros características del software, existentes en el mercado. Este por ejemplo: su usabilidad. modelo va a definir características De esto podemos decir que su del producto como su principal falencia afecta al funcionalidad, disponibilidad, objetivo principal que como eficiencia, mantenimiento y usuario queremos conseguir, portabilidad es decir, su uso y eficacia en 2500 La principal relación cuanto al aprendizaje. MARCOS PARA LA La calidad de este sistema se ha Estos criterios que de modo EVALUACIÓN DE UN venido investigando a través del general a apuntan a los SISTEMA DE tiempo por diferentes expertos requerimientos académicos y GESTIÓN DEL como Beshears, el cual define 5 administrativos actuales y APRENDIZAJE criterios básicos que son: futuros, a la implementación Requerimientos reconocidos, de modo fácil y a su costo de Requerimientos futuros compra y mantenimiento, desconocidos, implementación, serán evaluados con un soportes y costos. porcentaje que dependerá del resultado que arroje cada criterio en particular, es decir que cada característica será evaluada por si sola pero que en modo grupal definirán la calidad de este sistema. MODLE De acuerdo a lo propuesto por La evaluación a realizar se Kaap (20039), este sistema se centra básicamente en el basa en los siguientes elementos: producto final, es decir, se mantenimiento, compatibilidad, desea evaluar el producto que usabilidad, modularidad y se ofrece en el mercado, y no accesibilidad. interesa evaluar características de su proceso de desarrollo. REFERENCIAS BIBLIOGRÁFICAS Cova, A., Arrieta, X. & Duran, J. (2007). Revisión de Modelos para Evaluación de Software Educativo. Recuperado de https://aulavirtualeew.cvudes.edu.co/publico/lems/L.000.008.MG/Documentos/Anexos/cap4/2.pdf Méndez, D. V., & Castellanos, B. M. (2011). La Calidad en los Sistemas de Gestión del Aprendizaje. Recuperado de https://aulavirtualeew.cvudes.edu.co/publico/lems/L.000.008.MG/Documentos/Anexos/cap4/3.pdf Lanzilotti, R., Ardito, C., Costabile, M., & De Ange, A. (2006). eLSE methodology: asystematic approach to the e-Learning system evaluation. Educational Technology & Society. UDES. (2019). Gestión de la calidad de la tecnología educativa. Recuperado de https://aulavirtual-eew.cvudes.edu.co/publico/lems/L.000.008.MG/contenido_LEM.html
