Modelo de evaluación ABE 1 Modelo de Evaluación ABE Adriana M. Bautista, Edna R. Espitia y William A. Acero Facultad de Ciencias Sociales y Educación – Universidad de Cartagena 8042020765: Maestría en recursos Digitales Aplicados a la Educación Docente: Ricardo Villamil Rodríguez Marzo 22 de 2021 Modelo de evaluación ABE 2 Introducción Durante el tiempo que se decretó la emergencia por el Covid-19; los docentes adaptaron a sus clases la modalidad virtual y en vista de la necesidad de implementar estrategias y desarrollar competencias deseadas en los estudiantes; se requirió hacer uso de objetos de aprendizaje (OVA) disponibles en internet que fueron utilizados sin ningún tipo de análisis o evaluación. Ahora se tiene certeza de que al seleccionar un recurso educativo digital debe ser evaluado a través de parámetros y normas con especificaciones y estándares de calidad; además se debe acudir a los repositorios pues allí se encuentran OVAs de calidad y confiabilidad. Como docentes del área de Ciencias Naturales, se ha decidido construir e implementar un modelo de evaluación de recursos educativos digitales a partir de los modelos de calidad de LORI, COdA y ECOBA; con el propósito de hacer posible la evaluación de recursos que promuevan el aprendizaje en esta área específica. El modelo diseñado se ha denominado ABE, haciendo alusión a las personas que participaron en su elaboración; en él se tienen en cuenta algunos parámetros establecidos en la Unidad 2 de la asignatura Evaluación de Recursos Educativos Digitales, tales como calidad intrínseca, calidad contextual, calidad presentaciones y calidad de acceso, que guiaron la estructuración de nuestro modelo, y facilitan contemplar la calidad de un producto OVA. Modelo de evaluación ABE 3 Modelo de Evaluación ABE Bases teóricas – LORI, COdA, ECOBA Campo de Aplicación: El modelo ABE será aplicado a evaluar recursos educativos digitales en las asignaturas del área de Ciencias Naturales y Educación Ambiental. Autores: William Alfredo Acero, Adriana María Bautista y Edna Rocío Espitia; docentes en el área de ciencias naturales, de la institución educativa municipal Nacional de Pitalito en el departamento del Huila Colombia. ABE es un modelo para evaluar recursos educativos digitales y debe su nombre a las iniciales de los apellidos de sus autores. Éste modelo surge como una moderna herramienta de evaluación de recursos educativos digitales reuniendo algunos aspectos y criterios de otros modelos de evaluación ya existentes como LORI, COdA y ECOBA, apropiándolos a un contexto del área de ciencias naturales. Población a la que se dirige ABE fue diseñado pensando en la practicidad, por su forma sencilla, éste modelo de evaluación no requiere tener profundidad de conocimiento en informática, puede ser utilizado para evaluar recursos de aprendizaje en todas las áreas; sin embargo se aconseja su uso en el campo de las ciencias naturales, para evaluar recursos principalmente destinados a los grados sextos y séptimos de educación secundaria. Autores y usuarios de RED lo pueden emplear de la siguiente manera: Para los autores, tiene como finalidad hacer una revisión y determinar la calidad del recurso; una vez obtenidos los resultados de la evaluación de cada aspecto y dependiendo de su Modelo de evaluación ABE 4 ponderación, busca que éste pueda ser ajustado a los requerimientos y convertirlo así en un producto de alta eficacia. Para los usuarios como profesores y estudiantes se convierte en una herramienta que facilita hacer una excelente selección y clasificación de recursos de alta calidad, útiles en el aula como herramienta de apoyo y de estudio de las ciencias naturales; especialmente para los grados sexto y séptimo. En el caso de los estudiantes, éste modelo aplica especialmente para población en un promedio de edades de los 10 y 15 años por su facilidad de uso. Antecedentes Para la construcción del modelo de evaluación ABE se hizo una revisión exhaustiva de otros modelos que evalúan recursos digitales como LORI, COdA y ECOBA. El Modelo LORI (Learning Object Review Instrument) desarrollado en el año 2002está especialmente diseñado para que expertos evalúen un recurso antes de ser compartido por un repositorio y así facilitar a sus autores considerar los criterios bajo los que serán evaluados. Evalúa nueve dimensiones en 5 niveles. De éste modelo se toman para el modelo ABE, algunas dimensiones como: la motivación, reusabilidad y cumplimiento de estándares; considerados esenciales a la hora de evaluar un RED; de igual manera para el diseño del instrumento de evaluación se ha tomado como referencia la escala de valoración de cinco niveles por ser muy práctica. El Modelo COdA desarrollado en 2012 es un instrumento que puede ser utilizado por todo tipo de población para la evaluación de los objetos de aprendizaje, pero más se emplea como de guía para su construcción y actualización por parte de los autores. Consta de 10 criterios Modelo de evaluación ABE 5 de calidad con los que se pueden planear y evaluar los RED, cada criterio se valora de 1 a 5. Éste modelo se tomó como referencia para la creación del modelo ABE por su sencillez, diseñando una herramienta para público no experto en informática y que sirve para la construcción y mejoramiento de un RED. De él se han tenido en cuenta criterios como la motivación, interoperabilidad, reusabilidad y reflexión, también de su planilla de evaluación se incorporó en el instrumento de evaluación una casilla de anotaciones en cada ítem evaluado para ir describiendo el cumplimiento o falencia del aspecto. Finalmente el modelo mexicano ECOBA desarrollado en 2007, permite realizar la evaluación del recurso de manera previa a la interacción con los estudiantes, enfocada en tres ejes: Pertinencia y veracidad de los contenidos, Diseño estético, funcional, e instruccional y Aseguramiento de competencias a través de actividades de evaluación y retroalimentación. (Acuña. 2019). De éste modelo se destaca el hecho de ir calculando aproximaciones a la solución de un problema con la puntuación valorada. Por tanto de él se tomó para el instrumento de evaluación, el poder sumar la puntuación y calificarla en una escala de valoración del objeto para hacer la evaluación más objetiva. Descripción Los recursos educativos digitales tienen como finalidad la enseñanza de un conocimiento, de ahí la importancia de ser evaluados para determinar su calidad. Esa evaluación debe de ser abordada desde dos aspectos: primero para guiar la construcción de un recurso nuevo y en segundo lugar para valorar el producto. Modelo de evaluación ABE 6 El modelo de evaluación ABE, se emplea para las dos condiciones anteriores; pues evalúa tanto los requerimientos tecnológicos del RED, el contexto para su formación y la forma de presentación de los contenidos. Consta de cuatro aspectos básicos macro (contexto, contenido, estética y técnica) que evalúan la calidad del recurso, cada uno de estos aspectos agrupa cinco ítems que describen las características bajo las cuales serán evaluados. Cada ítem se valora en una escala de 1 a 5; siendo 1 el mínimo puntaje y 5 el máximo, debajo de cada uno se encuentra un espacio para realizar la anotación respectiva de esa característica y su cumplimiento en el recurso. El valor obtenido de la suma total de todos los ítems categoriza el recurso educativo digital en una escala de valoración, de la siguiente manera: Tabla 1: Escala de puntuación y valoración del modelo ABE Resultado obtenido Escala de valoración 0 – 60 No aceptable 61 – 70 Aceptable 71 – 80 Bueno 81 – 90 Muy bueno 91 - 100 Excelente Una vez conocida la ubicación del recurso según la escala de valoración, el autor del RED podrá realizar las mejoras en los aspectos con menor puntuación para subir en la escala y lograr un producto excelente y los usuarios accedan a información de calidad. Esto convierte a ABE en una herramienta altamente objetiva que no da cabida a interpretaciones Aspectos para evaluar Modelo de evaluación ABE 1. 7 Aspectos de contexto: agrupa ítems referentes a la calidad contextual, teniendo en cuenta destinatarios y necesidades en el aula, así como los elementos pedagógicos con los que se cuenta para afianzar conocimiento en las ciencias naturales. Dentro de este aspecto se encuentran los siguientes criterios • Alcance de objetivos: Evalúa la existencia de los objetivos y determina su coherencia con los contenidos y el contexto de los usuarios así como sus destrezas en un campo aplicado de las ciencias naturales • Destinatarios: El RED especifica la población a la que va dirigido, teniendo presente rango de edad y nivel de estudio (grado de educación primaria o secundaria), y adecúa sus contenidos a los usuarios establecidos. • Instrucción de navegación: Se presenta de forma clara al usuario las instrucciones de uso del recurso y su secuencia. La navegabilidad es fácil e intuitiva y de interfaz predecible. • Estrategias de Evaluación: El recurso muestra diversas estrategias de evaluación para afianzar conocimientos (coevaluación, heteroevaluación, autoevaluación, etc) que incluyen las competencias específicas del área de ciencias naturales. • Actividades: El recurso contiene variedad de actividades basadas en el contexto del usuario; adecuadas a su nivel, edad, necesidades y tema específico del área. 2. Aspectos de contenido: Agrupa todos los ítems relacionados con la calidad de la información suministrada en el recurso educativo digital. • Veracidad de la información: El recurso presenta información veraz, clara, lógica y objetiva, apoyada y aceptada por la comunidad científica, así como cita fuentes de la información suministrada, respetando la propiedad intelectual. Modelo de evaluación ABE • 8 Complejidad: Los contenidos se presentan con un grado adecuado de detalle desde lo complejo a lo sencillo, teniendo presente el nivel de educación del usuario de tal manera que su desarrollo favorece el cumplimiento de los objetivos. • Estructuración de los contenidos: Los contenidos del recurso se describen de forma organizada, clara, secuencial y jerárquica. • Vigencia: El recurso educativo muestra contenidos actualizados. • Reflexión: EL recurso lleva al estudiante a un cambio en el pensamiento a través del descubrimiento relacionando pre-saberes con el nuevo conocimiento principalmente haciendo uso del método científico. 3. Aspectos de Estética. Describe la presentación del recurso educativo digital en cuanto a calidad y diseño de la producción, junto con el funcionamiento de las herramientas y actividades encontradas • Interfaz: La estructura visual del recurso no genera cansancio y es adecuada para jóvenes entre los 10 y 15 años en cuanto a colores, gráficos, símbolos e imágenes congruentes al tema. • Estructura: El recurso presenta fácil navegabilidad, se evidencia una secuencia en el proceso de navegación del usuario. • Motivación: El contenido del recurso tiene utilidad en la vida cotidiana del usuario, basándose en sus intereses, utilizando como base la interacción, la práctica y la experimentación o simulación de fenómenos naturales. • Recursos: El recurso cuenta con distintas herramientas que orientan al usuario en la navegación sobre el mismo y lo encaminan hacia el alcance de objetivos. Los videos, textos, imágenes, multimedia y juegos funcionan perfectamente. Modelo de evaluación ABE 9 • Facilidad de Uso: El recurso muestra facilidad para interactuar con el usuario y se dispone para todo tipo de población teniendo en cuenta capacidades diversas. 4. Aspectos de Evaluación Técnica. Se refiere a los aspectos relacionados con la parte técnica y funcional del recurso educativo. • Seguridad: El recurso protege los datos del usuario, en cuanto a proceso de registro y uso de contraseña • Cumplimiento de Estándares: El recurso cumple con estándares internacionales (Dublin Core, IEEE LOM, SCORM, LMS) y cuenta con metadatos con información completa y suficiente del mismo para ser almacenado en repositorios y ser clasificado fácilmente por temas de estudio en las ciencias naturales • Interoperabilidad: El recurso se adapta a cualquier plataforma o dispositivo electrónico, software o navegador web. se ha creado con formatos de uso estándar (de texto, video) • Reusabilidad: El recurso puede ser utilizado en cualquier proyecto y entorno. Su uso puede compartirse con comunidades científicas en entornos virtuales • Adaptabilidad: El recurso es intuitivo y se adapta al ritmo de aprendizaje del usuario. Instrumento de Evaluación En la siguiente imagen se puede apreciar el formato diseñado para el proceso de evaluación de los recursos educativos, en este formato, el evaluador califica cada uno de los ítems de cada aspecto colocando una equis (X) en el valor que considere adecuado, el formato automáticamente suma y categoriza al recurso evaluado, también, se puede apreciar en la parte final del formato el espacio para que se incluyan las recomendaciones dadas por el evaluador. Modelo de evaluación ABE 10 Tabla 2: Formato de Evaluación de Recursos Educativos Digitales, modelo ABE En caso de que el evaluador no haya realizado adecuadamente el proceso de evaluación del recurso, como por ejemplo cuando omite la evaluación de uno o varios ítems, el formulario Modelo de evaluación ABE 11 arrojará automáticamente el valor de “INCOMPLETO” en la escala de valoración, haciéndole saber que el proceso de evaluación aún no ha terminado. El formato de evaluación se realizó en una hoja de cálculo de Excel, la cual se encuentra disponible en https://1drv.ms/x/s!AlE3OToU07cniYERjpEDnPMhxm7iWg?e=Vh0Hkc Modelo de evaluación ABE 12 Evaluación del Recurso Educativo Digital El recurso para evaluar se denomina la alimentación y nutrición, el cual se encuentra disponible en http://ntic.educacion.es/w3/eos/MaterialesEducativos/mem2001/nutricion/program/apli/acti.html Presenta la siguiente estructura y organización, la cual se presenta a través de las siguientes capturas de pantalla Figura 1 Menú de inicio del RED (Captura de pantalla) Modelo de evaluación ABE Figura 2 Contenidos del RED (Captura de pantalla) 13 Modelo de evaluación ABE Figura 3 Menú de ayuda del RED (Captura de pantalla) 14 Modelo de evaluación ABE Figura 4 Actividades presentes en el RED (Captura de pantalla) 15 Modelo de evaluación ABE 16 Figura 5 Recursos adicionales disponibles en el RED (Captura de pantalla) Modelo de evaluación ABE 17 El proceso de evaluación con el modelo ABE del recurso educativo “La alimentación y nutrición”, arrojó los siguientes resultados: Aspectos de Contexto a. Alcance de los objetivos: La valoración que se le asignó es de 5 puntos ya que el recurso tiene planteados de manera clara y ordenada los objetivos de aprendizaje que se esperan obtener con ayuda de este. b. Destinatarios: La valoración asignada en este ítem al recurso es de 4 puntos, debido a que no es clara la delimitación del grupo objetivo, sólo indica el curso al cual sería aplicable dicho RED, no indica el rango de edad, ni tipo de población que podría desarrollarla. c. Instrucciones de navegación: La valoración asignada en este ítem al recurso es de 5 puntos, cuenta con botón de ayuda para orientar al usuario, el cual se encuentra a lo largo de todo el recurso. Una vez se ingresa al menú de ayuda, éste posee instrucciones claras, acompañada de imágenes en algunos casos para que el usuario navegue en él sin ninguna dificultad. d. Estrategias de evaluación: La valoración asignada en este ítem al recurso es de 3 puntos, posee el recurso una amplia variedad de actividades que se pueden usar para el proceso de evaluación, pero carece de espacios para la autoevaluación y la coevaluación. e. Actividades: La valoración asignada en este ítem al recurso es de 3 puntos, ya que presenta una amplia gama de actividades tales como lecturas, diagramas, imágenes y animaciones, pero con el inconveniente que estas están desarrolladas en formato java, lo que actualmente se traduce en que el usuario requiere instalar algunos complementos que le permitan Modelo de evaluación ABE 18 hacer uso de estas. Finalmente, también cuenta con enlaces a recursos en línea que complementan la información allí expuesta. Aspectos de Contenido f. Veracidad de la información: La valoración asignada en este ítem al recurso es de 5 puntos, la información presente está debidamente citada y referenciada, así mismo los enlaces externos comunican con páginas de reconocidos institutos relacionados con el tema como lo son la sociedad española de dietética y alimentación, el diario El mundo, entre otros. Como punto negativo, hay algunos enlaces que ya están caducados, pero esto se entiende por el tiempo que lleva el recurso desde su elaboración. g. Complejidad: La valoración asignada en este ítem al recurso es de 4 puntos, ya que hay algunos contenidos que permiten de manera parcial cumplir con los objetivos planteados. h. Estructura de los contenidos: La valoración asignada en este ítem al recurso es de 3 puntos, ya que algunos contenidos no son desarrollados de manera completa en el recurso, quedando información importante por desarrollar con la información sugerida a través de los enlaces externos, los cuales tienen como función complementar la información desarrollada en el recurso y no suplirla completamente. i. Vigencia: La valoración asignada en este ítem al recurso es de 4 puntos, ya que hay conceptos los cuales han sido cambiados por organismos internacionales como la OMS, aunque revisando las guías de dietética españolas manejan aún de manera parcial estos valores. Modelo de evaluación ABE j. 19 Reflexión. La valoración asignada en este ítem al recurso es de 4 puntos, ya que gran parte de los contenidos, actividades y recursos permiten el proceso de reflexión, pero se considera que en este aspecto se podría mejorar aún más. Aspectos de Estética k. Interfaz: La valoración asignada en este ítem al recurso es de 5 puntos, ya que el uso de colores, fuentes, recursos y demás es llamativo para el público sin llegar a ser pesado. l. Estructura: La valoración asignada en este ítem al recurso es de 3 puntos, ya que la navegación en el recurso no es completamente lineal, lo que de una u otra manera puede repercutir en el hecho que el usuario pueda no usar todo el recurso o saltarse parte de él de manera inconsciente m. Motivación: La valoración asignada en este ítem al recurso es de 4 puntos, ya que el tema que se desarrolla con el recurso lo permite y facilita sensibilizar al usuario. n. Recursos: La valoración asignada en este ítem al recurso es de 4 puntos, El recurso cuenta con herramientas que permiten al usuario la navegación de manera general, pero no existe un mapa que le oriente o una lista de chequeo que garantice el aprovechamiento total del mismo. o. Facilidad de Uso: La valoración asignada en este ítem al recurso es de 5 puntos, el uso del recurso es intuitivo, las imágenes que se emplean en los íconos de navegación no generan confusión al usuario. Aspectos de Evaluación Técnica p. Seguridad: La valoración asignada en este ítem al recurso es de 2 puntos, ya que carece de mecanismos que protejan la información del usuario, aunque hay que aclarar que el Modelo de evaluación ABE 20 usuario no incluye información personal, pero en caso de que lo hiciera, esta quedaría completamente expuesta. q. Cumplimiento de estándares: La valoración asignada en este ítem al recurso es de 4 puntos, ya que no cumple completamente los estándares para LMS, lo que se traduce que no puede insertarse en plataformas educativas como Moodle. r. Interoperabilidad: La valoración asignada en este ítem al recurso es de 4 puntos, ya que se puede usar en cualquier dispositivo y sistema operativo, pero en Windows y de manera específica en todos los navegadores que trabajan sobre dicho SO no pueden ejecutar los complementos de adobe Flash Player con los que se creó el recurso, aunque este inconveniente se puede sobrellevar descargando e instalando un complemento para ello creado (como Ruffle para Chrome). Otra forma de solucionar este inconveniente es que el autor convierta el recurso a HTML5, lo que garantizaría que no suceda este error. s. Reusabilidad: La valoración asignada en este ítem al recurso es de 4 puntos, ya que el recurso puede ser usado de manera total o parcial en otros proyectos, pero algunas de sus partes debido al inconveniente informado en el anterior ítem dificultarían su inserción en nuevos proyectos. t. Adaptabilidad: La valoración asignada en este ítem al recurso es de 3 puntos, ya que el recurso es intuitivo en lo relacionado con su uso, pero en el aspecto de la adaptación al ritmo de aprendizaje del usuario no es ni intuitivo ni adaptativo, es decir es completamente lineal. Una vez terminada la evaluación del recurso, la hoja de cálculo dio una valoración de Bueno con 79 puntos, lo que indica que tiene aspectos a mejorar, los cuales están descritos en las recomendaciones del formato ya diligenciado. Modelo de evaluación ABE 21 Tabla 3: Evaluación del Recurso La alimentación y nutrición, según el modelo ABE Modelo de evaluación ABE 22 Publicado en Calameo: https://www.calameo.com/read/00664484791dcf7609f82 Link Google sites: https://sites.google.com/view/calidad-materiales-educativos/modelo-abe Modelo de evaluación ABE 23 Referencias Acuña Marit (6 Agosto de 2019). Evaluando calidad en los Recursos Educativos Digitales. Recuperado de https://www.evirtualplus.com/evaluando-calidad-recursoseducativos/#:~:text=NA%20(No%20Aplica),Formato%20ECOBA,Ruiz%20Gonz%C3%A1lez%20en%20el%202007. Fernández Ana, Domínguez Elena, de Armas Isabel. (2012) Herramienta de Evaluación de la Calidad de Objetos de Aprendizaje (herramienta COdA), Guía para la producción y evaluación de materiales didácticos digitales (2012) Recuperado de https://eprints.ucm.es/12533/1/COdAv1_1_07jul2012.pdf Otamendi Ainhoa et al (s. f) Instrumento para la evaluación de objetos de aprendizaje (LORI_ESP) Manual de usuario Recuperado de https://aulavirtualeew.cvudes.edu.co/publico/lems/Rubricas/Esp_EATICE/Eva_Rec_Edu_Dig/Anexos/2.pd f
