Taller: Rúbricas y evaluación formativa http://www.fcnym.unlp.edu.ar/educacion_ambiental U N I V E R S I DA D P O L I T É C N I C A S A L ES I A N A SEDE QUITO ENERO / 2022 J A I M E PA D I L L A V E R D U G O, FA C I L I TA D O R Instrumento de evaluación (Panadero et al., 2017). Permite: Establecer expectativas sobre una tarea. Planificar su trabajo. Evaluar su progreso. Garantiza (sólo desde la perspectiva de evaluación formativa) un incremento en el aprendizaje. Empleo para: Desarrollar la capacidad de autorregulación, autoeficacia, aprendizaje y rendimiento académico. Calificar de manera formativa. Rúbrica: Resumen Instrumento de evaluación (Panadero et al., 2017). Permite articular expectativas sobre una tarea. Se compone de: criterios de evaluación, una descripción cualitativa para cada nivel, y una estrategia de calificación. Criterios de evaluación, entendidos como: Principios a tener en cuenta y que determinarán la calidad del trabajo. Indicadores que reflejan los procesos y contenidos a ser considerados importantes. Las descripciones cualitativas: explicación detallada sobre el nivel de perfección que debe alcanzar o habilidad que ha de demostrar el estudiante para alcanzar un determinado nivel de logro. Deben ser muy claras: permitiendo diferenciar fidedignamente una respuesta excelente de una deficiente. Rúbrica: definiciones Objetivo general: Contribuir al mejoramiento del proceso de enseñanza – aprendizaje desde una evaluación auténtica. Objetivo específico: Facilitar el conocimiento y desarrollo de habilidades para el diseño y evaluación de rúbricas en la Educación Superior. Objetivos del taller Proceso E-A Relevancia Aprendizaje Institu cional Evaluación Alineación constructiva (Biggs, 1996) Metaeval. EDD Enseñanza Aprendizaje La evaluación del aprendizaje siempre ha constituido un tema de preocupación. Al formar parte del proceso de enseñanza – aprendizaje, lo impregna y condiciona. Según Biggs (2005), se ha comprobado que la evaluación, más que el currículo, determina el aprendizaje de los estudiantes. Ámbito y relevancia de la evaluación del aprendizaje Exámenes Orales Subjetividad en la calificación! Exámenes escritos. “Testing” Selección (referencia a la norma) XIX-XX 1ª Generación Medición “Measurement” Evaluación en función de objetivos. Referencia a criterios. Juicio y valoración. “Accountability”. Pruebas objetivas. Tyler Cronbach Scriven 1950 2ª Generación Descriptiva ‘60 3ª Generación Del juicio Positivismo Evaluación del aprendizaje: línea de tiempo Saber hacer. Actividades/ tareas reales/ contextualizadas. Evaluación formativa. Guba Lincoln 1989 XXI 4ª Generación Constructivista Constructivismo Enfoque tradicional Enfoque s. XXI Enseñanza Enseñanza: Transmisión de conocimientos Aprendizaje: Repetición mecánica; memorización Evaluación Tradicional Evaluación: Reproducción de conocimientos (Exámenes estandarizados) Aprendizaje Características: - Desarrollo de habilidades de orden superior; - Pensamiento sistémico y crítico; - Procesamiento de información compleja; - Resolución de problemas reales, complejos; - Adaptabilidad, flexibilidad… Alternativa - Características: Limitaciones: - Conocimientos simples; - Descontextualizados; - Tareas sin criterios (efecto halo); - Formato de opción múltiple; - El estudiante como objeto… Obsolescencia del modelo tradicional de evaluar - Desempeño (competencias); - Contextos reales (problemas complejos); - Función formativa; - Autoevaluación; - Co-evaluación… Trabajo en equipo: ¿Para qué evalúan a los estudiantes? ¿Cómo retroalimentan a los estudiantes? ¿Qué impacto tiene la evaluación en sus estudiantes? Trabajo colaborativo Tareas e instrumentos de evaluación La rúbrica o matriz de valoración. Se trata de guías o escalas que valoran los aprendizajes y productos realizados (Gatica-Lara, 2013; Díaz Barriga y Flores, 2011) La rúbrica como instrumento estratégico (Díaz Barriga y Flores, 2011): Actividades Técnicas - Productos Proyecto Estudio se caso Portafolio Prácticas Salida de campo Facilita la evaluación de actividades, tareas, productos… en todas las áreas y niveles; Instrumentos Simulación Búsqueda bibliográfica Lista de control Ensayo Cuestionario Pruebas escritas La rúbrica: instrumento estratégico Evidencia las actitudes del estudiante y el uso de conocimientos y habilidades (desempeño) en la resolución de problemas complejos, en contextos reales; Disminuye la subjetividad: señala criterios y niveles de desempeño; Posibilita la retroalimentación (función formativa y formadora); motivación interna para el aprendizaje; Facilita el protagonismo estudiantil… autoevaluación, co-evaluación, ... Elementos básicos: a) Dimensiones o criterios: componentes de evaluación de la actividad, tarea o producto. b) Niveles de desempeño: categorías que definen la calidad del trabajo del estudiante, colocadas como encabezado. c) Descriptores: indicador o evidencia que permite valorar el desempeño concreto en cada dimensión o criterio. d) Las rúbricas permiten ponderar tanto los criterios como los indicadores. Niveles de desempeño Criterios Crear Criterio 1 Criterio 2 Criterio 3 … Rúbrica analítica: elementos básicos Analizar Comprender No aplica ¿Cómo determinar los niveles de desempeño? Taxonomía de Bloom ¿Cómo determinar los niveles de desempeño? Recordar reconocer recordar listar describir recuperar denominar localizar Comprender interpretar ejemplificar clasificar resumir inferir comparar explicar parafrasear Aplicar ejecutar implementar desempeñar usar Analizar diferenciar organizar atribuir comparar deconstruir delinear estructurar integrar Evaluar comprobar criticar revisar formular hipótesis experimentar juzgar probar detectar monitorear Crear generar planear producir diseñar construir idear trazar elaborar Taxonomía de Bloom, revisada por Anderson y Krathwohl (2001) Rúbrica analítica: estructura 1. Seleccionar un producto/tarea y la concordancia con los objetivos de aprendizaje (Período 55). 2. Ingresar a https://gteavirtual.org/rubric/ http://www.rcampus.com/indexrubric.cfm http://rubistar.4teachers.org/index.php http://emarkingassistant.com/products/rubric-o-matic/ http://rubrics.com http://www.teach-nology.com/web_tools/rubrics/ 3. Seleccionar los criterios / categorías / dimensiones / aspectos a valorar (Referencias). Revisar: son adecuados, suficientes y necesarios. 4. Definir niveles de desempeño y formular descriptores. 5. Revisión de la rúbrica y presentación en el taller. Cf. Gatica-Lara y Uribarren-Berrueta (2013). Actividad: Diseño y presentación de una rúbrica. La elaboración de conceptos es una actividad intelectual compleja. Desde la psicología se han realizado investigaciones con el objetivo de determinar su contenido en términos de propiedades. Entre ellos Wu y Barsalou (2009), Santos et al. (2011), Mateus (2014), consideran que en el proceso de elaboración de conceptos intervienen: las características esenciales su clase taxonómica: supraordenadas y subordinadas. situaciones en las cuales los objetos suelen aparecer. En la generación de propiedades, las ideas se parecen más a una proposición que a un listado de términos. Para su operativización el autor asume las preguntas sugeridas por De Zubiría (1998): ¿A qué grupo de actos generales corresponde? [supraordenada] ¿Qué actos afines difieren del concepto en análisis o construcción? ¿Cuáles son sus propiedades o cualidades esenciales? ¿Cuáles son las versiones del concepto? [subordinada] Elaboración de conceptos De Zubiría, M. (1998). Pedagogías del Siglo XXI: Mentefactos I. El arte de pensar para enseñar y de enseñar para pensar. Bogotá: Fundación Alberto Merani. Santos, A., Chaigneau, S., Simmons, W. K., & Barsalou, L. (2011). Property generation reflects word association and situated simulation. Language and Cognition, 3(1), 83-119. https://doi.org/10.1515/langcog.2011.004 Santos, A., Chaigneau, S., Simmons, W. K., & Barsalou, L. (2011). Property generation reflects word association and situated simulation. Language and Cognition, 3(1), 83-119. https://doi.org/10.1515/langcog.2011.004 Wu, L., & Barsalou, L. (2009). Perceptual simulation in conceptual combination: Evidence from property generation. Acta Psychologica, 132(2), 173-189. https://doi.org/10.1016/j.actpsy.2009.02.002 Elaboración de conceptos; referencias bibliográficas La elaboración de ensayos argumentativos, desarrolla otra habilidad profesional relacionada con el carácter racional y lógico de la argumentación. La elaboración de ensayos argumentativos se está convirtiendo en una práctica frecuente en la educación superior. Existe un sinnúmero de concepciones de ensayo, desde los que enfatizan el aspecto ligero y lúdico que emplea el ensayista para expresar sus ideas, hasta quienes evidencian su aspecto racional, lógico y argumentativo. El autor asume la concepción de ensayo de Arenas Cruz (1997), y reivindicada por López, Huerta, Ibarra, y Almazán (2014), quienes lo consideran como un género caracterizado por la exhibición lógica del pensamiento. Se subraya la fuerza argumentativa, en la que el estudiante debe poner a prueba habilidades intelectuales complejas, como idear, construir, demostrar, justificar, persuadir y probar, entre otras. En este sentido, la escritura de un ensayo en la asignatura Pedagogía y Corrientes Pedagógicas, se caracterizó por explorar temas del contexto educativo, sujeto a criterios de verdad o falsedad (López et al., 2014; Lukács, 1975). En el ámbito sintáctico-semántico, se apega al género argumentativo sistematizado por van Dijk (1992), y propuesto por López et al. (2014), el mismo que se fundamenta en los dos elementos: “una tesis y su justificación sustentadas en razonamiento o evidencias” (p. 20). Ensayo argumentativo Arenas Cruz, M. (1997). Hacia una teoría general del ensayo. Construcción del texto ensayístico. Cuenca: Universidad de Castilla-La Mancha. López, M., Huerta, J., Ibarra, J., & Almazán, K. (2014). Manual básico para la escritura de ensayos. Ciudad de México: Fundación SM. Recuperado de https://goo.gl/WSMLhJ Lukács, G. (1975). Sobre la esencia y la forma del ensayo. En El alma y las formas (pp. 13-39). Barcelona: Grijalba. van Dijk, T. (1992). La ciencia del texto (3.a ed.). Buenos Aires: Paidós. Ensayo argumentativo: referencias bibliográficas Descripción Creación (100%) Contexto Ubicación del autor dentro contexto histórico-cultural al que pertenece. Valora el impacto del contexto en la educación (elementos positivos y negativos, fundamentados con evidencias o argumentación). Concepto de educación ¿Qué es la educación? Concepto o naturaleza de la educación. Interpreta y valora el concepto de educación de cada autor estudiado. Sujeto de educación Agentes y factores El educando. La condición de aprendiz. Valora los factores que intervienen en el aprendizaje. Agentes y/o factores que intervienen en la educación Valora los factores que orientan la enseñanza. Estructura los factores que orientan la enseñanza. Caracteriza al educador. Objetivos Se refiere a los fines, objetivos y/o ideales de la educación Formula un ideal educativo para un contexto específico de la sociedad actual, considerando lo más significativo de los autores estudiados. Diferencia los fines, objetivos ideales educativos según los autores estudiados. Identifica el ideal (fin, objetivo o propósito) de la educación según cada autor. Contenidos Materias de las que se nutre la educación (Currículo). Valora la pertinencia del uso de los contenidos sugeridos por los autores estudiados en el ejercicio profesional hoy. (fundamenta con evidencias o argumentación) Organiza los contenidos de enseñanza aprendizaje (por áreas o niveles). Identifica los contenidos Enlista algunos de enseñanza-aprendizaje. contenidos dispersos. Métodos y técnicas ¿Cómo enseñar? Métodos y técnicas educativas Diseña la aplicación de una de las estrategias didácticas de los autores estudiados en un grupo específico de estudiantes de hoy. Medios y recursos Sistema organizativo Medios, recursos e instrumentos de que se sirven el educador Valora la posibilidad de uso en la educación hoy, de los recursos sugeridos por el autor estudiado. Relaciona los recursos didácticos con las Identifica los métodos y estrategias metodológicas: ¿qué técnicas sugeridas por el recursos se usaba con cada estrategia autor. metodológica? Enlista los recursos e Organiza los recursos vinculando a los instrumentos didácticos métodos o técnicas. sugeridos por el autor. Institucionalización del proceso educativo. Valora el funcionamiento. Describe el tipo de organización. Criterios Análisis (70%) Comprensión (40%) Analiza y organiza los factores sociales y Identifica y describe culturales que influyeron en el brevemente la biografía y desarrollo del pensamiento educativo obras del autor asignado. del autor asignado. Enlistar las características Compara los conceptos de educación de la educación en cada por los diferentes autores estudiados. autor asignado. Diferencia los factores que promueven el aprendizaje según los autores Caracteriza al educando. asignados. Rúbrica para sistematización teórica (ejemplo) Identifica la institución principal. Ausente (0) Sólo menciona algunos datos del autor asignado. Menciona algunas ideas aisladas sobre la educación. Menciona al sujeto de la educación sin caracterizarlo. Se limita a enunciar algunos protagonistas o agentes de la educación. Menciona algún propósito de la educación descontextualizado. Las estrategias metodológicas identificadas no son claras. La información no corresponde a los recursos o instrum. No aplica! Criterios Introducción Definitoria Argumentos Experto (100%) La tesis está planteada de manera categórica, se refiere a un problema real o contextualizado, el cual es significativo para el ejercicio profesional. La introducción incluye además una entrada que capta la atención del lector (pregunta, cita textual, entre otros). Incluye la definición de tres fuentes diferentes. La redacción es adecuada. Incluye tres argumentos de fuentes diferentes. Prima el principio de “economía de las palabras”. Practicante (70%) Novato (30%) Ausente (0) La tesis está planteada de manera categórica, se refiere a un problema real o contextualizado y es relevante para el ejercicio profesional. La tesis está planteada de manera categórica (usa el verbo ser). Sólo menciona el tema. Incluye la definición de dos fuentes diferentes. Incluye la definición de un autor. No define la idea a defender. Incluye dos argumentos de fuentes diferentes. Incluye un argumento válido. No hay congruencia entre los argumentos y la tesis. Contraargumentación y refutación Incluye un contrargumento válido y lo refuta adecuadamente. Incluye un contrargumento válido con una explicación breve. Incluye un contraargumento válido en forma de proposición. No contraargumenta. El contraargumento es inadecuado. Conclusiones Incluye tres derivadas o conclusiones. Incluye dos derivadas o conclusiones. Incluye una derivada o conclusión. Las conclusiones no derivan de la tesis. Fuentes de información Incluye tres fuentes de información (artículos científicos o libros). Al menos una de las fuentes es directa. Se apega al estilo APA7. Incluye dos fuentes de información (artículos científicos o libros). Se apega al estilo APA7. Incluye una fuente de información (artículo científico o libro). Se apega al estilo APA7. No hay referencias bibliográficas. Rúbrica para ensayos argumentativos (ejemplo) Criterios Niveles de desempeño Crear (100%) Analizar (70%) Comprender (40%) Tipo de actividad La actividad está prevista en una de las asignaturas, trata problemas reales y tiene concordancia con los objetivos de aprendizaje. Además, integra conocimientos, habilidades y actitudes. Criterios / dimensiones de la actividad Los criterios / dimensiones son pertinentes: son adecuados e incluyen contenidos cognitivos, procedimentales y actitudinales. Además, incluye los necesarios y suficientes. Incluye tres niveles de desempeño por cada criterio. Los indicadores son más de tipo Indicadores de cualitativo que cuantitativo y se apegan a una logro / desempeño taxonomía que diferencie los distintos niveles de desempeño. La actividad está prevista en una de las asignaturas, trata problemas reales y tiene concordancia con los objetivos de aprendizaje. Los criterios / dimensiones son pertinentes: son adecuados e incluyen contenidos cognitivos, procedimentales y actitudinales. Incluye tres niveles de desempeño por cada criterio. Los indicadores son más de tipo cualitativo que cuantitativo. Ponderación La ponderación de criterios se ajusta al peso que dan los expertos; a su vez, la ponderación de los indicadores se apega al proceso de evaluación institucional. La ponderación de los criterios se ajusta al peso que les dan los expertos en el tipo de actividad. Validez y confiabilidad Evidencia la validez y confiabilidad del instrumento. Calidad de la redacción La redacción es comprensible para todos los usuarios de la rúbrica, incluyendo los estudiantes. Evidencia la validez del instrumento. Aunque la redacción en general es comprensible, algunos La redacción en su términos pueden dar lugar a mayoría es confusa. confusión. La actividad está prevista en alguna de las asignaturas que dictará durante el próximo período. No aceptable La actividad no está prevista en el plan (syllabus) del siguiente período. Considera los criterios elementales a partir de Los criterios se limitan a una plantilla disponible algunas ideas. en Internet. Incluye tres niveles de desempeño por cada criterio. Los indicadores de desempeño no tienen concordancia con los criterios. Incluye una ponderación vertical y horizontal. Carece de ponderación. Rúbrica para evaluar el diseño de las rúbricas No se realiza ningún tipo de revisión. La redacción es confusa y utiliza un lenguaje impreciso.
