Buena Enseñanza, Error, y Validez: Aspectos Conceptuales y
Anuncio
Buena Enseñanza, Error, y Validez: Aspectos Conceptuales y Metodológicos José Felipe Martínez Universidad de California, Los Ángeles Escuela de Educación y Ciencias de la Información 2do Congreso Latinoamericano de Medición y Evaluación Educacional COLMEE, México DF, Marzo 13, 2015 UCLA Graduate School of Education & Information Studies University of California, Los Angeles ‹Nr.›/ Indice • Modelos de buena enseñanza • Objetivos de la Medición • Herramientas y Métodos de Medición • Fuentes de Información • Modelos de Confiabilidad • Fuentes de Error • Confiabilidad o Precisión • Modelos de Validez • Usos, Argumentos, Evidencias University of California, Los Angeles ‹Nr.›/ Modelos de Buena Enseñanza • ¿Qué es la buena enseñanza? • Existe una gran variedad de modelos (teorías) • Generalmente con poco soporte empírico • En general: un constructo muy complejo • 1) Multidimensional (factores intra y extra aula) • 2) Íntimamente ligado al contexto social y organizacional (que no solo influye, sino define) • 3) De alto valor/impacto/riesgo en el contexto de la política educativa actual University of California, Los Angeles ‹Nr.›/ Modelos de Buena Enseñanza en el Contexto de Competencias Docentes • Competencias Docentes (Reynolds, 1999): • • • • Conocimiento: Sujeto, Pedagógico Habilidad: Conocimiento aplicado Disposición: Actitudes, Percepciones, Creencias Practicas: Procesos en el Aula (e.g. instrucción, evaluación, manejo) y fuera de ella (e.g. comunicación con padres) • Además de ... • Antigüedad, Educación, Vitae… • Ciudadanía, contribuciones a la comunidad • Efectividad: Mejora del aprendizaje de alumnos University of California, Los Angeles ‹Nr.›/ Modelos de Buena Enseñanza Singapur Nurturing the Whole Child Share values with student Take action to develop student Act in student’s interest Winning Hearts and Minds Understand the environment Develop others Knowing Self and Others Emotional intelligence Working with Others Partner with parents Work in teams Cultivating Knowledge Subject mastery Analytical thinking Initiative Teach creatively Teach For America Set Big Goals Ambitious, feasible, aligned Invest Students/Influencers in Big Goals Instill "I can" and "I will" message Model persistence and success Plan Purposefully Develop aligned long-term & lesson plans Assess progress toward big goal Execute Effectively Clearly present academic content Monitor student understanding Rules, consequences, procedures Continuously Increase Effectiveness Identify progress for subgroups Identify key actions (student/teacher) Adjust to solve problems, build on strengths Work Relentlessly Persist in the face of challenges Solve time/resource constraints University of California, Los Angeles ‹Nr.›/ Danielson (USA) Planning and Preparation Instruction Knowledge (content+pedagogy) Knowledge of students Select instructional goals Knowledge of resources Design coherent instruction Assess student learning Communicate clearly Use questioning strategies Engage students in learning Provide feedback to students Be flexible and responsive Classroom Environment Professional Responsibilities Create environment of respect Establish a culture for learning Manage classroom procedures Manage student behavior Organize physical space Reflect on teaching Maintain accurate records Communicate with families Contribute to school/district Grow/develop professionally Show professionalism University of California, Los Angeles ‹Nr.›/ Fukuoka, Japan Student development & Counseling Consider pupils’ languages, values, and human rights Build trust and develop pupils; Address student incidents Consider health and safety Facilitate learning environment Provide appropriate counseling Support co-curricular activities Others Cooperate and collaborate to achieve school missions Build relationships with community and parents Be a role model for pupils Practice risk management Discharge duties as public official University of California, Los Angeles Instructional/Educational skills Develop annual plan based on standardized curriculum Facilitate an organized class Set appropriate objectives Facilitate learning creatively Understand learning conditions Provide supports to students Conduct evaluations to encourage learning Have and improve content knowledge and skills ‹Nr.›/ Otras Consideraciones • • • • Objetivos de la medición Pedagogía general o especifica (área/materia) Nivel de estandarización o prescripción Generalizabilidad o adaptación al contexto • Adaptación vs. Propiedad Intelectual • Perspectivas y Fuentes de información • Docentes, alumnos, directores, observadores, padres… University of California, Los Angeles ‹Nr.›/ Objetivos de la medición • Formativo vs. Sumativo • Establecer niveles mínimos aceptables de desempeño vs. Perfiles de alto desempeño • Apoyar a los docentes para reflexionar y mejorar aspectos deficientes en su practica • • • • Desvincular docentes con problemas persistentes Orientar oferta de desarrollo profesional Identificar y propagar las practicas efectivas ... • Influyen en las características del modelo • Y los métodos e instrumentos de medición University of California, Los Angeles ‹Nr.›/ Métodos de Medición de la Practica Constructos (Que?) Métodos y Medidas (Como?) Conocimiento (Sujeto, pedagogico) Abilidad (conocimiento aplicado) - Pruebas estandarizadas - Pruebas de rendimiento - Viñetas, Video Practicas, Procesos de Aula (instruccion, evaluacion, manejo) - Encuestas y Bitácoras - Observación en Aula y Video - Artefactos y Portafolios (e-) Practicas fuera de Aula Ciudadanía (contribuciones a la comunidad) - Encuestas - Entrevistas - Artefactos Efectividad (contribución al aprendizaje de los alumnos) - Pruebas Estandarizadas - Valor Agregado University of California, Los Angeles ‹Nr.›/ Encuestas • Del Docente: El método mas común • • • • Menor costo y carga para el docente Adecuada confiabilidad, Validez cuestionable Capturan aspectos cuantitativos de la practica Errores de interpretación, memoria, deseabilidad. • Del alumno: Se usan ya en muchos distritos (Los Angeles, Nueva York, Chicago) • Ofrecen medir enseñanza general y diferenciada (e.g. Gates Foundation,2011; Martínez, 2012) • Persisten dudas sobre confiabilidad y validez • Errores de interpretación, memoria, sesgo, administracion, muestreo • De padres: Comienzan a explorarse University of California, Los Angeles ‹Nr.›/ Observacion en Aula • Captura directa de dimensiones cualitativas de la enseñanza (en vivo o video). • Validez Aparente • Esencial para usos formativos: Identificar áreas de mejora, Informar desarrollo profesional • Limitaciones metodológicas y practicas • • • • Costo, Requisitos de capacidad humana y técnica Numero de dimensiones vs. calidad de información Errores de juicio, y muestreo de ocasiónes Confiabilidad baja (o altísimo costo) University of California, Los Angeles ‹Nr.›/ Confiabilidad de Observaciones (Estudio MET) (Source: Bill and Melinda Gates Foundation, 2011) University of California, Los Angeles ‹Nr.›/ MET Reliability Findings Cont. (Source: Bill and Melinda Gates Foundation, 2011) University of California, Los Angeles ‹Nr.›/ Artefactos y Portafolios Docentes • Compila evidencia de la practica docente para una unidad de instrucción o periodo de tiempo determinado Tipos de Evidencia Artefactos del aula (plan de instrucción, tareas, trabajo del alumno, etc.) Reflexiones del docente (referidas a los artefactos) Encuesta o Bitácora (practicas docentes diarias, actitudes, percepciones) Elementos multimedia e interactivos (e-QIS project UCLA/LAUSD, 2015) University of California, Los Angeles Caracteristicas vs. Encuestas Información mas rica y valida Alto valor para Desarrollo Profesional Mayor costo Error de juicio en la calificación Mas demandante para el docente vs. Observación en Aula Menor Costo, confiabilidad similar Mayor Cobertura Alto valor para Desarrollo Profesional No captura practica interactiva Mas demandante para el docente ‹Nr.›/ Modelos de Valor Agregado • Todo tipo de errores • Baja confiabilidad (Schochet & Chiang; 2010) • Correlación interanual: 0.4 – 0.7 • No causales (Stuart, Rubin,Zanutto,2004) • No efectos del docente, sino promedios-aula • Baja cobertura • 30-40% de docentes en los EU (Prince et al. 2006) • Vista parcial del aprendizaje (Baker et. al. 2010) • Limitaciones de las pruebas se propagan • Por supuesto: No son indicadores de enseñanza o practica docente (!) University of California, Los Angeles (Goe, 2011) ‹Nr.›/ Cual de los metodos es mejor? • Ninguno es inherentemente preferible. Todos ofrecen fortalezas y debilidades • Cobertura de constructo(s) • Fuentes de error preponderantes • Consistencia y confiabilidad • Costo e implicaciones practicas y logísticas • Cada uno ofrece una imagen parcial del constructo global que se pretende medir • Una evaluación útil requiere de una imagen lo mas completa posible • Una imagen mas completa requiere del uso de indicadores múltiples University of California, Los Angeles ‹Nr.›/ Indicadores y Validez • La idea de Validez se refiere a inferencias y usos específicos no a medidas • Se basa en un argumento (Kane, 2006) • Como se interpretara el indicador(es), cuales son los usos y CONSECUENCIAS esperadas. • Y evidencia que sustenta este argumento… • • • • • Soporte teórico Cobertura adecuada de constructos Consistencia y precisión (i.e. Error y Confiabilidad ) Patrón de correlaciones entre indicadores * Impacto y consecuencias de uso ** University of California, Los Angeles ‹Nr.›/ Tipos de evidencia de Validez* • Patrón de correlaciones entre indicadores • Patrón de correlaciones con criterios relevantes • Importante distinguir entre los dos • Y entender el modelo cuantitativo de validación β β β β β ü University of California, Los Angeles β β û ‹Nr.›/ Validez Consecuencial?** • Es válido un indicador si las consecuencias difieren marcadamente de las esperadas? • Esperadas o Deseadas • • • • • Mejora en practicas docentes Mejora en aprendizaje de los alumnos Uso positivo en politicas de alto impacto Impacto positivo en reclutamiento y retencion Mejora en percepciones de validez y utilidad • No esperadas o Deseadas • Competencia, Fraude • Desmotivacion, apatia, desercion • Estrechamiento de la practica y/o el curriculo…etc University of California, Los Angeles ‹Nr.›/ Consideraciones Finales • Precisamente porque “Esta en juego el futuro de los niños de ____” ( _, 2014) se debe proceder con cautela • Desarrollar indicadores de practica docente lleva tiempo • Desarrollar sistemas solidos basados en estas aún más • Evaluar las consecuencias (esperadas y no) de estos sistemas requerirá aun mas tiempo, cuidado, paciencia. • Forzosamente se deben priorizar objetivos • Cobertura o Profundidad?, Consistencia o Riqueza? • Minimizar que tipo de error? • De juicio o muestreo? • Falsos positivos o negativos? • Confiabilidad o Validez? University of California, Los Angeles ‹Nr.›/ Consideraciones Finales • Desarrollo de indicadores de practica docente: Paquete Escoja Dos de Tres Rápido Bueno Caro Lento Malo Barato University of California, Los Angeles ‹Nr.›/ Muchas Gracias [email protected] University of California, Los Angeles ‹Nr.›/
