Análisis y modificación de una grilla de evaluación de

Análisis y modificación de una grilla de evaluación de desempeño docente
Introducción
En este trabajo se analiza un instrumento de evaluación del desempeño
docente utilizado en una institución privada de enseñanza de español lengua
extranjera (ELE) de Montevideo.
Primeramente, se describen sus características en cuanto a objetivos,
contexto de aplicación y criterios de evaluación, en relación con el ámbito específico de
enseñanza de dicha institución.
En segundo lugar, se detiene en el análisis del concepto de enseñanzaaprendizaje y en la visión del docente que subyace al instrumento en cuestión.
Asimismo se reflexiona sobre su grado de validez y confiabilidad.
Finalmente, se propone una primera modificación (sujeta a posteriores reajustes de
criterios) que intenta reflejar una evaluación que explicite más las inferencias que la
grilla presenta.
Descripción del instrumento de evaluación
Este instrumento se aplica en el proceso de incorporación de nuevos
profesores, concretamente es la grilla (ver anexo 1) que completa el coordinador
académico durante la observación de las clases dictadas por los candidatos que quieran
ingresar al plantel docente de la institución.
La integración de nuevos docentes es gradual; como parte del proceso
los candidatos se familiarizan con el plan general de enseñanza, los programas
curriculares, el material didáctico, el enfoque y la metodología de enseñanza y los
procedimientos (formales) a seguir en lo que respecta a cursos, alumnos, materiales y
recursos, etc.
Existe una clasificación previa en profesores junior (con muy poca
experiencia laboral o sin ella) o senior (con formación específica en la enseñanza de ELE
y amplia experiencia laboral en el área). Tal división, con criterios clasificatorios bien
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
49
definidos determina los procedimientos de integración a llevarse a cabo en cada caso.
La tabla de observación de clase evalúa el desempeño de los candidatos
docentes. Es completada por el coordinador académico en cada clase visitada (por lo
menos dos). En primer lugar, el coordinador evalúa al docente siguiendo los criterios
especificados en la tabla y, luego de la visita, hace la devolución (feedback)
correspondiente. De la reflexión conjunta surgen posibilidades de cambio, negociación
de criterios para la segunda visita y se reajustan posibles discrepancias teóricometodológicas.
El objetivo de esta grilla es poder evaluar la adecuación del profesor a
los requerimientos y programas de la institución y su desempeño acorde al enfoque
(comunicativo) y metodología adoptados, ambos ya conocidos previamente por el
candidato tras una (o más, según requerimientos específicos) entrevista con el
coordinador. Cabe destacar que las entrevistas incluyen muestra del material,
indicaciones para la observación posterior de otras clases, intercambio con otros
profesores y lecturas teóricas recomendadas.
La grilla refleja lo que se espera del desempeño docente en clases con
las características particulares que presentan en este ámbito concreto. Esta escuela de
lengua ofrece exclusivamente cursos de español en grupos reducidos (máximo cinco
estudiantes) y cuenta con los recursos didácticos cuya utilización se consigna en la grilla
(videoteca, biblioteca, sala audiovisual, juegos, material didáctico, proyector,
computadoras, reproductores y grabadores de música y voz, etc). El instituto
proporciona los recursos que pretende encontrar en las clases que evalúa. El profesor
que forma parte del plantel docente de la escuela puede utilizar todos esos recursos en
sus clases. En este contexto, se puede decir que la grilla consigna, aunque
implícitamente, según se analiza más abajo, lo que se espera del individuo evaluado.
Análisis del instrumento
Todo enfoque de enseñanza refleja una teoría y unas creencias concretas
acerca de la lengua y su aprendizaje, también acerca del profesor y del estudiante. Este
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
50
instituto de enseñanza optó por el enfoque comunicativo y esa elección se ve en sus
opciones metodológicas, en sus materiales y en algunos de sus instrumentos de
evaluación. En la grilla que se seleccionó para el análisis, se explicitan 29 criterios de
evaluación que incluyen aspectos de diversa índole: la adecuación al programa de
estudios de la institución y el uso del libro de texto, las explicaciones y ejemplos del
profesor, los recursos que utiliza, el tipo de tareas que plantea, la interacción en el aula,
la motivación de los estudiantes, entre otros.
Si bien no aparece explicitada en la grilla puede inferirse la visión del
profesor y del alumno que subyace a este instrumento. En esta visión, el profesor se
concibe como facilitador, gestor, cocomunicador (en conjunto con el estudiante),
supervisor, organizador de recursos, guía, investigador y analista de necesidades,
asesor y gestor de procesos grupales (Richards y Rodgers, 1986). En relación con el
alumno, se lo concibe como un individuo motivado a hacer algo útil con la lengua que
estudia, animado por el profesor a expresar su individualidad compartiendo ideas,
opiniones, experiencias, con una seguridad reforzada por medio de la comunicación
cooperativa, como controlador de su propio proceso de aprendizaje.
Esta concepción está avalada por la institución, en consonancia con las
orientaciones teórico-metodológicas de la escuela, su concepto de lengua y de
enseñanza-aprendizaje, así como también del rol docente en la práctica, las metas y
objetivos curriculares.
Por otro lado, en cuanto a la validez de contenido, la grilla pretende medir
la habilidad del candidato para fomentar la autonomía del alumno, y su capacidad de
descubrir y desarrollar diferentes estilos de aprendizaje y estrategias en el aula.
Atendiendo a la validez de criterio, el coordinador realiza dos visitas al
candidato y en ambas se aplica la misma grilla. Al mismo tiempo, la grilla posee cierta
validez paralela porque el candidato llega al instituto con sus propias creencias sobre
los procesos implicados en el aula y los pone en práctica. A partir de la primera
observación de clase, el coordinador hace una devolución de lo observado y en base a
ella puede predecir el desempeño esperable en la próxima visita, un desempeño que
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
51
deberá tener en cuenta las sugerencias de la primera instancia y mostrar una
incorporación
de
nuevas
técnicas
y
habilidades
de
manejo
de clase. De este modo, el coordinador puede realizar una predicción (validez
predictiva, Brown, 2004 apud Schlatter et ali, 2005) sobre el desempeño del nuevo
docente, en base a los resultados de la primera visita.
En cuanto a la validez de constructo (Bachman, 1988), este instrumento
es válido, aunque podría serlo solo para este contexto específico, en la medida en que
es coherente con el concepto de “una buena clase de lengua” que maneja tanto el
coordinador como la institución. No obstante, la validez se ve comprometida por el alto
grado de inferencias que requiere para ser cabalmente comprendido.
En relación con la confiabilidad de esta grilla, una especificación mayor
de los descriptores de los criterios de evaluación aumentaría significativamente su
confiabilidad, que en este formato se ve comprometida. Una descripción más detallada
de los criterios y la posibilidad de explicación dada en el ítem “especificar” reduce la
discordancia, aunque no elimina la subjetividad y la interpretación por parte del
evaluador. Esta discordancia estaría aún más presente de no existir la posibilidad de
especificación de los criterios empleados en la instancia de evaluación, es decir, en la
observación de clase.
Por último, la finalidad de este instrumento de evaluación es, según se
mencionó, poder orientar a los nuevos docentes, a partir de los presupuestos que
avalan el funcionamiento y las orientaciones programáticas de la institución. La
evaluación busca ante todo mejorar el proceso de enseñanza-aprendizaje que refleja, a
su vez, un posicionamiento teórico-metodológico. El objeto de evaluación en este caso
es el desempeño del docente en el aula y su habilidad para fomentar el desarrollo de
estudiantes autónomos y reflexivos. Sin embargo, la fiabilidad y validez se consiguen
mediante el contraste de opiniones entre las partes implicadas, esto es, entre el
profesor y el coordinador.
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
52
Propuesta de modificación del instrumento de evaluación
Una formulación más cuidadosa y detallada de los descriptores de
desempeño que acompañe a los criterios de evaluación mejora y amplía la validez y
confiabilidad de esta grilla. Los descriptores deben incluir ejemplos ilustrativos u
opciones de desempeño en cada uno de los items valuados, incluso preguntas de
autorreflexión.
La nueva propuesta (ver anexo 2) establece la división de los criterios de
evaluación en seis grandes grupos, a saber: 1. Objetivos y contenidos programáticos; 2.
Manejo de la clase; 3. Uso de recursos; 4. Interacción y dinámicas de grupo; 5. Foco en
el alumno y fomento de la autonomía y 6. Tratamiento del error y evaluación. Cada
grupo se subdivide, a su vez, en varios criterios que retoman los propuestos en la grilla
original (ver anexo 1) y se agrega un criterio no contemplado, el de la evaluación.
La innovación más importante es la incorporación de preguntas para
cada uno de los criterios evaluados. En la tabla original solo aparecía la instrucción
“especificar”, sin ninguna orientación en cuanto a la descripción de lo que se debería
tener en cuenta. En la grilla reformulada, las respuestas a las preguntas generarán un
descriptor de desempeño del profesor que podrá ser luego discutido. Otra manera de
organizar esas preguntas sería en forma de descriptores, afirmaciones de lo que es
esperable de un profesor practicante en este contexto.
Siguiendo a Doll (2000), no hay evaluación perfecta, pero tras estas
modificaciones, este instrumento de evaluación se torna un poco más justo en cuanto
a que la instancia posterior a la aplicación de la grilla no solo se basará en una
evaluación analítica, dividida en una escala de desempeño que va del “insuficiente” al
“muy bueno”, sino en su “adecuación” o “no adecuación” al contexto de enseñanzaaprendizaje específico que ofrece este instituto en particular.
Con los criterios y los descriptores especificados y la posibilidad de
recurrir además a los apartados de “especificar” y “observaciones”, existe un grado
mayor de confiabilidad cuyo resultado favorecerá la retroalimentación que brinda el
coordinador al docente observado.
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
53
El objetivo de la grilla sigue siendo el fomento de la reflexión de las
propias prácticas de aula de los docentes en general, y, principalmente, de los docentes
nuevos. Su finalidad es mostrar qué ocurre en el aula a partir de la aplicación de esa
grilla y de la observación del coordinador y luego reflexionar conjuntamente en el
proceso de devolución. Avala la confrontación de presupuestos y el contraste de
creencias de enseñanza, metodologías, estilos de enseñanza, concepciones teóricas
que trae el docente nuevo.
Consideraciones finales
A primera vista la grilla analizada, y posteriormente modificada, parece
ser una evaluación diagnóstica, que busca la reflexión del profesor sobre su propia
práctica docente y su desempeño en el aula. Sin embargo, ¿qué ocurre si el docente
novel y su sistema de creencias e inferencias acerca de lo que es “una buena clase”, o
de cómo debe ser la relación docente-alumno, o del rol de los agentes implicados en el
proceso de enseñanza-aprendizaje, son diferentes a los del evaluador y la propia
institución? En este caso, este instrumento se convertirá en clasificatorio luego de su
segunda aplicación, debido a que el coordinador-evaluador obra de acuerdo a los
principios que propone la institución y que se ven reflejados en la grilla en cuestión.
Resulta evidente que la evaluación será negativa y por tanto tendrá como resultado la
no incorporación al plantel docente del candidato.
Bibliografía consultada
DOLL, Johannes (2000) Avaliação na pós-modernidade. In: Paiva, Maria da Graça
Gomes & Brugalli, Marlene. Avaliação: novas tendências, novos paradigmas. Porto
Alegre: Mercado Aberto. p. 11-44. (xerox)
MARCUSCHI, Elizabeth (2001) Os destinos da avaliação no manual do professor. In:
Dionisio, Angela P. & Bezerra, Maria A. (orgs.) O livro didático de português: múltiplos
olhares. Rio de Janeiro: Lucerna. p. 139-150.
RICHARDS, J. C. y T. S. RODGERS (1986). Enfoques y métodos en la enseñanza de
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
54
idiomas. Madrid: Cambridge University Press, 1998.
SCARAMUCCI,
Matilde
V.
R.
(2004)
Efeito
retroativo
da
avaliação
no
ensino/aprendizagem de línguas: o estado da arte. Trabalhos em Lingüística Aplicada,
43 (2): 203-226
SCHLATTER, Margarete; ALMEIDA, Alexandre do N.; FORTES, Melissa S.; SCHOFFEN,
Juliana R. (2005) Avaliação de desempenho e os conceitos de validade, confiabilidade e
efeito retroativo. A avaliação do texto de vestibular: diferentes enfoques. Coperse.
UFRGS.
SCHLATTER, M.; GARCEZ. P. M. & SCARAMUCCI, M. V. R. (2004) O papel da interação na
pesquisa sobre aquisição e uso da língua estrangeira: implicações para o ensino e para
a avaliação. Letra de Hoje, 39 (3): 345-378.
Anexo 1. Grilla original
Docente:
Integrantes del grupo:
fecha:
OBSERVACIÓN DE CLASE
Nivel y unidad/es:
Objetivos y contenidos de la clase:
(MB: muy bueno – B: bueno – R: regular – I:
insuficiente – N/O: no se observa)
Coherencia de los objetivos y contenidos con el
Programa del curso y con el Plan General de
Enseñanza.
Coincidencia de los objetivos y contenidos con la
planificación hecha.
Desempeño y uso de didáctica.
MB
B
R
I
N/O
Especificar:
Uso del libro del nivel correspondiente.
Organización y secuencia de tareas.
Uso del pizarrón.
Uso de recursos visuales.
Uso de recursos auditivos.
Uso de recursos audiovisuales.
Uso de Internet.
Juegos didácticos y juegos de roles.
Uso del diario, textos, materiales complementarios,
etc.
Uso del diccionario.
Uso de lenguas extranjeras.
Explicaciones y ejemplos.
Variedad e interrelación de los contenidos (lingüísticos,
semánticos, socioculturales) y su correspondencia con
la planificación.
Trabajo con fonética y fonología.
Flexibilidad y adaptación a los estilos y ritmos de
aprendizaje de los alumnos.
Manejo de dinámica de grupo.
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
55
Distribución del tiempo de clase para el desarrollo de
cada destreza o habilidad.
Motivación, participación y desarrollo del aprendizaje
autónomo y continuo por parte de los alumnos.
Uso y motivación para usar materiales
complementarios y de apoyo dentro y fuera de la
sesión.
Interacción entre los alumnos.
Foco en el alumno.
Correlación de las actividades comunicativas con
situaciones reales
Tareas para la próxima clase.
Registro de temas, preguntas, necesidades y
sugerencias de los alumnos.
Estímulo a los alumnos para la reflexión del propio
proceso de aprendizaje.
Estímulo para el uso de Internet, para mirar películas,
consultar diarios, etc. como continuación del proceso
de aprendizaje fuera del aula.
Observaciones:
Extraída de: “Procedimiento de incorporación de nuevos profesores. Grilla de observación de clase”, Academia
Uruguay, Montevideo, 2011.
Anexo 2- Versión modificada de la grilla
OBSERVACIÓN DE CLASE
Docente:
Fecha:
Nivel y unidad:
Integrantes del grupo:
Objetivos y contenidos de la clase (de acuerdo a la planificación del docente):
Criterio
Descripción
A
N/A
N/O
Especificar
1. Objetivos y contenidos programáticos:
Coherencia de los objetivos y ¿El docente conoce los objetivos y contenidos
contenidos con el Programa del curso y programáticos y planifica sus clases en base a
con el Plan General de Enseñanza.
ellos?
¿La planificación se corresponde con la
lección del manual o el profesor programa de
forma personal sus clases, reorganizando el
material y adaptándolo así a su particular
contexto de aula?
Coincidencia de los objetivos y
contenidos con la planificación hecha.
¿El docente elabora planificaciones de clase
con los objetivos (lingüísticos, socioculturales,
discursivos, etc), los contenidos necesarios
para alcanzarlos, las destrezas a trabajar,
tareas, agrupamientos de los estudiantes,
secuencia y tiempo para cada actividad,
evaluaciones, etc?
Variedad e interrelación de los
¿Las tareas propuestas cuentan con variedad
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
56
contenidos (lingüísticos, semánticos,
socioculturales) y su correspondencia
con la planificación.
de actividades, con el fin de favorecer el
interés y la motivación de los alumnos?
2. Manejo de la clase:
Desempeño y uso de didáctica.
¿El docente demuestra conciencia de lo que
ocurre en el el aula y del rol docente?
¿Favorece un ambiente de aprendizaje
enriquecedor y motivante para sus
estudiantes?
Organización y secuencia de tareas.
¿El docente selecciona los contenidos,
materiales y actividades con una distribución,
combinación y progresión adecuada a las
características del grupo al nivel? ¿Muestra
flexibilidad de adaptación al grupo y a las
diferentes situaciones? ¿Los objetivos de las
actividades son claros para los estudiantes?
Explicaciones y ejemplos.
¿Los
ejemplos
están
debidamente
contextualizados y las explicaciones hacen uso
de un metalenguaje adecuado al estudiante y
nivel?
Uso de lenguas extranjeras o de la L1
de los estudiantes.
¿Qué papel le da el profesor en la clase (solo
para actividades prácticas, explicación de
consignas, traducción de algún término)? ¿Es
flexible según las necesidades de los alumnos
y principalmente su nivel? O ¿recurre a ella
sin un objetivo didáctico definido?
Distribución y desarrollo de cada
destreza o habilidad.
¿El docente propone a sus alumnos
actividades variadas (de diagnóstico, de
introducción, de motivación, de síntesis, de
consolidación, de ampliación, de evaluación,
etc)? ¿Contemplan el desarrollo de las
distintas destrezas? ¿Aparecen integradas o
por separado?
Tareas para la próxima clase.
¿El docente propone a sus alumnos
actividades domiciliarias que continúen,
revisen o profundicen lo trabajado en clase o
que sirvan como actividades previas
importantes para el cumplimiento de los
objetivos de próximas clases?
3. Uso de recursos:
Pizarrón.
¿El docente utiliza este recurso como apoyo a
sus explicaciones?¿El contenido está bien
organizado, hay alguna división establecida,
etc?
Recursos visuales/ auditivos/
audiovisuales.
¿El docente utiliza estos recursos como input
real?¿El contenido está bien seleccionado, es
adecuado al nivel de los estudiantes? ¿Se
emplean con objetivos didácticos claros?
Internet.
¿Hay indicaciones claras, selección previa de
páginas para trabajar, objetivos definidos?
Diccionario.
¿El docente estimula su uso? ¿En qué
situaciones?
Diario, textos, materiales
complementarios, etc.
¿El docente utiliza estos recursos como input
real (uso de materiales auténticos)? ¿El
contenido está bien seleccionado, es
adecuado al nivel de los estudiantes? ¿Se
emplean con objetivos didácticos claros?
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
57
Juegos didácticos.
¿Los estudiantes conocen los objetivos
perseguidos con los juegos o les son
proporcionados luego del juego?
4. Interacción y dinámicas de grupo
Interacción entre los alumnos.
¿Se fomenta la interacción como parte del
proceso de aprendizaje? ¿Se infiere una
concepción de la lengua como sistema para
expresar significado cuyo papel principal es la
interacción y la comunicación o como sistema
de reglas gramaticales?
Juegos de rol.
¿El docente crea simulaciones de situaciones
reales en clase (lengua en acción)?
Manejo de dinámica de grupo.
¿Qué tipo de agrupamientos utiliza?, ¿con
qué objetivos?
Correlación de las actividades
comunicativas con situaciones reales
¿Las tareas comunicativas propuestas son
significativas para los estudiantes?
¿El profesor se preocupa por la participación
del alumno en intercambios comunicativos
reales?
5. Foco en el alumno y Fomento de la autonomía
Flexibilidad y adaptación a los estilos y ¿El docente fomenta la toma de conciencia de
ritmos de aprendizaje de los alumnos. la existencia de estilos, con el fin de sacar el
máximo provecho de ellos? ¿Utiliza diversos
recursos, por ejemplo: materiales didácticos
que requieran el desarrollo de varios estilos;
atención a la variable afectiva para crear un
ambiente en el que las diferencias
individuales no generen sentimientos
negativos; promoción del aprendizaje
cooperativo para que en la realización de una
tarea conjunta se empleen diferentes estilos;
etc?
Motivación, participación y desarrollo
del aprendizaje autónomo y continuo
por parte de los alumnos (aprender a
aprender)
¿El profesor fomenta en el alumno la
observación y el análisis del propio proceso de
aprendizaje y la reflexión sobre la forma en
que aprende y cómo puede seleccionar las
estrategias de aprendizaje apropiadas para
cada situación?
Registro de temas, preguntas,
necesidades y sugerencias de los
alumnos.
¿El desarrollo de la clases es una actividad
conjunta, de negociación entre estudiantes y
profesor?
¿El profesor es consciente de la importancia
de la enseñanza centrada en el alumno?
Uso y motivación para usar materiales
complementarios y de apoyo dentro y
fuera de la sesión.
¿Estimula el uso de Internet, mirar películas,
consultar diarios, etc. como continuación del
proceso de aprendizaje fuera del aula?
6. Tratamiento del error y evaluación
Corrección en clase.
paginas.ufrgs.br/revistabemlegal
¿Se proporcionan criterios claros acerca de
qué se va a corregir y por qué?
¿Se proporciona información al alumno sobre
la ejecución de las tareas y cómo puede
mejorarlas? ¿Se favorecen procesos de
autoevaluación y coevaluación?
¿El docente usa estrategias y procedimientos
de autoevaluación y coevaluación en grupo
que favorezcan la participación de los
alumnos en la evaluación?
¿El error se considera un elemento activo y
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
58
necesario en el proceso de aprendizaje o se
mantiene la corrección sistemática?
¿Se intenta estimular la autocorrección por
parte del mismo aprendiente como una
manera de potenciar su autonomía?
Tareas de evaluación y autoevaluación.
¿Se establece de modo explícito, los criterios,
procedimientos e instrumentos de evaluación
y autoevaluación que permiten hacer el
seguimiento del progreso de los alumnos?
Observaciones:
Soledad Gorga Oreiro - Licenciada en Lingüística egresada de la
Facultad de Humanidades y Ciencias de la Educación (FHCU) de
la Universidad de la República (UdelaR). Está terminando su
Maestría en Lingüística Aplicada a la enseñanza de español
lengua extranjera (Funiber- Universidad de Jaén). Está cursando
su segunda Maestría en Ciencias Humanas, opción Lenguaje,
cultura y sociedad (Udelar). Es profesora de español como
lengua extranjera y coordinadora académica de un instituto
privado de Montevideo (Academia Uruguay).
paginas.ufrgs.br/revistabemlegal
REVISTA BEM LEGAL • Porto Alegre • v. 2 • nº 1 • 2012
59