MODELOS COGNITIVOS EN LA EVALUACIÓN DE LAS CIENCIAS

VII Conferencias Internacional sobre la Enseñanza Indagatoria
de la Ciencia en Educación Básica «La Evaluación del
Aprendizaje de la Ciencia: tendencias y retos»
México D.F., noviembre de 2013
MODELOS COGNITIVOS EN LA
EVALUACIÓN DE LAS
CIENCIAS
EDUARDO BACKHOFF ESCUDERO
INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN
MÉXICO, D.F., NOVIEMBRE DE 2013
PROPÓSITO DE LA PONENCIA
Propósito General
•  Justificar el uso de modelos cognitivos para evaluar el
aprendizaje de los estudiantes.
Propósitos específicos
•  Describir la importancia de la evaluación del aprendizaje,
tanto dentro como fuera del aula.
•  Ejemplificar el uso de modelos cognitivos para la evaluación
de ciencias.
•  Caracterizar a las evaluaciones de ciencias que realiza el
INEE y la OCDE.
•  Concluir sobre la necesidad de avanzar a evaluaciones que
se sustentes en modelos cognitivos y que se administren por
computadora.
EL USO DE LAS EVALUACIONES
•  Las evaluaciones de logro escolar proporcionan
información útil para que los docentes, directivos,
estudiantes y padres de familia tomen decisiones para
mejorar los aprendizajes.
•  Los fines para los cuales se utilizará una evaluación
determinarán los componentes de las distintas fases de
su diseño, elaboración e interpretación.
EVALUACIONES DE AULA:
FORMATIVA
•  En el contexto del aula, los buenos maestros utilizan
diversas formas de avaluar a sus estudiantes:
pruebas, observación del alumno, proyectos y
tareas escritas, y conversaciones con los
estudiantes.
•  Dado que este tipo de evaluación tiene el propósito
de ayudar al alumno a aprender, se le refieren como
evaluación formativa.
•  Está muy bien documentado que los estudiantes
aprenden más cuando reciben retroalimentación
sobre las particulares de su trabajo escolar.
EVALUACIÓN DE AULA:
SUMATIVA
•  Otro tipo de evaluación que se utiliza para tomar
decisiones en el ámbito educativos es el que se
realiza para determinar si un estudiante ha
alcanzado un cierto nivel de competencia después
de completar una etapa de la educación.
•  A este tipo de evaluación se le denomina evaluación
de logro, o evaluación sumativa.
•  Algunas de las formas más conocidas de evaluación
sumativa son las que utilizan los docentes en sus
cursos, tales como los exámenes de fin de cursos.
EVALUACIÓN EXTERNA DE GRAN
ESCALA
•  Las evaluaciones de gran escala que se
administran por personal externo a la institución
proporcionan información relevante y comparativa
sobre el logro de los estudiantes.
•  Debido a que estas evaluaciones se realizan en
tiempos muy espaciados y con un desfase temporal,
rara vez proporcionan información oportuna a los
profesores y estudiantes que pueda utilizarse para
tomar decisiones en el salón de clases.
USO DE LAS EVALUACIONES DE
GRAN ESCALA
•  Recientemente, los tomadores de decisiones
empiezan a considerar que las evaluaciones de
logro educativo de gran escala representan una
herramienta muy poderosa para cambiar lo que
sucede al interior de las aulas y de las escuelas.
•  Es un hecho que en el mundo las evaluaciones
ahora son vistas como una forma no sólo de medir
el desempeño, sino también de cambiarlo.
LIMITACIONES AL INTERPRETAR LOS
RESULTADOS
•  Aun cuando se cumplan estos criterios de una
evaluación, se debe tener cuidado para no
generalizar los resultados y llegar a conclusiones
que no se apoyan en las evidencias.
•  Por ejemplo, un profesor cuyos alumnos obtienen
puntuaciones altas en un examen, no
necesariamente es mejor que uno cuyos alumnos
tienen puntuaciones más bajas.
•  La calidad de los insumos, tales como las
características de entrada de los estudiantes y los
recursos educativos disponibles, deben también ser
considerados.
VALIDEZ DE LAS EVALUACIONES
•  Para que sean útiles las evaluaciones de
aprendizaje, deben ser válidas (así como confiables
y equitativas).
•  Dos definiciones de validez:
1.  La validez se sustenta en la evidencia empírica y
en la teoría que dan sentido a las interpretaciones
de los resultados de la evaluación.
2.  Una prueba es válida para medir un atributo si y
sólo si el atributo existe y si las variaciones de la
medición son producidas causalmente por las
variaciones en los atributos.
LA EVALUACIÓN COMO UN PROCESO
DE RAZONAMIENTO BASADO EN LA
EVIDENCIA
•  Una evaluación es una herramienta diseñada para
observar el comportamiento de los estudiantes y
generar información útil para concluir sobre lo que
saben los estudiantes.
•  La evaluación nos dice qué tipo de evidencia está
disponible para dilucidar acerca de las
competencias de las personas examinadas.
•  Lo que uno cree acerca de la naturaleza del
aprendizaje influirá sobre los tipos de datos de
evaluación que se buscan y sobre las inferencias
que se deduzcan.
TRIÁNGULO DE LA EVALUACIÓN
DE PEREGRINO Y COL. (2001)
Son tres los elementos claves para diseñar una
evaluación que mida el aprendizaje: un modelo de
cognición, uno de observación y uno de
interpretación.
Modelo de cognición
Modelo de observación
Modelo de
interpretación
MODELOS GENERAL Y
ESPECÍFICO DEL APRENDIZAJE
•  El modelo de cognición del estudiante debe
contener dos niveles de especificidad: un modelo
general de cómo se aprende y uno que explique el
aprendizaje en un dominio específico.
•  El modelo de observación debe basarse en las
creencias y supuestos acerca de los tipos de
evidencias de las competencias de los estudiantes
que la evaluación debe proporcionar.
•  El modelo de interpretación debe servir para
encontrarle sentido a la información que
proporciona la evaluación.
COGNICIÓN Y APRENDIZAJE
•  El componente de la cognición en el diseño de una
evaluación se refiere a una teoría (o conjunto de
creencias) acerca de cómo los estudiantes
representan el conocimiento en lo general y
desarrollan una competencia en lo particular .
•  La evaluación será más eficaz si el diseñador
comienza con un modelo cognitivo del aprendizaje,
explícito y claramente conceptualizado.
•  Este modelo debe reflejar la explicación científica
más verosímil sobre la forma en que los estudiantes
representan los conocimientos y se vuelven
expertos en un dominio.
EXPERIMENTO DE SIEGLER (1)
•  Examinó cómo las personas desarrollan una
comprensión de los componentes subyacentes al
principio del esfuerzo de torsión (torque).
•  Presentó a niños de diferentes edades el tipo de
balanza que se muestra en la figura, que incluye un
punto de apoyo que rota (fulcro).
Balanza escalada con dos brazos
EXPERIMENTO DE SIEGLER (2)
•  El brazo de la balanza se puede inclinar a la
izquierda o a la derecha o, bien, permanecer
nivelado, dependiendo de cómo los pesos sean
dispuestos sobre las clavijas.
•  La tarea del estudiante es predecir el
comportamiento del brazo de la balanza.
•  Dos variables influyen en el resultado:
1.  la cantidad de peso de cada lado del fulcro
2.  la distancia del peso al punto de giro.
•  Para resolver estos problemas se debe combinar
proporcionalmente el peso y la distancia al fulcro.
REGLAS QUE UTILIZAN LOS
ESTUDIANTES PARA RESOLVER
PROBLEMAS DE BALANCEO (1 Y 2)
Regla I: Si el peso es el mismo en ambos lados, se
predice que se equilibrará la balanza. Si el peso es
diferente, se predice que se inclinará del lado con más
peso.
Regla II: Si un lado tiene más peso, se predice que la
balanza se inclinará de ese lado. Si los pesos de los
dos lados son iguales, se elegirá el lado que tiene el
peso más lejos el fulcro.
REGLAS UTILIZAS POR LOS
ESTUDIANTES PARA RESOLVER
PROBLEMAS DE BALANCEO (3 Y 4)
Regla III: Si tanto el peso como la distancia son
iguales, se predice que la balanza quedará equilibrará.
Si un lado tiene más peso o distancia, y los dos lados
son iguales en la otra dimensión, se predice que
pasará el lado con el mayor valor en la dimensión
desigual. Si un lado tiene más peso y al otro lado más
distancia, se adivinará la respuesta.
Regla IV: Procede como en la regla anterior, a menos
que un lado tenga más peso y el otro más distancia.
En ese caso, se calcula el torque al multiplicar el peso
por la distancia de cada lado. Así se predice qué lado
con mayor esfuerzo de torsión será hacia donde se
incline la balanza.
PROBLEMAS DISEÑADOS PARA
OBSERVAR LAS REGLAS QUE SE
UTILIZAN EN EL BALANCEO (1)
1. Problemas de equilibrio: la misma configuración de
pesas en las clavijas a cada lado del fulcro.
2. Problemas de peso: cantidades desiguales de
pesos, equidistantes entre el fulcro.
3. Problemas de distancia: iguales cantidades de
pesos, diferentes distancias del fulcro.
4. Problemas de conflicto de peso: un lado con más
peso, al otro lado con el peso más lejos del fulcro, y la
balanza se inclina del lado con mayor peso.
PROBLEMAS DISEÑADOS PARA
OBSERVAR LAS REGLAS QUE SE
UTILIZAN EN EL BALANCEO(2)
5. Problemas de conflicto de distancia: un lado con
más peso, al otro lado con más distancia, y el la
balanza se inclina del lado con la mayor distancia.
6. Problemas de conflicto de balanceo: el conflicto
habitual entre peso y distancia, donde hay un equilibrio
en la balanza.
INTERPRETACIÓN
Reglas
Tipo de problema
Balance
I II III IV
Peso
100 100 100 100
Distancia
Conflicto peso
100 100 100 100
0 100 100 100
(Rs: Balance)
100 100 33 100
(Rs: Azar)
Conflicto Distancia
0 0 33 100
(Rs: Derecha) (Rs: Derecha) (Rs: Azar)
Conflicto balance
0 0 33 100
(Rs:Derecha) (Rs: Derecha) (Rs: Azar)
LA EVALUACIÓN DE LAS CIENCIAS
NATURALES: EL CASO DEL INEE
•  Los Exámenes para la Calidad y el Logro
Educativos evalúan los conocimientos y habilidades
que se establecen en los planes y programas de
estudio del currículo nacional.
•  Entre sus principales características destacan: de
tipo criterial, alineados al currículo nacional,
establecen cuatro niveles de logro, y sus reactivos
son de opción múltiple.
•  Las evaluaciones de 2008 y 2012 se centran en los
contenidos de los programas de Biología
correspondientes.
EJEMPLO DE UN REACTIVO DE
EXCALEL: NIVEL AVANZADO
Una mujer que tiene un ciclo menstrual regular empezó su
menstruación el 4 de septiembre. ¿Aproximadamente, en
qué día ocurrirá la ovulación?
a)
b)
c)
d)
El 4 de septiembre
El 28 de septiembre
Entre el 10 y el 12 de septiembre
Entre el 15 y el 21 de septiembre
LA EVALUACIÓN DE LAS CIENCIAS
NATURALES EN PISA
•  Para PISA la competencia científica es “La capacidad de
usar el conocimiento científico, identificar cuestiones y
extraer conclusiones basadas en pruebas que les
permita comprender y tomar decisiones sobre el medio
natural y los cambios que sufre por la acción humana”.
•  Se distinguen tres dimensiones interconectadas para la
evaluación de las ciencias: conceptos, procesos y
situaciones.
•  Los conceptos científicos se derivan de la física, la
química y la biología, y los temas se seleccionan por su
conexión con situaciones cotidianas, su interés para los
alumnos y su cercanía con la ciencia.
EJEMPLO DE UNA FAMILIA DE
PREGUNTA DE PISA DE CIENCIAS
NATURALES
…las estatuas llamadas Cariátides, …fueron erigidas…
hace más de 2,500 años. Las estatuas están hechas de un
tipo de roca llamada mármol, …[que] está compuesto de
carbonato de calcio. En 1980 …las estatuas originales
estaban siendo corroídas por la lluvia ácida.
PREGUNTA 1.
La lluvia normal es ligeramente ácida porque ha
absorbido algo del dióxido de carbono del aire. La
lluvia ácida es más ácida que la lluvia normal porque
además ha absorbido gases como óxidos de azufre y
óxidos de nitrógeno. ¿De dónde vienen los óxidos de
azufre y los óxidos de nitrógeno que hay en el aire?
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
CONCLUSIONES (1)
•  Las fortalezas de las evaluaciones reside en su adhesión
a las teorías del aprendizaje; sus limitaciones se reflejan
en la medida en que no logran capturar la amplitud y
riqueza de la competencia que se evalúa.
•  Hay preocupación sobre si las evaluaciones utilizadas,
tanto internas como externas al aula, capturan la
complejidad del aprendizaje que se enfatiza en la
actualidad.
•  Desgraciadamente, muchas evaluaciones no se centran
en los aspectos cognitivos que la investigación indica;
asimismo, no se diseñan para captar los aspectos
críticos de comprensión de los estudiantes.
CONCLUSIONES (2)
•  Aunque hay diferencias grandes en las evaluaciones del
INEE y PISA, ninguna de las dos utiliza modelos
cognitivos explícitos como los propuestos por Siegler.
•  Para poderlo hacer se requeriría:
1. adoptar un modelo cognitivo eficaz para evaluar cada
uno de las competencias científicas de interés y
2. trascender del formato de lápiz y papel a uno
computarizado, que permita la evaluación de
habilidades cognitivas en aplicaciones de gran escala.
•  Hoy en día, los llamados Generadores Automáticos de
Ítems permiten producir reactivos que se basan en
modelos cognitivos, con lo cual se avanzaría
considerablemente en materia de evaluación de las
ciencias.