TALLER: Presentación de ítems liberados de pruebas

TALLER:
Presentación de ítems liberados de pruebas internacionales de evaluación
Laura Alonso
David Cervera
Joaquín Vera
@educainee
INEE_MECD
¿Has visto que prueba han hecho?
¿A quién se le habrá ocurrido?
Mira este ítem.
¡Qué barbaridad!
EVALUACIONES EDUCATIVAS
Competencias y habilidades para la vida
Currículo
Evaluación
LO DESEABLE DE UN SISTEMA EDUCATIVO
EVALUACIONES EDUCATIVAS
Competencias y
habilidades para la vida
Currículo
Evaluación
LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN
Matriz de especificaciones
Niveles cognitivos
(Niveles de complejidad en la resolución de la tarea)
Procesos
Proceso I
Proceso II
Proceso III
Dominio 1
Descriptores
Descriptores
Descriptores
%
Dominio 2
Descriptores
Descriptores
Descriptores
%
Dominio 3
Descriptores
Descriptores
Descriptores
%
%
%
%
Dimensiones/Dominios
Ponderación
Ponderación
Descriptores: Formulaciones sintéticas de las competencias/capacidades que medirán los ítems
EJEMPLO DE CONSTRUCCIÓN
DE PRUEBAS
BLOQUES DE CONTENIDOS
• Números
• Álgebra
• Geometría
• Funciones y Gráficas
• Estadística y Probabilidad
• Contenidos comunes
Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO
DESCRIPTOR
EJEMPLO DE CONSTRUCCIÓN
DE PRUEBAS
PROCESO DE CONSTRUCCIÓN DE PRUEBAS
MATRIZ ESPECIFICACIONES
Tipo respuesta:
• Elección múltiple
• Cerrada
• Abierta construida
• Abierta
Pilotaje
Ítem
Estímulo
Aplicación principal
Explotación de datos
EJEMPLO TIMSS CIENCIAS
Recomendaciones para
seleccionar estímulos
• Buscar estímulos en los que el alumno pueda tener interés.
• Seleccionar en función de las preguntas que se harán:
 Textos (continuos o discontinuos).
 Gráficos, imágenes, fotografías, dibujos, etc.
 Esquemas (sinópticos, eléctricos, planos, distribución, montaje).
 Comentarios, notas al pie, aportaciones laterales.
 Tiras cómicas.
 Mapas de metro, de autobús, de ciudad, de carreteras.
 Organigramas, tablas, listados, notas manuscritas, carteles, etc.
• Deben ser correctos y respetuosos desde el punto de vista de la igualdad de los sexos, creencias religiosas, etc.
PONGÁMONOS A PRUEBA
http://www.youtube.com/watch?v=QHzpPflDiMY
http://pisa‐sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5
PONGÁMONOS A PRUEBA
PONGÁMONOS A PRUEBA
Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico
Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico
CRITERIOS DE CORRECCIÓN PREGUNTA A
Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico
Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico
CRITERIOS DE CORRECCIÓN PREGUNTA B
Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico
CRITERIOS DE CORRECCIÓN PREGUNTA C
Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico
CRITERIOS DE CORRECCIÓN PREGUNTA D
Recomendaciones para
elaborar preguntas (ítems)
• Si son de respuesta múltiple:
 Incluir un número par de respuestas. Se recomienda cuatro.
 Solo exista una respuesta inequívocamente correcta.
 Los distractores sean plausibles pero erróneos.
 Todas las opciones tengan una forma de redacción similar.
 Todas las opciones tengan una longitud similar.
 No emplear preguntas negativas o alternativas negativas.
Recomendaciones para
elaborar preguntas (ítems)
• Si son de respuesta elaborada:
 No incluir expresiones del tipo “cita al menos tres …”. Ser preciso en lo que se pide ayuda a la codificación. Podríamos sustituir la expresión anterior por “Enumera tres …”.
 Evitar preguntar cuestionas vinculadas con el idioma de manera directa: “sustituye la palabra por un sinónimo”.
 Elaborada larga: plantearla para que la codificación sea posible => ejemplos de respuestas reales.
Codificación
• CUANDO ESTÁ “BIEN O MAL”
Puntuación máxima
Código 1: … (cuando es abierta se acompaña con ejemplos de lo que se considera que está correcto)
Sin puntuación
Código 0: otras respuestas …
Código 9: sin respuesta
Codificación
• PUNTUACIÓN PARCIAL
Puntuación máxima
Código 2: … (ejemplos de lo que se considera que está correcto)
Puntuación parcial
Código 1: … (ejemplos de lo que se considera que está parcialmente correcto)
Sin puntuación
Código 0: otras respuestas …
Código 9: sin respuesta
Unidad 1: Finalidad de las pruebas externas. Unidad 2: Las pruebas externas en los medios.
Unidad 3: Recursos para todos. Los ítems liberados.
Unidad 4: Corrección de pruebas externas. Unidad 5: De la pregunta al informe: Datos.
Del 3 de noviembre al 15 de diciembre de 2014
Inscripción abierta durante todo el proceso
https://mooc.educalab.es
Curso evaluaciones externas internacionales
(próxima edición marzo 2015)
Edición marzo 2015
http://www.mecd.gob.es/inee/
¡¡Muchas gracias!!
Síguenos en Twitter:
@educaINEE
@dcerverao
En nuestro blog:
http://blog.educalab.es/inee/
Y en slideshare:
http://www.slideshare.net/INEE_MECD