TÉCNICAS E INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN (Tema 4: Test y Pruebas Objetivas) Asignatura Obligatoria (OB) de 2º curso Grado en Pedagogía Objetivos Aprender el significado de los test y pruebas objetivas. Conocer las etapas de construcción y aplicación de los test o pruebas. Conocer estrategias para confeccionar buenos ítems. Saber construir test y pruebas objetivas en el contexto educativo. Tema 4 – Test y Pruebas Objetivas 1. Introducción ¿En qué se diferencian test y pruebas objetivas? Los test están dirigidos a la medida de aptitudes, capacidades y/o habilidades. Las pruebas objetivas están dirigidas a la medida de conocimientos. Tema 4 – Test y Pruebas Objetivas 2. Test Con el nombre de ‘test’ se engloba todo un conjunto de instrumentos que se vienen utilizando en la investigación educativa con la intención de recoger información sobre las aptitudes, capacidades y/o habilidades de los sujetos. Características de los test Seguridad y precisión en la medida (fiabilidad) Elección de una muestra de conductas representativas de la aptitud o habilidad a medir (validez de contenido) Comparación de conductas con un grupo normativo (baremación) Predicción o inferencia de conductas más generales e importantes que las observadas en el test (validez predictiva) Tema 4 – Test y Pruebas Objetivas 2. Test Con el nombre de ‘test’ se engloba todo un conjunto de instrumentos que se vienen utilizando en la investigación educativa con la intención de recoger información sobre las aptitudes, capacidades y/o habilidades de los sujetos. Utilidades de los test Clasificar a los sujetos y grupos en diversas categorías Analizar diferencias intra-grupos, inter-grupos, interindividuales o intra-individuales Verificar hipótesis Predecir comportamientos Seleccionar individuos o grupos Tema 4 – Test y Pruebas Objetivas 3. Pruebas objetivas Las pruebas objetivas están dirigidas a la medida de conocimientos. Cuando necesitamos evaluar el rendimiento de los estudiantes con respecto a un conjunto de conocimientos, en este caso se debe preparar una prueba ‘ad hoc’, a la que se denomina ‘prueba objetiva’ Tema 4 – Test y Pruebas Objetivas 4. Construcción de los test o pruebas La elaboración de test o pruebas pasa por las siguientes fases: 1. Formular los objetivos de la prueba, o en su caso el constructo hipotético a medir 2. Definir la población objeto de la prueba 3. Muestreo de preguntas a partir de una tabla de especificaciones 4. Construcción de los ítems, de forma adecuada para lo que se quiere medir. Banco de ítems 5. Prueba piloto sobre una muestra pequeña de sujetos 6. Primer análisis de ítems y revisión de la prueba 7. Experimentación de la prueba sobre una muestra representativa de sujetos 8. Análisis de datos: cálculo de la validez, fiabilidad, análisis de ítems y baremación 9. Elaboración del manual de instrucciones (protocolo de aplicación) Tema 4 – Test y Pruebas Objetivas 4.1. Objetivos de los test o pruebas Definir cuál es la variable de interés • Definición operativa del constructo psicológico a medir en el caso de test • Definición precisa del universo de conocimientos en el caso de pruebas objetivas Definir la población objetivo de la prueba o test Definir la utilidad perseguida con la prueba o test Tema 4 – Test y Pruebas Objetivas 4.2. Especificación de la prueba o test Contenido de la prueba o test Formato de los ítems Características métricas esperadas Número de ítems La herramienta más utilizada, sobre todo en el dominio cognitivo, es la llamada tabla de especificaciones del test o prueba. Un posible modelo de tabla tiene: en las columnas, las distintas áreas de contenidos relevantes del constructo; y en las filas, las distintas operaciones cognitivas de la taxonomía de Bloom que pueden operar sobre el constructo. Suma Resta Multiplicación División Total Conocimiento Comprensión Aplicación Total Tema 4 – Test y Pruebas Objetivas 4.2. Especificación de la prueba o test Tema 4 – Test y Pruebas Objetivas 4.2. Especificación de la prueba o test Contenido de la prueba o test Formato de los ítems Número de ítems Características métricas esperadas En el ámbito cognitivo… Ítems de elección Múltiple [Para medir en las categorías inferiores de la Binaria o alternativa taxonomía de Bloom] Emparejamiento Ítems de construcción De respuesta corta o completar [Para medir en las categorías superiores de la taxonomía de Bloom] De respuesta extensa Tema 4 – Test y Pruebas Objetivas 4.2. Especificación de la prueba o test Contenido de la prueba o test Formato de los ítems Número de ítems Características métricas esperadas En el ámbito no cognitivo… (valores, personalidad, opiniones, actitudes, intereses…) Ítems de respuesta abierta Ítems de respuesta cerrada Escalas de categorías Listas Tema 4 – Test y Pruebas Objetivas 4.2. Especificación de la prueba o test Contenido de la prueba o test Formato de los ítems Número de ítems Características métricas esperadas Respecto a la longitud de la prueba debe tenerse en cuenta: la tabla de especificaciones, para que estén representadas todas las celdas (p.e. 2 ítems por celda); el tiempo estimado de aplicación de la prueba (p.e. 1 minuto por ítem); la fiabilidad estimada y deseada para la prueba. Tema 4 – Test y Pruebas Objetivas 4.2. Especificación de la prueba o test Contenido de la prueba o test Formato de los ítems Número de ítems Características métricas esperadas Prueba de dificultad intermedia Las características métricas deseadas marcarán finalmente el reparto de los ítems porque si la prueba está orientada para un nivel de conocimientos se debe saber el nivel de dificultad de los ítems y la discriminación de los mismos… Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de los ítems… La construcción de los ítems se debe realizar por personas expertas en la temática y conocedoras de la población diana. Se aconseja crear unas tres veces más de ítems que los necesarios y cuando menos el 25% más. Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de los ítems… Reglas generales Lenguaje utilizado claro y sencillo (sin tecnicismos) Evitar negaciones en los enunciados Si se quieren respuestas concretas las preguntas deben ser concretas Expresar una única idea por ítem No incorporar términos morales (juicios de valor) Evitar formular preguntas de doble efecto (que puedan implicar una doble respuesta) Evitar alternativas de respuesta del tipo “ninguna de las anteriores” o “todas las anteriores” Controlar la posición de la opción correcta (que no siga un patrón predecible) Evitar dar pistas sobre la opción correcta Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de los ítems… (en el ámbito no cognitivo) Controlar los siguientes sesgos… Deseabilidad social Aquiescencia Respuesta extrema Responder aquello que tenga mayor grado de aceptación social Responder sistemáticamente siempre de acuerdo o siempre en desacuerdo Responder siempre alguna de las respuestas extremas independientemente del ítem respondido Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de la prueba…: LAS INSTRUCCIONES Las instrucciones de aplicación de la prueba tendrán como objetivo la comprensión de la mecánica de la misma para que no se produzca ningún error por desconocimiento de ésta (…) Si se necesita, vendrá ilustrada con algún ejemplo aclaratorio y tendrá distinta redacción según se realice la prueba por correo, web o de forma presencial (más instrucciones en los formatos en los que no hay un aplicador presente) Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de la prueba…: FORMATO DE PRESENTACIÓN DE LA PRUEBA Es importante el orden en que se incluyen las preguntas en la prueba, ya que la secuencia de los ítems puede influir en el rendimiento del sujeto… Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de la prueba…: FORMATO DE PRESENTACIÓN DE LA PRUEBA Pautas generales Al inicio de la prueba: presentación solicitando colaboración del sujeto y dándole a conocer los objetivos de la prueba. Los ítems se ordenan de fácil a difícil, de general a particular, de menos personales a más personales (comprometidas). Los ítems se ordenan de forma lógica y se agrupan de manera temática para evitar el desconcierto del sujeto. Los datos del sujeto que se tomen como variables de análisis (p.e. variables sociodemográficas) se sitúan al final. Respecto del aspecto formal: evitar ítems cortados, gráficas deslocalizadas o con poca resolución Tema 4 – Test y Pruebas Objetivas 4.3. Confección de la prueba o test Confección de la prueba…: SISTEMA DE REGISTRO DE LAS RESPUESTAS El registro de los resultados de la prueba se puede realizar en el propio cuadernillo de la prueba o en una hoja de registro preparada “ad hoc”. Para utilizarse posteriormente la prueba es aconsejable la segunda opción, aunque puede representar cierta dificultad sobre todo si la población objetivo es de corta edad. Tema 4 – Test y Pruebas Objetivas 5. Aplicación de la prueba o test La aplicación o administración de la prueba se puede realizar de distintas maneras… Colectiva o Individual Prueba escrita o Prueba en la web Personal, por correo, o por teléfono Tema 4 – Test y Pruebas Objetivas 6. Puntuación de la prueba o test Una vez construida y aplicada la prueba, para hacer operativo el instrumento de medida se necesita… a) Asignar puntuaciones a los ítems Tema 4 – Test y Pruebas Objetivas 6. Puntuación de la prueba o test Una vez construida y aplicada la prueba, para hacer operativo el instrumento de medida se necesita… b) Construir la puntuación de la prueba La puntuación de la prueba habitualmente resulta de sumar las puntuaciones de todos los ítems. Si el investigador desea ponderar algunos ítems, la suma será ponderada según estos valores. En las pruebas cognitivas de elección múltiple se puede dar el caso que los sujetos contesten a los ítems por azar fórmula de corrección Tema 4 – Test y Pruebas Objetivas 7. Interpretación de las puntuaciones de la prueba o test Una vez calculada la puntuación de un sujeto en la prueba se necesita referir dicha puntuación o bien a un grupo normativo de referencia (norma) o bien a un criterio (prueba criterial). En este tema sólo vemos la interpretación normativa. La puntuación respecto del grupo normativo puede ser de tres tipos Puntuaciones cronológicas Puntuaciones centiles Puntuaciones típicas P.e. Relación entre ‘edad mental’ / ‘edad cronológica’ Porcentaje de sujetos del grupo normativo que están por debajo de la puntuación del individuo Se traduce la puntuación del sujeto a una puntuación típica (en función de la media y DT del grupo normativo) Tema 4 – Test y Pruebas Objetivas 8. Clasificación de los test Tema 4 – Test y Pruebas Objetivas 8. Clasificación de los test Tema 4 – Test y Pruebas Objetivas 8. Clasificación de los test http://web.teaediciones.com/Inicio.aspx Tema 4 – Test y Pruebas Objetivas Ejercicio 1 Examen Febrero 2012 Tema 4 – Test y Pruebas Objetivas Ejercicio 1 Tema 4 – Test y Pruebas Objetivas Ejercicio 2 Examen Septiembre 2014 Tema 4 – Test y Pruebas Objetivas Ejercicio 2 Tema 4 – Test y Pruebas Objetivas Ejercicio 3 Examen Septiembre 2014 Tema 4 – Test y Pruebas Objetivas Ejercicio 3 Tema 4 – Test y Pruebas Objetivas