TÉCNICAS E INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN Tema 2: Características técnicas de los instrumentos de medida (Parte I) Asignatura Obligatoria (OB) de 2º curso Grado en Pedagogía Objetivos Comprender la utilidad de la medición en educación Saber calcular la dificultad, discriminación/homogeneidad y análisis de los distractores de un ítem; y fiabilidad y validez de un test Saber calcular la unidimensionalidad de un test Diferenciar la TCT de la TRI Calcular los parámetros de un ítem desde la TRI Interpretar la información de los parámetros y características de un ítem desde la TRI Tema 2 – Características técnicas de los instrumentos de medida Características técnicas de los instrumentos de medida “El proceso de medición opera sobre un objeto, según unas reglas (…) y con una unidad de medida. Este proceso nos lleva a construir unos instrumentos, que se pasan al objeto en el acto de medición, teniendo como resultado unos datos con los que se realizará un tratamiento, generalmente estadístico” Tema 2 – Características técnicas de los instrumentos de medida Características técnicas de los instrumentos de medida Hablaremos de las características técnicas de los instrumentos de medida, sobre todo en lo referente a los ítems que los componen Teoría Clásica de los Test (TCT) Los resultados dependen de la muestra elegida Los resultados se expresan en relación al grupo normativo Teoría de Respuesta al Ítem (TRI) Los resultados son invariantes a la muestra elegida Pero exige un importante tamaño de muestra Tema 2 – Características técnicas de los instrumentos de medida Teoría Clásica de los Test (TCT) Para evaluar la calidad de los ítems los indicadores más utilizados son: Dificultad Para evaluar la calidad de un test los indicadores más utilizados son: Fiabilidad Discriminación / Homogeneidad Análisis de los distractores Validez Unidimensionalidad Tema 2 – Características técnicas de los instrumentos de medida TCT – Dificultad El grado de dificultad de un ítem está en función del número de personas que conteste de forma correcta al mismo. Se suele utilizar el Índice de Dificultad (ID) como indicador de la misma Tema 2 – Características técnicas de los instrumentos de medida TCT – Dificultad El Índice de Dificultad (ID) no es una propiedad intrínseca del ítem, pues su valor depende de la muestra de sujetos a la que se aplique (…) el ID sólo tiene sentido en tests o pruebas objetivas donde hay respuestas correctas e incorrectas Tema 2 – Características técnicas de los instrumentos de medida TCT – Dificultad Ejemplo 1: Se supone un ítem de evocación (sin alternativas) que es contestado acertadamente por 17 estudiantes de una clase compuesta de 30 estudiantes. ¿ID del ítem? Tema 2 – Características técnicas de los instrumentos de medida TCT – Dificultad Ejemplo 2: Se supone un ítem de evocación (sin alternativas) que es contestado erróneamente por 25 estudiantes y acertadamente por 7 estudiantes.Todos los estudiantes han contestado al ítem. ¿ID del ítem? Tema 2 – Características técnicas de los instrumentos de medida TCT – Dificultad Ejemplo 3: Se supone un ítem de 3 alternativas de respuesta, que es acertado por 26 estudiantes en una clase de 39 alumnos. ¿ID’ del ítem? Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación Este índice determina la potencia del ítem para discriminar el grupo de sujetos que tiene mayor cantidad de aciertos en la prueba, frente al de menos aciertos (…) Es decir, un ítem discrimina bien cuando existe correlación positiva entre la puntuación obtenida en el ítem con la puntuación obtenida en el test (…) Se utilizan dos: D IH Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación D Este índice va de -1 a +1, considerándose un buen índice de discriminación el comprendido entre 0,25 y 0,35 o mayor Dividida la muestra en dos grupos extremos: a) una parte donde está el 27% de personas con mayor puntuación en el test (extremo superior) y b) otra parte con el 27% de menor puntuación (extremo inferior) Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación Ejemplo 4:Tenemos un test que aplicamos a 600 estudiantes. De los 162 estudiantes con peor puntuación total en el test, 30 han acertado el ítem 1; y de los 162 con mejor puntuación total, 95 han acertado dicho ítem. ¿Cuál es el índice D de discriminación del ítem 1? D Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación IH Otra manera de valorar la discriminación de un ítem es mediante el cálculo de la correlación entre las puntuaciones de los sujetos en el ítem y en el conjunto del test, cuando este ítem no es valorado. Esta correlación se denomina índice de discriminación o de homogeneidad (IH), al ser un indicador del grado de relación del ítem con el resto Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación IH Otra manera de valorar la discriminación de un ítem es mediante el cálculo de la correlación entre las puntuaciones de los sujetos en el ítem y en el conjunto del test, cuando este ítem sí es valorado. Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación Ejemplo 5:Tenemos los resultados de las respuestas de 4 sujetos a una prueba de 4 ítems (“1” = acierto; “0” = fallo) ¿IH del ítem 4? IH Examen Septiembre 2016 Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación Ejemplo 5:Tenemos los resultados de las respuestas de 4 sujetos a una prueba de 4 ítems (“1” = acierto; “0” = fallo) ¿IH del ítem 4? IH Examen Septiembre 2016 Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación IH Tema 2 – Características técnicas de los instrumentos de medida TCT – Discriminación IH Tema 2 – Características técnicas de los instrumentos de medida TCT – Análisis de distractores Distractores son las diferentes alternativas falsas o respuestas incorrectas que tiene un ítem. Todas las alternativas de un ítem deberían tener la misma probabilidad de ser elegidas, es decir, se debería dar la equiprobabilidad entre las diferentes alternativas de respuesta. Se comprueba mediante la prueba de ji-cuadrado Tema 2 – Características técnicas de los instrumentos de medida TCT – Análisis de distractores Ejemplo 6: Se supone que 400 individuos contestan a un ítem con 5 alternativas (A, B, C, D y E), y que la E es la respuesta correcta. Los respuestas de los 276 sujetos que fallan en las distintas alternativas son: A B C D 91 42 66 77 ¿Se puede afirmar, con un nivel de confianza del 95%, que hay equiprobabilidad en los distractores? Tema 2 – Características técnicas de los instrumentos de medida TCT – Análisis de distractores Tema 2 – Características técnicas de los instrumentos de medida TCT – Fiabilidad y Validez TCT – Fiabilidad Suponemos el modelo lineal clásico de medida: X =V + e Supuestos: • Media de las puntuaciones empíricas (X) es igual a la puntuación verdadera (V) • La puntuación verdadera (V) es independiente del error de medida (e) • Los errores de medida (e) son independientes entre sí TCT – Fiabilidad Un instrumento de medida es fiable si está libre de error de medida (e → 0) Aunque un instrumentos de medida no es bueno por el hecho de ser fiable (…) sin tal propiedad la medición no es aceptable (…) esto es, podemos afirmar que la fiabilidad es una condición necesaria, aunque no suficiente, de un instrumento de medida de calidad. Tema 2 – Características técnicas de los instrumentos de medida TCT – Fiabilidad La fiabilidad de un instrumento se cuantifica mediante dos aproximaciones Fiabilidad relativa (coeficientes de fiabilidad: ρxx) Fiabilidad absoluta (error típico de medida: σe) Correlación entre las puntuaciones obtenidas por los sujetos en dos ‘aplicaciones’ de un test Desviación típica de las puntuaciones empíricas respecto a la puntuación verdadera tras una aplicación del test repetida infinitamente a un sujeto Tema 2 – Características técnicas de los instrumentos de medida TCT – Fiabilidad Fiabilidad como equivalencia • O de “formas paralelas” Fiabilidad como estabilidad • O procedimiento de la repetición o del “test-retest” Fiabilidad como consistencia interna • p.e., con las “dos mitades” o con el coeficiente α de Cronbach TCT – Fiabilidad como equivalencia También conocida como de formas paralelas. Consiste en aplicar a la misma muestra de sujetos 2 pruebas diferentes pero que miden el mismo rasgo o característica, de tal forma que los resultados de la aplicación de la primera prueba se correlacionan con los de la segunda. Es un procedimiento difícil y complicado: es muy difícil encontrar pruebas equivalentes (mismos objetivos, mismos contenidos, longitud y condiciones de aplicación) Se mide mediante el coeficiente de equivalencia = coeficiente de correlación de Pearson entre las puntuaciones de ambas aplicaciones TCT – Fiabilidad como estabilidad También conocida como procedimiento de la repetición o del test-retest Se calcula la correlación que existe entre las puntuaciones obtenidas por un mismo grupo de sujetos en 2 aplicaciones sucesivas de una misma prueba en 2 momentos diferentes. Entre ambas aplicaciones debe transcurrir un tiempo ni muy corto (por el entrenamiento) ni muy largo (por la maduración). Algunos autores lo fijan en 20 ó 25 días. TCT – Fiabilidad como consistencia interna Cabe pensar que todos los elementos del instrumento de medida miden una porción de la característica o rasgo, de forma que debe darse una coherencia interna, es decir una sub-muestra de ítems mide los mismo que otra sub-muestra y representan ambas lo que mide el instrumento en su totalidad El grado de correlación entre ambas sub-muestras determina el coeficiente de consistencia Procedimiento de las dos mitades Coeficiente Alfa de Cronbach TCT – Fiabilidad Ejemplo 7. Procedimiento de las dos mitades: ¿Cuál es la fiabilidad de un test que tiene como correlación entre sus ítems pares e impares rxx = 0,79? TCT – Fiabilidad Ejemplo 8. Alfa de Cronbach: En un test compuesto por 8 ítems, la suma de las varianzas individuales del conjunto de ítems fue 16. Si la varianza del test vale 54, ¿cuánto vale el coeficiente de Cronbach? Examen Febrero 2015 Tema 2 – Características técnicas de los instrumentos de medida TCT – Fiabilidad Ejemplo 9. Fiabilidad y longitud: El coeficiente de fiabilidad de un test de 25 ítems es rxx = 0,64. ¿Cuántas veces se debe alargar el test original para llegar a una fiabilidad Rxx = 0,80? ¿Cuántos ítems tendrá el test final? TCT – Fiabilidad Ejemplo 10. Fiabilidad y longitud: Dada una prueba que consta de 30 ítems, cuya fiabilidad es rxx = 0,93, ¿cómo repercutiría en la fiabilidad de la misma un aumento de 10 nuevos ítems paralelos a los originales? (página 160 del libro de Estadística de 1º curso) TCT – Fiabilidad Ejemplo 11: Interpretación-Valoración de la Fiabilidad de un Test Fiabilidad > 0,90 Excelente Fiabilidad > 0,80 Buena Fiabilidad > 0,70 Aceptable Fiabilidad > 0,60 Cuestionable Fiabilidad > 0,50 Pobre Fiabilidad < 0,50 Inaceptable TCT – Validez “La fiabilidad de un instrumento es condición necesaria pero no suficiente para una valoración positiva de éste; necesita el concurso de la validez para completar dicha valoración” Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez Un instrumento es válido si mide lo que dice medir Tipos de Validez De Contenido De Constructo Criterial Predictiva Aparente Concurrente Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez Aparente Referida a cuestiones de ‘aspecto externo’ del instrumento Legibilidad, claridad, navegabilidad, instrucciones, manejo, etc… http://goo.gl/IYEKMB Ejemplo Validación aparente de nuestro Test de Pensamiento Computacional • Se añadieron las instrucciones del TPC y 3 ejemplos iniciales de habituación al test • Accesibilidad y navegabilidad desde dispositivos fijos y móviles TCT – Validez de Contenido Es imprescindible sobre todo en pruebas de rendimiento “La esencia de la validez de contenido se encuentra en la suficiencia y representatividad de la muestra de conductas incluidas en el instrumento respecto de la población de la que forma parte” Concepto computacional abordado Concepto computacional abordado Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Item 7 Item 8 Item 9 Item 10 Item 11 Item 12 Item 13 Item 14 Item 15 Item 16 Item 17 Item 18 Item 19 Item 20 Item 21 Entorno Interfaz del reactivo Estilo de las alternativas de respuesta Laberinto Laberinto Laberinto Lienzo Laberinto Laberinto Lienzo Laberinto Laberinto Laberinto Laberinto Lienzo Laberinto Laberinto Laberinto Laberinto Laberinto Laberinto Laberinto Laberinto Laberinto Visual porItem flechas 1 Visual porItem flechas 2 Visual por Item bloques 3 Visual por Item bloques 4 Visual porItem flechas 5 Visual porItem flechas 6 Visual por Item bloques 7 Visual por Item bloques 8 Visual porItem flechas 9 Visual porItem bloques 10 Visual porItem flechas 11 Visual porItem bloques 12 Visual porItem flechas 13 Visual porItem bloques 14 Visual porItem flechas 15 Visual porItem bloques 16 Visual porItem bloques 17 Visual porItem bloques 18 Visual porItem bloques 19 Visual porItem bloques 20 Visual porItem bloques 21 Entorno Estilo de las Existenc Bucles (loops) Condicionales Bucles (loops)(conditionals) Condicionales Funciones (conditionals) (functions) Interfaz del alternativas de anidami reactivo Repetirrespuesta Direcciones Direcciones Repetir veces veces Repetir hasta Condicional Condicional Repetir hasta Condicional Mientras Funciones Condicional FuncionesMientras con Fun (repeat (repeat (repeat until) simple (if) compuesto (repeat(if/else) until) simple que (while) (if) compuesto simples (if/else) parámetros que (while) si times) times) Laberinto Sí Visual No por flechas No Sí No No NoNo NoNo NoNo No No No Laberinto Sí Visual No por flechas No Sí No No NoNo NoNo NoNo No No No Laberinto Sí Visual No por bloques No Sí No No NoNo NoNo NoNo No No No Lienzo Sí Visual No por bloques No Sí No No NoNo NoNo NoNo No No No Laberinto Sí Visual Sí por flechas No Sí No Sí NoNo NoNo NoNo No No No Laberinto Sí Visual Sí por flechas No Sí No Sí NoNo NoNo NoNo No No No Lienzo Sí Visual Sí por bloques No Sí No Sí NoNo NoNo NoNo No No No Laberinto Sí Visual Sí por bloques No Sí No Sí NoNo NoNo NoNo No No Sí Laberinto Sí Visual No por flechas Sí Sí No No NoSí NoNo NoNo No No No Laberinto Sí Visual No por bloques Sí Sí No No NoSí NoNo NoNo No No No Laberinto Sí Visual Sí por flechas Sí Sí No Sí NoSí NoNo NoNo No No Sí Lienzo Sí Visual Sí por bloques Sí Sí No Sí NoSí NoNo NoNo No No Sí Laberinto Sí Visual No por flechas Sí Sí Sí No NoSí SíNo NoNo No No Sí Laberinto Sí Visual No por bloques Sí Sí Sí No NoSí SíNo NoNo No No Sí Laberinto Sí Visual Sí por flechas Sí Sí Sí Sí NoSí SíNo NoNo No No Sí Laberinto Sí Visual No por bloques Sí Sí Sí No NoSí SíNo NoNo No No Sí Laberinto Sí Visual No por bloques Sí Sí No No Sí Sí NoNo No Sí No No Sí Laberinto Sí Visual No por bloques Sí Sí No No Sí Sí NoNo No Sí No No Sí Laberinto Sí Visual No por bloques Sí Sí No No Sí Sí NoNo No Sí No No Sí Laberinto Sí Visual No por bloques Sí Sí No No Sí Sí NoNo No Sí No No Sí Laberinto Sí Visual Sí por bloques No Sí No Sí NoNo NoSí NoNo No Sí Sí TCT – Validez Criterial (Predictiva o Concurrente) Un instrumento presenta validez criterial si sus puntuaciones correlacionan con un criterio externo relevante (p.e., otro instrumento previamente validado que se supone que mide lo mismo) Si las dos medidas se toman en el mismo periodo temporal se habla de validez concurrente del instrumento con respecto al criterio Si la medida del criterio se toma con posterioridad a nuestro instrumento, hablamos de validez predictiva del instrumento con respecto al criterio. Validez criterial del test rpuntuación total en el test * criterio Índice de validez del ítem r puntuación en el ítem * criterio Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez Criterial (Predictiva o Concurrente) Ejemplo 12: ¿Validez del Test? ¿Índice de Validez del Ítem 1? Examen Septiembre 2016 Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez Criterial (Predictiva o Concurrente) Ejemplo 12: ¿Validez del Test? ¿Índice de Validez del Ítem 1? Examen Septiembre 2016 Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez Criterial (Predictiva o Concurrente) Ejemplo 12: ¿Validez del Test? ¿Índice de Validez del Ítem 1? Examen Septiembre 2016 Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez de Constructo La validez de constructo permite ir a la raíz del problema: “eso que medimos, ¿qué es?” La cuantificación de esta validez requiere una acumulación progresiva de información que irá dando más consistencia a la construcción inicial, o por el contrario irá desechando el planteamiento presentado Tema 2 – Características técnicas de los instrumentos de medida TCT – Dimensionalidad La dimensionalidad hace referencia a si lo que mide el test se concreta en una o más dimensiones. Es decir, si lo medido es unidimensional o multidimensional Ej.: En la imagen vemos el análisis factorial de los resultados de un cuestionario de empleabilidad. El análisis factorial revela una estructura bidimensional. Tema 2 – Características técnicas de los instrumentos de medida TCT – Validez y longitud de una prueba Ejemplo 13:Tenemos un test de 30 ítems, que tiene una fiabilidad rxx = 0,80 y una validez de criterio rxy = 0,50. Si extendemos el test hasta una longitud de 50 ítems, ¿cuál será la nueva validez de criterio?