REPÚBLICA BOLIVARIANA DE VENEZUELA FACULTAD DE HUMANIDADES Y EDUCACIÓN MAESTRÍA EN EDUCACIÓN MEDICIÓN Y EVALUACIÓN DE LOS APRENDIZAJES ELABORACIÓN Y ANÁLISIS DE UN INSTRUMENTO DE MEDIDA Mérida, agosto de 2017 Instrumento de Medida de Rendimiento Académico (IMRA) Asignatura: Química General Nivel: Secundaria Unidad: Materia y energía Tabla 1 Tabla de especificaciones Tabla de Especificaciones para 16 ítems sobre Materia y energía Objetivo Definición de la materia Conociendo el átomo Indicadores Propiedades de la materia Masa, energía, espacio Estados materia Sólido, gaseoso de la liquido, 1-2 (Dicotómica) 3-4 (Dicotómica) 5-6 Tabla periódica Elementos, clasificación Núcleo atómico Configuración electrónica Modelos atómicos Teoría del átomo 9-10 Generalidades 11-12 Distinción energía Concepto de Energía Ítem/escala Contenido de la Transformación de la energía Taxonomía trasformación energía Fuentes de energía Origen (Dicotómica) 7-8 (Dicotómica) de de 13-14 15-16 Nota: Elaboración propia (2024) Instrucciones: Marque una “X” dentro del paréntesis, la respuesta que considere correcta. Objetivo: Definición de la materia. 1. La materia es: a. Todo aquello que ocupa lugar en el espacio y posee masa ( ) b. Todo aquello que se conserva, pero no se transforma. ( ) 2. La materia en estado sólido se puede comprimir a. V ( ) b. F ( ) 3. Los estados de la materia son: a. Sólido, líquido y gaseoso ( ) b. Líquido y Solido ( ) 4. Las mezclas se clasifican en: a. Homogéneas y Heterogéneas ( ) b. Gaseosas ( ) 5. Los elementos que conforman la tabla periódica se clasifican en: a. Metales, no metales y metaloides ( ) b. Metales, no Metales, halógenos, metaloides y gases nobles ( ) 6. La estructura de la tabla periódica está constituida por: a. Periodos, grupos y clases ( ) b. Periodos y grupos ) ( Objetivo: Conociendo el átomo. 7. El núcleo del átomo se encuentra formado por: a. Macromoléculas ( ) b. Protones y Neutrones ( ) 8. En un elemento químico, el número atómico indica la cantidad de: a. Electrones y Neutrones ( ) b. Protones ( ) 9. ¿Cuál de estos científicos desarrollٕ ó el concepto de niveles de energía en el átomo? a. Niels Bohr ( ) b. John Dalton ( ) 10. El modelo atómico de John Dalton fue propuesto en el año: a. 1816 ( ) b. 1803 ( ) Objetivo: Concepto de energía 11. ¿La energía es la capacidad de los cuerpos para realizar un trabajo? a. V ( ) b. F ( ) 12. La unidad de medida que utilizamos para cuantificar la energía es: a. El Gramo (g) ( ) b. El joule (J) ( ) 13. La Ley de conservación de la energía establece que la energía no se crea ni se destruye, sólo se transforma. a. V ( ) b. F ( ) 14. La energía química, se produce: a. En forma de radiación electromagnética (luz, calor y rayos ultravioleta). ( ) b. A través de reacciones entre las moléculas de uno o más compuestos. ) ( 15. Las fuentes de energía, según su origen se clasifican en renovables y no renovables a. Renovables, limitadas y no renovables ( ) b. Renovables y no renovables ( ) 16. La energía nuclear es aquella: a. Contenida en el núcleo de un átomo ( ) b. Transmitida por rayos luminosos ( ) Análisis de ítems Índice de Dificultad (ID) Siguiendo el modelo de la Teoría Clásica de Test (TCT), se calcula el ID de forma manual. Para ello, se elabora una base de datos con los resultados obtenidos del instrumento, los mismos se ingresan al Paquete Estadístico para las Ciencias Sociales (SPSS, por sus siglas en inglés Statistical Package for Social Sciences), con el propósito de recodificar las dos alternativas de respuesta (a) y (b), pasando ser dicotomizadas, asignando el valor de uno (1) a las respuestas correctas o aciertos y, el valor de cero (0) para las incorrectas o errores. Dicha base de datos se ilustra en la imagen 1. Imagen 1 Base de datos de los ítems dicotomizados mediante literales: a y b. Fuente: Elaboración propia (2024). Con la base de datos ilustrada en la imagen 1, se procede a la recodificación de los ítems dicotomizados de forma literal para facilitar su procesamiento estadístico con el SPSS, asignando el valor de uno “1” para respuestas correctas y, el valor de cero “0” para las incorrectas. Luego, se selecciona el comando “Transformar””Recodificar en distintas variables”, se pasa cada ítem a recodificar a la casilla “Variable de entrada ”Variable de salida”, se asigna el nuevo nombre para su recodificación, se presiona el botón “Cambiar””Valores antiguos y nuevos”, en la casilla “Valor antiguo” se escribe el valor literal del ítem inicialmente, luego en la casilla “valor nuevo”, el valor de “1” “Cambiar”, “Todos los demás valores” y en la casilla “Valor nuevo” el valor de “0”, botón “Añadir”, una vez que se activa la opción en la casilla, se presiona el botón “Continuar” y finalmente “Aceptar”. Los resultados se muestran en la imagen 2. Imagen 2 Base de datos IMRA N° 1 dicotimización recodificada en (0-1) Fuente: Elaboración propia (2024). Una vez recodificados los ítems y determinado el número total de examinados que respondieron correctamente, dichos valores han sido registrados en la tabla 2, los cuales serán sustituidos en la ecuación 1, propuesta por la TCT. Tabla 2. Datos para calcular ID A N 1 14 30 2 17 3 16 4 18 5 18 6 25 7 15 ítems 8 19 9 14 10 15 11 16 12 15 13 17 14 22 Fuente: Elaboración propia Sustituyendo los valores en la ecuación 1, para cada ítem; se tiene: Ítem N° 1 ID A (Ecuación 1) N ID 14 0,46 30 ID 17 0,57 30 ID 16 0,53 30 ID 18 0,60 30 ID 18 0,60 30 ID 25 0,83 30 Ítem N° 2 Ítem N° 3 Ítem N° 4 Ítem N° 5 Ítem N° 6 15 17 16 16 Ítem N° 7 ID 15 0,50 30 ID 19 0,63 30 ID 14 0,47 30 ID 15 0,50 30 ID 16 0,53 30 ID 15 0,50 30 ID 17 0,57 30 ID 22 0,73 30 ID 17 0,57 30 Ítem N° 8 Ítem N° 9 Ítem N° 10 Ítem N° 11 Ítem N° 12 Ítem N° 13 Ítem N° 14 Ítem N° 15 Ítem N° 16 ID 16 0,53 30 Tabla 3. Resultados del ID de cada ítem. ítems 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ID 0,46 0,57 0,53 0,60 0,60 0,83 0,50 0,63 0,47 0,50 0,53 0,50 0,57 0,73 0,57 0,53 Nota: Elaboración propia (2024) Con los valores obtenidos como resultados del ID de cada ítem, se procede su categorización, siguiendo la TCT, tal como se aprecia en la tabla 4. Tabla 4. Categorización del ID de cada ítem según TCT. Categoría Muy fácil Fácil Moderado Difícil Muy difícil Intervalo ID > 0,75 0,55 - 0,74 0,45 - 0,54 0,25 - 0,44 ID < 0,25 Nota: Hurtado (2021) Siguiendo lo indicado en la tabla 4, se obtiene la categoría del ID para los ítems detallados en la tabla 5. Tabla 5. Categorización del ID de cada ítem obtenida de los cálculos. Ítem Resultado Categoría 1 0,46 Moderado 2 0,57 Fácil 3 0,53 Moderado 4 0,60 Fácil 5 0,60 Fácil 6 0,83 Muy fácil Nota: Elaboración propia (2024) Tabla 5. (cont) Categorización del ID de cada ítem obtenida de los cálculos. Ítem Resultado Categoría 7 0,50 Moderado 8 0,63 Fácil 9 0,47 Moderado 10 0,50 Moderado 11 0,53 Moderado 12 0,50 Moderado 13 0,57 Fácil 14 0,73 Muy fácil 15 0,57 Fácil 16 0,53 Moderado Nota: Elaboración propia (2024) Índice de Discriminación (IDisc) En el caso de instrumentos con escalas dicotómicas y, según la TCT, se plantea utilizar la siguiente ecuación: IDisc TA Gsup - TA GInf T EGsup (Ecuación 3) Donde: TAGsup: Total de Aciertos del Grupo Superior TAGInf: Total de Aciertos del Grupo Inferior TEGsup: Total de Sujetos del Grupo Superior El siguiente paso es, determinar la sumatoria total de todos los ítems. Para ello, con el SPSS se selecciona en la parte superior de la pantalla en el comando “Transformar” “Calcular variable” , luego en el campo “Variable objetivo” la identificaremos como “Total”, luego se ubica el cursor en la casilla “Expresión numérica” casilla “Grupo de funciones”, se selecciona la opción “Todo”, ”Todo” ”Funciones y variables especiales” ”Sum” (doble clic) y luego indicamos en el campo “Expresión numérica”: Sum (C1 to C16) “Aceptar”. Posteriormente, cuando ha sido generada la nueva variable “Total” que comprende los valores obtenidos de la sumatoria total de cada uno de los ítems, se procede con el mismo SPSS a ordenarlos de forma ascendente, haciendo “clic” en la columna de la variable “Total”, con el botón derecho del mouse, y se selecciona la opción “Ordenar de forma ascendente”. Una vez ordenadas las puntuaciones correspondientes, el siguiente paso es obtener los “cuartiles” para identificar los grupos, ya sean bajos o altos, a partir del percentil 25 y 75. Se selecciona en la parte superior de la pantalla la pestaña “Analizar””Estadísticos descriptivos” ”Frecuencias”, y se pasa la variable “Escala” a la casilla “Variables”, luego se presiona el botón “Estadísticos”, se abre la ventana “Frecuencias: Estadísticos” y en “Variables percentiles” se selecciona la opción “Cuartiles” ”Continuar” ”Aceptar”, automáticamente se genera una tabla con los percentiles obtenidos como resultado mostrados en la tabla 6. Tabla 6 Percentiles correspondientes a los cuartiles de Grupo inferior y Grupo Superior. Estadísticos Total N Percentiles Válido 30 Perdidos 0 25 7,00 50 9,00 75 10,00 Nota: Elaboración propia (2024) Los resultados presentados en la tabla 6, muestran que el percentil 25, incluye todos los examinados las puntuaciones “más bajas” hasta la puntuación “7”, constituyendo así; el “Grupo Inferior”. Por su parte, los examinados que tengan una puntuación mayor o igual a “10” formarían el “Grupo Superior”. Posteriormente a los ítems que conforman el Grupo Inferior, se les asigna el valor de “1”, mientras que los que tengan puntuaciones superiores, se les asigna el valor de “2”. Para ello, se selecciona la pestaña “Transformar” “Recodificar en distintas variables” se selecciona la variable “Total” y se traslada a la casilla “Variable numérica Variable de salida”, en la casilla “Nombre” se escribe “cuartiles” y se presiona el botón “Cambiar”, luego se presiona el botón “Valores antiguos y nuevos” y aparece la ventana “Valor antiguo” y se activa la opción de la casilla “Rango LOWEST hasta el valor:”, en la cual se coloca el valor “7“ que corresponde al percentil más bajo, luego en la casilla “Valor nuevo” se asigna el valor de “1”, luego clic al botón “añadir”. Después se selecciona la opción de la casilla “Rango HIGHEST hasta el valor:” y en la casilla “Valor” se coloca “10“, que corresponde al percentil más alto, se le asigna el valor de “2”, luego clic al botón “añadir” ”Continuar” ”Aceptar”. En la salida de datos se obtiene los valores correspondientes a los cuartiles que formaran tanto el Grupo inferior, como el Grupo Superior. El siguiente paso, es obtener las tablas cruzadas, las cuales ayudarán a obtener los valores de cuartiles a utilizar en la ecuación 3, para conocer cuántos examinados del grupo inferior y superior contestaron correctamente. Ara ello, se selecciona la pestaña “Analizar””Estadísticos descriptivos””Tablas cruzadas”, en la casilla “Filas”, se selecciona la variable “cuartiles” y se añade en la casilla “Filas”, y, en la casilla “Columnas” cada uno de los ítems y clic en ”Aceptar” y, automáticamente se generan las tablas cruzadas. A continuación, se presentan los cuartiles resultados obtenidos de los grupos inferior y superior para cada ítem del instrumento. Tabla 7. Puntajes de Grupo Superior y Grupo los Ítems. Ítem 1 Cuartiles 1 INFERIOR 5 4 9 SUPERIOR 5 8 13 10 12 22 Total Ítem 2 Cuartiles 1 INFERIOR 7 2 9 SUPERIOR 2 11 13 9 13 22 Ítem 3 1 INFERIOR 5 4 9 SUPERIOR 4 9 13 9 13 22 Ítem 4 1 INFERIOR 6 3 9 SUPERIOR 3 10 13 9 13 22 Ítem 5 1 INFERIOR 4 5 9 SUPERIOR 3 10 13 7 15 22 Ítem 6 Total 0 1 INFERIOR 1 8 9 SUPERIOR 0 13 13 1 21 22 Total Ítem 7 Cuartiles Total 0 Total Cuartiles Total 0 Total Cuartiles Total 0 Total Cuartiles Total 0 Total Cuartiles Total 0 Total 0 1 INFERIOR 6 3 9 SUPERIOR 6 7 13 12 10 22 Total Nota: Elaboración propia (2024) Tabla 7. (cont) Ítem 8 Cuartiles 1 INFERIOR 4 5 9 SUPERIOR 4 9 13 8 14 22 Total Ítem 9 Cuartiles 1 INFERIOR 5 4 9 SUPERIOR 7 6 13 12 10 22 Ítem 10 1 INFERIOR 6 3 9 SUPERIOR 6 7 13 12 10 22 Ítem 11 1 INFERIOR 6 3 9 SUPERIOR 5 8 13 11 11 22 Ítem 12 1 INFERIOR 6 3 9 SUPERIOR 6 7 13 12 10 22 Ítem 13 Total 0 1 INFERIOR 8 1 9 SUPERIOR 2 11 13 10 12 22 Total Ítem 14 Cuartiles Total 0 Total Cuartiles Total 0 Total Cuartiles Total 0 Total Cuartiles Total 0 Total Cuartiles Total 0 Total 0 1 INFERIOR 4 5 9 SUPERIOR 2 11 13 6 16 22 Total Nota: Elaboración propia (2024) Tabla 7. (cont) Ítem 15 Cuartiles 1 INFERIOR 7 2 9 SUPERIOR 2 11 13 9 13 22 Total Ítem 16 Cuartiles Total 0 Total 0 1 INFERIOR 6 3 9 SUPERIOR 5 8 13 11 11 22 Total Nota: Elaboración propia (2024) Obtenidos los valores de los Grupos inferior y superior, los mismos se sustituyen en la ecuación 3, para determinar y posteriormente analizar el IDisc , tal y como sigue: IDisc TA Gsup - TA GInf T EGsup (Ecuación 3) Ítem 1 IDisc 8- 4 4 0,30 13 13 IDisc 11 - 2 9 0,69 13 13 IDisc 9-4 5 0,38 13 13 IDisc 10 - 3 7 0,53 13 13 Ítem 2 Ítem 3 Ítem 4 Ítem 5 IDisc 10 - 5 5 0,38 13 13 IDisc 13 - 8 5 0,38 13 13 IDisc 7-3 4 0,30 13 13 IDisc 9-5 4 0,30 13 13 IDisc 6-4 2 0,15 13 13 IDisc 7-3 4 0,30 13 13 IDisc 8-3 5 0,38 13 13 IDisc 7-3 4 0,30 13 13 IDisc 11- 1 10 0,76 13 13 IDisc 11 - 5 6 0,46 13 13 Ítem 6 Ítem 7 Ítem 8 Ítem 9 Ítem 10 Ítem 11 Ítem 12 Ítem 13 Ítem 14 Ítem 15 IDisc 11 - 2 9 0,69 13 13 IDisc 8-3 5 0,38 13 13 Ítem 16 Tabla 8. Resultados de I Disc ítems I Disc 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 0,30 0,69 0,38 0,53 0,38 0,38 0,30 0,30 0,15 0,30 0,38 0,38 0,30 0,76 0,69 0,38 Nota: Elaboración propia (2024) Una vez obtenidos los resultados del IDisc de cada Ítem, se procede a su interpretación, según los intervalos de categorización mostrados en la tabla 9. Tabla 9. Índice de discriminación según la categoría de cada ítem y su interpretación. IDisc >0,40 0,30 – 0,39 0,20 – 0,29 0,00 – 0,19 <0,01 Interpretación Discrimina muy bien. Discrimina bien. No discrimina bien. No discrimina. Inadecuado. Recomendación Conservar ítem. Conservar, pero revisar. Revisar y modificar para conservar. Descartar o revisar ampliamente. Eliminar definitivamente Nota: Elaboración propia (2024). En la tabla 10, la interpretación de los IDisc para cada Ítem, según la categoría de intervalos mostrados en la tabla 9. Tabla 10. Interpretación del IDisc obtenido para cada ítem Ítem IDisc Interpretación 1 2 3 4 5 6 0,30 0,69 0,38 0,53 0,38 0,38 Discrimina bien. Discrimina muy bien. Discrimina bien. Discrimina muy bien. Discrimina bien. Discrimina bien. Nota: Elaboración propia (2024). Recomendación Conservar, pero revisar. Conservar ítem. Conservar, pero revisar. Conservar ítem. Conservar, pero revisar. Conservar, pero revisar. Tabla 10. (cont) Ítem IDisc Interpretación 7 8 9 10 11 12 13 14 15 16 0,30 0,30 0,15 0,30 0,38 0,38 0,30 0,76 0,69 0,38 Discrimina bien. Discrimina bien. No discrimina. Discrimina bien. Discrimina bien. Discrimina bien. Discrimina bien. Discrimina muy bien. Discrimina muy bien. Discrimina bien. Recomendación Conservar, pero revisar. Conservar, pero revisar. Descartar o revisar ampliamente. Conservar, pero revisar. Conservar, pero revisar. Conservar, pero revisar. Conservar, pero revisar. Conservar ítem. Conservar ítem. Conservar, pero revisar. Nota: Elaboración propia (2024). De concordancia con los datos presentados en la tabla 7, se infiere que los ítems 2, 4, 14 y 15 discriminan muy bien, y es recomendable conservar los ítems. Mientras que, los ítems 1, 3, 5-8, 10-13, y 16, discriminan bien, pero se deben revisar. Por último se tiene el ítem 9, el cual no discrimina; se recomienda descartar o revisar ampliamente. Validez de Contenido En la tabla 11, se muestra la pertinencia evaluada por los jueces, donde el valor de “1” corresponde a “Pertinente” al contenido, mientras que “0”, corresponde a “no pertinente”. Tabla 8 Validez del contenido del instrumento que evalúa sobre materia y energía Contenidos Propiedades de la materia Estados de la materia Tabla periódica Núcleo atómico Nota: Elaboración propia (2024). Ítems 1 2 3 4 5 6 7 8 9 Pertinencia Si No Tabla 8. (cont) Pertinencia Si No Ítems 10 11 12 13 14 15 16 Contenidos Distinción de la energía Transformación de la energía Fuentes de energía Nota: Elaboración propia (2024). Con los valores de la tabla 8, se elabora la base de datos con la pertinencia evaluada por los jueces, tal como se aprecia en la tabla 9. Tabla 9 Pertinencia evaluada por los jueces Juez 1 2 3 4 5 1 1 1 1 1 1 2 1 1 1 1 1 3 1 1 1 1 1 4 1 1 1 1 1 5 1 1 0 1 1 6 1 1 1 1 0 7 1 1 1 1 1 8 1 1 1 1 1 Ítems 9 10 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 12 1 1 1 1 1 13 1 1 1 1 1 14 1 1 1 1 1 15 1 1 1 1 1 16 1 1 1 1 1 Nota: Elaboración propia (2024). Como resultado de procesamiento de los datos presentados en la tabla 9, Haciendo uso del SPSS, se obtienen los siguientes valores presentados en la tabla 10. Tabla 10. Coeficiente de concordancia de Kendall Coeficiente de concordancia de Kendalla N 5 W de Kendalla ,400 Chi-cuadrado 30,000 gl 15 Sig. asintót. ,012 Nota: Elaboración propia (2024). Al observar el valor de Coeficiente de concordancia de Kendalla de 0,400; el cual es cercano a 1, indica un alto acuerdo entre los jueces. En tal sentido, se infiere que existe concordancia por la mayoría de los jueces, al asignar como mismo valor de “1” a todos los ítems, pudiendo interpretarse que no existe variabilidad en las evaluaciones. Confiabilidad del instrumento Mediante la Correlación Lineal Simple de Pearson y, utilizando los valores obtenidos después de realizar el procedimiento tanto para la prueba piloto como la prueba a ser aplicada. Se ingresa la base de datos al SPSS, para la prueba piloto con 13 estudiantes evaluados, se obtuvo los valores mostrados en la tabla 11. Tabla 11. Base de datos para determinar la Correlación Lineal de Pearson en SPSS Nota: Elaboración propia (2024). Los valores mostrados en la tabla 11, se procesan en el SPSS obteniendo los resultados presentados en la tabla 12. Tabla 12. Resultados de la Correlación Lineal de Pearson Correlaciones Prueba 1 Prueba 1 Prueba 2 1 ,960** Correlación de Pearson Sig. (bilateral) N Prueba 2 Correlación de Pearson Sig. (bilateral) N ,000 13 13 ,960** 1 ,000 13 13 **. La correlación es significativa al nivel 0,01 (bilateral). Nota: Elaboración propia (2024). Los datos presentados en la tabla 12, como resultado de la determinación de la correlación entre las pruebas, muestras un valor de r = 0,960. Dicho parámetro que esta entre “0” y “1”, al relacionarlo con los valores admitidos según la teoría de la Correlación Lineal, tal como se indica en la tabla 13, pudiendo inferir que existe una correlación “muy alta”, pues el valor obtenido se acerca de manera significativa a “1”. Tabla 13. Resultados de la Correlación Lineal de Pearson r r=0 0,00 < r 0,20 0,20 < r 0,40 0,40 < r 0,60 0,60 < r 0,80 0,80 < r 1,00 Relación No existe Muy poco intensa Pequeña Considerable Intensa Muy intensa Correlación Nula Pequeña Baja Regular Alta Muy alta Con relación al nivel de significancia, y según los resultados obtenidos y presentados en la tabla 13, se tiene que la correlación es significativa al nivel 0,01 (bilateral), considerando que dicho valor es menor a 0,05; entonces significa que existe una relación significativa entre las variables medias, es decir; las dos pruebas.