“Escalamiento Multidimensional “Pesado” (WMDS)”
Anuncio
“Escalamiento Multidimensional “Pesado” (WMDS)” Beatriz Estévez García y José Luís Padilla García. Departamento de sociología. Universidad de Granada. Correo electrónico: [email protected] Teléfono de contacto: 679562510 Resumen La llegada de inmigrantes a las aulas es una realidad educativa que ha pintado un nuevo escenario con importantes retos educativos. Dicha mezcla entre alumnado nacional e inmigrante, es tema de debate, sobre todo por cómo el alumnado inmigrante puede llegar a influir en el rendimiento y actitudes escolares de los demás componentes del aula. Dicha influencia es conocida como “peer effect”. Su análisis requiere obtener evidencias de validez de los instrumentos de evaluación cuando se comparen alumnos inmigrantes y no inmigrantes. El presente trabajo tiene como objetivo principal analizar las propiedades métricas y la equivalencia de 6 preguntas seleccionadas del Cuestionario del Estudiante del Estudio PISA 2009 (Programme for International Student Assesment), que miden actitudes del ámbito escolar. Para ello, hemos utilizamos la base de datos del PISA. El análisis se basa en la utilización de la técnica de análisis estadístico Escalamiento Multidimensional “Pesado” (WMDS). Los resultados indican que la dimensionalidad de las escalas analizadas muestra diferencia para los tres grupos. Investigaciones futuras avanzarán el estudio del “efecto compañero” utilizando metodologías mixtas de investigaciones combinando métodos cuantitativos y cualitativos Palabras clave: Inmigración, “Peer effect”, PISA, actitudes, validez, equivalencia, Escalamiento Multidimensional “Pesado” (WMDS) 1 Introducción . La llegada de alumnado inmigrante en nuestras aulas ha sido uno de los hechos más relevantes que ha experimentado el sistema educativo español en los últimos años. Esta mayor presencia se hace aún más notable en los niveles no universitarios. El presente trabajo se engloba en un proyecto más amplio, que pretende estudiar si en los contextos educativos donde hay una mayor concentración de inmigrantes, se produce una influencia por parte de dicho alumnado sobre la consecución de objetivos actitudinales en el resto del alumnado. Este “problema” de investigación se conoce en la bibliografía con el nombre de “efecto compañero” o “peer effect” en la literatura anglosajona. Según Hoxby (2000) el “peer effect” es la forma en la que se influye el alumnado entre sí, modulado también por otros factores relacionados con la escuela, como el profesorado, las características del centro, o de la familia, el nivel educativo de los padres, el nivel socioeconómico, etc. La importancia del efecto de los compañeros- peer effects- radica en que, si existe, afecta de forma significativa al sistema educativo y en definitiva a las políticas educativas que se tengan que adoptar (Calero, 2009). Son muy numerosos los estudios realizados sobre actitudes del alumnado en el ámbito académico relacionándolas con variables socioeconómicas, nivel educativo de los padres, titularidad de la escuela, etc. (Hugalde, 2007). En cambio, los estudios que se han centrado en el vínculo de estas variables con la diversidad étnica y cultural del alumnado son más escasos. La concentración de alumnos inmigrantes en las escuelas puede tener consecuencias en la calidad educativa en la medida que los alumnos provenientes de la inmigración influyan significativamente en las actitudes académicas de los alumnos nativos, y viceversa. Los alumnos inmigrantes llegan al país de destino con diferentes niveles educativos, muchos no dominan la lengua del país de llegada, etc. Todo esto hace necesario recurrir a refuerzos educativos adicionales: profesorado para la adaptación lingüística (ATAL), políticas educativas encaminadas a la integración de menores inmigrantes, etc., (Álvarez de Sotomayor, 2011). 2 La influencia del “peer effect” en la consecución de los objetivos actitudinales en la escuela es el objeto del proyecto de investigación en el que se encuadra el presente estudio. “Actitudes” que vienen recogidas en la programación del curso, materializándose más concretamente en las unidades didácticas de cada una de las materias. Para estudiar el “peer effect” de forma sólida, es conveniente asegurar la calidad de las mediciones aportadas por los instrumentos de evaluación especialmente, en el caso de las variables actitudinales. Calidad que la Psicometría ha abordado tradicionalmente desde el estudio de la Fiabilidad y la Validez de las mediciones. Problemas de fiabilidad y validez en las evaluaciones podrían poner en duda los resultamos que obtengamos en la comparación entre estudiantes con diferentes antecedentes étnicos y/o culturales. Obtener evidencias sobre la fiabilidad y la validez permite inferir el grado de equivalencia logrado entre las evaluaciones de diferentes grupos. Con dichas evidencias evitamos incertidumbres y dudas. Podemos decir que la equivalencia y la validez se asocian con el nivel de “seguridad” con el que los resultados obtenidos por los diferentes grupos culturales pueden ser comparados (van de Vijver y Leung, 1997). A continuación, se introducirán brevemente los conceptos y contenidos comúnmente aceptados sobre los conceptos de “equivalencia” y “validez”, para enmarcar los objetivos del estudio. 2. Equivalencia Diferentes ciencias humanas, ha pretendido comprender mejor al ser humano, focalizando sus estudios desde diferentes perspectivas. A través de los mismos, Jensen (1980) y Eysenck (1984) propusieron la existencia de marcadas diferencias en las habilidades cognitivas de individuos de varios grupos culturales. A pesar de ello, en las últimas décadas se han producido importantes cambios que ha dado lugar a un sistema más homogéneo y conectado a nivel mundial, produciendo una importante mezcla cultural. De ahí que los estudios transculturales hayan sido y sean en la actualidad objeto de la actividad de numerosas investigaciones (Tanzer y Sim, 1999; van de Vijver y Poortinga, 1997). Con el tiempo, fue surgiendo la necesidad de investigación para desarrollar métodos eficaces para evaluar el grado para que los instrumentos de 3 medición son equivalentes a través de diferentes contextos y grupos culturales. Los estudios transculturales son “estudios empíricos de miembros de varios grupos culturales que han tenido diferentes experiencias que los conducen a diferencias predecibles y significativas en su conducta. En la mayoría de tales estudios, los grupos bajo estudio hablan diferentes lenguajes y son gobernados por unidades políticas diferentes entre sí" (Brislin, et al, 1973, p. 5). Para poder realizar una comparación transcultural objetiva en la que los resultados obtenidos por los diferentes grupos culturales sean comparables, es importante que tenga lugar un proceso de adaptación del instrumento y/o evaluación de su equivalencia entre los grupos objeto de la comparación, procesos que atienden no sólo aspectos idiomáticos, sino también culturales así como idiosincráticos de cada país. Esto nos muestra la necesidad de tener en cuenta los aspectos tanto sustantivos como metodológicos y psicométricos (Muñíz, 1996; Hambleton, 1994; Hambleton y Kanjee, 1994; Hambleton y Staler, 1996; Hambleton y Slater, 1997). Por tanto, en ese proceso de adaptación del instrumento adquiere una gran relevancia la evaluación de grado de equivalencia entre las diferentes versiones del test que se han desarrollado para atender los diferentes idiomas y culturas (Hambleton, 1994). Hullin (1987) propuso una definición de equivalencia ampliamente citada en la bibliografía: “si individuos con la misma cantidad de rasgos a ser estimados tienen diferente probabilidad de producir una respuesta específica al ítem cuando éste está en diversos idiomas, los ítems están sesgados o son no equivalentes” (p.138). La equivalencia ha sido cuestión de discusión y se han propuesto diferentes tipos de clasificaciones. A continuación vamos a centrarnos en exponer la clasificación de Tanzer y Sim (1999) que establecen cuatro niveles de equivalencia: de constructo, de contenido, ecológica y global de la medida. A continuación se define cada una de ellas: La equivalencia de constructo o equivalencia estructural tiene lugar cuando las propiedades psicométricas pueden extrapolarse a diferentes culturas, es decir, mide el mismo constructo aunque este opere de diferente manera en los diversos grupos. La equivalencia de contenido hace referencia a que el mismo comportamiento o características que posee el constructo es igual para todas las poblaciones que son de 4 nuestro interés. La equivalencia ecológica tiene que ver con la forma en la que se adecua un test a las diferentes poblaciones de interés. La equivalencia global de medida se obtiene cuándo: 1) se establecen la equivalencia de constructo, contenido y ecológica; 2) cuando la conexión entre los rasgos latentes y los resultados del test son idénticos en todas las poblaciones y; 3) se eliminan o minimizan aquellos factores que pudieran amenazar la validez del test. El grado de equivalencia condiciona la validez de las interpretaciones transculturales. Aunque las propiedades psicométricas de las diferentes versiones del test sean excelentes, esto no es una condición suficiente para asumir que las comparaciones transculturales son validas. La validez de las comparaciones supone que las mediciones aportadas por las diferentes versiones tienen el mismo “significado psicológico” para las personas a las que se han administrado. Cuando esto ocurre la variable esta “libre de sesgo” o disponemos de medidas “equivalentes” (Van de Vijver y Poortinga, 1997). Por su parte, el sesgo también juega un importante papel, puesto que este engloba el conjunto de factores que amenazan la validez de la interpretaciones “deseadas” sobre el contenido de las comparaciones transculturales (van de Vijver y Leung, 1997). 3. Validez. En la última edición de los Standards for Educational and Psychological Testing (APA, AERA y NCME, 1999), se dota a la validez de una gran importancia, definiéndola como “… la consideración más importante en la elaboración y evaluación de los tests” (p. 9). Dicha importancia atiende a la finalidad de adaptar los tests de forma que alcancen la garantía suficiente para la realización de comparaciones en los estudios transculturales. Las fuentes de evidencia sobre la validez son valoradas por los Estándares (APA, AERA, NCME, 1999) como estrategias ligadas a las interpretaciones deseadas de las puntuaciones. La enumeración de las fuentes de evidencias más relacionadas con las prácticas habituales durante la adaptación de instrumentos, se dan de forma explícita o implícita. En dicha enumeración se parte de la base de que la validez adquiere gran 5 importancia en todas las fases y actividades de adaptación de un test o cuestionario. A continuación las presentamos las categorías de validez de los Estándares, completadas con el tiempo por "Normas" (el nombre corto común del manual preparado en 1954 por la American Psychological Association, la American Educational Research Association, y el Consejo Nacional de Medición de la Educación) En “Normas” por primera vez, el concepto de "evidencia de validez" juega un papel clave en el proceso de validación. Para el desarrollo del concepto hay que agrupar las fuentes de validez en cinco categorías: Evidencias basadas en el contenido del test. Se trata de analizar las relaciones entre el contenido del test y el constructo que se pretende medir. Por contenido del test se hace referencia a “… los temas, palabras y formatos de los ítems, tareas o cuestiones que forman el test, así como a las instrucciones para los procedimientos de administración y puntuación". Evidencias basadas en la estructura interna. Según los Estándares "el análisis de la estructura interna de un test puede indicar el grado en que las relaciones entre los ítems del test y los componentes del test se ajustan al constructo sobre el cual se basan las interpretaciones de las puntuaciones del test”. Dentro de este tipo de evidencias se incluyen los estudios sobre el posible funcionamiento diferencial de los ítems para subgrupos identificables de personas. Funcionamiento diferencial de los ítems que se considera la prueba clave para asegurar la equivalencia métrica entre la versión original y la versión adaptada del test o cuestionario. Evidencia basada en la relación con otras variables. Esta fuente de evidencia integra un conjunto de relaciones del test con criterios que se espera que prediga el test y con otros instrumentos que miden constructos relacionados; es una de las fuentes de evidencia más prácticas. Se consideran variables externas: “… medidas de algún criterio que se espera prediga el test, así como relaciones con otros tests que se supone miden el mismo constructo, y con tests que miden constructos diferentes o relacionados” (p. 13). Evidencias sobre las consecuencias del uso del test. Esta fuente de evidencia muestra la conexión entre la última edición de los Estándares y el consenso actual sobre la validez: presta una gran atención durante el proceso de validación a las consecuencias previstas e imprevistas del uso del test. , así como la evaluación de la idoneidad del uso 6 de la prueba (Shepard, 1997), las implicaciones éticas asociadas con la interpretación de los resultados y las consecuencias sociales asociadas con el uso de la prueba (Messick, 1989). Las pruebas basadas en los procesos de respuesta, mediante el análisis teórico y empírico de los procesos de respuesta de los encuestados durante la prueba, la obtención de pruebas en el ajuste entre la construcción y el carácter detallado de la actuación o respuesta realmente puestos en práctica por los encuestados. 4. Informe PISA. El Estudio PISA (Programme for International Student Assessment-Programa para la Evaluación Internacional de los Alumnos-), es un estudio longitudinal que permite una evaluación internacional estandarizada y cuyo desarrollo se realiza conjuntamente con los países participantes. PISA es realizado por la Organización para la Cooperación y el Desarrollo Económico (OCDE) con una regularidad trienal. Comenzó a ponerse en marcha en 1997, con una muestra de 32 países. Desde entonces han participado en el año 2000, 43 países, en 2003, 41 países, en 2006, 57 países, en 2009, 65 países, en el Estudio PISA que se ha realizado el presente año 2012 engloba un total de 69 países, y para 2015 se prevé que se abarcarán más de 70 países. Cada Informe PISA supone un ciclo, en el cual se analiza en profundidad un área principal, a la cual se le destina dos tercios del tiempo de la prueba. Las otras áreas serán estudiadas de forma secundaria. En el año 2000 la principal área de conocimiento era la lectura, en 2003 las matemáticas, en 2006 las ciencias y en 2009 nuevamente la competencia lectora, aunque enfocado en un marco de la lectura renovado ya que incorpora competencias con el formato electrónico y profundiza más en el interés por la lectura y la metacognición. Centrado en las áreas de comprensión lectora, matemáticas y ciencias, el programa PISA aborda la evaluación del rendimiento educativo desde el innovador concepto de “competencia básica”, que se define como la capacidad de los estudiantes para extrapolar lo que han aprendido y aplicar sus conocimientos ante nuevas circunstancias, su relevancia para el aprendizaje a lo largo de la vida y su regularidad (Informe Español PISA 2006). De ahí que, la evaluación del rendimiento se 7 realice en alumnos de 15 años de edad cuando estos se encuentran finalizando el periodo de enseñanza obligatoria. En el estudio PISA 2009 participaron 62 países siendo evaluados entre 4500 y 10000 alumnos en cada país. Los alumnos responden a una prueba escrita cuya duración total es de 2 horas. La prueba incluye el denominado “cuestionario cognitivo” en el que en el PISA 2009 la competencia científica fue el área principal, aunque también se evaluaron la competencia lectora y la competencia matemática. Junto con el “cuestionario cognitivo”, la prueba del estudio PISA incluye un “cuestionario del estudiante”. El “cuestionario del estudiante” (CE) en el estudio PISA 2009 será el objeto sobre el que se centrará el presente proyecto de investigación. El presente estudio se centrará en el Estudio PISA 2009, y más concretamente en las escalas que miden actitudes por parte del alumnado en relación a la lectura. Cuando PISA alude a la fiabilidad se refiere, precisamente, a la consistencia y la precisión de las medidas realizadas. PISA también habla de validez ante los instrumentos que utiliza, garantizando que con los mismos se puedan obtener resultados comparables. De esta manera, vemos como nos encontramos ante un estudio transcultural cuando hablamos de comparar las respuestas de escalas entre alumnado inmigrante y no inmigrante, siendo por tanto el estudio PISA la herramienta. De esta forma, nuestro trabajo examina la equivalencia para determinar el grado en el que se podrán realizar comparaciones validas entre las puntuaciones en las escalas actitudinales del PISA entre el grupo de alumnos inmigrantes y el de no inmigrantes. 4.1. Actitudes en el Informe PISA 2009. PISA adopta una perspectiva “competencial” que pretende medir la capacidad del alumnado a la hora de hacer uso de conocimientos y destrezas aprendidas y practicadas en la escuela. Concretamente, en el Estudio PISA 2009 se centra en la competencia lectora, siendo esta medida cognitivamente y actitudinalmente. De esta forma se evalúa cómo los alumnos pueden hacer uso de sus destrezas lectoras para comprender e interpretar distintos tipos de material escrito y la actitud ante dicha materia, planteando cuestiones a los alumnos con objeto de conocer su motivación e interés por este área de conocimiento. Este aspecto ya había sido estudiado en PISA 2000, por lo que se permite su comparabilidad. 8 En el presente trabajo nos centraremos en el cuestionario del estudiante (CE), el cual responde al objetivo del estudio PISA 2009 de conocer elementos actitudinales hacia la lectura, aunque también engloba ítems que permiten conocer un ámbito más cognitivo, así como “indicadores contextuales” (e. g., país de nacimiento, curso, profesión del padre y de la madre, lengua predominante en el hogar, equipamiento cultural del hogar, etc.), que aportan información para interpretar y analizar los resultados de los alumnos en el “cuestionario cognitivo”. El CE es un cuestionario auto-administrado de papel y lápiz que incluye 44 preguntas agrupadas en 7 secciones. Varias de las preguntas son escalas psicológicas formadas por un variado número de ítems en formato de respuesta tipo Likert con cuatro alternativas de respuesta. Dichas escalas están diseñadas para medir un conjunto de constructos psicológicos “actitudinales” que responden al constructo global denominado “Aproximaciones del Estudiante al Aprendizaje”, donde se incluyen: “estrategias de aprendizaje auto-regulado”, “creencias de auto-eficacia en los contenidos”, “implicación futura en el estudio”, etc. Marsh, Hau, Artelt, Baumert y Peschar (2009) analizaron la equivalencia transcultural entre datos de 25 países participantes en el PISA 2003 a partir de las medidas incluidas en el constructo global de “Aproximaciones del Estudiante al Aprendizaje”. Los autores también realizaron una presentación detallada de los fundamentos teóricos que subyacen a los llamados también “constructos afectivos” medidos por el CE de los estudios PISA y su relación esperable con las “medidas cognitivas”. Los resultados obtenidos mostraban como estudiantes con buen auto-concepto y que muestran buenas relaciones con su entorno, poseen mejores resultados académicos, otorgando además una influencia muy positiva a la implicación de los compañeros en el aula. 4.2. Razones para elegir el “cuestionario del estudiante” del PISA 2009. El estudio PISA 2009 no es el único estudio internacional comparativo de evaluación del rendimiento educativo que ha cobrado protagonismo en los últimos años. Cabe mencionar entre otros, el realizado por la International Association for the Evaluation of Educational Achievement (IEA) [Asociación Internacional para la Evaluación del Rendimiento Educativo] y el del Education Testing Service´s International Assessment of Educational Progress (IAEP) [Evaluación Internacional del Progreso Educativo del 9 Servicio de Evaluación Educativa]. Por tanto, es obligado exponer las razones por las que se ha elegido el CE del PISA 2009. De forma resumida, dichas razones han sido: El rigor metodológico en el diseño y ejecución del estudio garantizado por los institutos y organizaciones que forman parte del consorcio internacional encargado del estudio PISA. Entre otros: Australian Council for Educational Research,el Netherlands National Institute for Educational Measurement (CITO), la empresa WESTAT, el Educational Testing Service (ETS), etc. La implicación de estos organismos junto con los grupos de expertos de cada área garantiza un elevado rigor en los procesos de traducción, muestreo y administración de los cuestionarios, junto con la proyección internacional de los resultados esperables del presente proyecto de investigación. La disponibilidad de los archivos completos de micro-datos en las bases de datos de la OCDE para los cuestionarios del PISA 2009. A diferencia de los cuestionarios cognitivos, la totalidad de las versiones del “cuestionario del estudiante” y del “cuestionario del centro”, también son accesibles en las bases de datos de la OCDE. El estudio PISA 2009 en España implicó a todas las comunidades autónomas con una muestra representativa, exceptuando tres (Extremadura, Castilla La Mancha y la Comunidada Valenciana) junto con la muestra nacional. Alrededor de 27000 alumnos respondieron a los cuestionarios PISA 2009 en 910 centros educativos. La presencia de comunidades autónomas con más de una lengua co-oficial abre la posibilidad a la definición de grupos por antecedentes lingüísticos y culturales distintos, y analizar su relación con el posible DIF de los ítems. 5. Objetivos del estudio. El objetivo general del presente estudio es analizar las propiedades métricas y el grado de equivalencia entre las evaluaciones de las escalas actitudinales del cuestionario del estudiante del Estudio PISA 2009. En concreto, se pretendía determinar si se alcanza un nivel de equivalencia estructural que permita realizar comparaciones válidas a partir de estadísticos grupales, al comparar las respuestas de alumnado inmigrante y no inmigrante. En resumen, se trato de responder a la pregunta que debe iniciar una investigación más general sobre el “peer effect”: ¿hasta qué punto son comparables las evaluaciones aportadas por las escalas y preguntas analizadas del cuestionario del estudiante del Estudio PISA 2009 entre ambos grupos? 10 Método . 1. Participantes. Los datos recopilados por el Estudio PISA 2009 en España, se encuentran concentrados en un total de 910 centros en los que se recoge una muestra de 26.000 alumnos. Como se expuso con anterioridad, la muestra se centra en menores de 15 y 16 años de edad pertenecientes al último curso de la Educación Secundaria Obligatoria (ESO). Son tres los grupos con los que se han llevado a cabo los análisis: “inmigrantes”, “nacionales 1” y “nacionales 2”. La creación de dos grupos de nacionales se debe a que existe una gran diferencia numérica entre el grupo de nacionales e inmigrantes, puesto que el porcentaje de nacionales es de un 89,4%. Con la creación de dos muestras nacionales se iguala el tamaño de la muestra de inmigrantes, además que nos asegura los resultados que obtengamos, como muestra de validación cruzada. Cada grupo de nacionales alberga a un 12% de su población total. Dicho porcentaje corresponde al número por el que está constituida la muestra de inmigrantes. 1.1. Definición del alumno “nacional” e “inmigrante”. Para el Estudio PISA, el alumnado nacional es aquel que ha nacido en España y al menos uno de sus padres también, mientras que es considerado inmigrantes aquel que ha nacido en otro país, aunque sus padres sean nacionales, o aquellos que aún siendo nacionales, sus padres son extranjeros. De esta forma podemos exponer una combinación de seis casos en total. (Véase la tabla 1). Tabla 1: combinación para la creación de la variable nacional/inmigrante. Alumnado nacional: Alumnado inmigrante: Hijo nacional+ madre nacional+ padre Hijo inmigrante+ madre inmigrante+ nacional padre inmigrante Hijo nacional+ madre inmigrante+ padre Hijo nacional+ madre inmigrante+ padre nacional inmigrante Hijo nacional + madre nacional+ padre inmigrante 11 De la muestra total, el 10,6% (2.668) son alumnos inmigrantes, y el 89,4% (22.579). En relación al género, vemos que la distribución es de un 5,4% (1367) de hombres y un 5,2% (1.301) de mujeres sobre el total. Por su parte, el grupo de nacionales recoge un 44,0% (12.468) son hombres y el 45,5% (12.779) son mujeres. 3.2. Instrumento. Las preguntas seleccionadas del cuestionario del estudiante del PISA 2009 fueron un total de tres escalas que incluyen ítems en formato tipo Likert con 4 categorías de respuesta. La Tabla 2 presenta el “constructo objetivo” para cada escala y el número de ítems en cada una. Tabla 2: Constructo y número de los ítems seleccionados. Constructo Nº de escala Nº de ítems Índice de motivación por la lectura 24 11 Clima en el aula 33 4 34 5 Actitud hacia profesorado el Debido a la importancia que adquiere la motivación en el proceso de aprendizaje de los jóvenes, hemos resaltado su papel en el presente trabajo, centrándonos para ello en la escala Q24, que representa el índice de “motivación por la lectura” (Technnical Report, OCDE, 2009 ). A modo de ejemplo exponemos el enunciado del primer ítem de la escala y las categorías de respuesta: “¿Cómo de de acuerdo o “desacuerdo” se encuentra con las siguientes afirmaciones sobre la lectura?”. a) “ Leo sólo si tengo que hacerlo, Muy en Desacuerdo, En Desacuerdo, De Acuerdo, Muy de Acuerdo”. El anexo 1 presenta las preguntas completas correspondientes a las escalas Q24, Q33 y Q34. Las otras dos escalas tienen un valor intrínseco, ya que la escala 33 se centra en la valoración del clima en el aula y la pregunta 34 en la actitud hacia los profesores. Dos elementos que contribuyen a esclarecer la visión del alumnado en el aula. 12 3.3. Base de datos del PISA 2009. Los datos fueron obtenidos de la página web de la OCDE (OCDE, 2009). Las escalas y los sujetos fueron seleccionados y se llevo a cabo una depuración de los datos mediante la eliminación de los sujetos con respuestas incompletas en una o más preguntas. Este proceso dio lugar a una pérdida relativamente pequeña de datos en los grupos “nacionales 1” y “nacionales 2” (19,3%). 3.4. Procedimiento Según los datos recogidos en el Informe Technnical Report sobre PISA 2009 (OECD), los participantes respondieron a los cuestionarios que engloban el Estudio PISA en sesiones colectivas durante las horas de clase. La participación fue voluntaria y el tiempo requerido para completar las preguntas fue de dos horas aproximadamente. A los participantes se les garantizaba la confidencialidad, siendo usados los datos exclusivamente para fines de investigación. 3.5. Análisis Estadístico. Para llevar a cabo la comparación de la equivalencia y la validez entre los dos grupos (nacionales e inmigrantes) fue necesaria la creación de una nueva variable (“variable Total”) cuyas dos categorías de respuesta albergaran la condición de nacional y de inmigrantes. De esta forma podemos apreciar por separado los resultados, y llevar a cabo un análisis que nos permita comparar ambos grupos. En base a la definición realizada con anterioridad en el apartado de participantes sobre “nacional” e “inmigrante”, se creó de una nueva variable en la que se recoge todas las posibles combinaciones que determinaban si se es o no inmigrante o nacional. Para ello fue necesario en primer lugar la recodificación de las tres sub-preguntas de la pregunta número 17, en la cual se le pregunta al entrevistado el lugar de nacimiento suyo y de sus padres: “¿En qué país naciste tú y tus padres?” Cada categoría fue recodificada con objeto de eliminar las opciones de No sabe/No contesta y valores perdidos. Posteriormente, se procedió a elaborar seis nuevas variables. Para ello se insertaron las combinaciones expuestas en la Tabla 1. - 1+1+1 A=1 & B=1 & C=1 todos nacionales (TN) 13 - 1+2+1 A=1 & B=2 & C=1 Madre extranjera (ME) 1+1+2 A=1 & B=1 & C=2 Padre extranjero (PE) Los análisis se realizaron con el paquete estadístico para Ciencias Sociales (SPSS v.15). Para terminar, se procedió a unificar estas tres combinaciones con la siguiente fórmula que se hacía explícita en dicho programa estadístico: - TN=1 O ME=1 O PE=1 Una vez realizado este proceso, conseguimos tener en una misma variable que recogiera a todos los alumnos inmigrantes y nacionales en base a la definición realizada por PISA. La creación de esta nueva variable muestra el dato expuesto con anterioridad, en el que se recoge que la muestra está compuesta por un 10,6% de alumnos inmigrantes, y un 89,4% de alumnado nacional. Posteriormente se llevó a cabo un Escalamiento Multidimensional Pesado (WMDS). Permite analizar matrices de proximidad (similitud o disimilitud), para proporcionar una representación visual entre los datos dentro de un espacio de dimensiones reducidas. El WMDS permite descubrir la estructura dimensional común a los grupos objeto de la comparación en un único análisis. La ventaja del WMDS frente al análisis factorial exploratorio es que no es necesario identificar a priori la estructura dimensional, lo que la hace una técnica útil cuando no hay una teoría sólida sobre la dimensionalidad del conjunto de datos o se está en las fases preliminares de investigación. El WMDS ha sido aplicado con éxito para el análisis de la equivalencia estructural de escalas psicológicas en numerosos contextos (Padilla et al, 2012). El WMDS puede analizar los datos de varios grupos simultáneamente y proporciona indicaciones sobre (a) la dimensionalidad subyacente que ajusta los datos para todos los grupos, y (b) el grado en que los datos para cualquier grupo particular se desvían de la estructura común. Esto hace que esta técnica sea particularmente útil para la evaluación de la equivalencia estructural cuando un instrumento se ha administrado a diferentes grupos. Para ayudar a determinar la dimensionalidad adecuada de los datos, se utilizaron los índices de ajuste descriptivos Stress y R-square. Stress representa la raíz cuadrada de la varianza residual normalizada de la regresión monotónica de las distancias. En los valores que recoge, una menor presión indican un mejor ajuste. El índice R-square 14 refleja la proporción de la varianza de la que da cuenta cada dimensión. En este caso, los valores mayores de R indican un mejor ajuste. A través de ambos índices, el investigador primero determina el número de dimensiones subyacentes en el conjunto de datos. Una vez identificadas puede analizar la importancia relativa de dichas dimensiones para cada grupo en comparación. 5.4. Comparación de las estructuras factoriales. Para analizar la equivalencia estructural de las escalas seleccionadas es necesario comparar su dimensionalidad, ya que a través de ellas conoceremos si las escalas son similares o no para ambos grupos. A través del escalamiento multidimensional "pesado" (WMDS) podemos obtener evidencias para ello. La Tabla 3 muestra los valores de los índices de Stress y R-square para la escala Q24. Los valores de ambos índices apuntan una cierta tendencia hacia la aparición de dimensiones extra, ya que hay un cambio apreciable en los valores de R-square entre la solución de una y dos dimensiones. Tabla 3: Valores de Stress y de R. Dimensiones Valores de Stress Valores de RSQ D1 ,20303 ,88931 D2 ,05173 ,98997 D3 ,02195 ,99818 Gráfico 1 15 El gráfico 1 muestra la configuración de los estímulos. En el mismo observamos las agrupaciones de ítems y su relación con las dimensiones para la solución bidimensional. En la distribución vemos que hay una agrupación clara en el cuadrante inferior izquierdo y otra menos clara en el cuadrante superior derecho, quedando un ítems independiente en el cuadrante inferior derecho. Los ítems más agrupados en la parte inferior son los números 2 (“La lectura es uno de mis pasatiempos favoritos”), 3 (“Me gusta hablar de libros con otras personas”), 4 (“Me resulta difícil terminar libros”), 5 (“Me siento feliz si recibo un libro como regalo”), 7 (“Me gusta ir a una librería o una biblioteca”) y 11(“Me gusta intercambiar libros con mis amigos”). Estos ítems parece tener en común una actitud favorable hacia la lectura. Los ítems agrupados de forma más dispersa en la parte superior son los ítems 1 (“Leo sólo si tengo que hacerlo”), 4 (“Me resulta difícil terminar libros”), 6 (“Para mí, la lectura es una pérdida de tiempo”), 8 (“Leo sólo para obtener la información que necesito”) y 9(“No puede quedarse quieto y leer durante más de unos pocos minutos”). 16 Estos ítems muestran actitudes negativas hacia la lectura. Estos ítems son los que tuvieron necesidad de ser recodificados. Para terminar con el análisis, vemos que el único ítem que parece independiente al resto en el 10 (“Me gustaría expresar mis opiniones sobre los libros que he leído”). Parece ser que esta conducta es la que menos relación guarda con el resto de alternativas de respuesta. En la Tabla 4 se muestran la importancia que tienen estas dimensiones. Los pesos y el gráfico de dos dimensiones parecen indicar que la importancia de las dimensiones es diferente para el grupo de inmigrantes frente a los dos grupos nacionales. La dimensión 1 es la más importante para los dos grupos nacionales, mientras que la dimensión 2 es la más importante para el grupo de inmigrantes. Las diferencias no son grandes si observamos la unidad de medida en los ejes de los gráficos, pero podrían ser relevantes. Por tanto, nuestra interpretación general sería que hay indicios de que la dimensionalidad de Q24 no es la misma para el grupo de alumnos inmigrantes y no inmigrantes. El Gráfico 2 representa la localización de los grupos respecto de las dos dimensiones. Tabla 4: Importancia de las dimensiones (pesos) para dos dimensiones Grupos D1 D2 Inmigrantes ,7801 ,6181 Nacionales 1 ,8029 ,5878 Nacionales 2 ,8003 ,5906 Gráfico 2 17 La escala 33, a diferencia de la escala 34, tiene pocos ítems. Por este motivo, explorar soluciones de más de una dimensión cuando sólo hay 4 ítems es arriesgado. La Tabla 5 muestra los valores de los índices de Stress y R-square para la escala. Tabla 5: Valores de Stress y de R. Dimensiones Valores de Stress Valores de RSQ D1 ,23639 ,73040 D2 ,00001 ,99988 Los valores de ambos índices apuntan a una solución unidimensional a pesar del cambio que se produce entre D1 y D2. La decisión de optar por una solución uni- o bidimensional también debe tener en cuenta aspectos sustantivos sobre el constructo objetivo de la escala. No obstante, con el fin de explorar posibles fuentes de multidimensionalidad el análisis de la importancia de las dimensiones se realizó para una solución bi-dimensional. 18 La distribución de los ítems que se presentan en el Gráfico 3 hace que se sitúan bastante distanciados entre ellos. A pesar de ello, habría que destacar que son los ítems 2 (“La escuela ha sido una pérdida de tiempo”), 3 (“La escuela me ha ayudado a dar confianza para tomar decisiones”) y 4(“La escuela me ha enseñado cosas que podría ser útil en un trabajo”) los que se encuentran en la parte inferior de la gráfica. De estos tres ítems dos muestran una actitud positiva hacia la escuela, mientras que uno parece que posee una visión más negativa sobre la vida escolar. Es el ítems 1 (“La escuela ha hecho muy poco para prepararme para la vida adulta cuando salgo de la escuela”) Gráfico 3 En la Tabla 6 podemos apreciar la importancia relativa de las dimensiones identificadas para cada uno de los tres grupos. Tabla 6: Importancia de las dimensiones (pesos) para dos dimensiones Grupos D1 D2 Inmigrantes ,3846 ,9231 Nacionales 1 ,8114 ,5845 19 Nacionales 2 ,8491 ,5282 Tal y como podemos observar en el Gráfico 4, las diferencias en la estructura dimensional entre los grupos son algo confusas posiblemente por el reducido número de ítems lo que hace que el número de distancias estimadas pueda resultar insuficiente para obtener una dimensionalidad clara. Por tanto, podemos indicar que podría mantenerse una solución de unidimensionalidad pero estando atentos a posibles discrepancias en los análisis que sugieran amenazas a la unidimensionalidad. Gráfico 4 Con esta escala Q34 ocurre algo similar a Q33, también caracterizándose por tener pocos ítems, concretamente cinco. La Tabla 7 muestra los valores de los índices de Stress y R-square para la escala Q33. Tabla 7: Valores de Stress y de R. Valores de Stress Valores de RSQ ,14117 ,90332 ,00157 ,99998 20 Los valores de ambos índices apuntan a una solución unidimensional ya que los cambios entre D1 y D2, son relativamente pequeños. La distribución de los ítems en la Gráfica 5 nos muestra una agrupación de dos de ellos, concretamente los números 2 (“La mayoría de mis profesores están interesados en mi bienestar”) Y 3 (“La mayoría de mis profesores realmente escuchar lo que tengo que decir”). Ambos nos muestra una visión por parte del alumnado positiva en relación al profesorado. Los otros tres ítems se encuentran distribuidos de de forma independiente entre ellos. Gráfico 5 La Tabla 8 muestra que la dimensionalidad es muy similar a través de los grupos objeto de la comparación. La Tabla 8 presenta los valores para una solución bi-dimensional con el fin de poder realizar su representación gráfica. El Gráfico 6 apunta también a la igual importancia de las dimensiones para los grupos. Las distancias entre los puntos corresponden con diferencias en sus coordenadas muy pequeñas. A partir de estos resultados, se puede afirmar que la dimensionalidad de Q34 es muy similar en los tres grupos. 21 Tabla 8: Importancia de las dimensiones (pesos) para dos dimensiones Grupos D1 D2 1 ,8905 ,4599 2 ,8875 ,4607 3 ,8784 ,4779 Gráfico 6 6. Discusión . El objetivo principal de este estudio es realizar un análisis de la equivalencia estructural sobre las escalas seleccionadas del cuestionario del estudiante del PISA 2009, y averiguar de esta forma si podemos hacer sobre las mismas inferencias que sean válidas cuando se comparen las evaluaciones del grupo de inmigrantes con el grupo de alumnos nacionales. Esto es relevante en todo proceso de investigación, porque dota el 22 estudio de una base sólida en la que poder confiar. Sabemos que comparando las respuestas de ambos grupos en cada escala, no estamos cometiendo un sesgo si obtenemos evidencias de su equivalencia, puesto que son comparables. La metodología usada para alcanzar dicho objetivo, no sólo métodos tradicionales, como el análisis de descriptivos, de fiabilidad, análisis de componentes principales, etc., sino también, el escalamiento multidimensional, permite confiar en los resultados obtenidos. En general, las evidencias obtenidas apuntan a la equivalencia estructural de las escalas y preguntas seleccionadas. No obstante, hay también indicios de multidimensionalidad en las escalas Q23 y Q24, a los que habría que prestar atención en futuras investigaciones. En este estudio, se han llevado a cabo los pasos previos para realizar una investigación sobre el “peer effect” contando con evidencias sobre la equivalencia entre las evaluaciones obtenidas de alumnos inmigrantes y nacionales. A través de los análisis psicométricos y de equivalencia realizados, se han obtenido evidencias para probar el grado de equivalencia alcanzado por las escalas y preguntas seleccionadas del cuestionario del estudiante del PISA 2009. .Esta investigación parte del hecho contrastado de que la validez y la equivalencia de las evaluaciones no se pueden asumir como dadas por el hecho de que los instrumentos de evaluación hayan sido elaborados o Con respecto a la utilidad del WMDS para la evaluación de la equivalencia estructural, es importante hacer hincapié en que nos permite observar con mayor claridad el peso que cada escala posee en cada dimensión. Esto nos permite comprender con mayor claridad el peso de en cada dimensión, y por tanto si existe o no unidimensionalidad. En este estudio se compararon dos grupos diferentes que se pensaba que reaccionarían de manera diferente. Sin embargo, la evidencia indica claramente diferencias inesperadas que arrojan luz a la idea de que no existen diferencias entre grupos interculturales en el ámbito educativo. Las investigaciones futuras deberían seguir indagando en la equivalencia, ya que pueden existir diferencias estructurales en otros grupos demográficos y culturales. La presencia de alumnado inmigrantes en las aulas es un reto, sobre todo cuando se trata de personas con una reciente incorporación como ciudadanos españoles. Esto condiciona el rendimiento que el menor pueda tener, y por ende la motivación que muestre. La lengua 23 es un elemento fundamental para la integración, además de condicionar notablemente su rendimiento académico. De esta forma, entendemos que el trabajo realizado se engloba en un proceso previo a la investigación sobre el “peer effect”, el cual se fundamentará en el uso de los métodos mixtos, ya que a través de los mismos, podemos alcanzar en nuestro estudio una perspectiva más precisa del fenómeno a estudiar, consiguiendo una multiplicidad más rica de datos integrados. Incluso en la investigación del “peer effect” podemos seguir validando las escalas con las que se han trabajado en este estudio pero a través de técnicas cualitativas, como puede ser el juicio de expertos. Esta técnica nos propiciaría información sobre qué palabras, expresiones, construcciones de las oraciones, etc. pueden ser susceptibles de posibles malinterpretaciones por parte de las personas que contesten los cuestionarios (padres, alumnos y profesorado). 7. Referencias bibliográficas . Álvarez de Sotomayor, Álvaro. (2008) “El papel de la redes étnicas en el logro educativo de los hijos inmigrantes: ¿recursos u obstáculos?”,en revista de migraciones, nº 23, pp. 45-77. Benítez Isabel, Padilla Jose Luis, Hidalg, María Dolores, & Sireci, Stephen. (Submitted) (2011). A two method-two effect size measure strategy for analysing polytomous Differential Item Functioning: An illustration with Differential Step Functioning and Ordinal Logistic Regression. Language Testing. Buchmann Claudia. (2000), “Measuring family background in International Studies of Education: Conceptual Issues and Methodological Challenges” en A.C Porter y A. Gamoran (eds.), Methodological advances Cross- National Surveys of educational achievement, Washington DC, National Academic Press , PP. 150-97. Calero Julio. y Waisgrais Sebastian. (2008). Rendimientos educativos de los alumnos inmigrantes: identificación de la incidencia de la condición de inmigrante y de los peer effects. XVI Encuentro de Economía Pública. Granada, Febrero 2009. Carabaña Julio y Córdoba Claudia. (2009). “La incorporación de estudiantes inmigrantes en la escuela andaluza y su influencia en la elección de centro”, Sevilla, Centro de Estudios Andaluces, Consejería de la Presidencia de la Junta de Andalucía. 24 Cortes, K. E. (2006) “The effects of age at arrival and enclave schools on the academic performance of immigrant children”, Economics of Education Review, 25:121-132. Ellis Louisse, Marsh Herbert, y Craven, Rhonda (2009). Hacer frente a los desafíos que enfrentan los jóvenes adolescentes:. A la evaluación de métodos mixtos de los beneficios del apoyo de los compañeros. American Journal of Psicología Comunitaria, 44, 54-75. García-Bellido Rosario, & González Such José (2010). http://www.uv.es/innovamide. Recuperado el 5 de 8 de 2012. Disponible en: http://www.uv.es/innovamide/spss/SPSS/SPSS_0801B.pdf Held David. y McGrew, Anthony. (2003) Globalización / Antiglobalización. Sobre la reconstrucción del orden mundial. Paidós, pág. 13. Hoxby Caroline (2000a) “Does Competition Among Public Schools Benefit Students and Taxpayers?”, The American Economic Review, 90(5): 1209-1238. Hoxby Caroline (2000b) “Peer Effects in the Classroom: Learning from Gender and Race Variation” , National Bureau of Economic Research, Working Paper 7867. Moreno Yus, Mariangeles (2011). La guetización escolar, una nueva forma de exclusión. Revista de educación, 361 . Hugalde Adriana (2007). Efectos de la inmigración en el rendimiento educativo: El caso español. Institut d’Economia de Barcelona, Departament d’Economia Política i Hisenda Pública (J.L. Padilla, 2012), Barcelona. International Test Commission. (2010). International Test Commission Guidelines for Translating and Adapting Tests. Disponible en: http://www.intestcom.org. Jenks, C., y Mayer, S. (1990) “The Social Consequences of Growing Up in a Poor Neighorhood” in L. Lynn y M. McGreary, eds, Inner-City Poverty in the United States. Washington: National Academy Press. OCDE. (2009). PISA 2009. Programa para la evaluación Internacional de los Alumnos. Informe Español. . Madrid: Ministerio de educación. Instituto de evaluación. OCDE (2012). PISA 2009. Technical Report, PISA, OCDE Publishing. http://dx.doi.org/10.1787/9789264167872-en Padilla García, Jose Luis.; Acosta Uribe Beatriz, Guevara anuel.; Gómez Benito, Juana y González Gómez, Andrés. (2006). Propiedades Psicométricas de la Escala de Autoeficacia General Percibida en México y España. Revista Mexicana de Psicología. Padilla Jose Luis, B.I. -G. (8 de Agosto de 2012). http://ccr.sagepub.com/. Evaluating Structural Equivalence in Psychological Questionnaires Using Weighted Multidimensional Scaling. Recuperado el 3 de Agosto de 2012, de http://ccr.sagepub.com/content/early/2012/08/08/1069397112446787 Tashakkori, Abbas., & Creswell, John. (2008). Mixed methodology across disciplines. Journal of Mixed Methods Research, 2 (1), 1-5. Van de Vijver, Fons, & Tanzer Norbert (2004). Bias and equivalence in cross-cultural assessment: an overview. Revue européenne de psychologie appliquée, 54, 11925 135. doi:10.1016/j.erap. 26
