Máster Universitario en Innovación e Investigación en Educación Medida en Educación Curso 2018-2019. Convocatoria de Junio Virginia de Arriba Cuartero 1 ÍNDICE INTRODUCCIÓN …………………………………3 1. TÉCNICAS DE OBSERVACIÓN: ANÁLISIS DE UNA PUBLICACIÓN …………...5 2.TÉCNICAS DE ENCUESTA: ANÁLISIS DE UNA PUBLICACIÓN ……………9 3.TEST Y PRUEBAS CRITERIALES: ANÁLISIS DE UNA PUBLICACIÓN …………...14 4. CONCLUSIONES ……………………………...19 5. BIBLIOGRAFÍA …………………………….....20 2 Introducción En el siguiente documento se analizan tres investigaciones en base a los conocimientos adquiridos en la materia “Medida en educación”. Siguiendo las indicaciones, se han seleccionado tres artículos en los que se relatan diferentes procesos de investigación, en concreto, una observación, un procedimiento de encuesta y una prueba criterial. Para la selección se ha utilizado el buscador de Dialnet, el cual facilita considerablemente el filtrado de documentos. Han sido de gran utilidad las habilidades incorporadas en la asignatura “Introducción a la investigación en educación”, así como el Curso de Competencias Genéricas en Información de UNED. Éstos son los artículos seleccionados. 1. Observación: Parareda Pallarès, Alba ; Simó, Núria ; Domingo Peñafiel, Laura ; Soler i Mata, Joan (2016):“La Complejidad de Vivir la ciudadanía en el Aula: Análisis en Cuatro Centros de Secundaria” Universitat de Vic-Universitat Central de Catalunya. Revista Internacional de Educación para la Justicia Social (RIEJS), 2016, 5(1), 121-138, doi. 10. 15366/riejs2016.5.1 2. Técnicas de encuesta: Manso Ayuso, Jesús; Martín Ortega, Elena (2014): Valoración del Máster de Formación de Profesorado de Educación Secundaria: estudio de casos en dos universidades. Revista de Educación. 364. Abril-junio 2014 pp.145-169. DOI:10.4438/1988-592X-RE-2014364-258 3. Pruebas criteriales: Juan A. García-Madruga UNED Teresa Fernández Corte IES San Juan de la Cruz Pozuelo de Alarcón, Madrid Anuario de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008, Universitat de Barcelona, Facultat de Psicologia El guión proporcionado para realizar el análisis propone una serie de cuestiones generales relativas a: los sujetos sobre los que se ha llevado a cabo la investigación; las características de la técnica utilizada, y una valoración del instrumento junto con una opinión sobre los contenidos aprendidos. Además, plantea preguntas específicas para cada tipo de técnica, que se detallarán en cada uno de los análisis. En nuestra búsqueda hemos podido constatar que difícilmente con ningún artículo íbamos a poder extendernos en todos los aspectos planteados en el guión, debido a que no en todos aparece toda la información que quisiéramos obtener o, simplemente, no se ha dado importancia a alguno de dichos aspectos. Aun así, hemos tratado de seleccionar tres que hemos considerado bastante completos y que, de algún modo, dieran pie a una reflexión sobre la naturaleza de cada técnica de recogida de datos. El artículo que relata un proceso de observación narra una experiencia de investigación sobre el tratamiento de la educación para la ciudadanía en cuatro centros diferentes. Se 3 trata de una observación participante y semiestructurada; esta participación desaparece en la segunda parte de la experiencia. Las técnicas de encuesta analizadas pertenecen a un estudio de casos en el que se analiza la valoración por parte de la comunidad educativa de dos universidades de su recién implantado Máster de Educación. Combina cuestionarios y entrevistas a informadores clave. En nuestra elección ha tenido importancia el hecho de que se dieran estas dos técnicas, puesto que lo hemos considerado más interesante para el análisis. Por último, se analiza una prueba criterial realizada a dos grupos de alumnos de ESO para analizar su memoria operativa, su comprensión lectora y su razonamiento, así como las interrelaciones entre estas tres variables cognitivas. Nos ha creado más dificultades el encontrar un estudio que se ajustara al marco de “prueba criterial” pero hemos dado con uno que nos parece especialmente adecuado y nos gustaría dejar constancia de cómo los autores han elaborado sus tests. Estructuraremos este escrito del siguiente modo: trataremos de responder brevemente a las preguntas planteadas, para después hacer hincapié en alguno de los aspectos más relevantes detectados en el texto. Realizar este proceso de análisis me ha aportado las bases necesarias para comprender mejor los contenidos de la asignatura “Medida en Educación”, facilitándome el estudio de la misma. 1. TÉCNICAS DE OBSERVACIÓN: ANÁLISIS DE UNA PUBLICACIÓN Descripción general 4 El artículo narra un proceso de observación semiestructurada, con observador como participante en algunas fases y no participante otras, llevada a cabo con alumnos de cuatro centros educativos. Su objetivo era analizar cómo se trabaja la educación para la ciudadanía en diferentes centros. Los datos se han registrado través de trabajo de campo, el cual ha implicado el análisis de documentos relevantes, así como entrevistas y grupos de discusión con informantes clave (docentes, alumnado y familias). Además se han realizado observaciones participantes en las actividades más relevantes de cada centro. Podemos ver que ha sido necesario el uso de herramientas informáticas y de dispositivos de grabación… Problema y objetivos El artículo plantea un estudio sobre la educación para la ciudadanía en diferentes centros. En la LOMCE (Ley Orgánica para la Mejora de la Calidad de la Educación), en diciembre de 2013, se justifica la desaparición de la asignatura Educación para la Ciudadanía con la integración de contenidos de educación cívica y de valores de forma transversal en todas las asignaturas del currículo. El artículo relata la indagación sobre este nuevo concepto de valores transversales relativos a la Educación para la Ciudadanía, y a las formas de vivirla en los centros educativos relatando prácticas escolares: “A lo largo de la investigación, hemos evidenciado que existe una correlación entre la vivencia de la democracia, a través de espacios educativos democráticos, con el aprendizaje de la ciudadanía.” Tipo de estudio Los autores califican este estudio como” una investigación de corte interpretativo. El método utilizado es el estudio de caso (Denzin y Lincoln, 2000; Stake, 1998), para cada una de las cuatro situaciones analizadas. La muestra se ha elegido aplicando el criterio de casos diferenciados que podemos definir como “cuatro ejemplos en acción” (Merriam, 1998), que en este contexto se traduce en cuatro centros de secundaria que desarrollan un rango variado de experiencias participativas y democráticas.” Las técnicas utilizadas se encuentran dentro del ámbito de la observación. definir la observación científica como una técnica que recoge la información sobre los hechos tal y como se presentan, en su contexto natural, de acuerdo con un objetivo específico y siguiendo un plan sistemático de actuación. Esta información es registrada y consignada por escrito, sirviendo de base para análisis que permitan establecer inferencias legítimas desde el nivel manifiesto al nivel latente. En esta definición queda explícita la condición de naturalidad que distingue la observación de otras técnicas de recogida de información más artificiales, procurando así un conocimiento de los hechos tal y como ocurren en condiciones normales, sin que haya ningún tipo de intervención o manipulación externa por parte del observador. 5 En este caso, se ha realizado un (trabajo de campo, participación en actividades, etc…) Desde el punto de vista epistemológico y metodológico, la investigación que relatamos es de corte interpretativo, ya que pretende profundizar en el conocimiento de una realidad concreta con el fin de analizarla. El método utilizado es el estudio de caso (Denzin y Lincoln, 2000; Stake, 1998), para cada una de las cuatro situaciones analizadas. La muestra se ha elegido aplicando el criterio de casos diferenciados que podemos definir como “cuatro ejemplos en acción” (Merriam, 1998). Sujetos del estudio Los sujetos elegidos han sido el conjunto de la comunidad educativa de cuatro centros diferentes de educación secundaria. Para la selección de estos sujetos se ha tenido en cuenta la singularidad de los centros y la adecuación a los objetivos del estudio: se trata de instituciones educativas que contienen en su proyecto curricular actividades relevantes en torno a la Educación para la Ciudadanía. El Centro A se fundó en 1980 y se encuentra en el área metropolitana de Barcelona, concretamente en la segunda ciudad más grande de Cataluña. El instituto consta de tres líneas de los cuatro cursos de Educación Secundaria Obligatoria (de 12 a 16 años), también de dos líneas de primero de Bachillerato (17 años) y una de segundo (18 años). El centro acoge 383 estudiantes que son del barrio, en su mayoría, pero también de otros municipios cercanos. Este centro, aunque no presenta un proyecto pedagógico explícitamente orientado a la vivencia de la democracia escolar, propone algunas actividades en las que se experimenta una implicación ciudadana. Destacamos de forma singular la carrera atlética y una experiencia de aprendizaje-servicio. Este instituto acoge a la totalidad del alumnado de Educación Secundaria Obligatoria (12-16 años) de una población pequeña (2.700 habitantes) de la provincia de Barcelona, al noroeste de la ciudad de Vic y de otros municipios rurales cercanos. Se trata de un instituto creado el curso 1995-96 que completó progresivamente su oferta educativa en el curso 1998-99 – ESO y Bachillerato– y finalmente, con el ciclo formativo de formación profesional de grado medio Sistemas Informáticos y Redes, el curso 2009-10. Su tamaño relativamente reducido, con un total de 281 chicos y chicas, lo convierte en una institución de ambiente relativamente familiar y con un clima de convivencia con pocos conflictos, dos cualidades destacadas y compartidas por los distintos sectores de la comunidad educativa. En este centro destacamos dos espacios formativos que podemos relacionar con el eje de trabajo comunitario que conecta las actividades del centro con la comunidad. Teatro El Centro C nació en 2010 con un proyecto de aprendizaje cooperativo para la Educación Secundaria Obligatoria (de 12 a 16 años) y con la voluntad de garantizar el éxito educativo para todos, desde una perspectiva inclusiva. El centro se ubica en una población pequeña de la provincia de Barcelona, cercana a Vic, ciudad de unos 40.000 habitantes de la Cataluña central. El instituto acoge a unos 250 estudiantes de esta población y de otras de tipología rural cercanas a la zona. Las actividades más destacadas en torno a la educación 6 para la ciudadanía son: El Centro D se fundó hace 7 años (curso 2007) y cubre desde 1º hasta 4º de la Educación Secundaria Obligatoria (12-16 años). Se creó sobre las bases de un colectivo de profesores preocupados por el sistema organizativo y pedagógico de la ESO que se había instalado en las aulas de España y, en concreto, de Cataluña. El centro se encuentra en un municipio del interior en el noreste de Cataluña de menos de 10.000 habitantes y acoge alumnos de esta localidad y de la población vecina, de procedencia diversa. El Centro D es, seguramente, el que presenta un proyecto pedagógico más cercano al aprendizaje de la ciudadanía desde una mirada integral, ya que la vivencia de los valores democráticos, como el respeto, la valoración del esfuerzo del alumnado o la reflexión, subyacen en el proyecto pedagógico del centro. Las actividades destacadas en torno a la ciudadanía son: Trabajo Estos son los diferentes proyectos e iniciativas llevadas a cabo en cada centro en relación a esta disciplina. Tras revisarlos, podemos ver cómo se evidencian las diferencias entre centros, lo que muestra que la voluntad de los mismos establece qué actividades se priorizan y qué proyecto de centro se desarrolla. “Es clave que los equipos directivos expliciten un compromiso con la educación de la ciudadanía y realicen un proceso de reflexión compartido con los equipos docentes primero y con la comunidad educativa después, para que puedan decidir propuestas con un profundo sentido democrático”. En el Centro a, se llevan a cabo iniciativas puntuales: carrera atlética, aprendizajeservicio, En el Centro b, dentro de las propuestas curriculares se encuentran actividades de teatro y la realización de un viaje Erasmus. Mientras tanto, en el Centro c, el currículum propone una implicación del estudiantado en la comunidad, a través del trabajo cooperativo, así como aprendizajes servicios y soporte al profesorado. Por último, el Centro d cuenta con un proyecto de centro que establece metodologías de trabajo por proyectos y una actividad de “Buenos días”; así como un consejo de alumnos y una asamblea-tutoría. Procedimiento Podemos englobar este trabajo dentro de la técnica de observación, puesto que … Y además,la recogida y registro de datos de datos se ha llevado a cabo a través de: trabajo de campo, que ha implicado, por un lado, el análisis de documentos relevantes y, por otro, 7 entrevistas y grupos de discusión con informantes clave (docentes, alumnado y familias). Dichas entrevistas han servido para seleccionar las actividades más relevantes en cada centro y realizar observaciones participantes, con el fin de conocer la dinámica y organización de cada una de ellas y del centro. Fiabilidad, validez y análisis Como una garantía de la validez y fiabilidad de la prueba, sólo tenemos la información sobre el análisis de datos categorial con el programa ATLAS.ti. con el que se han analizado los resultados: “Con este instrumento se ha analizado la información recogida mediante los documentos elaborados para cada centro por parte del grupo investigador, las notas de campo tomadas durante las observaciones de las prácticas seleccionadas que permiten la vivencia de la democracia y la información recopilada a través de entrevistas o grupos de discusión a alumnado y docentes, que nos han permitido un conocimiento más profundo de dichas prácticas.” En este tipo de experiencias, la fiabilidad puede garantizarse a través de… Es de suponer que, aunque no se mencionen, se han cuidado estos aspectos en la investigación. Asimismo, para asegurar la validez interna… En cuanto a la validez externa o la posibilidad de generalización de los resultados, es difícil al tratarse de una observación en un contexto tan concreto, pero siempre se pueden… Los recursos tecnológicos empleados han sido, por tanto, el programa Atlas antes mencionado. Además, es muy posible que para la recogida de datos se hayan utilizado grabaciones audiovisuales de diferente índole, aunque no consideren relevante mencionarlo. Los centros que generan más espacios en los que profesorado y alumnado viven procesos democráticos, como en los casos C y D, a través de actividades y metodologías de aprendizaje (los grupos cooperativos, los proyectos, el aprendizaje-servicio, los equipos de soporte al profesorado o la tutoría-asamblea) son centros en los que los espacios de debate, de opinión, de decisión por parte del alumnado tienen un gran papel. En ellos se generan más situaciones en las que las decisiones se valoran desde distintos puntos de vista. “En definitiva, son centros en los que las dimensiones de gobernanza, habitanza y alteridad están presentes en las formas de organizar la actividad educativa con una dosis elevada de ética, conciencia y reflexividad.” Valoración 8 Consideramos que esta práctica es relevante por las conclusiones a la que nos lleva. Los autores llegan a la conclusión de que la vivencia de la ciudadanía en los centros requiere dotarse de elementos que permitan vivirla de forma transversal, en todos los espacios del centro, es decir, que la democracia impregne el ethos del centro. Solamente así los jóvenes podrán aprender lo que ello significa e incorporar esta forma de entender el mundo en su propio yo. Es necesario pues que los centros se planteen la ciudadanía desde el proyecto de centro y no desde actividades complementarias, puntuales, de soporte o de carácter lúdico. Dado el carácter del estudio, centrado en casos particulares, su aportación es generar nuevas preguntas y enriquecer el “estado de la cuestión” relativo a la educación para la ciudadanía y cómo se inserta esta en los proyectos de centro. A partir de aquí cabría plantearse nuevas preguntas. ¿Es posible realizar actividades similares en otros centros? ¿En qué tipo de centros funciona mejor? ¿Habría que modificar el currículum para aumentar la relevancia de la educación para la ciudadanía? 2.TÉCNICAS DE ENCUESTA: ANÁLISIS DE UNA PUBLICACIÓN Descripción general Este texto refiere un estudio realizado a través de técnicas de encuesta. Se ha llevado a cabo con los sujetos de dos universidades, con el fin de una valoración sobre el Máster de Educación, que se viene realizando recientemente en ambas instituciones. Se han utilizado los cuestionarios y las entrevistas, aplicadas a informadores clave. Problema y objetivos Los resultados permiten identificar las principales fortalezas y dificultades en la implantación del máster, que resumen y analizan en el apartado final del artículo, destinado a la discusión. El objetivo es evaluar, concretamente, los siguientes elementos de la implantación: la gestión del máster, el peso de lo teórico y lo práctico, el sentido del Practicum y el trabajo fin de máster (TFM), la adquisición de la identidad docente y de las competencias profesionales. La evaluación se ha realizado durante los dos primeros años de implantación, lo que ha permitido una perspectiva longitudinal que ilustra las tendencias de los cambios. Técnica utilizada Los investigadores engloban el estudio en “el ámbito de la investigación evaluativa y, más concretamente, en el enfoque de evaluación de programas. De entre los diversos modelos utilizados para realizar análisis y valoraciones de programas educativos, en este trabajo hemos optado por el estudio de casos fundamentado principalmente según las propuestas de Yin (2003), Coller (2005) y Stake (2007).” 9 Según los autores, “La comprensión de la realidad de cada universidad ha supuesto utilizar una convergencia de técnicas de recogida de datos: análisis documental, entrevistas a los informantes clave de las universidades y cuestionarios de satisfacción a los principales implicados y destinatarios (estudiantes, profesores y tutores profesionales).” El análisis documental pertenece a la categoría de la observación, por lo que no nos ocupará aquí. Sin embargo, los cuestionarios y entrevistas se engloban dentro de las técnicas de encuesta. Las técnicas de encuesta consisten en presentar una serie de preguntas a los sujetos, esperando que éstas reflejen de manera sincera la realidad investigada. Podemos definir un cuestionario como un repertorio de preguntas escritas que requieren respuestas. Dichas respuestas deben ayudar a alcanzar objetivos de la investigación, y cuya información podrá ser clasificada y analizada posteriormente. El tipo de información proporcionada por un cuestionario es muy variada, de acuerdo con los objetivos de estudio, pudiendo estar referida a hechos, opiniones, actitudes, motivaciones, sentimientos y conocimientos sobre un determinado tema. La principal diferencia entre el cuestionario y la entrevista, son la estructura, longitud e intención de las preguntas. En la entrevista hay una diferenciación de roles entre los participantes: una persona pregunta -el entrevistador- y otra responde -el entrevistadocon lo que el modelo de comunicación es bidireccional y la relación establecida es asimétrica. Asimismo, el cuestionario suele realizarse por escrito, por teléfono o por medios telemáticos, hay un mayor número de preguntas y Sujetos del estudio Las instituciones consideradas como casos de estudio han sido la UAM y la UPC. La investigación se desarrolló durante los dos primeros cursos de puesta en marcha del máster (2009-10 y 2010-11), lo que ha permitido a los autores una visión longitudinal del programa que se deseaba evaluar. Estas dos universidades madrileñas muestran formas distintas de diseño, organización y desarrollo del máster. En concreto, la selección de estas universidades se hizo respondiendo a “un muestreo intencional conforme a criterios de Manso Ayuso, J. y Martín Ortega, E., teniendo en cuenta titularidad, tamaño y, especialmente, diversidad de tradición en modelos de formación inicial del profesorado de Educación Secundaria. Esta selección es propia del estudio de casos: ambas instituciones ofrecen la necesaria diversidad que enriquece la comprensión del objeto de la investigación. De acuerdo con esta metodología, el objetivo no es realizar comparaciones entre ellas, sino reconocer elementos comunes y diferenciales de reflexión que nos permitan entender en profundidad los aspectos del máster objeto de análisis. La UAM es una universidad de tamaño medio, de titularidad pública y con una tradición innovadora en la formación del profesorado de Educación Secundaria al sustituir el CAP, desde 1989, por propuestas piloto de la LOGSE y la LOCE, más cercanas al actual máster. 10 Por su parte, la UPC es una universidad de tamaño pequeño y titularidad privada con tradición de impartir el CAP desde 1982. Para completar la caracterización de ambas universidades, en la Tabla I se presentan datos generales de la oferta del máster, relevantes para el análisis y la interpretación posterior de los resultados. Procedimiento Para la recogida de datos, el procedimiento ha sido el siguiente: se realizaron en primer lugar las entrevistas a los responsables del diseño antes de comenzar el máster, o a su inicio. Posteriormente se aplicaron los cuestionarios de satisfacción en los meses de mayo y junio de 2010 en función de la disponibilidad de las universidades y de la presencia de los estudiantes. Su aplicación se realizó en el aula en el caso de los estudiantes y por correo postal o electrónico en el caso de los profesores y de los tutores profesionales. A la luz de los resultados de los cuestionarios se decidió realizar nuevas entrevistas a los mismos informantes clave para comprender los resultados del curso anterior y conocer los cambios que se introdujeron para el segundo año. Asimismo, en abril y mayo del curso 2010-11 se volvieron a aplicar los cuestionarios, en esta ocasión solo a los estudiantes de la segunda promoción del máster. El diseño de los guiones de las entrevistas y de los ítems de los cuestionarios se ha realizado a partir de las mismas dimensiones de análisis para posibilitar la triangulación posterior. Estas dimensiones se refieren a los temas clave que se han abordado en la introducción de este trabajo. En relación con las entrevistas, se han seleccionado en ambas universidades a informantes clave responsables de la gestión, tanto en los niveles más generales (rectorado, decanato…) como en los más específicos (coordinadores de módulos o especialidades). Así, se han realizado 17 entrevistas en la UAM y cuatro en la UPC. Estas se hicieron tanto en el primer año de implantación (2009-10), para comprender los procesos de toma de decisiones previas a la puesta en marcha del máster, como en el segundo curso (2010-11), para conocer sus valoraciones del primer año y los cambios que se decidieron introducir para el curso siguiente. Sin embargo, los autores aseguran que la principal fuente de información proviene de los cuestionarios. Han participado un total de 543 encuestados. La selección de estos sujetos se ha realizado siguiendo un muestro no probabilístico por cuotas y accesibilidad. Los criterios de selección de las preguntas y el orden se estructuran en torno a: el modelo estructural (consecutivo/concurrente), la calidad de la gestión de la universidad, la valoración general del máster, la calidad de la formación teórica, el sentido del Practicum y del trabajo fin de máster (TFM), y los resultados esperados –adquisición de identidad profesional y perfil competencial–. Para elaborar el cuestionario se generó un primer borrador de dimensiones e indicadores que fue validado por expertos mediante metodología Delphi. Para la medición de estas dimensiones se optó por redactar cada uno de los ítems a modo de afirmación para que se contestara el grado de acuerdo o desacuerdo con cada una de ellas (escala tipo Likert) en 11 una escala de 1 al 10 –en la que 1 equivale a estar totalmente en desacuerdo y 10 a estar totalmente de acuerdo–. El número de ítems ha variado según el colectivo: 57 en el cuestionario de estudiantes, 50 en el de profesores, 41 en el caso de los tutores profesionales. Fiabilidad, validez y análisis de los resultados Una vez construida la primera de las versiones del cuestionario se validó con tres estrategias: validación de caso único, de expertos (en metodología y en el objeto de estudio) y prueba piloto en la Universidad de Alcalá de Henares. En las versiones finales de todos los colectivos el índice de fiabilidad –a de Cronbach– asegura su adecuación: a(estudiantes) = 0,938; a(profesores) = 0,928; a(tutores) = 0,915.” Para el análisis de los resultados de los cuestionarios de satisfacción de estudiantes, profesores y tutores profesionales del primer año del máster y de los estudiantes del segundo curso, se ha realizado un análisis descriptivo de los colectivos para cada uno de los ítems que configuraban el cuestionario. Tras ello se han llevado a cabo análisis de varianzas para comparar los colectivos dentro de las mismas universidades: estudiantes, profesores y tutores del curso 2009-10 (en aquellos ítems comunes a los tres grupos), y estudiantes de la primera y la segunda promoción. Una vez realizados los correspondientes análisis de la prueba de normalidad de la muestra (mediante la técnica de Kolmogorov-Smirnov) y homocedasticidad (prueba de Levene) se han realizado los análisis estadísticos inferenciales pertinentes. En concreto, en la UAM se ha aplicado la prueba ANOVA (en los ítems compartidos por estudiantes, profesores y tutores profesionales) y la T-Student de análisis de varianza (en el caso de los ítems equiparables solo para dos colectivos: estudiantes-profesores; profesorestutores; estudiantes-tutores; estudiantes de primer-segundo año), mientras que en la UPC se han utilizado los estadísticos no paramétricos equivalentes: pruebas de Kruskal-Wallis y de Mann-Whitney, respectivamente.” Además, para garantizar la coherencia y la fiabilidad del estudio de casos, ha resultado fundamental la triangulación entre los informantes y las técnicas de recogida de información (Coller, 2005). Por ello, dentro de cada una de las universidades se han realizado análisis de los principales documentos, entrevistas y cuestionarios de satisfacción. Resultados Los resultados más relevantes para los investigadores son los los expuestos a continuación. No pretenden realizar comparaciones entre las universidades, puesto que 12 no es el objetivo de este trabajo, ni del enfoque del estudio de casos. Sí presentan en cambio comparaciones por cada universidad, por un lado, entre los distintos colectivos (estudiantes, profesores y tutores profesionales) y, por otro, entre el primer y el segundo año del máster. “El primero de los resultados se refiere a la acogida de todos los colectivos implicados en la puesta en marcha del nuevo máster. Las valoraciones de los responsables de las universidades en ambas instituciones, recogidas en las entrevistas, coinciden en que la desaparición del CAP ha sido un avance indudable. No obstante, también se identifican algunas dificultades en su implantación, entre las que destacan las siguientes: la premura de los tiempos (la orden se publicó con menos de dos años de antelación a la puesta en marcha); la resistencia explícita al cambio de varias universidades; la falta de información por parte de las administraciones autonómicas; o el riesgo de algunas medidas de flexibilización e incentivación para el primer año de puesta en marcha del máster de junio de 2009. Los resultados de los cuestionarios completan esta información sobre la adecuación global del modelo. Como se muestra en la Tabla III, la valoración del CAP es muy negativa en el caso de los tres colectivos encuestados. Cuando se pregunta sobre el modelo actual de máster, la opinión de los encuestados también coincide, pero en este caso en sentido positivo. Por último, cabe indicar que la valoración del modelo concurrente es superior a la del CAP, pero inferior a la del máster (valores entre 4,3 y 5,9).” Valoración 3. TEST Y PRUEBAS CRITERIALES: ANÁLISIS DE UNA PUBLICACIÓN Descripción general Este caso muestra la realización de una prueba criterial, realizada a dos grupos de estudiantes de 1º y 4º de ESO para evaluar su memoria operativa, su comprensión lectora y su razonamiento, así como las interrelaciones entre estas tres variables cognitivas. La recogida de datos se ha llevado a cabo mediante diferentes instrumentos, cada uno para medir una variable de las indicadas. Posteriormente se expone cómo se han elaborado y llevado a cabo las pruebas. Problema y objetivo El problema que plantea el estudio es el la existencia de diversas dificultades y carencias en la educación en nuestro país: “Uno de los asuntos centrales de este debate son los pobres resultados académicos de los alumnos en la Educación Secundaria Obligatoria. Los resultados más recientes han sido poco alentadores para la educación española en diversas materias y, en particular, en la comprensión lectora. Los datos ofrecidos por los informes PISA coinciden con otras evaluaciones realizadas, y con la preocupación mostrada por los profesores y los investigadores sobre el bajo rendimiento escolar en la 13 Enseñanza Obligatoria. En este trabajo trataremos de arrojar alguna luz sobre este asunto a partir del estudio de tres variables cognitivas que, según el enfoque cognitivo, subyacen al rendimiento académico.” Su objetivo es “mostrar la fecundidad del enfoque cognitivo en el análisis, explicación y posible mejora del aprendizaje y rendimiento escolar, mediante el estudio de tres variables cognitivas básicas: memoria operativa, comprensión lectora y razonamiento, y su relación con el rendimiento académico.” Así describen los autores sus hipótesis: 1) Las puntuaciones en las diversas medidas de memoria operativa, comprensión lectora y razonamiento de los alumnos/as de 4º de la ESO serán superiores a las de los alumnos/as de 1º de ESO. 2) Existirán correlaciones significativas entre: a) las puntuaciones en la prueba de memoria, comprensión lectora y razonamiento. b) las puntuaciones en la prueba de memoria operativa, comprensión lectora y razonamiento, con el rendimiento académico en las diversas materias. Tipo de prueba Las pruebas criteriales pertenecen a la categoría de método de recogida de datos tipo test y pruebas. Los test son … En este caso, para medir las variables indicadas, se utilizan respectivamente -la Prueba de Amplitud Lectora de Elosúa, Gutiérrez, García Madruga, Luque y Gárate (1996; versión española del Reading Span Test de Daneman y Carpenter, 1980), -el Test de Estrategias de Comprensión de Vidal-Abarca, Gilabert, Martínez, Sellés, Abad y Ferrer (2007) -una prueba de razonamiento proposicional que incluye dos enunciados condicionales y una disyunción incluyente. Se estudia también la capacidad predictiva de estas tres variables con respecto al rendimiento académico, obtenido a partir de las calificaciones finales de los sujetos en diversas materias. Sujetos de la prueba Las pruebas fueron aplicadas a todos los alumnos de 1º y 4º de ESO del IES “San Juan de la Cruz”, situado en Pozuelo de Alarcón (Madrid). El número de participantes de 1º de ESO fue 53; en 4º de ESO el número de participantes fue 46. La edad media de los alumnos de 1º de ESO fue de 13,19 años (rango: 11,9-15,9); en 4º de ESO la media de edad fue de 16,2 años (rango: 14,9- 17,9). En total participaron 99 alumnos/as. Debido a que no todos los estudiantes realizaron las tres pruebas, cuando es necesario en los resultados se presenta el número de participantes en cada prueba. 14 De los participantes, 47 son inmigrantes de distintas procedencias, 31 en 1º de ESO y 16 en 4º. La prueba de razonamiento fue realizada por 94 sujetos. Posteriormente, una vez analizados los datos de esta prueba fueron eliminados 19 sujetos cuyas respuestas mostraron que no habían alcanzado el nivel mínimo de comprensión de la tarea. De esta manera el número total de participantes en esta prueba fue de 75: 37 de 1º de ESO y 38 de 4º de ESO. Por último, en los resultados de rendimiento académico no se incluyen los alumnos que reciben enseñanza compensatoria o de diversificación curricular; el número de estos sujetos fue un total de 11. Procedimiento: descripción de las pruebas utilizadas a) Prueba de Memoria operativa. Esta prueba se llevó a cabo individualmente, con la ayuda del ordenador; su aplicación tiene una duración aproximada de 15-20 minutos. En primer lugar los sujetos tienen que leer en voz alta las instrucciones de la prueba que van a realizar. En ellas se les explica que en la pantalla del ordenador irán apareciendo series de frases que tienen que leer en voz alta y que aparecerán sucesivamente (una sola frase cada vez). En cuanto se acaba de leer una frase se pasa a la siguiente. El sujeto tiene que tratar de retener en la memoria la última palabra de cada frase, y, al terminar la serie, cuando aparece en la pantalla un signo de interrogación, debe recordar en voz alta, por orden de aparición, la última palabra de cada frase de esa serie. Cuando el orden es incorrecto la puntuación es menor. Las palabras que hay que recordar en cada serie no tienen relación estructural o semántica entre ellas, al igual que las frases. De este modo se evita el uso de estrategias de asociación que faciliten el recuerdo. En las instrucciones se les explica a los sujetos que en la pantalla del ordenador aparecerá indicado el número de frases que tendrá cada serie, y que éstas irán aumentando progresivamente de 2 hasta un máximo de 6 frases por serie. Esto implica que también aumenta el número de palabras que el sujeto tiene que recordar en cada serie y, por tanto, la dificultad. b) Prueba de Comprensión lectora. Los participantes realizaron la prueba de Comprensión Lectora (TEC) de Vidal-Abarca, Gilabert, Martínez, Sellés, Abad y Ferrer (2007). Esta prueba utiliza dos tipos de textos, ambos expositivos y de una longitud similar; uno relacionado con las ciencias naturales, titulado ‘Los Pingüinos’, y otro con las ciencias sociales, titulado ‘Los Sioux’. Los sujetos tenían que leer los dos textos, y a continuación responder a 10 preguntas de tipo test con 4 alternativas de respuesta. Las 10 preguntas son de cuatro tipos diferentes: 1. Preguntas sobre inferencias anafóricas (IA). 2. Preguntas sobre inferencias basadas en conocimientos (IC). 3. Preguntas acerca de las ideas explícitas del texto(C). 4. Preguntas sobre ideas de la macroestructura del texto (E). La distribución de las preguntas en ambos textos es idéntica, como se puede comprobar en la tabla 1. TABLA 1. TIPOS DE PREGUNTAS EN LOS DOS TEXTOS DEL TEC, ESPECIFICANDO EL NÚMERO DE PREGUNTAS DE CADA TIPO POR TEXTO Y EL TOTAL Tipo de preguntas Pingüinos Sioux Total Inferencias anafóricas 3 3 6 Inferencias basadas en el conocimiento 2 2 4 Captación de ideas explícitas 2 2 4 Elaboración de macro-ideas 3 3 6 Antes de iniciar 15 la prueba los participantes debían leer una hoja de instrucciones en la que se les explicaba las características de la tarea. Se resaltó la importancia de: – Leer primero el texto en su totalidad antes de responder las preguntas. – El texto puede ser consultado siempre que lo consideren oportuno. – Es importante leer todas las alternativas antes de responder. c) Prueba de Razonamiento La prueba de razonamiento consistió en tres series de problemas, condicionales ‘si A entonces B’, condicionales ‘no-A a menos que B’, y disyunciones basadas en enunciados del tipo ‘A o B, o ambos’. Cada serie contenía 8 problemas: 2 ítems de cada una de las cuatro inferencias. Se utilizaron contenidos neutros con informaciones sobre personas y lugares. Cada problema consistía en una premisa proposicional (bien condicional o disyuntiva) y en una premisa categórica correspondiente a las cuatro posibilidades lógicas: A (‘modus ponens’: MP), B (afirmación de consecuente: AC), no-A (negación de antecedente: NA) y no-B (‘modus tollens’: MT). Los sujetos tenían que extraer y escribir las conclusiones en cada problema. La prueba de razonamiento nos proporciona, además de los aciertos en cada uno de los enunciados, otras dos medidas importantes: las respuestas de modelos múltiples y los errores superficiales. d) Rendimiento académico Se registraron las calificaciones de las asignaturas siguientes: Idioma Extranjero (Inglés), Lengua Castellana, Ciencias Sociales, Matemáticas, y Ciencias Naturales o Física y Química. Todos los participantes de ambos grupos de edad tuvieron calificaciones en las cuatro primeras asignaturas (Inglés, Lengua Castellana, Ciencias Sociales y Matemáticas) por lo que con ellas se obtuvo una calificación global de rendimiento académico. La optatividad en 4º de ESO explica que solamente algunos alumnos/as cursen Física y Química. No se tuvieron en cuenta registros de los profesores como en otros estudios que relacionan la memoria operativa con el rendimiento académico, sino estrictamente las calificaciones conseguidas por el alumno o alumna en cada área, lo que en nuestra opinión concede mayor validez al estudio. Procedimiento Las pruebas de comprensión lectora y de razonamiento se pasaron colectivamente, cada grupo en su clase y en el horario de tutoría. El orden de realización de las pruebas fue el mismo para todos los sujetos, primero realizaron la prueba de comprensión lectora, después la de razonamiento y por último la de memoria operativa. Se les explicó a los alumnos/as cuál era el objetivo del trabajo y que los resultados no tendrían repercusión en sus calificaciones. La prueba de memoria operativa se pasó individualmente en un lugar habilitado al efecto. 16 Fiabilidad, validez y análisis del estudio Resultados en las diversas medidas a) Memoria operativa Los resultados obtenidos en la prueba de MO pueden verse en la tabla 2, donde aparecen también los resultados de cada nivel escolar. TABLA 2. RESULTADOS DE MO EN LOS DOS NIVELES ESCOLARES Y RESULTADOS GLOBALES Puntuación media Desviación típica Puntuación mínima Puntuación máxima 1º de ESO N=50 2,81 0,58 1,9 4,1 4º de ESO N=44 3,07 0,50 2,1 4,3 Total N=94 2,93 0,55 1,9 4,3 Como se puede observar, y se predecía en las hipótesis, los sujetos de nivel escolar superior alcanzaron una puntuación media más alta que los de nivel escolar inferior. Esta diferencia fue estadísticamente significativa (t = - 2,30; p las diferencias entre los dos grupos de edad en los porcentajes de aciertos fueron mínimas y en ningún caso alcanzaron la significación, por lo que no se confirma nuestra hipótesis sobre la mejora en el razonamiento con el incremento de la edad y el nivel escolar. Tampoco hubo diferencias evolutivas en las respuestas de modelos múltiples y las respuestas superficiales. No hay que olvidar, no obstante, que previamente había sido eliminado un porcentaje relevante de sujetos, especialmente en 1º de ESO. El patrón de respuestas válidas en ambos grupos de edad fue el mismo. Hubo diferencias entre los tipos de problemas: Los problemas de ‘a menos que’ fueron más fáciles que los problemas de condicionales ‘si entonces’ y de disyunciones, en ambos niveles escolares (1º de ESO; Anova: F=62,76; p La concepción teórica de la que parte este artículo sostiene que la capacidad de memoria operativa de los estudiantes limita y restringe sus habilidades de comprensión y razonamiento, lo que implica que ésta afecte necesariamente a los procesos de aprendizaje escolar. La competencia en comprensión lectora y razonamiento es fruto, sin duda, del aprendizaje escolar, pero también limita y restringe la capacidad de aprendizaje de los estudiantes. La comprensión Memoria operativa, comprensión lectora y razonamiento en la educación secundaria lectora constituye una habilidad instrumental básica relacionada con el aprendizaje de los alumnos en las diversas materias académicas, especialmente en aquéllas directamente basadas en el lenguaje como son las Ciencias Sociales, la Historia, las Ciencias Naturales y las propias materias lingüísticas. Además, la influencia de las habilidades de comprensión lectora no se reduce únicamente a las propias materias lingüísticas o a las expresadas en el lenguaje natural, sino que se extiende también a materias más alejadas del lenguaje natural como las Matemáticas. Por su parte, las tareas de razonamiento deductivo tienen enorme interés educativo no sólo en materias particularmente deductivas como las Matemáticas, sino también en el resto de disciplinas cuando se trata de comprender en profundidad e integrar nuevos conocimientos. Conclusiones obtenidas, relevancia del estudio. Los resultados mostraron incrementos con la edad y el nivel escolar en las medidas de memoria operativa y comprensión lectora, pero no así en el razonamiento proposicional. 17 Se encontró, asimismo, un patrón de correlaciones significativas entre las tres medidas experimentales, así como entre ellas y el rendimiento académico de los estudiantes. En la discusión se analiza el papel que estas variables cognitivas tienen en la explicación de los resultados académicos y se apuntan medidas tendentes a su mejora. La primera de nuestras hipótesis sostenía que las puntuaciones en las diversas medidas de memoria operativa, comprensión lectora y razonamiento de los alumnos/as de 4º de la ESO serían superiores a las de los alumnos/as de 1º de ESO. Estas previsiones se cumplieron excepto la mejora con la edad y nivel académico en las tareas de razonamiento en las que, como se ha señalado anteriormente, no hubo diferencias significativas. Analizaremos con mayor detalle los resultados obtenidos, empezando por la memoria operativa. El incremento con la edad en la memoria operativa, como vimos en la introducción es totalmente esperable. Sin embargo, los resultados de nuestro estudio no nos permiten rechazar ninguna de las dos hipótesis disponibles: aumento estructural de base biológica, sostenido por Pascual-Leone, o incremento en la eficacia en la realización de los procesos cognitivos, sostenido por Case. El incremento en estas edades, entre 1º y 4º de ESO, en la eficacia en la realización de diversos procesos cognitivos y, en particular, en la lectura y la comprensión se produce en cualquier caso, por lo que la segunda alternativa resulta especialmente atractiva para la mayoría de los investigadores. Por otra parte, los resultados encontrados en ambos grupos de edad son comparables a los encontrados en estudios anteriores. Por ejemplo, en el estudio de Ibáñez y García Madruga (2005) las medias obtenidas en la misma prueba de Amplitud Lectora por dos grupos de participantes de 2º y 4º de ESO fueron, respectivamente, 2,96 y 3,03; es decir, la puntuación de los alumnos de 2º un poco supeInglés Lengua Cast. Ciencias Sociales Matemáticas. Ciencias Naturales Física y Química Rendim. Global Memoria Operativa 0,36** (84) 0,29** (84) 0,36** (84) 0,21* (84) 0,13 (61) 0,27 (19) 0,36** (84) TEC total 0,45** (88) 0,45** (88) 0,43** (88) 0,30** (88) 0,37** (65) 0,52* (19) 0,48** (88) Aciertos Razonam. 0,25* (68) 0,36** (68) 0,35** (68) 0,35** (68) 0,26* (46) 0,62** (18) 0,38** (68) Errores Superfic. -0,19# (68) -0,25* (68) -0,28** (68) -0,32** (68) 0,31* (46) -0,50* (18) -0,30** (68) J.A. García-Madruga y T. Fernández Corte Anuario de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008, Universitat de Barcelona, Facultat de Psicologia 150 rior a la de nuestro grupo de 1º, y la puntuación del grupo de 4º algo inferior a nuestro grupo del mismo curso. Los resultados encontrados en comprensión lectora confirman también nuestra hipótesis de incremento con la edad. En relación estrecha con el párrafo anterior, este incremento se debe, sin ninguna duda, como hemos mostrado en otros estudios (véase, p. ej., García Madruga y otros, 1997, 1999), a dos causas principales: a) un incremento en la eficacia de los procesos superficiales de la lectura, lo que libera recursos que permiten ser aplicados a la construcción semántica que implica la comprensión; b) la adquisición y mejor uso de estrategias de comprensión. Esta teoría sobre el desarrollo de los procesos de comprensión en la adolescencia se ve confirmada indirectamente por el patrón de desarrollo que muestran los resultados encontrados: un incremento similar en los distintos tipos de preguntas. Las inferencias basadas en el conocimiento exigen una integración completa de la información textual con los conocimientos previos del lector, es decir, un auténtico trabajo de integración 18 semántica. Asimismo, la elaboración de macro-ideas exige la aplicación de estrategias sofisticadas de generalización y construcción (véase, p.ej., van Dijk y Kintsch, 1983). En 1º de ESO, las preguntas anteriores, que exigen un mayor dominio de las habilidades lectoras, no alcanzan una puntuación del 50%. En cuanto a los otros dos tipos de preguntas, las inferencias anafóricas son necesarias para lograr la coherencia local del texto y su adquisición es más temprana que las inferencias de conocimiento; por su parte, la captación de ideas explícitas exige la aplicación de la macrorregla o macro-estrategia más simple, la de selecciónsupresión (véase, p.ej., García Madruga y otros, 1999; van Dijk y Kintsch, 1983); no es de extrañar, por tanto, que estas dos últimas preguntas fueran ya correctamente resueltas por la mayoría de los participantes de 1º de ESO. Al igual que sucedía con la memoria operativa, los resultados encontrados en la prueba de comprensión lectora, en ambos grupos de edad, son comparables a los encontrados en estudios anteriores. Los datos que presentan Vidal Abarca y cols. (2007) como puntuaciones globales del TEC tanto en 1º como en 4º de ESO (57% y 77% de aciertos, respectivamente) son semejantes, aunque ligeramente superiores a los encontrados en nuestro estudio. En cuanto al razonamiento, la ausencia de un incremento evolutivo demanda alguna explicación. Los resultados muestran que las diferencias entre los dos cursos, 1º y 4º de ESO, aunque siempre en la dirección prevista, fueron escasas. Una posible explicación sobre la ausencia de diferencias en razonamiento es que los resultados en esta prueba estarían afectados por la eliminación de aquellos participantes que no habían comprendido adecuadamente la tarea. A este respecto, comparamos los resultados en memoria operativa y en la puntuación global del TEC, de los participantes eliminados en la prueba de razonamiento con los que la realizaron adecuadamente. Los sujetos eliminados obtuvieron puntuaciones significativamente más bajas tanto en memoria operativa como en comprensión lectora (TEC): M. Operativa: Sujetos eliminados: 2,70; Sujetos no eliminados: 2,98 (p Valoración 4.Conclusiones Como hemos dicho en la introducción… Encontramos interesante la observación por… Las técnicas de encuestaa nos parecen útiles y aplicables en nuestros propios trabajos… Las pruebas criteriales, al tratarse de instrumentos de medición en sentido estricto, exigen… y las encontramos más difíciles de llevar a cabo si no 19 5. Bibliografía Parareda Pallarès, Alba ; Simó, Núria ; Domingo Peñafiel, Laura ; Soler i Mata, Joan (2016):“La Complejidad de Vivir la ciudadanía en el Aula: Análisis en Cuatro Centros de Secundaria” Universitat de Vic-Universitat Central de Catalunya. Revista Internacional de Educación para la Justicia Social (RIEJS), 2016, 5(1), 121-138, doi. 10. 15366/riejs2016.5.1 2. Técnicas de encuesta: Manso Ayuso, Jesús; Martín Ortega, Elena (2014): Valoración del Máster de Formación de Profesorado de Educación Secundaria: estudio de casos en dos universidades. Revista de Educación. 364. Abril-junio 2014 pp.145-169. DOI:10.4438/1988-592X-RE-2014-364-258 Juan A. García-Madruga UNED Teresa Fernández Corte IES San Juan de la Cruz Pozuelo de Alarcón, Madrid Anuario de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008, Universitat de Barcelona, Facultat de Psicologia Anuario de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008, Universitat de Barcelona, Facultat de Psicologia 137 . 20
