Medida en Educación: Análisis de Técnicas de Investigación

Máster Universitario
en Innovación
e Investigación en Educación
Medida en Educación
Curso 2018-2019. Convocatoria de Junio
Virginia de Arriba Cuartero
1
ÍNDICE
INTRODUCCIÓN …………………………………3
1. TÉCNICAS DE OBSERVACIÓN:
ANÁLISIS DE UNA PUBLICACIÓN …………...5
2.TÉCNICAS DE ENCUESTA:
ANÁLISIS DE UNA PUBLICACIÓN ……………9
3.TEST Y PRUEBAS CRITERIALES:
ANÁLISIS DE UNA PUBLICACIÓN …………...14
4. CONCLUSIONES ……………………………...19
5. BIBLIOGRAFÍA …………………………….....20
2
Introducción
En el siguiente documento se analizan tres investigaciones en base a los conocimientos
adquiridos en la materia “Medida en educación”. Siguiendo las indicaciones, se han
seleccionado tres artículos en los que se relatan diferentes procesos de investigación, en
concreto, una observación, un procedimiento de encuesta y una prueba criterial.
Para la selección se ha utilizado el buscador de Dialnet, el cual facilita considerablemente
el filtrado de documentos. Han sido de gran utilidad las habilidades incorporadas en la
asignatura “Introducción a la investigación en educación”, así como el Curso de
Competencias Genéricas en Información de UNED.
Éstos son los artículos seleccionados.
1. Observación:
Parareda Pallarès, Alba ; Simó, Núria ; Domingo Peñafiel, Laura ; Soler i Mata, Joan
(2016):“La Complejidad de Vivir la ciudadanía en el Aula: Análisis en Cuatro Centros de
Secundaria” Universitat de Vic-Universitat Central de Catalunya. Revista Internacional
de Educación para la Justicia Social (RIEJS), 2016, 5(1), 121-138, doi. 10.
15366/riejs2016.5.1
2. Técnicas de encuesta:
Manso Ayuso, Jesús; Martín Ortega, Elena (2014): Valoración del Máster de Formación
de Profesorado de Educación Secundaria: estudio de casos en dos universidades. Revista
de Educación. 364. Abril-junio 2014 pp.145-169. DOI:10.4438/1988-592X-RE-2014364-258
3. Pruebas criteriales:
Juan A. García-Madruga UNED Teresa Fernández Corte IES San Juan de la Cruz Pozuelo
de Alarcón, Madrid Anuario de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008,
Universitat de Barcelona, Facultat de Psicologia
El guión proporcionado para realizar el análisis propone una serie de cuestiones generales
relativas a: los sujetos sobre los que se ha llevado a cabo la investigación; las
características de la técnica utilizada, y una valoración del instrumento junto con una
opinión sobre los contenidos aprendidos. Además, plantea preguntas específicas para
cada tipo de técnica, que se detallarán en cada uno de los análisis.
En nuestra búsqueda hemos podido constatar que difícilmente con ningún artículo íbamos
a poder extendernos en todos los aspectos planteados en el guión, debido a que no en
todos aparece toda la información que quisiéramos obtener o, simplemente, no se ha dado
importancia a alguno de dichos aspectos. Aun así, hemos tratado de seleccionar tres que
hemos considerado bastante completos y que, de algún modo, dieran pie a una reflexión
sobre la naturaleza de cada técnica de recogida de datos.
El artículo que relata un proceso de observación narra una experiencia de investigación
sobre el tratamiento de la educación para la ciudadanía en cuatro centros diferentes. Se
3
trata de una observación participante y semiestructurada; esta participación desaparece
en la segunda parte de la experiencia.
Las técnicas de encuesta analizadas pertenecen a un estudio de casos en el que se analiza
la valoración por parte de la comunidad educativa de dos universidades de su recién
implantado Máster de Educación. Combina cuestionarios y entrevistas a informadores
clave. En nuestra elección ha tenido importancia el hecho de que se dieran estas dos
técnicas, puesto que lo hemos considerado más interesante para el análisis.
Por último, se analiza una prueba criterial realizada a dos grupos de alumnos de ESO para
analizar su memoria operativa, su comprensión lectora y su razonamiento, así como las
interrelaciones entre estas tres variables cognitivas.
Nos ha creado más dificultades el encontrar un estudio que se ajustara al marco de “prueba
criterial” pero hemos dado con uno que nos parece especialmente adecuado y nos gustaría
dejar constancia de cómo los autores han elaborado sus tests.
Estructuraremos este escrito del siguiente modo: trataremos de responder brevemente a
las preguntas planteadas, para después hacer hincapié en alguno de los aspectos más
relevantes detectados en el texto.
Realizar este proceso de análisis me ha aportado las bases necesarias para comprender
mejor los contenidos de la asignatura “Medida en Educación”, facilitándome el estudio
de la misma.
1. TÉCNICAS DE OBSERVACIÓN: ANÁLISIS DE UNA PUBLICACIÓN
Descripción general
4
El artículo narra un proceso de observación semiestructurada, con observador como
participante en algunas fases y no participante otras, llevada a cabo con alumnos de cuatro
centros educativos. Su objetivo era analizar cómo se trabaja la educación para la
ciudadanía en diferentes centros.
Los datos se han registrado través de trabajo de campo, el cual ha implicado el análisis de
documentos relevantes, así como entrevistas y grupos de discusión con informantes clave
(docentes, alumnado y familias). Además se han realizado observaciones participantes en
las actividades más relevantes de cada centro.
Podemos ver que ha sido necesario el uso de herramientas informáticas y de dispositivos
de grabación…
Problema y objetivos
El artículo plantea un estudio sobre la educación para la ciudadanía en diferentes centros.
En la LOMCE (Ley Orgánica para la Mejora de la Calidad de la Educación), en diciembre
de 2013, se justifica la desaparición de la asignatura Educación para la Ciudadanía con la
integración de contenidos de educación cívica y de valores de forma transversal en todas
las asignaturas del currículo. El artículo relata la indagación sobre este nuevo concepto
de valores transversales relativos a la Educación para la Ciudadanía, y a las formas de
vivirla en los centros educativos relatando prácticas escolares: “A lo largo de la
investigación, hemos evidenciado que existe una correlación entre la vivencia de la
democracia, a través de espacios educativos democráticos, con el aprendizaje de la
ciudadanía.”
Tipo de estudio
Los autores califican este estudio como” una investigación de corte interpretativo. El
método utilizado es el estudio de caso (Denzin y Lincoln, 2000; Stake, 1998), para cada
una de las cuatro situaciones analizadas. La muestra se ha elegido aplicando el criterio de
casos diferenciados que podemos definir como “cuatro ejemplos en acción” (Merriam,
1998), que en este contexto se traduce en cuatro centros de secundaria que desarrollan un
rango variado de experiencias participativas y democráticas.”
Las técnicas utilizadas se encuentran dentro del ámbito de la observación. definir la
observación científica como una técnica que recoge la información sobre los hechos tal y
como se presentan, en su contexto natural, de acuerdo con un objetivo específico y
siguiendo un plan sistemático de actuación. Esta información es
registrada y consignada por escrito, sirviendo de base para análisis que permitan
establecer inferencias legítimas desde el nivel manifiesto al nivel latente.
En esta definición queda explícita la condición de naturalidad que distingue la
observación de otras técnicas de recogida de información más artificiales, procurando así
un conocimiento de los hechos tal y como ocurren en condiciones normales, sin que haya
ningún tipo de intervención o manipulación externa por parte del observador.
5
En este caso, se ha realizado un (trabajo de campo, participación en actividades, etc…)
Desde el punto de vista epistemológico y metodológico, la investigación que
relatamos es de corte interpretativo, ya que pretende profundizar en el conocimiento
de una realidad concreta con el fin de analizarla. El método utilizado es el estudio
de caso (Denzin y Lincoln, 2000; Stake, 1998), para cada una de las cuatro
situaciones analizadas. La muestra se ha elegido aplicando el criterio de casos
diferenciados que podemos definir como “cuatro ejemplos en acción” (Merriam,
1998).
Sujetos del estudio
Los sujetos elegidos han sido el conjunto de la comunidad educativa de cuatro centros
diferentes de educación secundaria. Para la selección de estos sujetos se ha tenido en
cuenta la singularidad de los centros y la adecuación a los objetivos del estudio: se trata
de instituciones educativas que contienen en su proyecto curricular actividades relevantes
en torno a la Educación para la Ciudadanía.
El Centro A se fundó en 1980 y se encuentra en el área metropolitana de Barcelona,
concretamente en la segunda ciudad más grande de Cataluña. El instituto consta de tres
líneas de los cuatro cursos de Educación Secundaria Obligatoria (de 12 a 16 años),
también de dos líneas de primero de Bachillerato (17 años) y una de segundo (18 años).
El centro acoge 383 estudiantes que son del barrio, en su mayoría, pero también de otros
municipios cercanos. Este centro, aunque no presenta un proyecto pedagógico
explícitamente orientado a la vivencia de la democracia escolar, propone algunas
actividades en las que se experimenta una implicación ciudadana. Destacamos de forma
singular la carrera atlética y una experiencia de aprendizaje-servicio. Este instituto acoge
a la totalidad del alumnado de Educación Secundaria Obligatoria (12-16 años) de una
población pequeña (2.700 habitantes) de la provincia de Barcelona, al noroeste de la
ciudad de Vic y de otros municipios rurales cercanos. Se trata de un instituto creado el
curso 1995-96 que completó progresivamente su oferta educativa en el curso 1998-99 –
ESO y Bachillerato– y finalmente, con el ciclo formativo de formación profesional de
grado medio Sistemas Informáticos y Redes, el curso 2009-10. Su tamaño relativamente
reducido, con un total de 281 chicos y chicas, lo convierte en una institución de ambiente
relativamente familiar y con un clima de convivencia con pocos conflictos, dos cualidades
destacadas y compartidas por los distintos sectores de la comunidad educativa. En este
centro destacamos dos espacios formativos que podemos relacionar con el eje de trabajo
comunitario que conecta las actividades del centro con la comunidad. Teatro El Centro
C nació en 2010 con un proyecto de aprendizaje cooperativo para la Educación
Secundaria Obligatoria (de 12 a 16 años) y con la voluntad de garantizar el éxito educativo
para todos, desde una perspectiva inclusiva. El centro se ubica en una población pequeña
de la provincia de Barcelona, cercana a Vic, ciudad de unos 40.000 habitantes de la
Cataluña central. El instituto acoge a unos 250 estudiantes de esta población y de otras de
tipología rural cercanas a la zona. Las actividades más destacadas en torno a la educación
6
para la ciudadanía son: El Centro D se fundó hace 7 años (curso 2007) y cubre desde 1º
hasta 4º de la Educación Secundaria Obligatoria (12-16 años). Se creó sobre las bases de
un colectivo de profesores preocupados por el sistema organizativo y pedagógico de la
ESO que se había instalado en las aulas de España y, en concreto, de Cataluña. El centro
se encuentra en un municipio del interior en el noreste de Cataluña de menos de 10.000
habitantes y acoge alumnos de esta localidad y de la población vecina, de procedencia
diversa. El Centro D es, seguramente, el que presenta un proyecto pedagógico más
cercano al aprendizaje de la ciudadanía desde una mirada integral, ya que la vivencia de
los valores democráticos, como el respeto, la valoración del esfuerzo del alumnado o la
reflexión, subyacen en el proyecto pedagógico del centro. Las actividades destacadas en
torno a la ciudadanía son: Trabajo
Estos son los diferentes proyectos e iniciativas llevadas a cabo en cada centro en relación
a esta disciplina. Tras revisarlos, podemos ver cómo se evidencian las diferencias entre
centros, lo que muestra que la voluntad de los mismos establece qué actividades se
priorizan y qué proyecto de centro se desarrolla. “Es clave que los equipos directivos
expliciten un compromiso con la educación de la ciudadanía y realicen un proceso de
reflexión compartido con los equipos docentes primero y con la comunidad educativa
después, para que puedan decidir propuestas con un profundo sentido democrático”.
En el Centro a, se llevan a cabo iniciativas puntuales: carrera atlética, aprendizajeservicio,
En el Centro b, dentro de las propuestas curriculares se encuentran actividades de teatro
y la realización de un viaje Erasmus.
Mientras tanto, en el Centro c, el currículum propone una implicación del estudiantado
en la comunidad, a través del trabajo cooperativo, así como aprendizajes servicios y
soporte al profesorado.
Por último, el Centro d cuenta con un proyecto de centro que establece metodologías de
trabajo por proyectos y una actividad de “Buenos días”; así como un consejo de alumnos
y una asamblea-tutoría.
Procedimiento
Podemos englobar este trabajo dentro de la técnica de observación, puesto que …
Y además,la recogida y registro de datos de datos se ha llevado a cabo a través de:
trabajo de campo, que ha implicado, por un lado, el
análisis de documentos relevantes y, por otro,
7
entrevistas y grupos de discusión con informantes clave (docentes, alumnado y familias).
Dichas entrevistas han servido para seleccionar las actividades más relevantes en cada
centro y realizar
observaciones participantes, con el fin de conocer la dinámica y organización de cada una
de ellas y del centro.
Fiabilidad, validez y análisis
Como una garantía de la validez y fiabilidad de la prueba, sólo tenemos la información
sobre el análisis de datos categorial con el programa ATLAS.ti. con el que se han
analizado los resultados: “Con este instrumento se ha analizado la información recogida
mediante los documentos elaborados para cada centro por parte del grupo investigador,
las notas de campo tomadas durante las observaciones de las prácticas seleccionadas que
permiten la vivencia de la democracia y la información recopilada a través de entrevistas
o grupos de discusión a alumnado y docentes, que nos han permitido un conocimiento
más profundo de dichas prácticas.”
En este tipo de experiencias, la fiabilidad puede garantizarse a través de…
Es de suponer que, aunque no se mencionen, se han cuidado estos aspectos en la
investigación.
Asimismo, para asegurar la validez interna…
En cuanto a la validez externa o la posibilidad de generalización de los resultados, es
difícil al tratarse de una observación en un contexto tan concreto, pero siempre se
pueden…
Los recursos tecnológicos empleados han sido, por tanto, el programa Atlas antes
mencionado. Además, es muy posible que para la recogida de datos se hayan utilizado
grabaciones audiovisuales de diferente índole, aunque no consideren relevante
mencionarlo.
Los centros que generan más espacios en los que profesorado y alumnado viven procesos
democráticos, como en los casos C y D, a través de actividades y metodologías de
aprendizaje (los grupos cooperativos, los proyectos, el aprendizaje-servicio, los equipos
de soporte al profesorado o la tutoría-asamblea) son centros en los que los espacios de
debate, de opinión, de decisión por parte del alumnado tienen un gran papel. En ellos se
generan más situaciones en las que las decisiones se valoran desde distintos puntos de
vista.
“En definitiva, son centros en los que las dimensiones de gobernanza, habitanza y
alteridad están presentes en las formas de organizar la actividad educativa con una dosis
elevada de ética, conciencia y reflexividad.”
Valoración
8
Consideramos que esta práctica es relevante por las conclusiones a la que nos lleva.
Los autores llegan a la conclusión de que la vivencia de la ciudadanía en los centros
requiere dotarse de elementos que permitan vivirla de forma transversal, en todos los
espacios del centro, es decir, que la democracia impregne el ethos del centro. Solamente
así los jóvenes podrán aprender lo que ello significa e incorporar esta forma de entender
el mundo en su propio yo. Es necesario pues que los centros se planteen la ciudadanía
desde el proyecto de centro y no desde actividades complementarias, puntuales, de
soporte o de carácter lúdico.
Dado el carácter del estudio, centrado en casos particulares, su aportación es generar
nuevas preguntas y enriquecer el “estado de la cuestión” relativo a la educación para la
ciudadanía y cómo se inserta esta en los proyectos de centro.
A partir de aquí cabría plantearse nuevas preguntas. ¿Es posible realizar actividades
similares en otros centros? ¿En qué tipo de centros funciona mejor? ¿Habría que
modificar el currículum para aumentar la relevancia de la educación para la ciudadanía?
2.TÉCNICAS DE ENCUESTA: ANÁLISIS DE UNA PUBLICACIÓN
Descripción general
Este texto refiere un estudio realizado a través de técnicas de encuesta. Se ha llevado a
cabo con los sujetos de dos universidades, con el fin de una valoración sobre el Máster
de Educación, que se viene realizando recientemente en ambas instituciones. Se han
utilizado los cuestionarios y las entrevistas, aplicadas a informadores clave.
Problema y objetivos
Los resultados permiten identificar las principales fortalezas y dificultades en la
implantación del máster, que resumen y analizan en el apartado final del artículo,
destinado a la discusión. El objetivo es evaluar, concretamente, los siguientes elementos
de la implantación: la gestión del máster, el peso de lo teórico y lo práctico, el sentido del
Practicum y el trabajo fin de máster (TFM), la adquisición de la identidad docente y de
las competencias profesionales. La evaluación se ha realizado durante los dos primeros
años de implantación, lo que ha permitido una perspectiva longitudinal que ilustra las
tendencias de los cambios.
Técnica utilizada
Los investigadores engloban el estudio en “el ámbito de la investigación evaluativa y,
más concretamente, en el enfoque de evaluación de programas. De entre los diversos
modelos utilizados para realizar análisis y valoraciones de programas educativos, en este
trabajo hemos optado por el estudio de casos fundamentado principalmente según las
propuestas de Yin (2003), Coller (2005) y Stake (2007).”
9
Según los autores, “La comprensión de la realidad de cada universidad ha supuesto
utilizar una convergencia de técnicas de recogida de datos: análisis documental,
entrevistas a los informantes clave de las universidades y cuestionarios de satisfacción a
los principales implicados y destinatarios (estudiantes, profesores y tutores
profesionales).”
El análisis documental pertenece a la categoría de la observación, por lo que no nos
ocupará aquí. Sin embargo, los cuestionarios y entrevistas se engloban dentro de las
técnicas de encuesta. Las técnicas de encuesta consisten en presentar una serie de
preguntas a los sujetos, esperando que éstas reflejen de manera sincera la realidad
investigada. Podemos definir un cuestionario como un repertorio de preguntas escritas
que requieren respuestas. Dichas respuestas deben ayudar a alcanzar objetivos de la
investigación, y cuya información podrá ser clasificada y analizada posteriormente. El
tipo de información proporcionada por un cuestionario es muy variada, de acuerdo con
los objetivos de estudio, pudiendo estar referida a hechos, opiniones, actitudes,
motivaciones, sentimientos y conocimientos sobre un determinado tema.
La principal diferencia entre el cuestionario y la entrevista, son la estructura, longitud e
intención de las preguntas. En la entrevista hay una diferenciación de roles entre los
participantes: una persona pregunta -el entrevistador- y otra responde -el entrevistadocon lo que el modelo de comunicación es bidireccional y la relación establecida es
asimétrica. Asimismo, el cuestionario suele realizarse por escrito, por teléfono o por
medios telemáticos, hay un mayor número de preguntas y
Sujetos del estudio
Las instituciones consideradas como casos de estudio han sido la UAM y la UPC. La
investigación se desarrolló durante los dos primeros cursos de puesta en marcha del
máster (2009-10 y 2010-11), lo que ha permitido a los autores una visión longitudinal del
programa que se deseaba evaluar.
Estas dos universidades madrileñas muestran formas distintas de diseño, organización y
desarrollo del máster. En concreto, la selección de estas universidades se hizo
respondiendo a “un muestreo intencional conforme a criterios de Manso Ayuso, J. y
Martín Ortega, E., teniendo en cuenta titularidad, tamaño y, especialmente, diversidad de
tradición en modelos de formación inicial del profesorado de Educación Secundaria.
Esta selección es propia del estudio de casos: ambas instituciones ofrecen la necesaria
diversidad que enriquece la comprensión del objeto de la investigación. De acuerdo con
esta metodología, el objetivo no es realizar comparaciones entre ellas, sino reconocer
elementos comunes y diferenciales de reflexión que nos permitan entender en
profundidad los aspectos del máster objeto de análisis.
La UAM es una universidad de tamaño medio, de titularidad pública y con una tradición
innovadora en la formación del profesorado de Educación Secundaria al sustituir el CAP,
desde 1989, por propuestas piloto de la LOGSE y la LOCE, más cercanas al actual máster.
10
Por su parte, la UPC es una universidad de tamaño pequeño y titularidad privada con
tradición de impartir el CAP desde 1982. Para completar la caracterización de ambas
universidades, en la Tabla I se presentan datos generales de la oferta del máster, relevantes
para el análisis y la interpretación posterior de los resultados.
Procedimiento
Para la recogida de datos, el procedimiento ha sido el siguiente: se realizaron en primer
lugar las entrevistas a los responsables del diseño antes de comenzar el máster, o a su
inicio. Posteriormente se aplicaron los cuestionarios de satisfacción en los meses de mayo
y junio de 2010 en función de la disponibilidad de las universidades y de la presencia de
los estudiantes. Su aplicación se realizó en el aula en el caso de los estudiantes y por
correo postal o electrónico en el caso de los profesores y de los tutores profesionales.
A la luz de los resultados de los cuestionarios se decidió realizar nuevas entrevistas a los
mismos informantes clave para comprender los resultados del curso anterior y conocer
los cambios que se introdujeron para el segundo año. Asimismo, en abril y mayo del curso
2010-11 se volvieron a aplicar los cuestionarios, en esta ocasión solo a los estudiantes de
la segunda promoción del máster.
El diseño de los guiones de las entrevistas y de los ítems de los cuestionarios se ha
realizado a partir de las mismas dimensiones de análisis para posibilitar la triangulación
posterior. Estas dimensiones se refieren a los temas clave que se han abordado en la
introducción de este trabajo.
En relación con las entrevistas, se han seleccionado en ambas universidades a informantes
clave responsables de la gestión, tanto en los niveles más generales (rectorado,
decanato…) como en los más específicos (coordinadores de módulos o especialidades).
Así, se han realizado 17 entrevistas en la UAM y cuatro en la UPC. Estas se hicieron tanto
en el primer año de implantación (2009-10), para comprender los procesos de toma de
decisiones previas a la puesta en marcha del máster, como en el segundo curso (2010-11),
para conocer sus valoraciones del primer año y los cambios que se decidieron introducir
para el curso siguiente.
Sin embargo, los autores aseguran que la principal fuente de información proviene de los
cuestionarios. Han participado un total de 543 encuestados. La selección de estos sujetos
se ha realizado siguiendo un muestro no probabilístico por cuotas y accesibilidad.
Los criterios de selección de las preguntas y el orden se estructuran en torno a: el modelo
estructural (consecutivo/concurrente), la calidad de la gestión de la universidad, la
valoración general del máster, la calidad de la formación teórica, el sentido del Practicum
y del trabajo fin de máster (TFM), y los resultados esperados –adquisición de identidad
profesional y perfil competencial–.
Para elaborar el cuestionario se generó un primer borrador de dimensiones e indicadores
que fue validado por expertos mediante metodología Delphi. Para la medición de estas
dimensiones se optó por redactar cada uno de los ítems a modo de afirmación para que se
contestara el grado de acuerdo o desacuerdo con cada una de ellas (escala tipo Likert) en
11
una escala de 1 al 10 –en la que 1 equivale a estar totalmente en desacuerdo y 10 a estar
totalmente de acuerdo–. El número de ítems ha variado según el colectivo: 57 en el
cuestionario de estudiantes, 50 en el de profesores, 41 en el caso de los tutores
profesionales.
Fiabilidad, validez y análisis de los resultados
Una vez construida la primera de las versiones del cuestionario se validó con tres
estrategias: validación de caso único, de expertos (en metodología y en el objeto de
estudio) y prueba piloto en la Universidad de Alcalá de Henares. En las versiones finales
de todos los colectivos el índice de fiabilidad –a de Cronbach– asegura su adecuación:
a(estudiantes) = 0,938;
a(profesores) = 0,928;
a(tutores) = 0,915.”
Para el análisis de los resultados de los cuestionarios de satisfacción de estudiantes,
profesores y tutores profesionales del primer año del máster y de los estudiantes del
segundo curso, se ha realizado un análisis descriptivo de los colectivos para cada uno de
los ítems que configuraban el cuestionario.
Tras ello se han llevado a cabo análisis de varianzas para comparar los colectivos dentro
de las mismas universidades: estudiantes, profesores y tutores del curso 2009-10 (en
aquellos ítems comunes a los tres grupos), y estudiantes de la primera y la segunda
promoción.
Una vez realizados los correspondientes análisis de la prueba de normalidad de la muestra
(mediante la técnica de Kolmogorov-Smirnov) y homocedasticidad (prueba de Levene)
se han realizado los análisis estadísticos inferenciales pertinentes. En concreto, en la
UAM se ha aplicado la prueba ANOVA (en los ítems compartidos por estudiantes,
profesores y tutores profesionales) y la T-Student de análisis de varianza (en el caso de
los ítems equiparables solo para dos colectivos: estudiantes-profesores; profesorestutores; estudiantes-tutores; estudiantes de primer-segundo año), mientras que en la UPC
se han utilizado los estadísticos no paramétricos equivalentes: pruebas de Kruskal-Wallis
y de Mann-Whitney, respectivamente.”
Además, para garantizar la coherencia y la fiabilidad del estudio de casos, ha resultado
fundamental la triangulación entre los informantes y las técnicas de recogida de
información (Coller, 2005). Por ello, dentro de cada una de las universidades se han
realizado análisis de los principales documentos, entrevistas y cuestionarios de
satisfacción.
Resultados
Los resultados más relevantes para los investigadores son los los expuestos a
continuación. No pretenden realizar comparaciones entre las universidades, puesto que
12
no es el objetivo de este trabajo, ni del enfoque del estudio de casos. Sí presentan en
cambio comparaciones por cada universidad, por un lado, entre los distintos colectivos
(estudiantes, profesores y tutores profesionales) y, por otro, entre el primer y el segundo
año del máster.
“El primero de los resultados se refiere a la acogida de todos los colectivos implicados en
la puesta en marcha del nuevo máster. Las valoraciones de los responsables de las
universidades en ambas instituciones, recogidas en las entrevistas, coinciden en que la
desaparición del CAP ha sido un avance indudable.
No obstante, también se identifican algunas dificultades en su implantación, entre las que
destacan las siguientes: la premura de los tiempos (la orden se publicó con menos de dos
años de antelación a la puesta en marcha); la resistencia explícita al cambio de varias
universidades; la falta de información por parte de las administraciones autonómicas; o
el riesgo de algunas medidas de flexibilización e incentivación para el primer año de
puesta en marcha del máster de junio de 2009.
Los resultados de los cuestionarios completan esta información sobre la adecuación
global del modelo. Como se muestra en la Tabla III, la valoración del CAP es muy
negativa en el caso de los tres colectivos encuestados. Cuando se pregunta sobre el
modelo actual de máster, la opinión de los encuestados también coincide, pero en este
caso en sentido positivo. Por último, cabe indicar que la valoración del modelo
concurrente es superior a la del CAP, pero inferior a la del máster (valores entre 4,3 y
5,9).”
Valoración
3. TEST Y PRUEBAS CRITERIALES: ANÁLISIS DE UNA PUBLICACIÓN
Descripción general
Este caso muestra la realización de una prueba criterial, realizada a dos grupos de
estudiantes de 1º y 4º de ESO para evaluar su memoria operativa, su comprensión lectora
y su razonamiento, así como las interrelaciones entre estas tres variables cognitivas. La
recogida de datos se ha llevado a cabo mediante diferentes instrumentos, cada uno para
medir una variable de las indicadas. Posteriormente se expone cómo se han elaborado y
llevado a cabo las pruebas.
Problema y objetivo
El problema que plantea el estudio es el la existencia de diversas dificultades y carencias
en la educación en nuestro país: “Uno de los asuntos centrales de este debate son los
pobres resultados académicos de los alumnos en la Educación Secundaria Obligatoria.
Los resultados más recientes han sido poco alentadores para la educación española en
diversas materias y, en particular, en la comprensión lectora. Los datos ofrecidos por los
informes PISA coinciden con otras evaluaciones realizadas, y con la preocupación
mostrada por los profesores y los investigadores sobre el bajo rendimiento escolar en la
13
Enseñanza Obligatoria. En este trabajo trataremos de arrojar alguna luz sobre este asunto
a partir del estudio de tres variables cognitivas que, según el enfoque cognitivo, subyacen
al rendimiento académico.”
Su objetivo es “mostrar la fecundidad del enfoque cognitivo en el análisis, explicación y
posible mejora del aprendizaje y rendimiento escolar, mediante el estudio de tres variables
cognitivas básicas: memoria operativa, comprensión lectora y razonamiento, y su relación
con el rendimiento académico.”
Así describen los autores sus hipótesis:
1) Las puntuaciones en las diversas medidas de memoria operativa, comprensión lectora
y razonamiento de los alumnos/as de 4º de la ESO serán superiores a las de los alumnos/as
de 1º de ESO.
2) Existirán correlaciones significativas entre:
a) las puntuaciones en la prueba de memoria, comprensión lectora y razonamiento.
b) las puntuaciones en la prueba de memoria operativa, comprensión lectora y
razonamiento, con el rendimiento académico en las diversas materias.
Tipo de prueba
Las pruebas criteriales pertenecen a la categoría de método de recogida de datos tipo test
y pruebas. Los test son …
En este caso, para medir las variables indicadas, se utilizan respectivamente
-la Prueba de Amplitud Lectora de Elosúa, Gutiérrez, García Madruga, Luque y Gárate
(1996; versión española del Reading Span Test de Daneman y Carpenter, 1980),
-el Test de Estrategias de Comprensión de Vidal-Abarca, Gilabert, Martínez, Sellés, Abad
y Ferrer (2007)
-una prueba de razonamiento proposicional que incluye dos enunciados condicionales y
una disyunción incluyente.
Se estudia también la capacidad predictiva de estas tres variables con respecto al
rendimiento académico, obtenido a partir de las calificaciones finales de los sujetos en
diversas materias.
Sujetos de la prueba
Las pruebas fueron aplicadas a todos los alumnos de 1º y 4º de ESO del IES “San Juan
de la Cruz”, situado en Pozuelo de Alarcón (Madrid). El número de participantes de 1º de
ESO fue 53; en 4º de ESO el número de participantes fue 46. La edad media de los
alumnos de 1º de ESO fue de 13,19 años (rango: 11,9-15,9); en 4º de ESO la media de
edad fue de 16,2 años (rango: 14,9- 17,9). En total participaron 99 alumnos/as. Debido a
que no todos los estudiantes realizaron las tres pruebas, cuando es necesario en los
resultados se presenta el número de participantes en cada prueba.
14
De los participantes, 47 son inmigrantes de distintas procedencias, 31 en 1º de ESO y 16
en 4º.
La prueba de razonamiento fue realizada por 94 sujetos. Posteriormente, una vez
analizados los datos de esta prueba fueron eliminados 19 sujetos cuyas respuestas
mostraron que no habían alcanzado el nivel mínimo de comprensión de la tarea. De esta
manera el número total de participantes en esta prueba fue de 75: 37 de 1º de ESO y 38
de 4º de ESO. Por último, en los resultados de rendimiento académico no se incluyen los
alumnos que reciben enseñanza compensatoria o de diversificación curricular; el número
de estos sujetos fue un total de 11.
Procedimiento: descripción de las pruebas utilizadas
a) Prueba de Memoria operativa.
Esta prueba se llevó a cabo individualmente, con la ayuda del ordenador; su aplicación
tiene una duración aproximada de 15-20 minutos. En primer lugar los sujetos tienen que
leer en voz alta las instrucciones de la prueba que van a realizar. En ellas se les explica
que en la pantalla del ordenador irán apareciendo series de frases que tienen que leer en
voz alta y que aparecerán sucesivamente (una sola frase cada vez). En cuanto se acaba de
leer una frase se pasa a la siguiente. El sujeto tiene que tratar de retener en la memoria la
última palabra de cada frase, y, al terminar la serie, cuando aparece en la pantalla un signo
de interrogación, debe recordar en voz alta, por orden de aparición, la última palabra de
cada frase de esa serie. Cuando el orden es incorrecto la puntuación es menor. Las
palabras que hay que recordar en cada serie no tienen relación estructural o semántica
entre ellas, al igual que las frases. De este modo se evita el uso de estrategias de asociación
que faciliten el recuerdo. En las instrucciones se les explica a los sujetos que en la pantalla
del ordenador aparecerá indicado el número de frases que tendrá cada serie, y que éstas
irán aumentando progresivamente de 2 hasta un máximo de 6 frases por serie. Esto
implica que también aumenta el número de palabras que el sujeto tiene que recordar en
cada serie y, por tanto, la dificultad.
b) Prueba de Comprensión lectora.
Los participantes realizaron la prueba de Comprensión Lectora (TEC) de Vidal-Abarca,
Gilabert, Martínez, Sellés, Abad y Ferrer (2007). Esta prueba utiliza dos tipos de textos,
ambos expositivos y de una longitud similar; uno relacionado con las ciencias naturales,
titulado ‘Los Pingüinos’, y otro con las ciencias sociales, titulado ‘Los Sioux’. Los sujetos
tenían que leer los dos textos, y a continuación responder a 10 preguntas de tipo test con
4 alternativas de respuesta. Las 10 preguntas son de cuatro tipos diferentes: 1. Preguntas
sobre inferencias anafóricas (IA). 2. Preguntas sobre inferencias basadas en
conocimientos (IC). 3. Preguntas acerca de las ideas explícitas del texto(C). 4. Preguntas
sobre ideas de la macroestructura del texto (E). La distribución de las preguntas en ambos
textos es idéntica, como se puede comprobar en la tabla 1. TABLA 1. TIPOS DE
PREGUNTAS EN LOS DOS TEXTOS DEL TEC, ESPECIFICANDO EL NÚMERO
DE PREGUNTAS DE CADA TIPO POR TEXTO Y EL TOTAL Tipo de preguntas
Pingüinos Sioux Total Inferencias anafóricas 3 3 6 Inferencias basadas en el conocimiento
2 2 4 Captación de ideas explícitas 2 2 4 Elaboración de macro-ideas 3 3 6 Antes de iniciar
15
la prueba los participantes debían leer una hoja de instrucciones en la que se les explicaba
las características de la tarea. Se resaltó la importancia de: – Leer primero el texto en su
totalidad antes de responder las preguntas. – El texto puede ser consultado siempre que
lo consideren oportuno. – Es importante leer todas las alternativas antes de responder.
c) Prueba de Razonamiento
La prueba de razonamiento consistió en tres series de problemas, condicionales ‘si A
entonces B’, condicionales ‘no-A a menos que B’, y disyunciones basadas en enunciados
del tipo ‘A o B, o ambos’.
Cada serie contenía 8 problemas: 2 ítems de cada una de las cuatro inferencias. Se
utilizaron contenidos neutros con informaciones sobre personas y lugares. Cada problema
consistía en una premisa proposicional (bien condicional o disyuntiva) y en una premisa
categórica correspondiente a las cuatro posibilidades lógicas: A (‘modus ponens’: MP),
B (afirmación de consecuente: AC), no-A (negación de antecedente: NA) y no-B (‘modus
tollens’: MT). Los sujetos tenían que extraer y escribir las conclusiones en cada problema.
La prueba de razonamiento nos proporciona, además de los aciertos en cada uno de los
enunciados, otras dos medidas importantes: las respuestas de modelos múltiples y los
errores superficiales.
d) Rendimiento académico
Se registraron las calificaciones de las asignaturas siguientes: Idioma Extranjero (Inglés),
Lengua Castellana, Ciencias Sociales, Matemáticas, y Ciencias Naturales o Física y
Química.
Todos los participantes de ambos grupos de edad tuvieron calificaciones en las cuatro
primeras asignaturas (Inglés, Lengua Castellana, Ciencias Sociales y Matemáticas) por lo
que con ellas se obtuvo una calificación global de rendimiento académico.
La optatividad en 4º de ESO explica que solamente algunos alumnos/as cursen Física y
Química. No se tuvieron en cuenta registros de los profesores como en otros estudios que
relacionan la memoria operativa con el rendimiento académico, sino estrictamente las
calificaciones conseguidas por el alumno o alumna en cada área, lo que en nuestra opinión
concede mayor validez al estudio.
Procedimiento
Las pruebas de comprensión lectora y de razonamiento se pasaron colectivamente, cada
grupo en su clase y en el horario de tutoría. El orden de realización de las pruebas fue el
mismo para todos los sujetos, primero realizaron la prueba de comprensión lectora,
después la de razonamiento y por último la de memoria operativa. Se les explicó a los
alumnos/as cuál era el objetivo del trabajo y que los resultados no tendrían repercusión
en sus calificaciones. La prueba de memoria operativa se pasó individualmente en un
lugar habilitado al efecto.
16
Fiabilidad, validez y análisis del estudio
Resultados en las diversas medidas
a) Memoria operativa Los resultados obtenidos en la prueba de MO pueden verse en la
tabla 2, donde aparecen también los resultados de cada nivel escolar. TABLA 2.
RESULTADOS DE MO EN LOS DOS NIVELES ESCOLARES Y RESULTADOS
GLOBALES Puntuación media Desviación típica Puntuación mínima Puntuación
máxima 1º de ESO N=50 2,81 0,58 1,9 4,1 4º de ESO N=44 3,07 0,50 2,1 4,3 Total N=94
2,93 0,55 1,9 4,3 Como se puede observar, y se predecía en las hipótesis, los sujetos de
nivel escolar superior alcanzaron una puntuación media más alta que los de nivel escolar
inferior. Esta diferencia fue estadísticamente significativa (t = - 2,30; p
las diferencias entre los dos grupos de edad en los porcentajes de aciertos fueron mínimas
y en ningún caso alcanzaron la significación, por lo que no se confirma nuestra hipótesis
sobre la mejora en el razonamiento con el incremento de la edad y el nivel escolar.
Tampoco hubo diferencias evolutivas en las respuestas de modelos múltiples y las
respuestas superficiales. No hay que olvidar, no obstante, que previamente había sido
eliminado un porcentaje relevante de sujetos, especialmente en 1º de ESO. El patrón de
respuestas válidas en ambos grupos de edad fue el mismo. Hubo diferencias entre los
tipos de problemas: Los problemas de ‘a menos que’ fueron más fáciles que los problemas
de condicionales ‘si entonces’ y de disyunciones, en ambos niveles escolares (1º de ESO;
Anova: F=62,76; p
La concepción teórica de la que parte este artículo sostiene que la capacidad de memoria
operativa de los estudiantes limita y restringe sus habilidades de comprensión y
razonamiento, lo que implica que ésta afecte necesariamente a los procesos de aprendizaje
escolar. La competencia en comprensión lectora y razonamiento es fruto, sin duda, del
aprendizaje escolar, pero también limita y restringe la capacidad de aprendizaje de los
estudiantes. La comprensión Memoria operativa, comprensión lectora y razonamiento en
la educación secundaria lectora constituye una habilidad instrumental básica relacionada
con el aprendizaje de los alumnos en las diversas materias académicas, especialmente en
aquéllas directamente basadas en el lenguaje como son las Ciencias Sociales, la Historia,
las Ciencias Naturales y las propias materias lingüísticas. Además, la influencia de las
habilidades de comprensión lectora no se reduce únicamente a las propias materias
lingüísticas o a las expresadas en el lenguaje natural, sino que se extiende también a
materias más alejadas del lenguaje natural como las Matemáticas. Por su parte, las tareas
de razonamiento deductivo tienen enorme interés educativo no sólo en materias
particularmente deductivas como las Matemáticas, sino también en el resto de disciplinas
cuando se trata de comprender en profundidad e integrar nuevos conocimientos.
Conclusiones obtenidas, relevancia del estudio.
Los resultados mostraron incrementos con la edad y el nivel escolar en las medidas de
memoria operativa y comprensión lectora, pero no así en el razonamiento proposicional.
17
Se encontró, asimismo, un patrón de correlaciones significativas entre las tres medidas
experimentales, así como entre ellas y el rendimiento académico de los estudiantes. En la
discusión se analiza el papel que estas variables cognitivas tienen en la explicación de los
resultados académicos y se apuntan medidas tendentes a su mejora.
La primera de nuestras hipótesis sostenía que las puntuaciones en las diversas medidas de
memoria operativa, comprensión lectora y razonamiento de los alumnos/as de 4º de la
ESO serían superiores a las de los alumnos/as de 1º de ESO. Estas previsiones se
cumplieron excepto la mejora con la edad y nivel académico en las tareas de razonamiento
en las que, como se ha señalado anteriormente, no hubo diferencias significativas.
Analizaremos con mayor detalle los resultados obtenidos, empezando por la memoria
operativa. El incremento con la edad en la memoria operativa, como vimos en la
introducción es totalmente esperable. Sin embargo, los resultados de nuestro estudio no
nos permiten rechazar ninguna de las dos hipótesis disponibles: aumento estructural de
base biológica, sostenido por Pascual-Leone, o incremento en la eficacia en la realización
de los procesos cognitivos, sostenido por Case. El incremento en estas edades, entre 1º y
4º de ESO, en la eficacia en la realización de diversos procesos cognitivos y, en particular,
en la lectura y la comprensión se produce en cualquier caso, por lo que la segunda
alternativa resulta especialmente atractiva para la mayoría de los investigadores. Por otra
parte, los resultados encontrados en ambos grupos de edad son comparables a los
encontrados en estudios anteriores. Por ejemplo, en el estudio de Ibáñez y García
Madruga (2005) las medias obtenidas en la misma prueba de Amplitud Lectora por dos
grupos de participantes de 2º y 4º de ESO fueron, respectivamente, 2,96 y 3,03; es decir,
la puntuación de los alumnos de 2º un poco supeInglés Lengua Cast. Ciencias Sociales
Matemáticas. Ciencias Naturales Física y Química Rendim. Global Memoria Operativa
0,36** (84) 0,29** (84) 0,36** (84) 0,21* (84) 0,13 (61) 0,27 (19) 0,36** (84) TEC total
0,45** (88) 0,45** (88) 0,43** (88) 0,30** (88) 0,37** (65) 0,52* (19) 0,48** (88)
Aciertos Razonam. 0,25* (68) 0,36** (68) 0,35** (68) 0,35** (68) 0,26* (46) 0,62**
(18) 0,38** (68) Errores Superfic. -0,19# (68) -0,25* (68) -0,28** (68) -0,32** (68) 0,31* (46) -0,50* (18) -0,30** (68) J.A. García-Madruga y T. Fernández Corte Anuario
de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008, Universitat de Barcelona,
Facultat de Psicologia 150 rior a la de nuestro grupo de 1º, y la puntuación del grupo de
4º algo inferior a nuestro grupo del mismo curso. Los resultados encontrados en
comprensión lectora confirman también nuestra hipótesis de incremento con la edad. En
relación estrecha con el párrafo anterior, este incremento se debe, sin ninguna duda, como
hemos mostrado en otros estudios (véase, p. ej., García Madruga y otros, 1997, 1999), a
dos causas principales: a) un incremento en la eficacia de los procesos superficiales de la
lectura, lo que libera recursos que permiten ser aplicados a la construcción semántica que
implica la comprensión; b) la adquisición y mejor uso de estrategias de comprensión. Esta
teoría sobre el desarrollo de los procesos de comprensión en la adolescencia se ve
confirmada indirectamente por el patrón de desarrollo que muestran los resultados
encontrados: un incremento similar en los distintos tipos de preguntas. Las inferencias
basadas en el conocimiento exigen una integración completa de la información textual
con los conocimientos previos del lector, es decir, un auténtico trabajo de integración
18
semántica. Asimismo, la elaboración de macro-ideas exige la aplicación de estrategias
sofisticadas de generalización y construcción (véase, p.ej., van Dijk y Kintsch, 1983). En
1º de ESO, las preguntas anteriores, que exigen un mayor dominio de las habilidades
lectoras, no alcanzan una puntuación del 50%. En cuanto a los otros dos tipos de
preguntas, las inferencias anafóricas son necesarias para lograr la coherencia local del
texto y su adquisición es más temprana que las inferencias de conocimiento; por su parte,
la captación de ideas explícitas exige la aplicación de la macrorregla o macro-estrategia
más simple, la de selecciónsupresión (véase, p.ej., García Madruga y otros, 1999; van
Dijk y Kintsch, 1983); no es de extrañar, por tanto, que estas dos últimas preguntas fueran
ya correctamente resueltas por la mayoría de los participantes de 1º de ESO. Al igual que
sucedía con la memoria operativa, los resultados encontrados en la prueba de
comprensión lectora, en ambos grupos de edad, son comparables a los encontrados en
estudios anteriores. Los datos que presentan Vidal Abarca y cols. (2007) como
puntuaciones globales del TEC tanto en 1º como en 4º de ESO (57% y 77% de aciertos,
respectivamente) son semejantes, aunque ligeramente superiores a los encontrados en
nuestro estudio. En cuanto al razonamiento, la ausencia de un incremento evolutivo
demanda alguna explicación. Los resultados muestran que las diferencias entre los dos
cursos, 1º y 4º de ESO, aunque siempre en la dirección prevista, fueron escasas. Una
posible explicación sobre la ausencia de diferencias en razonamiento es que los resultados
en esta prueba estarían afectados por la eliminación de aquellos participantes que no
habían comprendido adecuadamente la tarea. A este respecto, comparamos los resultados
en memoria operativa y en la puntuación global del TEC, de los participantes eliminados
en la prueba de razonamiento con los que la realizaron adecuadamente. Los sujetos
eliminados obtuvieron puntuaciones significativamente más bajas tanto en memoria
operativa como en comprensión lectora (TEC): M. Operativa: Sujetos eliminados: 2,70;
Sujetos no eliminados: 2,98 (p
Valoración
4.Conclusiones
Como hemos dicho en la introducción…
Encontramos interesante la observación por…
Las técnicas de encuestaa nos parecen útiles y aplicables en nuestros
propios trabajos…
Las pruebas criteriales, al tratarse de instrumentos de medición en
sentido estricto, exigen… y las encontramos más difíciles de llevar a cabo
si no
19
5. Bibliografía
Parareda
Pallarès,
Alba ; Simó,
Núria ; Domingo
Peñafiel,
Laura ; Soler i Mata, Joan (2016):“La Complejidad de Vivir la
ciudadanía en el Aula: Análisis en Cuatro Centros de Secundaria”
Universitat de Vic-Universitat Central de Catalunya. Revista
Internacional de Educación para la Justicia Social (RIEJS), 2016, 5(1),
121-138, doi. 10. 15366/riejs2016.5.1
2. Técnicas de encuesta:
Manso Ayuso, Jesús; Martín Ortega, Elena (2014): Valoración del
Máster de Formación de Profesorado de Educación Secundaria: estudio
de casos en dos universidades. Revista de Educación. 364. Abril-junio
2014 pp.145-169. DOI:10.4438/1988-592X-RE-2014-364-258
Juan A. García-Madruga UNED Teresa Fernández Corte IES San Juan de la Cruz Pozuelo
de Alarcón, Madrid Anuario de Psicología, vol. 39, nº 1, abril 2008, pp. 133-157 © 2008,
Universitat de Barcelona, Facultat de Psicologia Anuario de Psicología, vol. 39, nº 1, abril
2008, pp. 133-157 © 2008, Universitat de Barcelona, Facultat de Psicologia 137
.
20