Meta-análisis de indicadores utilizado en el proceso de renovación de... universitarios oficiales

Meta-análisis de indicadores utilizado en el proceso de renovación de la acreditación de títulos
universitarios oficiales
Meta-analysis of indicators used for accreditation of university degrees
María Consuelo Sáiz-Manzanares
Manuel Pérez-Mateos
Vicerrectorado de Ordenación Académica y Calidad
Universidad de Burgos
Resumen
El Espacio Europeo de Educación Superior ha supuesto una importante reforma de la enseñanza
universitaria y un reto para el profesorado. Los cambios en la metodología docente y los
procedimientos de evaluación utilizados en el proceso de enseñanza-aprendizaje han dirigido esta
reforma en España. Por ello, hemos evaluado en la Universidad de Burgos la satisfacción del
profesorado y del alumnado con los distintos programas y hemos realizado un estudio meta-analítico
buscando áreas de mejora que permitan optimizar el funcionamiento de las titulaciones y la
inserción laboral de los egresados. En esta línea, hemos trabajado con una muestra de 10.615
estudiantes, 2.410 profesores y 1.691 egresados durante los cursos académicos 2010-11, 2011-12,
2012-13 y 2013-14 evaluando el grado de satisfacción del profesorado, los estudiantes de nuevo
ingreso y los estudiantes de cursos anteriores en cinco programas: actividad docente, programa
formativo, programa de movilidad, programa de prácticas y programa de acción tutorial. Asimismo,
hemos analizado comparativamente la tasa de inserción laboral tras un año de egreso. Los
resultados indican que la variable tipo de titulación (Grado, Máster, Curso de Adaptación al Grado y
Planes Antiguos) explica el 21% de la varianza, siendo la satisfacción de los estudiantes de Máster
mayor que la de los de Grado. Además, la variable tipo de programa supone diferencias significativas
(43% de varianza), con mayor satisfacción en los de movilidad y menor en los de acción tutorial no
académica. Asimismo el grado de satisfacción varía dependiendo del grupo de interés (con un 45%
de varianza). El colectivo que experimenta una menor satisfacción es el de estudiantes de nuevo
ingreso. Si bien la satisfacción final del profesorado y de los egresados con el desarrollo de los
programas formativos es media/alta (3,60 y 3,10 sobre 5 respectivamente), la tasa de inserción
laboral se sitúa en un 36,97% sobre la Tasa de Respuesta = 68,41. Por ello, hemos propuesto
acciones de mejora dirigidas a facilitar la adaptación del estudiante de nuevo ingreso al entorno
universitario y a incrementar la oferta formativa del profesorado en metodologías activas,
procedimientos de evaluación continua y orientación del proceso de enseñanza-aprendizaje más allá
de la tutoría académica.
Abstract
The European Higher Education Area has become a challenge for teachers in the University sysstem
reform. Methodological teaching and assessment procedures changes in the teaching-learning
process has led the development of the new degrees. Therefore, we have evaluated in the University
of Burgos the teacher and students satisfaction with the development of different programs.
Additionally, we have made a meta-analytic study about satisfaction degrees to improve the
University programmes and to increase the employability of graduates. Thus, we have analysed a
sample of 10.615 students, 2.410 teachers and 1.691 graduates during the academic years 2010-11,
2011-12, 2012-13 and 2013-14 to study the satisfaction degree of professors and lectures and
freshman and veteran students in five programmes: teaching activity, educational programme, outcoming programme, practice programme and tutorial programme). In relation with this, we have
comparatively analysed the employment rate after one year of graduation. Results indicated that the
type of degree (Degree, Master, Course of Adaptation and Olds Plans) explains 21% of variance. The
satisfaction of Master students in the European Higher Education Area was higher than that of
undergraduate students. We also found that the type of program explained the 43% of variance:
there was greater satisfaction for the out-coming and practice programs than for that of Tutorial
Programs. Besides, the satisfaction level depended on type of group, explained the 45% of variance was lower in freshmen students than in veteran students-. Although teachers and graduates
satisfaction was upper-middle (3,60 and 3,10 over 5 respectively), the employment rate was 36.97%
of the Percentage Rate = 68.41 %. The findings of this study suggest the need of increasing the
teacher trainings in active methodologies and assessment and guidance teaching-learning beyond
academic tutoring.
Introducción
El proceso de adaptación de la universidad española al Espacio Europeo de Educación Superior
(EEES) ha supuesto un cambio tanto estructural como funcional. La tradición educativa en este
contexto se centraba el uso de la lección magistral como metodología de enseñanza. No obstante,
las nuevas exigencias de una sociedad marcada por el avance de las nuevas tecnologías que
posibilitan un acceso rápido a la información han hecho que la estructura universitaria haya tenido
que cambiar y adaptarse a las nuevas exigencias tanto sociales como laborales. La universidad
europea fue manifestando la necesidad de realizar estos cambios: “La Declaración de Bolonia (1999)
señalaba como objetivo la necesidad de construir una Europa más completa e influyente desde el
refuerzo de las dimensiones intelectuales, culturales, sociales, científicas y tecnológicas. La
Declaración de Praga (2001) hizo más hincapié en el desarrollo de una mayor flexibilidad de los
procesos de enseñanza superior y de investigación, poniendo un especial énfasis en facilitar el
acceso de los estudiantes al mercado laboral europeo y mejorar la compatibilidad, el atractivo y la
competitividad de la educación. El aprendizaje desde estas declaraciones, se entiende como un
2
proceso a lo largo de la vida de los sujetos que no concluye con la obtención de una titulación. La
conferencia de Berlín (2003) a su vez insistió en la importancia de evaluar los resultados de las
innovaciones desarrolladas con el fin de impulsar una mejora continua desde el feedback a todos los
miembros implicados en el proceso” (p. 7, Payo et al., 2013). Todo lo cual centró en el cambio en la
metodología docente y en los procedimientos de evaluación el eje de las titulaciones. Dicho cambio
tenía que facilitar una enseñanza más personalizada e individualizada (Gairín et al., 2004; Gimeno,
2008). Por lo que el proceso de orientación hacia el alumnado se convertía en la llave del éxito de
esta nueva forma de hacer (Lobato, Arbizu & Del Castillo, 2004) y así se explicitó en el Estatuto del
Estudiante Universitario (Real Decreto 1791/2010, de 30 de Diciembre, BOE nº 318). El objetivo final
era y es preparar al alumno para la transición a la vida laboral. El éxito en esta transición está
marcado por la elección adecuada el itinerario curricular, los recursos de aprendizaje y el proceso de
evaluación continua (Sáiz-Manzanares & Bol, 2014; Sáiz-Manzanares, Montero, Bol, & Carbonero,
2012). Es por lo que la orientación del estudiante tiene que realizarse en distintos momentos
(ingreso, estancia en la institución y salida al mundo laboral) y precisa apoyarse en diferentes
programas (Alonso-Tapia, 1995; Knight, 2005; Payo et al., 2013; Pozo, & Del Puy, 2009; SáizManzanares & Román, 2011; Zabalza, 2003). Asimismo dichos programas tienen que estar
coordinados y ser evaluados de forma sistemática para poder identificar las áreas de mejora más
significativas y factibles de abordar en cada momento (Stufflebeam & Shinkfield, 1989). En esta línea
legislativamente las titulaciones universitarias españolas se fundamentan en un marco normativo
que pauta la ordenación, verificación y acreditación de enseñanzas oficiales (Ley Orgánica 4/2007, de
12 de abril, RD 1393/2007, de 29 de octubre y su modificación en el RD 861/2010, de 2 de julio y RD
99/2011, de 28 de enero). Estas actualizaciones legislativas señalan que la evaluación de los planes
de estudios se efectuará por las Agencias de Calidad [Agencia Nacional de Evaluación de la Calidad y
Acreditación (ANECA) o bien los órganos de evaluación que la Ley de las Comunidades Autónomas
determinen y que cumplan con los criterios y estándares de calidad establecidos en el EEES mediante
la superación de una evaluación externa que les permita ser miembros de pleno derecho de la
Asociación Europea para el Aseguramiento de la Calidad de la Educación Superior (European
Association for Quality Assurance in Higher Education, ENQA) y estar inscritas en el Registro Europeo
de Agencias de Calidad (EQAR), que en el caso regional de Castilla y León es la Agencia para la
Calidad del Sistema Universitario de Castilla y León (ACSUCYL)]. Dichos organismos establecen los
protocolos de evaluación para la verificación, seguimiento y acreditación de las titulaciones, de
acuerdo con estándares internacionales de calidad y conforme a lo dispuesto en los Reales Decretos
anteriormente señalados. La Universidad de Burgos, acorde con los nueve criterios de calidad
normalizados para la acreditación de enseñanzas (1. Objetivos, 2. Admisión de estudiantes, 3.
Planificación de la enseñanza, 4. Desarrollo del proceso enseñanza-aprendizaje, 5. Orientación al
estudiante, 6. Personal académico, 7. Recursos y servicios, 8. Resultados, 9. Garantía de calidad). Ha
puesto en marcha distintos programas (Actividad Docente, Programa Formativo, Programa de
3
Prácticas Externas, Programa de Inserción Laboral, Programa de Acción Tutorial) que incluyen en su
estructura procedimientos para la evaluación de su desarrollo [Procedimiento de apoyo de Medida
de satisfacción, expectativas y necesidades (PA06) para el análisis de la satisfacción en los distintos
grupos de interés con el objetivo último de la toma de decisiones que facilite la mejora de la calidad
de las enseñanzas. Este procedimiento se desarrolla a través de distintos análisis: satisfacción de los
estudiantes con la actividad docente (PS-004), satisfacción de los estudiantes y del profesorado con
los programas de Movilidad (PC06), procedimiento estratégico de Garantía de Calidad de los
Programas Formativos para la gestión de la calidad sobre la orientación al estudiante (PE03)].
Recientes investigaciones (Gutiérrez-Braojos, 2013; Román, 2007) en el entorno universitario revelan
que el enfoque de aprendizaje, los procesos de auto-regulación, las perspectivas de futuro laboral y
la percepción por parte del estudiante de su eficacia en el proceso de enseñanza-aprendizaje
pronostican un aprendizaje exitoso (Sáiz, & Montero, 2014; Sáiz & Payo, 2012). En concreto las
perspectivas de futuro laboral se relacionan directamente con la seguridad que el estudiante tiene
en su capacidad para afrontar su futuro desempeño laboral. Dicha capacidad se relaciona
directamente con su historia de enseñanza-aprendizaje, la supervisión recibida por parte del
profesorado y de la institución universitaria sobre su proceso de aprendizaje y sobre la orientación
laboral. Así pues los patrones de aprendizaje exitosos se relacionan con un buen ajuste y una
adecuada adaptación al entorno universitario (Biggs, 1999; Vermunt, 2011; Vermunt & Minnaert,
2003; Zabalza & Cid, 2006). Por todo ello el contexto universitario tiene la responsabilidad de diseñar
acciones que favorezcan todos estos procesos. Dichas acciones se estructuran en el seno de un
Sistema de Garantía Interno de la Calidad (SGIC) reflexivo, realista, operativo y efectivo más allá de
los procedimientos burocráticos.
En base a lo anteriormente expuesto los objetivos de este estudio fueron:
1.
Analizar la satisfacción de los estudiantes y de los profesores con los programas de actividad
docente, prácticas externas, movilidad, formativo, acción tutorial y la inserción laboral de
los egresados en los cursos 2010-2011, 2011-2012, 2012-2013 y 2013-2014.
2.
Realizar un estudio meta-analítico de los resultados de la evaluación.
Método
Participantes
Se analizó el grado de satisfacción durante los cursos académicos (2012-2013 y 2013-2014) en los
siguientes programas:
Programa de Evaluación de la Satisfacción con la Actividad Docente, participaron 10.615
estudiantes a lo largo de cuatro cursos académicos (curso 2010-2011 n = 1.309 TR = 15.66%;
curso 2011-2012 n = 1.119 TR = 12.41%; curso 2012-2013 n = 4.159 TR = 47,97%; curso
2013-2014 n = 4.028 TR = 47,91%;).
4
Programa de Satisfacción de los egresados con el programa Formativo en Planes antiguos,
Grados, Máster y Curso de Adaptación al Grado, participaron 840 egresados a lo largo de
tres cursos académicos (curso 2010-2011 n = 116; curso 2011-2012 n = 250; curso 20122013 n = 474).
Programa de Satisfacción de los profesores con el programa Formativo en Planes antiguos,
Grado, Máster y Curso de Adaptación al Grado, participaron 516 profesores en el curso
2012-2013 n = 103; curso 2012-2013 n = 413.
Satisfacción de los estudiantes con el Programa de Movilidad participaron 378 estudiantes a
lo largo de cuatro cursos académicos (curso 2010-2011 n = 132; curso 2011-2012 n = 44;
curso 2012-2013 n = 24; curso 2013-2014 n = 187).
Satisfacción de los profesores con el Programa de Movilidad, participaron 447 profesores a
lo largo de cuatro cursos académicos (curso 2010-2011 n = 123; curso 2011-2012 n = 191;
curso 2012-2013 n = 59; curso 2013-2014 n = 74).
Satisfacción de los estudiantes con el Programa de Prácticas, participaron 179 estudiantes a
lo largo de dos cursos académicos (curso 2010-2011 n = 123; curso 2011-2012 n = 47).
Satisfacción de los profesores con el Programa de Prácticas, participaron 969 profesores a lo
largo de dos cursos académicos (curso 2010-2011 n = 676; curso 2011-2012 n = 293).
Satisfacción de los estudiantes de nuevo ingreso con el programa de Acción Tutorial,
participaron 328 estudiantes a lo largo de dos cursos académicos (curso 2012-2013 n = 253;
curso 2013-2014 n = 75).
Satisfacción de los estudiantes de cursos anteriores con el programa de Acción Tutorial,
participaron 247 estudiantes a lo largo de dos cursos académicos (curso 2012-2013 n = 118;
curso 2013-2014 n = 129).
Satisfacción de los profesores con el programa de Acción Tutorial, participaron 478
estudiantes a lo largo de dos cursos académicos (curso 2012-2013 n = 243; curso 2013-2014
n = 235).
Inserción laboral al año de egreso, participaron 851 egresados a lo largo de tres cursos
académicos (curso 2011-2012 n = 116; curso 2012-2013 n = 250; curso 2013-2014 n = 485).
Instrumentos
1.
Encuesta de Satisfacción de los estudiantes con la Actividad Docente (EAD v2013) (Bol, SáizManzanares, & Pérez-Mateos, 2013), adaptación del Student Evaluation of Educational
Quality (SEEQ)- Short version (Marsh, 1987), es una escala tipo Likert de 1 a 5 y consta de 10
ítems que analizan: 1. El interés del alumno por la asignatura, 2. La utilización de los
materiales docentes, 3. El interés del profesorado hacia la asignatura, 4. La accesibilidad del
profesor en las horas de tutoría y fuera de clase, 5. La utilidad de los materiales docentes, 6.
Las pruebas de evaluación continua y su utilidad, 7. El ajuste de los procedimientos de
5
evaluación. 8. La calidad y explicación de los materiales docentes, 9. La motivación por
parte del profesor a la participación del alumno en clase, 10. La carga de trabajo de la
asignatura. Dicha escala tiene un índice de fiabilidad de
= 0,93. La encuestación se
efectuó de forma presencial en papel (TR = 47,94%, media de satisfacción = 3,65, DT = 1,123
CV = 31,3%).
2.
Encuesta de satisfacción con el Programa Formativo para el estudiante egresado [ES-TITUL
(EGR) v03 2012], es una escala tipo Likert de 1 a 5 y consta de 10 ítems que analizan: 1. La
organización de la enseñanza; 2. El Plan de estudios y su estructura; 3. Las instalaciones e
infraestructuras; 4. El acceso y atención al estudiantes; 5. Grado de satisfacción con la
titulación, el centro y la Universidad de Burgos. Dicha escala tiene un índice de fiabilidad de
= 0,93. La encuestación se efectuó on-line con la metodología survey (TR = 40,26%,
media de satisfacción = 3,75, DT = 0,72, CV = 20,20%.)
3.
Encuesta de satisfacción con el Programa Formativo para el profesor de titulación [ES-TITUL
(PDI) v03 2012]: es una escala tipo Likert de 1 a 5 y consta de 23 ítems que hacen referencia
a: 1. La organización de la enseñanza; 2. El Plan de estudios y su estructura; 3. Las
instalaciones e infraestructuras; 4. Resultados del Programa Formativo y 5. Grado de
satisfacción general con el desarrollo de la titulación. Dicha escala tiene un índice de
fiabilidad de
= 0,85. La encuestación se efectuó on-line con la metodología survey (TR =
68,97%%, media de satisfacción = 3,10, DT = 0,97, CV = 32,74%).
4.
Encuesta de Satisfacción de los estudiantes con el Programa de Movilidad Estudiantes
Outgoing [ES-MOV (EST-OUT) v2013], es una escala tipo Likert de 1 a 5 y consta de 10 ítems
que hacen referencia al grado de satisfacción con el programa de movilidad y analiza
aspectos de gestión y desarrollo del programa. Dicha escala tiene un índice de fiabilidad de
= 0,80. La encuestación se efectuó on-line con la metodología survey (TR = 42,56%%,
media de satisfacción = 3,26, DT = 0,80 CV = 21,94%).
5.
Encuesta de Satisfacción de los profesores tutores con el Programa de Movilidad Estudiantes
Outgoing [TU-MOV (TU-OUT) v2013], es una escala tipo Likert de 1 a 5 y consta de 7 ítems
que hacen referencia al grado de satisfacción con el programa de movilidad y analiza
aspectos de gestión y desarrollo del programa. Dicha escala tiene un índice de fiabilidad
= 0,90. La encuestación se efectuó on-line con la metodología survey (TR = 75,55%%, media
de satisfacción = 4,35, DT = 0,19 CV = 4,89%).
6.
Encuesta de Satisfacción de los estudiantes con los programas de prácticas externas [ESPRACT (EST) v03 v2013], es una escala tipo Likert de 1 a 5 y consta de 8 ítems que hacen
referencia al grado de satisfacción con el programa de prácticas y su coordinación. Dicha
escala tiene un índice de fiabilidad de
= 0,72. La encuestación se efectuó on-line con la
metodología Survey (TR = 36,39%%, media de satisfacción = 3,67, DT = 1,12, CV = 32,09%).
6
7.
Satisfacción de los profesores con los programas de prácticas externas [ES-PRACT (PDI) v03
v2013], es una escala tipo Likert de 1 a 5 y consta de 8 ítems que hacen referencia al grado
de satisfacción con el programa de prácticas y su coordinación. Dicha escala tiene un índice
de fiabilidad de
= 0,75. La encuestación se efectuó on-line con la metodología survey (TR
= 77,64%%, media de satisfacción = 4,27, DT = 0,75, CV = 17,62%).
8.
Escala a de satisfacción con el programa de acción tutorial en estudiantes de nuevo ingreso
[ES-PAT (EST NI) v2013] (Sáiz-Manzanares, Bol & Payo, 2014), es una escala tipo Likert de 1 a
5 y consta de 9 ítems que hacen referencia al grado de satisfacción con el programa de
acción tutorial. Dicha escala tiene un índice de fiabilidad de
= 0,95. La encuestación se
efectuó on-line con la metodología Survey (TR = 8,21%, media de satisfacción = 2,18, DT =
1,26 siendo CV = 56%).
9.
Escala a de satisfacción con el programa de acción tutorial en estudiantes de cursos
anteriores [ES-PAT (EST CA) v2013] (Sáiz-Manzanares, Bol & Payo, 2014), es una escala tipo
Likert de 1 a 5 y consta de 9 ítems que hacen referencia al grado de satisfacción con el
programa de acción tutorial. Dicha escala tiene un índice de fiabilidad de
= 0,92. La
encuestación se efectuó on-line con la metodología Survey (TR = 7,29%, media de
satisfacción = 2,30, DT = 1,24, CV = 54,57%).
10. Escala a de satisfacción con el programa de acción tutorial en profesores [ES-PAT (EST PDI)
v2013] (Sáiz-Manzanares, Bol & Payo, 2014), es una escala tipo Likert de 1 a 5 y consta de
10 ítems que hacen referencia al grado de satisfacción con el programa de acción tutorial.
Dicha escala tiene un índice de fiabilidad de
= 0,92. La encuestación se efectuó on-line
con la metodología Survey (TR = 36,75%, media de satisfacción = 2,54, DT = 1,06, CV =
42,44%).
11. Escala de Inserción laboral [ES-INSL. v03 2013]. Es una escala de respuesta que conjuga
respuestas tipo Liket de 1 a 5 (1 ítem), preguntas con respuesta dicotómica (4 ítems) y
preguntas opciones múltiple (3 ítems). La encuestación se efectuó por vía telefónica (TR =
68,41%, Tasa de empleabilidad sobre la TR = 36,97%).
Diseño
Se utilizaron dos diseños: 1) un diseño pre-experimental de caso con una sola medición y 2) un
diseño descirptivo-correlacional (Campbell y Stanley, 1966).
Procedimiento
Para medir de satisfacción del estudiante con la actividad docente se realizó un paso de encuesta por
semestre. Para medir la satisfacción del profesorado y del alumnado con los programas de
movilidad, de prácticas externas, de acción tutorial se efectuó un paso de encuestación al finalizar el
curso académico. Asimismo para medir la satisfacción del profesorado y de los egresados con los
programas formativos se efectuó un paso de encuestación al finalizar la titulación. Respecto del
7
análisis de la inserción laboral se realizó un paso de encuestación al año de la finalización de los
estudios.
Análisis de datos
Se realizó un estudio descriptivo (media-M- y desviación típica-DT-), Coeficiente de Variación (CV),
porcentajes. Asimismo se efectuó un ANOVA de efectos fijos y valor del efecto (
2
) atendiendo a
los factores: 1. Tipo de titulación (1. Grado, 2. Máster, 3. Curso de Adaptación y 4. Titulaciones de
Planes Antiguos); 2. Tipo de centro (1. Facultad de Ciencias, 2. Facultad de Ciencias Económicas y
Empresariales, 3. Facultad de Derecho y 4. Facultad de Humanidades y Educación, 5. Escuela
Politécnica Superior, 6. Escuela Universitaria de Enfermería, 7. Escuela Universitaria de Relaciones
Laborales); 3. Grupo de interés (1. Estudiantes de Nuevo Ingreso, 2. Estudiantes de Cursos
Anteriores, 3. Ambos, 4. Egresados, 5. Profesores); 4. Tipo de programa (1. Actividad Docente, 2.
Programa Formativo de la Titulación, 3. Programa de Movilidad, 4. Programa de Prácticas, 5.
Programa de Acción Tutorial) y un análisis correlacional entre los factores anteriormente señalados.
Resultados
La primera hipótesis fue estudiar si existían diferencias significativas entre el grado de satisfacción de
los estudiantes con el tipo de titulación (1. Grado, 2. Máster, 3. Curso de Adaptación y 4. Titulaciones
de Planes Antiguos). En la Figura 1 se presentan las medias de satisfacción con los distintos
programas de la UBU por tipo de titulación. Como puede observarse la satisfacción es buena en
todos ellos (rango de medida de 1 a 5) si bien destacan las titulaciones de Planes Antiguos y de
Máster.
Grado de Satisfacción y Tipo de
Titulación
1
3,20
1
3,78
2
2
3
4
4,06
3,35
3
4
Figura 1. Medias de Satisfacción con los Programas atendiendo a la variable Tipo de Titulación.
Para contrastar la hipótesis se efectuó un ANOVA de un factor de efectos fijos (tipo de titulación) se
encontraron diferencias significativas en el grado de satisfacción y el tipo de titulación (grado,
máster, curso de adaptación y programas en extinción). El valor del efecto de esta variable fue medio
(
2
= 0,21), explica el 21% de la varianza en el grado de satisfacción en los programas (ver Tabla 1).
8
Tabla 1. ANOVA de un factor de efectos fijos (Tipo de Titulación).
Variable
1
2
3
*
n = 92867
M(DT)
3,20(0,82)
Tipo de Titulación
< 0,005
n = 6122
M(DT)
3,78(0,46)
n = 3030
M(DT)
3,35(0,75)
4
F(5, 61)
n = 15062
M(DT)
4,06(0,80)
6,33*
2
0,21
Seguidamente se realizó la prueba de Bonferroni para estudiar entre qué medias se encontraban las
diferencias, se hallaron diferencias significativas entre titulaciones de grado y máster (DM = -0,57 p =
0,000) a favor del máster, grado y cursos de adaptación al grado a favor de los segundos (DM = -0,14
p = 0,000), grados y planes antiguos (DM = -0,86 p = 0,000) a favor de los segundos y entre máster y
cursos de adaptación (DM = 0,43 p = 0,019) a favor del primero.
La segunda hipótesis a verificar fue analizar si existían diferencias significativas entre el grado de
satisfacción en los distintos programas formativos y el Tipo de Centro (1. Facultad de Ciencias, 2.
Facultad de Ciencias Económicas y Empresariales, 3. Facultad de Derecho y 4. Facultad de
Humanidades y Educación, 5. Escuela Politécnica Superior, 6. Escuela Universitaria de Enfermería, 7.
Escuela Universitaria de Relaciones Laborales). En la Figura 2 se presenta las medias de satisfacción
con los distintos programas de la UBU por tipo de centro. Como observarse la satisfacción es buena
en todos ellos (rango de medida de 1 a 5) si bien destacan la Facultad de Ciencias y la Facultad de
Humanidades y Educación.
Grado de Satisfacción y Tipo de
Centro
1
2
3,55
1
3
4
5
6
7
3,46
3,22
3,20
2
3
3,12
4
5
3,22
3,19
6
7
Figura 2. Medias de Satisfacción con los Programas atendiendo a la variable Tipo de Centro.
Para contrastar la hipótesis se efectuó un ANOVA de un factor de efectos fijos (tipo de centro). Se
encontraron diferencias significativas en función del centro, si bien en todos ellos se parte de una
media superior a 3 (en un rango de 1 a 5) y el valor del efecto fue bajo (
2
= 0,045), esta variable
explica el 4,5% de la varianza de la satisfacción con los programas (ver Tabla 2).
9
Tabla 2. ANOVA de un factor de efectos fijos (Tipo de Centro).
Variable
1
2
3
4
n = 14731
M(DT)
3,55(0,57)
Tipo de
Centro
* < 0,005
n = 8283
M(DT)
3,22(0,87)
n = 6614
M(DT)
3,20(0,80)
n = 31718
M(DT)
3,46(0,81)
5
6
7
F(5, 61)
n = 33663
M(DT)
3,12(0,78)
n = 3589
M(DT)
3,22(0,93)
n = 3104
M(DT)
3,19(0,77)
3,37*
2
0,045
Con el fin de discriminar entre qué centros se encontraban las diferencias significativas se efectuó la
prueba de Bonferroni. Se hallaron diferencias significativas atendiendo en la satisfacción con los
programas entre la Facultad de Ciencias y la Escuela Politécnica Superior a favor de la primera (DM =
0,43 p = 0,021) y entre la Facultad de Humanidades y Educación y la Escuela Politécnica Superior a
favor de la primera (DM = 0,34 p = 0,004).
La tercera hipótesis a verificar fue analizar si existían diferencias significativas entre el grado de
satisfacción en los distintos programas y el Grupo de Interés (1. Estudiantes de Nuevo Ingreso, 2.
Estudiantes de Cursos Anteriores, 3. Ambos, 4. Egresados, 5. Profesores). En la Figura 3 se pueden
observar las medias de satisfacción con los distintos programas de la UBU atendiendo a la variable
grupo de interés. La satisfacción media en el grupo 1 (estudiantes de nuevo ingreso) y 2 (estudiantes
de cursos anteriores) hace referencia únicamente al programa de acción tutorial. La media de
satisfacción en los grupos 3 (todos los estudiantes), 4 (egresados) y 5 (profesores) hacen referencia a
la satisfacción media en todos los programas, en estos grupos el grado de satisfacción es medio (en
un rango de 1 a 5).
Grado de Satisfacción y Grupo de
Interés
1
2
3
3,62
2,18
2,30
1
2
3
4
5
3,10
4
3,60
5
Figura 3. Medias de Satisfacción con los Programas atendiendo a la variable Grupo de Interés.
Para contrastar la hipótesis se efectuó un ANOVA de un factor de efectos fijos (Grupo de Interés). Se
encontraron diferencias significativas entre la satisfacción en los programas atendiendo al grupo de
interés siendo el valor del efecto es alto (
2
= 0,43). Esta variable explica el 43% de la varianza en
satisfacción con los programas (ver Tabla 3).
10
Tabla 3. ANOVA de un factor de efectos fijos (Grupo de Interés).
Variable
1
2
3
4
Grupo
de
interés
* < 0,005
n = 328
M(DT)
2,18(0,64)
n = 247
M(DT)
2,30(0,62)
n = 113719
M(DT)
3,62(0,39)
n = 2410
M(DT)
3,10(0,52)
5
F(5, 61)
n = 1691
M(DT)
3,60(0,84)
83,85*
2
0,43
Con el fin de discriminar entre qué grupo de interés se encontraban las diferencias se efectuó la
prueba de Bonferroni, se hallaron diferencias significativas entre estudiantes de nuevo ingreso y
estudiantes en global (DM = -0,92 p = 0,000) a favor de segundo, estudiantes de nuevo ingreso y
egresados (DM = -0,92 p = 0,000) a favor de los segundos, estudiantes de nuevo ingreso y profesores
(DM = -1,42 p = 0,000) a favor de los segundos, estudiantes de cursos anteriores y estudiantes en
global (DM = -1,42 p = 0,000) a favor de los segundos, estudiantes de cursos anteriores y egresados
(DM = -0,80 p = 0,000) a favor de los segundos, estudiantes de cursos anteriores y profesores (DM = 1,30 p = 0,000) a favor de los segundos, estudiantes en global y egresados (DM = 0,51 p = 0,000) a
favor de los primeros, egresados y profesores (DM = -0,49 p = 0,000) a favor de los segundos.
A fin de contrastar la cuarta hipótesis se analizó si existirán diferencias significativas entre el grado
de satisfacción y el Tipo de Programa (1. Actividad Docente, 2. Programa Formativo de la Titulación,
3. Programa de Movilidad, 4. Programa de Prácticas, 5. Programa de Acción Tutorial). Como puede
observarse en la Figura 4 la satisfacción es media alta en todos los programas salvo en el de
orientación tutorial no académica, si bien el coeficiente de variación (CV = 53,24) es muy alto por lo
que los datos hay que analizarlos con relatividad.
Grado de Satisfacción y Tipo de
Programa
1
3,65
1
2
3
3,48
3,83
2
3
4
5
4,31
2,32
4
5
Figura 4. Medias de Satisfacción con los Programas atendiendo a la variable Tipo de Programa.
Para contrastar la hipótesis se efectuó un ANOVA de un factor de efectos fijos (Tipo de Programa), se
encontraron diferencias significativas entre los programas siendo el valor del efecto alto (
2
= 0,43).
Esta variable explica el 43% de la varianza en la satisfacción con los programas (ver Tabla 4).
11
Tabla 4. ANOVA de un factor de efectos fijos (Tipo de Programa).
Variable
1
2
3
Tipo de
Centro
* < 0,005
n = 112587
M(DT)
3,65(0,64)
n = 1356
M(DT)
3,48(0,62)
n = 825
M(DT)
3,83(0,39)
4
5
F(5, 61)
n = 1148
M(DT)
4,31(0,52)
n = 1053
M(DT)
2,32(0,84)
120,82*
2
0,52
Con el fin de discriminar entre qué programas se encontraban las diferencias en satisfacción se
efectuó la prueba de Bonferroni. Se hallaron diferencias significativas entre Actividad Docente y el
Programa de Acción Tutorial (DM = 1,33 p = 0,000) a favor del primero y el Actividad Docente y el
Programa de Movilidad (DM = -0,34 p = 0,003) a favor del segundo, Actividad Docente y Programa
de Prácticas (DM = -0,82 p = 0,012) a favor del segundo, Programa de Movilidad y Programa de
Acción Tutorial (DM = 1,50 p = 0,000) a favor del primero, Programa de Prácticas y Programa de
Acción Tutorial (DM = 1,98 p = 0,000) a favor del primero.
Asimismo con el fin de estudiar si existían relaciones significativas entre las variables analizadas se
hallaron las correlaciones entre los programas, como se puede observar en la Tabla 5 se encontraron
correlaciones significativas al
= 0,001 entre las medias de satisfacción y el tipo de programa, si
bien dichas correlaciones son negativas (r = -0,648), y entre las medias de satisfacción y los grupos de
interés (r = 0,440). Lo que lleva a inducir que las variables tipo de programa y grupo de interés son
relevantes para la interpretación de los resultados.
Tabla 5. Correlaciones bivariadas entre las distintas variables analizadas.
1
2
3
Tipo de Programa
1
Grupo de Interés
-0,222*
1
Tipo de Centro
0,002
0,009
1
Tipo de Titulación
-0,162
0,118*
0,034
Media de Satisfacción
-0,648**
0,440**
-0,115*
* < 0,005
** < 0,001
4
5
1
0,159*
1
Conclusiones
En base a los acuerdos adoptados por la Conferencia de Berlín de 2003 la evaluación y reflexión
sobre el desarrollo de los procesos y procedimientos de calidad de las enseñanzas en el marco de la
Educación Superior es esencial para el buen funcionamiento de la estructura universitaria. Por ello es
necesario efectuar un meta-análisis, inter e intra programas, de los indicadores de satisfacción
atendiendo a los distintos colectivos implicados.
En síntesis, se puede concluir que existen diferencias en el grado de satisfacción de los distintos
agentes implicados en los diferentes programas, esta es una variable explica el 21% de la varianza de
la satisfacción. Es relevante señalar como la satisfacción media del alumnado es mayor en
titulaciones de planes antiguos, en las que se utilizaba una metodología docente más tradicional, que
12
en las titulaciones del EEES donde se emplea una metodología más participativa. El cambio
metodológico en la definición de objetivos en términos de competencias, en la planificación y
secuenciación de los contenidos así como en los procedimientos de evaluación continua ha supuesto
un reto para el profesorado y para el alumnado (Sáiz-Manzanares & Payo, 2012). Este aspecto es
relevante sobre todo en titulaciones de grado y no tanto en las de máster donde el nivel de
satisfacción de ambos colectivos aumenta. Por lo que en futuras investigaciones se analizarán qué
variables son distintas entre ambos planes educativos (metodología, ratio, tipo de profesorado, nivel
de maduración académica y personal del estudiante, motivación del estudiante hacia la titulación,
motivación del docente hacia la titulación, posibilidades de aplicación de la metodología y de los
procedimientos de evaluación continua en relación a la ratio, coordinación entre los profesores y los
departamentos, investigación del profesorado relacionada con la titulación, entre otras) para poder
explicar las causas en la percepción de la satisfacción (Ariza, Quevedo-Blasco & Buela-Casal, 2014).
También, se encontraron diferencias significativas atendiendo al tipo de centro, aunque la varianza
explicada por esta variable es baja 4,5%. Lo que implica que aunque la estructuración y organización
de los centros en cuanto a la planificación y desarrollo de las titulaciones es una variable a considerar
ésta no parece tan determinante como la anterior.
Asimismo, se encontraron diferencias significativas atendiendo al grupo de interés (estudiantes,
diferenciando entre estudiantes de nuevo ingreso y estudiantes de cursos anteriores; egresados y
profesorado). Esta variable es muy relevante ya que explica el 45% de la varianza en satisfacción. Las
diferencias se hallaron especialmente en los estudiantes de nuevo ingreso frente a los de cursos
anteriores, a los egresados y al profesorado. Si bien, dicha diferencia se establece sólo en el
programa de acción tutorial, es decir en el proceso de orientación, más allá del puramente
académico, que el entorno universitario facilita a los alumnos. Hay que considerar que la universidad
española no ha tenido tradición en su desarrollo (la legislación al respecto es reciente data del año
2010). Por todo ello éste es un programa que tiene que analizarse en profundidad y estructurarse
adecuadamente para que sea tan efectivo como en el resto de las universidades europeas. Para ello
se precisa una mayor formación de los docentes en este ámbito y una mayor atención al alumnado
de nuevo ingreso a fin de poder facilitar su adaptación al entorno universitario. Asimismo sería
recomendable el analizar el por qué existen una dispersión tan alta en la satisfacción con el
desarrollo de este programa.
Otro factor relevante en la satisfacción es el tipo de programa, esta variable es muy significativa ya
que explica el 45% de la varianza. La satisfacción de los alumnos con la actividad docente es media
alta. También el profesorado y el alumnado están más satisfechos con los programas de prácticas y
movilidad, en este orden, y encuentran más dificultad en el programa de acción tutorial no
académica. Estos resultados parecen indicar que la variable motivación tanto del alumnado como del
profesorado es esencial para pronosticar un buen grado de satisfacción con los programas,
actividades que implican la práctica son más satisfactorias para ambos colectivos.
13
La inserción de la universidad española en el EEES ha implicado importantes cambios metodológicos
y estructurales en los planes de estudio. El profesorado ha tenido que modificar su forma de
entender la docencia haciendo más hincapié en el proceso de enseñanza-aprendizaje en
metodologías reflexivas y en procedimientos de evaluación continua frente a metodologías basadas
en la lección magistral y procedimientos de evaluación única (Sáiz-Manzanares & Bol, 2014). Este
reto se ha evidenciado más en titulaciones de grado y menos en las de máster, quizás porque en las
titulaciones de máster la ratio es menor y esto permite un proceso de enseñanza más individualizado
y asimismo la historia de aprendizaje del alumno facilita su integración en estas nuevas formas de
hacer. Por su parte el estudiante ha tenido que adaptarse a una forma de aprender más continua,
participativa y constructiva que en muchos casos ha colisionado con su historia de aprendizaje
anterior más centrada en aprendizajes memorísticos y menos colaborativos (Sáiz-Manzanares &
Román, 2011). Es por lo que las universidades tienen que cuidar el transito entre la Etapa de
Educación Secundaria a la universidad con el fin de facilitar y ajustar la adaptación del estudiante de
nuevo ingreso al actual entono universitario (Knight, 2005; Payo et al., 2013; Pozo del Puy, 2009;
Sáiz-Manzanares y Román, 2011; Zabalza, 2003). En este punto cabe destacar la necesidad trabajar
con los estudiantes de Bachillerato en programas de transición a la universidad así como ofertar a los
alumnos de nuevo ingreso cursos y actividades que apoyen la adaptación (Vermunt & Minnaert,
2003). Asimismo sería necesario efectuar una oferta formativa al profesorado coherente y realista
que no quede en meros cursos de instrucción y que esté dirigida hacia el uso metodologías activas
de enseñanza, procedimientos de evaluación continua, orientación del proceso de enseñanzaaprendizaje más allá de la tutoría académica (Ariza, Quevedo-Blasco, & Buela-Casal, 2014; Lobato,
Arbizu, & Del Castillo, 2004; Sáiz-Manzanares & Bol, 2014, Sáiz-Manzanares & Montero, 2014; SáizManzanares & Payo, 2012; Zabalza & Cid, 2006). Y a los equipos de dirección de los centros, en este
caso la formación se centrará en la gestión y organización de las titulaciones que imparten y en la
coordinación intra e inter-titulaciones (Guiterrez-Braojos, 2013).
Bibliografía
Alonso Tapia, J. (1995). Orientación Educativa: Teoría, evaluación e intervención. Madrid: Síntesis.
Ariza, T., Quevedo-Blasco, R., & Buela-Casal, G. (2014). Satisfaction of Social and Legal Sciences
teachers with the introduction of the European Higher Education Area. The European Journal of
Psychology Applied to Legal Context, 6, 9-16. doi: 10.5093/ejpalc2014a2.
Bol, A., Sáiz-Manzanares, M.C., & Pérez-Mateos, M. (2013). Validación de una encuesta sobre la
actividad docente en Educación Superior. Aula Abierta, 41(2), 45-54.
Biggs, J. (1999). Teaching for quality learning at university. Buckingham: Open University Press.
Campbell, D., & Stanley, J. (1966). Experimental Design for Research. Chicago, Illinois: Rand McNally.
14
Gairín, J., Feixas, M., Guillamón, C., & Quinque, D. (2004). La tutoría académica en el escenario
europeo de la Educación Superior. Revista Interuniversitaria de Formación del Profesorado, 18(1),
61-77.
Gimeno Sacristán, J. (2008). Educar por competencias, ¿qué hay de nuevo? Madrid: Morata.
Gutiérrez-Braojos, C. (2013). Future time orientation and learning conceptions: effects on
metacognitive strategies, self-efficacy beliefs, study effort and academic achievement.
Educational Psychology: An International Journal of Experimental Educational Psychology, .doi:
10.1080/01443410.2013.858101.
Knight, P.T. (2005). El profesorado de Educación Superior: Formación para la excelencia. Madrid:
Narcea.
Lobato, C., Arbizu, F., & Del Castillo, L. (2004). Las representaciones de la tutoría universitaria en
profesores y estudiantes: Estudio de un caso. Educación XXI, 7, 135-168.
Payo, R.J., García-Moreno, J.M., Pérez-Mateos, M., Sáiz-Manzanares, M.C., López, M.P., & Alvear, A.
(2013). Guía para el profesor tutor y el estudiante: Plan de Acción Tutorial de la Universidad de
Burgos. Burgos: Servicio de Publicaciones de la UBU.
Pozo, J. I., & Del Puy, M. (2009). Psicología del aprendizaje universitario: La formación en
competencias. Madrid: Morata.
Real Decreto 1393/2007, de 29 de octubre, por el que se establece la ordenación de las enseñanzas
universitarias oficiales. BOE nº 260, 30 de octubre de 2007.
Real Decreto 861/2010, de 2 de julio, por el que se modifica el Real Decreto 1393/2007, de 29 de
octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales. BOE nº
161, 3 de julio de 2010.
Real Decreto 1791/2010, de 30 de diciembre, por el que se aprueba el Estatuto del Estudiante
Universitario (BOE nº 318 de 31 de diciembre).
Real Decreto 1027/2011, de 15 de julio, por el que se establece el Marco Español de Cualificaciones
para la Educación Superior (MECES). BOE nº 185, 3 de agosto de 2011.
Real Decreto 534/2013, de 12 de julio, por el que se modifican los Reales Decretos 1393/2007, de 29
de octubre, por el que se establece la ordenación de las enseñanzas universitarias oficiales;
99/2011, de 28 de enero, por el que se regulan las enseñanzas oficiales de doctorado; y
1892/2008, de 14 de noviembre, por el que se regulan las condiciones para el acceso a las
enseñanzas universitarias oficiales de grado y los procedimientos de admisión a las universidades
públicas españolas. BOE nº 167, 13 de julio de 2013.
Román, J.M. (2007). Adaptaciones pedagógicas exigidas por las “competencias clave” de los títulos
del EEES. En I. Rodríguez Escanciano (Eds.), Inserción laboral y EEES: aplicación a las ciencias de la
información (pp.27-44). Valladolid. Servicio de Publicaciones de la UEMC.
Sáiz-Manzanares, M.C., & Bol, A. (2014). Aprendizaje basado en la evaluación mediante rúbricas en
educación superior. Suma Psicológica, 21(1), 28-35.
15
Sáiz-Manzanares, M.C., Bol, A., & Payo, R.J. (2014). Validation of an evaluation tutoring task scale at
the university. Electronic Journal of Research in Educational Psychology, 12(3).
Sáiz-Manzanares, M.C., Montero, E., Bol, A., & Carbonero, M. A. (2012). An analysis of learning
competences at the University. Electronic Journal of Research in Educational Psychology, 10(1),
253-270.
Sáiz-Manzanares, M.C., & Montero, E. (2014). Metacognition, Self-regulation and Assessment in
Problem-Solving Processes at University En A. Peña-Ayala (Ed.), Metacognition: Fundaments,
Applications, and Trends, Intelligent Systems Reference Library 76. doi: 10.1007/978-3-31911062-2_5
Sáiz-Manzanares, M.C., & Payo, R.J. (2012). Autopercepción del conocimiento en Educación Superior.
Revista Iberoamericana de Psicología y Salud. 3 (2), 159-174.
Sáiz-Manzanares, M.C., & Román, J.M. (2011). Cuatro formas de evaluación en Educación Superior
gestionadas desde la tutoría [Four Forms of Assessment in Higher Education Arranged from
Tutoring Program]. Revista de Psicodidáctica, 16(1), 145-161.
Stufflebeam, D.L., & Shinkfield, A.J. (1989). Evaluación sistemática: Guía teórica y
práctica.
Barcelona, España: Paidós.
Vermunt, J. D. (2011). Pattern on student learning and teacher learning. En S. Rayner & E. Cools
(Eds.), Style differences in cognition, learning, and management. Theory, research, and practice
(pp. 172–187). New York, NY: Routledge.
Vermunt, J. D., & Minnaert, A. (2003). Dissonance in student learning patterns: When to revise
theory. Studies in Higher Education, 28, 49–61.
Zabalza, M. A. (2003). Competencias docentes del profesorado universitario: calidad y desarrollo
professional. Madrid: Narcea.
Zabalza, M. A., & Cid, A. (2006). La tutoría en la universidad desde el punto de vista del profesorado.
Bordón, 58, 247-267.
16