SEGUIMIENTO ACREDITACIÓN XIV Foro de Almagro VERIFICACION

La qualitat, garantia de millora
www.aqu.cat
La qualitat, garantia de millora.
www.aqu.cat
VERIFICACION
SEGUIMIENTO
ACREDITACIÓN
XIV Foro de Almagro
Josep A. Ferré
Director
22 de Noviembre de 2012
1
www.aqu.cat
La qualitat, garantia de millora.
VERIFICACIÓN- SEGUIMIENTO-ACREDITACIÓN
SEGUIMIENTO
VERIFICACIÓN
Monasterio de Santes Creus (Tarragona)
ACREDITACIÓN
2
La parte 3 de los ESG se refiere a las características esenciales que deben exhibir las www.aqu.cat
agencias que desarrollen procesos de garantía externa de la calidad
La qualitat, garantia de millora.
ESG 3.1 ... deben tener en cuenta los procesos de garantía externa de la calidad
La parte 2 de los ESG se refiere a los ingredientes esenciales de las actividades de
ESGgarantía
3.2 ... deben
tener una
legal y que
un estatus
formallas
en agencias...
el sistema
externa
de base
la calidad
desarrollen
El seguimiento
y los ESG
ESGESG
3.3 ...2.1
deben
llevar acomo
cabo punto
actividades
de garantía
externa de calidad
de una manera regular
... tomando
de partida
los procedimientos
internos
… si las
IES pueden
demostrar
la efectividad
de sus procesos
de GIC …
ESG 3.4 ... deben
disponer
de recursos
adecuados
y proporcionales
(personas+€)
… entonces los procesos externos podrían ser menos intensivos que en el caso contrario
ESG 3.5 ... deben tener unas metas y unos objetivos claros … públicamente disponibles
ESG 2.2 ... publicando los objetivos de la avaluación antes de hacerla
ESG 3.6 ... deben
ser independientes
que terceras
partes como IES
o ministerios
... definiendo
los objetivos…
dede
lamodo
evaluación
con la participación
de los
implicados…
… no puedan influir en las conclusiones y recomendaciones que hagan en sus informes
ESG 2.3 ... tomando decisiones basadas en los criterios publicados y pruebas documentales
1 de
los ESG describe
(deylaser
misión
docente)
ESG 3.7 ...La
losparte
criterios
y procedimientos
deben algunos
definirseprocesos
previamente
públicos
con … sobre los
ESG 2.4
...las
mediante
la participación
de
profesionales con experiencia
demostrada
que
instituciones
deben
desarrollar
degarantía
garantía
• una
auto-evaluación
por parte
del sujeto programas
del proceso de
de interna
calidad de la calidad …
...1.1
con
visita,
informe
preliminar,
final
• una
evaluación
externa
que
incluya
…estrategia
estudiantes
visitas in
situy seguimiento
ESG
...autoevaluación,
desarrollar
y implementar
una
deyinforme
mejora
continuada
de la calidad
• publicación
de se
unhan
informe
que yincluya
las decisiones
y recomendaciones
ESG 2.5
... los ...
informes
publicar
y redactar
en un estilo
comprensible
per todos
la estrategia,
ladepolítica
los
procedimientos
deben
tener un estatus
formal
• un
procedimiento
de
seguimiento
de
las
recomendaciones
incluyendo
descripción,
análisis de
las evidencias,
y recomendaciones
ESG...1.2
... mecanismos
para aprobar,
evaluar
y controlarsugerencias
periódicamente
las titulaciones
ESGESG
3.8 ...2.6
deben
disponer
de
procedimientos
para
rendir
cuentas
... los…
procesos
de GC
con recomendaciones
tener un plan de seguimiento
control del
progreso
y el rendimientohan
delde
alumnado
consideración
de los
ocupadores y del mercado de trabajo
ESG 2.7 ... los ...
procesos
de GC de
se las
hanopiniones
de desarrollar
cíclicamente
ESG 1.3 ... los alumnos han de ser avaluados con criterios, reglas y procedimientos publicados
ESG 2.8 ... periódicamente se han de analizar globalmente los resultados de las evaluaciones
ESG
las instituciones
han de
garantizar
queinvestigación
el equipo de yprofesores
... 1.4
las ...
agencias
han de asumir
una
función de
desarrolloestá cualificado
... deben tener medios para relevar de sus cargos docentes a los profesores inefectivos
ESG 1.5 ... garantizar que los recursos de soporte son adecuados para cada programa
ESG 1.6 ... recopilar, analizar y utilizar la información para la gestión eficaz de las actividades
ESG 1.7 ... publicar periódicamente información sobre sus programas y titulaciones
3
www.aqu.cat
La qualitat, garantia de millora.
VERIFICACIÓN- SEGUIMIENTO-ACREDITACIÓN
SEGUIMIENTO
Garantia interna
de la calidad
Garantia externa
(agencia)
VERIFICACIÓN
Garantia externa
(comité externo)
Monasterio
de Santes
Creus (Tarragona)
Abadia
de Beauport,
Paimpol (F)
ACREDITACIÓN
4
www.aqu.cat
La qualitat, garantia de millora.
Marco de VSMA
Verificación
Planificación
Mejora
Planificación
Mejora
Planificación
Desarrollo
Mejora
Desarrollo
Planificación
Desarrollo
Seguimiento
Seguimiento
Mejora
Seguimiento
Desarrollo
Seguimiento
Evaluación
Seguimiento
Seguimiento
Seguimiento
Seguimiento
Acreditación
Seguimiento
5
www.aqu.cat
La qualitat, garantia de millora.
Informe anual de Seguimiento
Planificación
del título
Indicadores
cuantitativos
Curso 2010-11
Indicadores = datos de UNEIX enviados por e-mail
Se recibieron ≈ 300 informes
Las CEA han avaluado ≈ 100 titulaciones
Se elaboró un IVSU focalizado en
o información pública sobre desarrollo e indicadores
o análisis, propuestas de mejora y SGIC
Valoración de
los indicadores
Planificación
Mejora
Propuestas de
mejora
Desarrollo
Seguimiento
Curso 2012-2013
 Indicadores = datos de UNEIX + WINDDAT
 Se han recibido ≈ 780 informes
 Les CEA han evaluado ≈ 150 titulaciones
 Los informes de seguimiento muestran …
o mejora de la información pública
o progreso notable en un % de casos
o análisis valorativo débil en otros casos
o pocas acciones de mejora
Modificación
6
www.aqu.cat
La qualitat, garantia de millora.
Indicadores cuantitativos
EST
UNIV
Especificaciones
€
GOBERNANZA
ENTRADAS
ORG
GOB
RM
SOC
RH
Misión
Visión
Valores
PROCESO
SALIDAS
Indicadores cuantitativos:
• Características de la entrada
• Aportaciones de la universidad al proceso de enseñanza-aprendizaje
• Características de la salida
7
www.aqu.cat
La qualitat, garantia de millora.
Lista de indicadores
1. Vías de acceso y calificaciones, etc., y para másteres, los títulos previos
2. Las características personales, familiares y sociales de los alumnos
3. El tipo de profesorado que imparte el título y los tramos docentes/investigación
4. Horas de clase magistral, seminarios, laboratorio, etc. y el tamaño del grupo
5. Uso de las aulas, laboratorios, bibliotecas y otros recursos materiales
6. Uso del campus virtual (volumen de material, de descargas, etc.)
7. Disponibilidad, actualidad y usabilidad de la información de la titulación
8. Evidencias de los métodos de evaluación (exámenes, trabajos, etc.)
9. Las prácticas externas, la movilidad y la orientación para la profesión
10. La satisfacción de los estudiantes, la satisfacción del profesorado
11. Resultados académicos (tasas rendimiento, abandono, etc.)
12. Los resultados personales (competencias transversales)
13. La inserción laboral y profesional de los titulados
8
www.aqu.cat
La qualitat, garantia de millora.
ENCUESTA SATISFACCION ESTUDIANTES
WINDDAT.AQU.CAT
Universidades
públicas
ENCUESTA INSERCION LABORAL
UNEIX
SUR+AQU
+
UNIVERSIDADES
WINDDAT.aqu.cat
Universidades
privadas
SIIU
9
…una INGENIERIA curso 2009‐10
La qualitat, garantia de millora.
UNI‐4
UNI‐1
UNI‐2
UNI‐3
32
60
60
60
78
75
54
60
media creditos matriculados/alumno
creditos totales matriculados
55.2
13,579.2
52.6
14,999.6
57.3
23,624.1
63.8
16,720.8
horas de prof. permanente+ayu. doctor
horas de profesor asociado
horas de otras figuras contractuales
horas totales
3,171.8
639.2
821.0
4,632.0
3,713.7
1,013.9
616.9
5,344.5
6,326.6
1,207.0
1,289.4
8,823.0
4,155.7
2,016.0
1,253.6
7,425.3
horas totales/creditos totales
horas perm+ay.doctor/creditos totales
0.341
0.234
0.356
0.248
0.373
0.268
0.444
0.249
horas totales/alumno
horas perm+ay.doctor/alumno
18.8
12.9
18.8
13.0
21.4
15.4
28.3
15.9
titulados de la cohorte 2001‐02 en el curso 2008‐09 (8 cursos)
n.d.
62%
48%
75%
entre 5 y 6
entre 6 y 7
entre 7 y 8
entre 8 y 9
entre 9 y 10
traslado expediente
n.d.
n.d.
n.d.
n.d.
n.d.
n.d.
‐‐
3%
4%
33%
‐‐
18%
0%
14%
16%
50%
50%
36%
39%
75%
73%
88%
‐‐
73%
titulados en el 2010
19
41
50
47
horas totales/titulado
horas perm+ay.doctor/titulado
coste de profesorado/titulado
244
167
130
91
176
127
158
88
demanda 1a opcion
oferta
www.aqu.cat
DADES WINDDAT
S WINDDAT
Un ejemplo de
WINDDAT + encuesta
Inserción
Laboral
alumnos matriculados
246
285
412
262
tasa de graduacion a N+1 en funcion de la nota de acceso
10
Edad fin/encuesta: 27/30 años
…una INGENIERIA acabada 2007‐encuestada 2011
www.aqu.cat
UNI‐1
UNI‐2
UNI‐3
La UNI‐4
qualitat, garantiaUNI‐5
de millora.
Empleados
89%
92%
97%
88%
89%
antes de acabar
menos de 1 mes
de 1 a 3 meses
de 4 a 6 meses
mas de 6 meses
33%
11%
39%
11%
6%
35%
27%
16%
16%
5%
38%
35%
25%
3%
0%
33%
13%
20%
23%
10%
26%
5%
26%
16%
26%
funciones propias
funciones no propias
funciones propias
funciones no propias
requerida form. univ.
no req. form. univ.
33%
17%
44%
6%
0%
‐‐
54%
8%
22%
5%
11%
50%
10%
30%
8%
3%
--
--
47%
3%
43%
7%
0%
‐‐
53%
11%
26%
5%
5%
‐‐
9.000 a 18.000
18.000 a 24.000
24.000 a 30.000
30.000 a 40.000
mas de 40.000
24%
12%
29%
29%
6%
6%
32%
18%
35%
9%
5%
18%
42%
26%
8%
14%
10%
24%
28%
24%
11%
21%
47%
11%
11%
56%
83%
67%
83%
58%
97%
69%
86%
67%
79%
poblacion
muestra
% respuesta
% error muestral
27
19
70%
12%
48
37
77%
8%
49
40
82%
7%
43
30
70%
10%
26
19
73%
12%
horas totales/titulado
horas perm+ay.doctor/titulado
coste de profesorado/titulado
244
167
130
91
176
127
158
88
Un ejemplo
de WINDDAT + encuesta Inserción Laboral
Tiempo para el ENQUESTA INSERCIO LABORAL
NSERCIO LABORAL
primer trabajo
Requisito de titulo especifico
Requisito de titulo universitario
Sin requisito de titulo universitario
Salario anual
¿Repetirias carrera?
¿Repetirias universidad?
Satisfaccion
Datos tecnicos de la encuesta
11
Paro univ. 30 años  ½ EPA franja 25-54 << paro juvenilwww.aqu.cat
16-24
La qualitat, garantia de millora.
Paro juvenil sobre total  ½ juvenil sobre población
activa
La tasa de paro por franjas de edad (EPA 1er trimestre 2011)
http://www.ine.es/jaxiBD/tabla.do?per=03&type=db&divi=EPA&idtab=25
Encuesta de Población
Tablas por Comunidades Autónomas
Población de 16 y más años por relación con la actividad económica, sexo y grupo de edad, por comunidad autónoma
Unidades: Miles de personas
Activos +
Inactivos
Cataluña
Ambos sexos
Total
De 16 a 19 años
De 20 a 24 años
De 25 a 54 años
De 55 y más años
De 16 a 24 años
Total
2011TI
6,068.20
267.80
375.70
3,364.20
2,060.50
643.50
Total
De 16 a 19 años
De 20 a 24 años
De 25 a 54 años
De 55 y más años
De 16 a 24 años
100%
100%
100%
100%
100%
100%
Total
De 16 a 19 años
De 20 a 24 años
De 25 a 54 años
De 55 y más años
De 16 a 24 años
Ocupados +
Parados
Activos +
Inactivos
Activos Ocupados Parados Inactivos
2011TI
2011TI
2011TI
2011TI
3,827.10 3,099.50
727.60 2,241.10
65.80
18.70
47.10
202.00
270.00
170.80
99.20
105.80
2,988.60 2,476.80
511.80
375.60
502.70
433.20
69.60 1,557.80
335.80
189.50
146.30
307.80
100%
100%
100%
100%
100%
100%
51%
7%
45%
74%
21%
29%
12%
18%
26%
15%
3%
23%
81%
28%
63%
83%
86%
56%
19%
72%
37%
17%
14%
44%
37%
75%
28%
11%
76%
48%
Total
2011TIII
6,034.90
266.70
366.80
3,324.00
2,077.40
633.50
Ocupados +
Parados
Activos Ocupados Parados Inactivos
2011TIII
2011TIII
2011TIII
2011TIII
3,818.60 3,076.60
742.00 2,216.30
69.70
31.60
38.00
197.00
266.70
159.70
107.00
100.20
2,970.30 2,434.60
535.80
353.70
511.90
450.70
61.30 1,565.40
336.40
191.30
145.00
297.20
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
51%
12%
44%
73%
22%
30%
12%
14%
29%
16%
3%
23%
81%
45%
60%
82%
88%
57%
19%
55%
40%
18%
12%
43%
37%
74%
27%
11%
75%
47%
12
www.aqu.cat
La qualitat, garantia de millora.
ENCUESTAS A LOS ESTUDIANTES
Máster
Grado
Año
0
Entrada a la
Universitat
1
2
3
Encuesta de satisfacción
al finalizar el primer curso
4
5
Encuesta de satisfacción
al finalizar el Grado/Máster
Encuesta de satisfacción de los estudiantes
Proyecto piloto
Coste del proyecto: 70.000€
Opción 1
Opción 2
Encuesta de satisfacción de los
estudiantes con resultados
significativos
a nivel de subámbito
Encuesta de satisfacción de los
estudiantes con resultados
significativos
a nivel de cada titulación
Coste total: 201.000€
0,92€/est*año (trianual)
Coste total: 391.000€
1,76€/est*año (trianual)
6
7
Encuesta de
inserción laboral
Encuesta de inserción laboral con
resultados significativos a nivel de
titulación
Coste total: 200.000€
3,70€/est*año (trianual)
Financiación de los Consejos Sociales
Realizada el 2001, 2005, 2008, 2011 … 2014
Estudio sobre la opinión de los
empleadores de los graduados
universitarios
Coste total: 43.200€
0,50€/est*año (trianual)
www.aqu.cat
La qualitat, garantia de millora.
Indicadores cuantitativos
¿Qué hace este niño aquí?
¡ ESTO ES
CONSTRUIR
REFERENTES !
ARoS Aarhus Museum of Art, DK
Los indicadores
• han de mantenerse a lo largo del tiempo
• han de hacerse extensivos a todo el sistema
• han de contextualizarse y compararse con los de sistemas parecidos
Pero, quizás lo más importante es que los indicadores
• tienen que formar parte de la cultura de gestión de las universidades
• son de muy poca utilidad si no catalizan la adopción de propuestas
de mejora concretas y realizables
14
www.aqu.cat
La qualitat, garantia de millora.
SEGUIMIENTO CURSOS 2012-13 Y SIGUIENTES
APARTATADOS DEL INFORME DE SEGUIMIENTO INFORME DE SEGUIMIENTO DEL TITULO Idoneidad del SGIQ para al seguimiento del título
Información pública sobre el desarrollo operativo del
título Información pública sobre los indicadores del título
Análisis valorativa del título y acciones de mejora
Análisis valorativa de los indicadores públicos (WINDDAT) y acciones de mejora propuestas Información pública de las evidencias usadas para la evaluación y análisis valorativa de los resultados de aprendizaje alcanzados Análisis valorativa de los indicadores de satisfacción y de inserción laboral INFORMES ENVIADOS A LA AGENCIA INFORMES EVALUADOS POR LA AGENCIA 1 i 2 3 i 4 5 i 6 SI
SI
SI
SI SI SI SI
SI
‐‐
‐‐
‐‐
‐‐
‐‐ SI SI ‐‐ SI SI ‐‐ SI SI todos todos todos muestra muestra muestra MEMORIA DE VERIFICACIÓN ACTUALIZADA
INFORME DE LA EVALUACIÓN EXTERNA
Dossier de
acreditación
15
www.aqu.cat
ACREDITACION
La qualitat, garantia de millora.
Los ESG de ESG
referencia
¿En cuantas dimensiones se organizan?
¿QUE PREGUNTAS SE QUIEREN RESPONDER?
EL MAPAMUNDI DE LA ACREDITACION
¿Que evidencias se usaran para hacerlo?
Eficacia de los sistemss de OBLIGATORIAS
2 soporte al aprendizaje
Eficacia del SGIC para la mejora continua
Pertinencia de la informacion 3
publica
3 Diseño del plan de formacion
4
OPTATIVAS
STAKEHOLDERS
3
Resultados de aprendizaje de los estudiantes
El modelo de evaluacion de los aprendizajes
Interaccion docencia‐
investigacion en los Internacionalitzacion de los programas
Sostenibilitat de los programas
Valor añadido de los programas
1
2
Memoria de verificacion
TFG, examenes, trabajos, 3
ORIGEN DE LAS EVIDENCIAS
1 Adequacion del profesorado
4
¿QUE TIPO DE RESPUESTAS SE DARAN?
1‐ Tiene un nivell suficiente y se identifican buenas practicas que se deben difundir
2‐ Tiene un nivel suficiente
3‐ Tiene un nivell suficiente pero se solicita que se mejoren algunos aspectos
4‐ Tiene un nivel insuficiente
¿Qué tipo de respuestas se quieren dar?
16
Acreditación :
• reconocible en el EEES
• instrumento para la internacionalización
www.aqu.cat
La qualitat, garantia de millora.
EL MAPAMUNDI DE LA ACREDITACION
ACREDITACION
¿Para quien son relevantes las respuestas?
Estudiantes Empleadores Gobierno Universidades
Los ESG de ESG
referencia
¿En cuantas dimensiones se organizan?
¿QUE PREGUNTAS SE QUIEREN RESPONDER?
¿Que evidencias se usaran para hacerlo?
¿Aparecen en el ¿Se recojen en proceso de el proceso de VERIFICACION? SEGUIMIENTO?
¿Se especifican en el ultimo informe de SEGUIMIENTO?
¿Se observaran en el proceso de EVALUACION EXTERNA?
¿Se prepararan en la visita previa?
¿Se obtendran con la evaluacion externa?
OPTATIVAS
OBLIGATORIAS
Adequacion del profesorado
Acreditación relevante:
• para los estudiantes
• para los empleadores
• para los gobiernos
• para la universidad
Eficacia de los sistemss de soporte al aprendizaje
Eficacia del SGIC para la mejora continua
Pertinencia de la informacion publica
Diseño del plan de formacion
Memoria de verificacion
Resultados de aprendizaje de los estudiantes
El modelo de evaluacion de los aprendizajes
Interaccion docencia‐
investigacion en los Internacionalitzacion de los programas
Sostenibilitat de los programas
Valor añadido de los programas
TFG, examenes, trabajos, ¿QUE TIPO DE RESPUESTAS SE DARAN?
1‐ Tiene un nivell suficiente y se identifican buenas practicas que se deben difundir
2‐ Tiene un nivel suficiente
3‐ Tiene un nivell suficiente pero se solicita que se mejoren algunos aspectos
4‐ Tiene un nivel insuficiente
Acreditación útil para la universidad:
• detecta buenas prácticas
• aporta propuestas de mejora
Memoria de verificacion
TFG, examenes, trabajos, TFG, examenes, trabajos, Acreditación integrada/integral:
• basada/reemplace la verificación
• valora la evolución del seguimiento
• incluye un autoinforme
• requiere una evaluación externa
17
www.aqu.cat
La qualitat, garantia de millora.
UNA LISTA DE DESEOS …
Desde la perspectiva de la mejora de la calidad de las universidades necesitamos …
Menos regulación sobre...
• la contratación/descontratación de profesorado
• la duración de los títulos y la separación títulos oficiales/propios
• los instrumentos de calidad (VERIFICA+SEM= bomba de relojería)
Más autonomía para …
• fijar el catálogo de títulos que oferta cada universidad
• reforzar los mecanismos internos de aseguramiento de la calidad
de las universidades y para organizar su gobernanza
Más rendición de cuentas de …
• la eficacia de las universidades, divulgando la lista de todos los “resultados”
producidos y contrastándola con los stakeholders
• la eficiencia, explicitando el uso de los recursos para cada una de las
actividades docentes, investigadoras y de 3ª misión
• relacionando los resultados obtenidos con los recursos disponibles
• la sostenibilidad de los títulos (y la investigación)
18
www.aqu.cat
La qualitat, garantia de millora.
! Las cosas no son lo mismo vistas por delante …
19
www.aqu.cat
La qualitat, garantia de millora.
... que vistas por detrás!
20
www.aqu.cat
La qualitat, garantia de millora.
¡…pero el escultor pone el mismo esmero en cada parte!
British Museum (London)
21
www.aqu.cat
La qualitat, garantia de millora.
¡Gracias!
22