XIV FORO DE ALMAGRO Aseguramiento de la Calidad de los Títulos Universitarios:

XIV FORO DE ALMAGRO
Aseguramiento de la Calidad de los Títulos
Universitarios:
Evaluación Ex-Ante y Continua y Ex-Post
EL SEGUIMIENTO DE LOS TÍTULOS
UNIVERSITARIOS DESDE LA PERSPECTIVA
INTERNA DEL TÍTULO
22 de noviembre de 2012
Santi Roca
Área de Planificación, Evaluación y Calidad
Universitat Politècnica de Catalunya
www.upc.edu
Los foros …
7. Los criterios y directrices para la garantía de la calidad de las
universidades en el EEES (2005)
8. La calidad en la Universidad (2006)
9. La garantía de calidad en los nuevos planes de estudio (2007)
10. Los sistemas de información para la garantía de la calidad de las
enseñanzas universitarias (2008)
11. La elaboración y seguimiento de los planes de estudio (2009)
12. El papel de los indicadores en el seguimiento y en los sistemas
de garantía interna de la calidad (2010)
13. El seguimiento y la acreditación: herramientas para el
aseguramiento de la calidad de los títulos universitarios (2011)
14. Aseguramiento de la Calidad de los Títulos Universitarios:
Evaluación Ex-Ante y Continua y Ex-Post (2012)
www.upc.edu
El foro ha supuesto
Crear un marco de cooperación y coordinación entre universidades y
agencias que nos ha permitido
Compartir conocimientos
Conocer y debatir marcos legales y normativos
Conocer y debatir sobre protocolos, guías y herramientas
Conocer y debatir sobre aplicaciones y programas
…..
Hemos conocido de primera mano posicionamientos de responsables políticos , de
responsables de agencias ….
Hemos intercambiado informaciones y buenas práctics entre universidades
con el objeto de
Buscar soluciones conjuntas para problemas comunes
Elaborar estrategias conjuntas
Colaborar en acciones innovadoras
Crear referentes del sistema (indicadores, …)
www.upc.edu
El post foro …
Lo importante no es solo lo que hemos aprendido / compartido
Como lo transmitimos
Como nos adaptamos a cada nueva situación
Como damos respuesta a cada nuevo reto
Como generamos alianzas internas
Como superamos las dificultades internas
www.upc.edu
¿Cómo damos respuesta a … ?
Los Criterios y Directrices
Europeos
Los marcos reguladores
La Verificación, Seguimiento y
Acreditación de titulaciones
Las políticas internas: P. Estrat,
evaluación del PDI, SGIC …
www.upc.edu
Como evolucionar
de los requerimientos europeos EEES y
legislativos (real decreto)
de la exigencia de la sociedad y
de la competencia internacional
A la Garantía de la Q de los programas
formativos, y la Q de la investigación,
de la gestión, de los servicios …
www.upc.edu
Ante los retos y
las dificultades
Reflexiones
Iniciativas
www.upc.edu
Reflexiones
Iniciativas
www.upc.edu
Retos
que los procesos …. tengan una alto impacto en la
mejora de la actividad docente (e investigadora, y en la
gestión, y en la calidad de los servicios …) con un relativo
bajo coste
que los indicadores …
sirvan
sean útiles
ayuden a entender nuestra realidad
nos ayuden a tomar decisiones
nos ayuden a mejorar
y además … lograr la máxima implicación/participación de
toda la comunidad (también de los estudiantes)
www.upc.edu
Retos
que sirva
que sea de utilidad
que se oriente hacia la mejora (interna / externa)
Hay que superar el “síndrome del PNECU”
www.upc.edu
Primeras conclusiones
Evitar procesos de seguimiento y de garantía de calidad muy
complejos y que requieran un exceso de burocracia: al diseñar los
sistemas tener presente que hay que mantenerlos
Incorporar el proceso de seguimiento al trabajo diario de la
institución
“Poner” el seguimiento, (y los indicadores), (y el SGIC) ( y…) al
servicio de la institución y no al revés
No olvidarnos del SGIC (de su despliegue …, del encaje con los
otros procesos)
Introducir los principios de racionalización y de sostenibilidad
www.upc.edu
Dificultades
Falta de apoyo institucional
Exceso de “intervencionismo” institucional
Dificultad en la obtención y en la interpretación de los
indicadores
Dificultad en lograr sincronía de procesos / proyectos
Falta de una visión global
Hay que superar el síndrome del “volver a empezar”
Marco general
www.upc.edu
Verificación
Autorización
Acreditación
Seguimiento anual
Diseño Proyecto
Título
Implantación /
Revisión y mejora
Año 1 Año 2 Año 3 Año 4 Año 5 Año 6
Sistema de
Garantía de Calidad
Mantenimiento
y mejora
Año 7 Año 8 …
www.upc.edu
Más conclusiones
Evitar procesos de seguimiento y de garantía de calidad muy
complejos y que requieran un exceso de burocracia: al diseñar el
sistema tener presente que hay que mantenerlo
Poner el SGIC (y el seguimiento), (y los indicadores), ( y…) al servicio
de la institución y no al revés
Incorporar el proceso de seguimiento y el SGIC al trabajo diario de la
institución
Introducir el principio de racionalización y de sostenibilidad
No olvidarnos del SGIC (de su despliegue …, del encaje con los otros
procesos
Hay que saber claramente “el porqué” y “el para qué”. Hay que
contextualizar los proyectos, tener claros los objetivos….
Interiorizar las políticas de calidad y avanzar hacia una práctica
más sistemática de los procesos para ganar en credibilidad y
validez.
www.upc.edu
La opinión de los Grupos de
interés (extraídas de un estudio del 2011)
1.
La AQ está ayudando a transformar positivamente la
manera de funcionar las Universidades. Aunque
estamos en el inicio de un largo camino y aún no
conocemos el impacto real, éste está siendo y
percibido en general, como positivo.
2.
Fuera del ámbito de toma de decisiones y político, los
sistemas de garantía de la calidad no han arraigado
en la cotidianeidad, son unos grandes desconocidos.
3.
La implementación de los sistemas está siendo más
difícil de lo que previsiblemente era de esperar. Una
cosa es definir sobre el papel y otra implantar en la
realidad.
www.upc.edu
La opinión de los Grupos de
interés (extraídas de un estudio del 2011)
4. Una parte del profesorado ve los sistemas de garantía
de calidad como elementos burocráticos que
incrementan la carga de trabajo sin ofrecer nada
positivo que ofrezca valor real a cambio.
5. El profesorado de base tiene una opinión y visión
crítica con respecto a los sistemas de garantía de
calidad, alejada de los otros actores. No se ha buscado
su complicidad y eso se nota mucho.
6. Las personas (PDI y cargos directivos) que se han
implicado en las fases de diseño e implementación
perciben con mayor índice de satisfacción la utilidad de
los sistemas de calidad.
www.upc.edu
La opinión de los Grupos de
interés (extraídas de un estudio del 2011)
7.
El grado de información que tienen los estudiantes
sobre los procesos de AQ son realmente muy bajos,
tanto a nivel de universidad como de titulación.
8.
La participación de los agentes de interés externos es
testimonial.
9.
Las asociaciones profesionales desconocen el
impacto, la utilidad y el funcionamiento de los
sistemas de garantía de la calidad.
10. Los egresados desconocen, de manera generalizada,
la existencia de mecanismos internos de calidad y de
los procesos de AQ, así como el beneficio que éstos
pueden tener en el quehacer diario de la universidad.
www.upc.edu
En resumen …
Hay que hacer pedagogía interna (y externa)
Se ve la necesidad de hacer transparente
todo lo relacionado con los procesos de AQ
de las universidades, ya que diversos
colectivos desconocen en un alto grado su
existencia y utilidad.
Debe promoverse la cultura de la calidad
dentro de las universidades y desarrollar
procesos para que éstas puedan demostrar
su responsabilidad.
www.upc.edu
Reflexiones
Iniciativas
www.upc.edu
Para empezar …. en la UPC hemos
detectado algunas necesidades a las que
dar respuesta ...
1. Actividades formativas
(PDI, PAS, ED,
Estudiantes …)
2. Consultoría (establecer prioridades, diseñar plan
de trabajo, plan de comunicación interna …)
3. Establecimiento de un sistema solido y
consolidado de indicadores. Desarrollo de
sistemas de información
4. Diseño de herramientas de apoyo
www.upc.edu
1. Actividades formativas
Taller
de
sensibilización
para
la
implementación de AUDIT dirigido a los
equipos directivos.
Oferta formativa dirigida
directivos y al PDI
a
los
equipos
Oferta formativa dirigida al PAS
Curso en SQ dirigido a los estudiantes
Taller anual organizado por el GPAQ
orientado a los gestores de los diferentes
procesos
Plan de formación en calidad
Gestor de unidad
¿Qué cambiar?
A1
¿Cómo cambiar?
La excelencia:
más allá de la
Q
Introducción a
las
herramientas
de Q
SSII de la Q
Describir
procesos
Herramientas
estadísticas y
six sigma
Las encuestas
Procesos
Herramientas
de Q
SSII
La gestión por
procesos
Elaborar un
plan de
mejora
Compromisos
de Q: la carta
de servicios
Introducción
al AUDIT
MODELO
Implantar
la ISO
AUDIT
Avanzado
No mandos
¿Por qué cambiar?
Elaborar un
plan
estratégico
La Q:
¿por dónde
empezar?
Introducción a
la ISO
Mandos
El auditor
interno:
técnicas de
auditoría
U
U
F
F
El auditor
interno:
técnicas de
auditoría
U
U
B
B
Rendir
cuentas a la
sociedad
www.upc.edu
1.
Necesidades detectadas ...
Actividades formativas (PDI, PAS, ED, Estudiantes …)
2. Consultoría (establecer prioridades, diseñar plan de
trabajo, plan de comunicación interna …)
3. Establecimiento de un sistema solido y consolidado
de indicadores. Desarrollo de sistemas de
información
4. Diseño de herramientas de apoyo
2. Acciones de consultoría
www.upc.edu
Asesoramiento y seguimiento de los
proyectos
• Asesoramiento para el desarrollo
• Soporte en el establecimiento de prioridades
• Soporte en la elaboración de planes de
trabajo
• Soporte en la elaboración de otros elementos:
plan de comunicación, plan de sistemas,
gestión documental
• Acciones de fomento de participación
• ….
www.upc.edu
Necesidades detectadas ...
1. Actividades formativas (PDI, PAS, ED, Estudiantes …)
2. Consultoría (establecer prioridades, diseñar plan de trabajo, plan
de comunicación interna …)
3. Establecimiento de un sistema solido y
consolidado de indicadores. Desarrollo de
sistemas de información
4. Diseño de herramientas de apoyo
3. Establecimiento
de
un
sistema solido y consolidado
de indicadores
www.upc.edu
Hemos rediseñado el sistema de información general de la
Universidad para garantizar la accesibilidad y disponibilidad de
la información (cuadros de mando/indicadores )
Objetivo: dar a conocer los indicadores más importantes de la
universidad.
•
Agrupados por ámbitos / unidades / titulaciones
Con apartados de indicadores personalizados a los distintos
grupos de interés (estudiantes, PDI. gestores de centros y
departamentos, gestores de la universidad …)
Con información contextual complementaria
(www.upc.edu/dades)
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
29
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
www.upc.edu
Sobre los indicadores …
Un INDICADOR relevante es CONTEXTUAL
un dato puede ser un indicador pero no todo dato es un
indicador: la diferencia no reside en el contenido sino en su
relación con la finalidad.
Transformar un dato en un indicador implica contestar:
¿quién es el destinatario / agentes de interés?
¿cuál es el propósito de la medida?
¿cómo queremos generar valor?
¿Por qué y para qué medir?
www.upc.edu
GRUPOS DE INTERÉS
GESTIÓN DIARIA
RENDIR
CUENTAS
TOMAR
DECISIONES
INDICAR
COMPARAR
SOBRE EL PASADO – TENDENCIA
¿hemos mejorado?
SOBRE LO DESEADO – ESTRATEGIA
¿lo hemos conseguido?
BENCHMARKING
www.upc.edu
Centro
C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C13
C14
C15
C16
Resultados
22,50%
32,14%
46,67%
52,65%
55,67%
55,73%
56,52%
56,76%
63,91%
65,96%
73,71%
77,78%
78,00%
80,14%
81,06%
82,92%
Calculamos una función
de valor para cada indicador
Valor asociado
0,59683
0,73315
0,86435
0,90072
0,91616
0,91647
0,92023
0,92136
0,95044
0,95742
0,97951
0,98875
0,98921
0,99350
0,99524
0,99858
% de titulados con un mínimo de un cuatrimestre en el extranjero
##
##
##
##
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
0%
10%
20%
30%
40%
50%
Sota mínim
Mitjana 70%
60%
Sobre màxim
80%
Los documentamos
www.upc.edu
36
Los documentamos
www.upc.edu
www.upc.edu
Necesidades detectadas ...
1. Actividades formativas (PDI, PAS, ED, Estudiantes …)
2. Consultoría (establecer prioridades, diseñar plan de
trabajo, plan de comunicación interna …)
3. Establecimiento de un sistema solido y consolidado
de indicadores. Desarrollo de sistemas de
información
4. Diseño de herramientas de apoyo
www.upc.edu
4. Diseño de herramientas
de apoyo
En la UPC se utiliza el potencial del plan de sistemas de
información para:
Automatizar los procesos
Mejorar la accesibilidad de la información de la
universidad
Aumentar la transparencia de la información
Proporcionar información que facilite la toma de
decisiones
y, en concreto, mejorar y agilizar los
procedimientos
www.upc.edu
En relación al seguimiento
de titulaciones
Hemos trabajado en la creación de un aplicativo web para
alojar información, gestionar documentos
y elaborar los
informes de títulos para el seguimiento y la acreditación …
… que permite elaborar el Informe anual y global de la
universidad de acuerdo con los principios del documento de
CURSA y con el MVSMA de titulaciones de AQU :
• Referencia a la información pública (indicadores)
• Reflexiones en torno a la planificación de la titulación
• Reflexión sobre la adecuación del SGIC
• Modificaciones introducidas en las titulaciones (propuestas de
mejora …)
Aplicación SAT
http://www.upc.edu/sat
42
43
44
45
46
www.upc.edu
www.upc.edu
49
50
51
52
www.upc.edu
•Las MODIFICACIONES son una
consecuencia natural y deseable
del SEGUIMIENTO
•No tiene sentido plantearlas si
no derivan del proceso de
seguimiento
54
55
56
www.upc.edu
En síntesis
SAT es una herramienta pensada para
Simplificar y facilitar la generación de informes
Iniciar un proceso de reflexión sobre la disponibilidad,
accesibilidad y pertinencia de información
Iniciar un proceso de reflexión sobre el desarrollo del plan
de estudios
Valorar el funcionamiento de cada título a partir del
despliegue del sistema de garantía interna de la calidad
Aportar recomendaciones y propuestas de mejora
Conclusiones
www.upc.edu
La principal
que los sistemas de garantía
interna
de
calidad,
de
seguimiento, …. tengan una alto
impacto en la mejora de la
actividad docente, e investigadora,
y en la gestión, y en la calidad de
los servicios …, con un relativo
bajo coste
www.upc.edu
Y además …
Poner el sistema de garantía interna de calidad (y
el proceso de seguimiento), al servicio de la
institución y no al revés
Evitar diseños muy complejos y que requieran un
exceso de burocracia: al diseñar los sistemas tener
presente que hay que mantenerlos
Incorporar los sistemas de información al trabajo
diario de la institución.
El Proceso de seguimiento ha de ser útil para
mejorar los resultados de la organización
Introducir los principios de racionalización y de
sostenibilidad
Muchas gracias
[email protected]
Área de Planificación, Evaluación y Calidad
Universitat Politècnica de Catalunya