XII FORO DE ALMAGRO calidad

XII FORO DE ALMAGRO
El papel de los indicadores en el seguimiento
y en los sistemas de garantía interna de la
calidad
Retos y dificultades de las comisiones de
garantía de calidad de los centros para la
utilización de indicadores. Líneas de actuación
coordinadas de las unidades técnicas de calidad
15 de octubre de 2010
Santi Roca
Gabinete de Planificación, Evaluación y Calidad
Universitat Politècnica de Catalunya
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
Retos y dificultades

que los procesos …. tengan una alto impacto en la
mejora de la actividad docente (e investigadora, y en la
gestión, y en la calidad de los servicios …) con un relativo
bajo coste
 que los indicadores …
 sirvan
 sean útiles
 ayuden a entender nuestra realidad
 nos ayuden a tomar decisiones
 nos ayuden a mejorar
 y además … lograr la máxima implicación/participación de
toda la comunidad (también de los estudiantes)
www.upc.edu
Retos y dificultades

que sirva

que sea de utilidad

que se oriente hacia la mejora (interna / externa)
Hay que superar el “síndrome del PNECU”
www.upc.edu
Primeras conclusiones
 Poner el SGIC (y el seguimiento), (y los indicadores),
( y…) al servicio de la institución y no al revés
 Evitar procesos de seguimiento y de garantía de calidad
muy complejos y que requieran un exceso de
burocracia: al diseñar los sistemas tener presente que
hay que mantenerlos
 Incorporar el proceso de seguimiento y el SGIC al
trabajo diario de la institución.
 Introducir el principio de racionalización
www.upc.edu
Retos y dificultades

falta de apoyo institucional

exceso de “intervencionismo” institucional

dificultad en la obtención y en la interpretación de los
indicadores

falta de una visión global

dificultad en lograr sincronía de procesos / proyectos
Hay que superar el síndrome del “volver a empezar”
Administración
educativa
www.upc.edu
Plan estratégico
institucional
Planes
sectoriales
Plan de
financiación
Impulso a las líneas estratégicas de Centros, Departamentos e Institutos
Eje A
Eje B
Eje C
Actividad ordinaria
Garantía de Calidad
Proyectos estratégicos
AUDIT – VERIFICA- SEGUIMIENTO - ACREDITA
Planificación y Evaluación de la actividad del Profesorado
DOCENTIA
Administración
educativa
www.upc.edu
Pla estratègic
institucional
Planes
sectoriales
 5 ejes:
Indicadores vinculados a 8 PS:
Bibliotecas
Lenguas
Acción tutorial
TIC
Sostenibilidad
Promoción estudios
Impulso
Internacionalización
Igualdad de oportunidades
Plan de
financiación
 3 ámbitos:
Docencia e investigación
Personal
Infraestructuras
Gestión
Sociedad
Docencia
Investigación
Gestión
 63 Indicadores
 192 indicadores
a las líneas estratégicas
de Centros, Departamentos e Institutos
Eje A
Eje B
Eje C
Actividad ordinaria
Garantía de Calidad
Proyectos estratégicos
AUDIT – VERIFICA- SEGUIMIENTO - ACREDITA
Cada unidad básica
Requerimientos
Criterios
Indicadores
de docencia, investigación
y compromiso institucional
Evaluación ex-ante
Seguimiento
Evaluación ex-post
Indicadores de
rendimiento y de
AUDIT:
viabilidad
Indicadores
Planificación
y Evaluación de la actividad del Profesorado
académica
5 bloques de indicadores:
vinculados a más de
40 procedimientos
DOCENTIA
Actividad docente
Resultados encuestas
Opinión directores UB
Autoinforme
Proyectos innovación
www.upc.edu
“un clásico”

Estamos asistiendo, una vez más, a un cambio muy significativo en la
demanda y uso de la información

Requerimos información
comparada para







significativa,
sintética,
estructurada
y
Evaluar sistemáticamente nuestra actividad
Mejorar nuestra actividad
Compararnos interna y externamente
Dar cuentas a la sociedad / a la administración, ...
Informar a los estudiantes, empresas, ... a la sociedad
....
Para poder dar respuesta a las “nuevas necesidades”, hemos de
asegurar que recopilamos, analizamos y utilizamos información
pertinente para la gestión eficaz de los programas de estudio y de otras
actividades


Hay que conocer de forma fiable la realidad
Hay que velar por la calidad de la información y los datos
www.upc.edu
Más conclusiones

Poner el SGIC (y el seguimiento), (y los indicadores), ( y…) al servicio
de la institución y no al revés

Evitar procesos de seguimiento y de garantía de calidad muy
complejos y que requieran un exceso de burocracia: al diseñar el
sistema tener presente que hay que mantenerlo

Incorporar el proceso de seguimiento y el SGIC al trabajo diario de la
institución

Introducir el principio de racionalización
 Hay que saber claramente “el porqué” y “el para qué”. Hay que
contextualizar los proyectos, tener claros los objetivos….

Interiorizar las políticas de calidad y avanzar hacia una
práctica más sistemática de los procesos para ganar en
credibilidad y validez.
www.upc.edu
¿Como dar respuesta a
los retos y dificultades?
Reflexiones e iniciativas
Compromisos iniciales
www.upc.edu
Institución
Centros
Implicación en el proyecto por
parte de toda la unidad
Liderazgo interno
Participación de forma activa
en todas las fases:









Diseño
Implementación
Seguimiento
Evaluación
Ajuste a la metodología
consensuada (atendiendo a lo
específico)
Difusión interna / externa

Liderazgo institucional

Coordinación interna y apoyo
metodológico y conceptual

Facilitar directrices

Dar respuesta a las necesidades
detectadas: herramientas,
procedimientos …

Realizar un seguimiento del
proyecto

Contribuir a la difusión interna y
externa (buenas prácticas)
www.upc.edu
Para empezar …. en la UPC hemos
detectado algunas necesidades a las que
dar respuesta ...
1. Actividades formativas (PDI, PAS, ED, Estudiantes …)
2. Consultoría (establecer prioridades, diseñar plan de
trabajo, plan de comunicación interna …)
3. Establecimiento de un sistema solido y consolidado
de indicadores. Desarrollo de sistemas de
información
4. Diseño de herramientas de apoyo
www.upc.edu
1. Actividades formativas
 Taller
de
sensibilización
para
la
implementación de AUDIT dirigido a los
equipos directivos.
 Oferta formativa dirigida
directivos y al PDI
a
los
equipos
 Oferta formativa dirigida al PAS
 Curso en SQ dirigido a los estudiantes
 Taller anual organizado por el GPAQ
orientado a los gestores de los diferentes
procesos
Plan de formación en calidad
Gestor de unidad
¿Qué cambiar?
¿Cómo cambiar?
La Q:
¿por dónde
empezar?
La excelencia:
más allá de la
Q
Es
Introducción a
las
herramientas
de Q
SSII de la Q
Describir
procesos
Herramientas
estadísticas y
six sigma
Las encuestas
Procesos
Herramientas
de Q
SSII
La gestión por
procesos
Elaborar un
plan de
mejora
Compromisos
de Q: la carta
de servicios
Introducción a
la ISO
Implantar
la ISO
El auditor
interno:
técnicas de
auditoría
U
U
F
F
El auditor
interno:
técnicas de
auditoría
U
U
B
B
H
Modelo
Introducción
al AUDIT
AUDIT
Avanzado
No mandos
¿Por qué cambiar?
Elaborar un
plan
estratégico
A1
MODELO
Mandos
Rendir
cuentas a la
sociedad
V
S
www.upc.edu
1.
Necesidades detectadas ...
Actividades formativas (PDI, PAS, ED, Estudiantes …)
2. Consultoría (establecer prioridades, diseñar plan de
trabajo, plan de comunicación interna …)
3. Establecimiento de un sistema solido y consolidado
de indicadores. Desarrollo de sistemas de
información
4. Diseño de herramientas de apoyo
www.upc.edu
2. Acciones de consultoría
 Asesoramiento y seguimiento de los
proyectos
• Asesoramiento para el desarrollo
• Soporte en el establecimiento de prioridades
• Soporte en la elaboración de planes de
trabajo
• Soporte en la elaboración de otros elementos:
plan de comunicación, plan de sistemas,
gestión documental
• Acciones de fomento de participación
• ….
www.upc.edu
Necesidades detectadas ...
1.
Actividades formativas (PDI, PAS, ED, Estudiantes …)
2.
Consultoría (establecer prioridades, diseñar plan de trabajo, plan de
comunicación interna …)
3. Establecimiento de un sistema solido y consolidado
de indicadores. Desarrollo de sistemas de
información
4. Diseño de herramientas de apoyo
3. Establecimiento de un sistema solido y
consolidado de indicadores.
Desarrollo de sistemas de información
www.upc.edu
 Hemos rediseñado el sistema de información general de la
Universidad para garantizar la accesibilidad y disponibilidad de
la información (cuadros de mando/indicadores )
 Objetivo: dar a conocer los indicadores más importantes de la
universidad.
•
Agrupados por ámbitos / unidades / titulaciones
 Con apartados de indicadores personalizados a los distintos
grupos de interés (estudiantes, PDI. gestores de centros y
departamentos, gestores de la universidad …)
 Con información contextual complementaria
(www.upc.edu/dades)
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
27
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu/dades
www.upc.edu
Cuadros de mando/indicadores
www.upc.edu/dades
www.upc.edu
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
Cuadros de mando/indicadores
www.upc.edu
www.upc.edu/dades
www.upc.edu
En relación a los indicadores …
Algunos apuntes relativos a los indicadores, sin la
pretensión de teorizar ….
…. Múltiples definiciones
…. Múltiples características
ni de pensar abordar “qué indicadores” o “cómo
calcularlos” o “cómo documentarlos”
.
www.upc.edu
Sobre los indicadores …
Un INDICADOR relevante es CONTEXTUAL
un dato puede ser un indicador pero no todo dato es un
indicador: la diferencia no reside en el contenido sino en su
relación con la finalidad.
Transformar un dato en un indicador implica contestar:
 ¿quién es el destinatario / agentes de interés?
 ¿cuál es el propósito de la medida?
 ¿cómo queremos generar valor?
¿Por qué y para qué medir?
www.upc.edu
GESTIÓN DIARIA
GRUPOS DE INTERÉS
RENDIR
CUENTAS
META
TOMAR
DECISIONES
INDICADORES
INDICAR
SOBRE EL PASADO – TENDENCIA
¿hemos mejorado?
SOBRE LO DESEADO – ESTRATEGIA
¿lo hemos conseguido?
COMPARAR
BENCHMARKING
A tener en cuenta …
www.upc.edu
No es lo mismo tener que ser !
No es lo mismo tener un sistema de
indicadores que ser una organización que
usa los indicadores.
www.upc.edu
En la UPC integramos indicadores …
Docencia
Admisión
Relación demanda/oferta de plazas de las enseñanzas de grado
Mujeres matriculadas de nuevo ingreso en el primer curso
Tasa de rendimiento académico (para la fase no selectiva)
% de aptos en la fase selectiva
Promedio de créditos matriculados por estudiante
Actividad Docente % de presupuesto liquidado en proyectos de innovación y material docente en los últimos 3 años
% de profesorado con resultados en las encuestas con un valor igual o superior a 3,2
% de utilización de la lengua catalana en enseñanzas de grado
% de utilización de una tercera lengua en 2º ciclo y masters oficiales
% de estudiantado titulado con un mínimo de un cuatrimestre en el extranjero
Internacionalización % de estudiantado extranjero recibido a partir de programas de intercambio
y formación
% de estudiantes enviados en el marco de programas de intercambio
% de estudiantado graduado que ha realizado prácticas externas y proyectos vinculados al CCD
Resultados
% de abandonos
Tasa de eficiencia
Tasa de graduación
Duración media de los estudios
www.upc.edu
En la UPC integramos indicadores …
Docencia
Admisión
Relación demanda/oferta de plazas de las enseñanzas de grado
Mujeres matriculadas de nuevo ingreso en el primer curso
Tasa de rendimiento académico (para la fase no selectiva)
% de aptos en la fase selectiva
Promedio de créditos matriculados por estudiante
Actividad Docente % de presupuesto liquidado en proyectos de innovación y material docente en los últimos 3 años
% de profesorado con resultados en las encuestas con un valor igual o superior a 3,2
% de utilización de la lengua catalana en enseñanzas de grado
% de utilización de una tercera lengua en 2º ciclo y masters oficiales
% de estudiantado titulado con un mínimo de un cuatrimestre en el extranjero
Internacionalización % de estudiantado extranjero recibido a partir de programas de intercambio
y formación
% de estudiantes enviados en el marco de programas de intercambio
% de estudiantado graduado que ha realizado prácticas externas y proyectos vinculados al CCD
Resultados
% de abandonos
Tasa de eficiencia
Tasa de graduación
Duración media de los estudios
Verifica /Seguimiento - Agencias
www.upc.edu
En la UPC integramos indicadores …
Docencia
Admisión
Relación demanda/oferta de plazas de las enseñanzas de grado
Mujeres matriculadas de nuevo ingreso en el primer curso
Tasa de rendimiento académico (para la fase no selectiva)
% de aptos en la fase selectiva
Promedio de créditos matriculados por estudiante
Actividad Docente % de presupuesto liquidado en proyectos de innovación y material docente en los últimos 3 años
% de profesorado con resultados en las encuestas con un valor igual o superior a 3,2
% de utilización de la lengua catalana en enseñanzas de grado
% de utilización de una tercera lengua en 2º ciclo y masters oficiales
% de estudiantado titulado con un mínimo de un cuatrimestre en el extranjero
Internacionalización % de estudiantado extranjero recibido a partir de programas de intercambio
y formación
% de estudiantes enviados en el marco de programas de intercambio
% de estudiantado graduado que ha realizado prácticas externas y proyectos vinculados al CCD
Resultados
% de abandonos
Tasa de eficiencia
Tasa de graduación
Duración media de los estudios
Plan de financiación Generalitat - Universidades
www.upc.edu
En la UPC integramos indicadores …
Docencia
Admisión
Relación demanda/oferta de plazas de las enseñanzas de grado
Mujeres matriculadas de nuevo ingreso en el primer curso
Tasa de rendimiento académico (para la fase no selectiva)
% de aptos en la fase selectiva
Promedio de créditos matriculados por estudiante
Actividad Docente % de presupuesto liquidado en proyectos de innovación y material docente en los últimos 3 años
% de profesorado con resultados en las encuestas con un valor igual o superior a 3,2
% de utilización de la lengua catalana en enseñanzas de grado
% de utilización de una tercera lengua en 2º ciclo y masters oficiales
% de estudiantado titulado con un mínimo de un cuatrimestre en el extranjero
Internacionalización % de estudiantado extranjero recibido a partir de programas de intercambio
y formación
% de estudiantes enviados en el marco de programas de intercambio
% de estudiantado graduado que ha realizado prácticas externas y proyectos vinculados al CCD
Resultados
% de abandonos
Tasa de eficiencia
Tasa de graduación
Duración media de los estudios
UPC10 y Planes sectoriales UPC
www.upc.edu
Centro
C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C13
C14
C15
C16
Resultados
22,50%
32,14%
46,67%
52,65%
55,67%
55,73%
56,52%
56,76%
63,91%
65,96%
73,71%
77,78%
78,00%
80,14%
81,06%
82,92%
Calculamos una función de valor para
cada indicador
Valor asociado
0,59683
0,73315
0,86435
0,90072
0,91616
0,91647
0,92023
0,92136
0,95044
0,95742
0,97951
0,98875
0,98921
0,99350
0,99524
0,99858
% de titulados con un mínimo de un cuatrimestre en el extranjero
##
##
##
##
1,00
0,90
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
0%
10%
20%
30%
40%
50%
Sota mínim
Mitjana 70%
60%
Sobre màxim
80%
Los utilizamos como señales de alerta
www.upc.edu
Los utilizamos como señales de alerta
www.upc.edu
www.upc.edu
Necesidades detectadas ...
1.
Actividades formativas (PDI, PAS, ED, Estudiantes …)
2.
Consultoría (establecer prioridades, diseñar plan de trabajo, plan de
comunicación interna …)
3.
Establecimiento de un sistema solido y consolidado de indicadores.
Desarrollo de sistemas de información
4. Diseño de herramientas de apoyo
www.upc.edu
4. Diseño de herramientas de apoyo
En la UPC se utiliza el potencial del plan de sistemas de información para:





Automatizar los procesos
Mejorar la accesibilidad de la información de la universidad
Aumentar la transparencia de la información
Proporcionar información que facilite la toma de decisiones
y, en concreto, mejorar y agilizar los procedimientos
www.upc.edu
En relación al seguimiento de titulaciones
 Estamos trabajando en la creación de un aplicativo web para
alojar información, gestionar documentos
y elaborar los
informes de títulos para el seguimiento y la acreditación …
… que permita elaborar el Informe anual y global de la
universidad de acuerdo con los principios del documento de
CURSA y con el MVSMA de titulaciones de AQU :
• Referencia a la información pública (indicadores)
• Reflexiones en torno a la planificación de la titulación
• Reflexión sobre la adecuación del SGIC
• Modificaciones introducidas en las titulaciones (propuestas de
mejora …)
www.upc.edu
Aplicativo SAT (en periodo de pruebas)
•Las MODIFICACIONES son una consecuencia
natural y deseable del SEGUIMIENTO
•No tiene sentido plantearlas si no derivan del
proceso de seguimiento
www.upc.edu
En síntesis
SAT es una herramienta en fase de implementación y
mejora
SAT es una herramienta pensada para
 Simplificar y facilitar la generación de informes
 Iniciar un proceso de reflexión sobre la disponibilidad,
accesibilidad y pertinencia de información
 Iniciar un proceso de reflexión sobre el desarrollo del plan
de estudios
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
www.upc.edu
Algunas conclusiones
 Poner el SGIC (y el seguimiento), (y los indicadores), ( y…) al
servicio de la institución y no al revés
 Evitar procesos de seguimiento y de garantía de calidad muy
complejos y que requieran un exceso de burocracia: al diseñar
el sistema tener presente que hay que mantenerlo
 Incorporar el proceso de seguimiento y el SGIC al trabajo diario
de la institución
 Introducir el principio de racionalización
 Hay que saber claramente “el porqué” y “el para qué”. Hay que
contextualizar los proyectos, tener claros los objetivos….

Interiorizar las políticas de calidad y avanzar hacia una
práctica más sistemática de los procesos para ganar en
credibilidad y validez.
www.upc.edu
El papel de los indicadores en el seguimiento y
en los sistemas de garantía interna de la calidad
Retos y dificultades de las comisiones
de garantía de calidad de los centros
para la utilización de indicadores. Líneas
de actuación coordinadas de las
unidades técnicas de calidad
Muchas gracias
[email protected]
Gabinete de Planificación, Evaluación y Calidad
Universitat Politècnica de Catalunya