XIV FORO DE ALMAGRO Aseguramiento de la Calidad de los Títulos Universitarios: Evaluación Ex-Ante y Continua y Ex-Post EL SEGUIMIENTO DE LOS TÍTULOS UNIVERSITARIOS DESDE LA PERSPECTIVA INTERNA DEL TÍTULO 22 de noviembre de 2012 Santi Roca Área de Planificación, Evaluación y Calidad Universitat Politècnica de Catalunya www.upc.edu Los foros … 7. Los criterios y directrices para la garantía de la calidad de las universidades en el EEES (2005) 8. La calidad en la Universidad (2006) 9. La garantía de calidad en los nuevos planes de estudio (2007) 10. Los sistemas de información para la garantía de la calidad de las enseñanzas universitarias (2008) 11. La elaboración y seguimiento de los planes de estudio (2009) 12. El papel de los indicadores en el seguimiento y en los sistemas de garantía interna de la calidad (2010) 13. El seguimiento y la acreditación: herramientas para el aseguramiento de la calidad de los títulos universitarios (2011) 14. Aseguramiento de la Calidad de los Títulos Universitarios: Evaluación Ex-Ante y Continua y Ex-Post (2012) www.upc.edu El foro ha supuesto Crear un marco de cooperación y coordinación entre universidades y agencias que nos ha permitido Compartir conocimientos Conocer y debatir marcos legales y normativos Conocer y debatir sobre protocolos, guías y herramientas Conocer y debatir sobre aplicaciones y programas ….. Hemos conocido de primera mano posicionamientos de responsables políticos , de responsables de agencias …. Hemos intercambiado informaciones y buenas práctics entre universidades con el objeto de Buscar soluciones conjuntas para problemas comunes Elaborar estrategias conjuntas Colaborar en acciones innovadoras Crear referentes del sistema (indicadores, …) www.upc.edu El post foro … Lo importante no es solo lo que hemos aprendido / compartido Como lo transmitimos Como nos adaptamos a cada nueva situación Como damos respuesta a cada nuevo reto Como generamos alianzas internas Como superamos las dificultades internas www.upc.edu ¿Cómo damos respuesta a … ? Los Criterios y Directrices Europeos Los marcos reguladores La Verificación, Seguimiento y Acreditación de titulaciones Las políticas internas: P. Estrat, evaluación del PDI, SGIC … www.upc.edu Como evolucionar de los requerimientos europeos EEES y legislativos (real decreto) de la exigencia de la sociedad y de la competencia internacional A la Garantía de la Q de los programas formativos, y la Q de la investigación, de la gestión, de los servicios … www.upc.edu Ante los retos y las dificultades Reflexiones Iniciativas www.upc.edu Reflexiones Iniciativas www.upc.edu Retos que los procesos …. tengan una alto impacto en la mejora de la actividad docente (e investigadora, y en la gestión, y en la calidad de los servicios …) con un relativo bajo coste que los indicadores … sirvan sean útiles ayuden a entender nuestra realidad nos ayuden a tomar decisiones nos ayuden a mejorar y además … lograr la máxima implicación/participación de toda la comunidad (también de los estudiantes) www.upc.edu Retos que sirva que sea de utilidad que se oriente hacia la mejora (interna / externa) Hay que superar el “síndrome del PNECU” www.upc.edu Primeras conclusiones Evitar procesos de seguimiento y de garantía de calidad muy complejos y que requieran un exceso de burocracia: al diseñar los sistemas tener presente que hay que mantenerlos Incorporar el proceso de seguimiento al trabajo diario de la institución “Poner” el seguimiento, (y los indicadores), (y el SGIC) ( y…) al servicio de la institución y no al revés No olvidarnos del SGIC (de su despliegue …, del encaje con los otros procesos) Introducir los principios de racionalización y de sostenibilidad www.upc.edu Dificultades Falta de apoyo institucional Exceso de “intervencionismo” institucional Dificultad en la obtención y en la interpretación de los indicadores Dificultad en lograr sincronía de procesos / proyectos Falta de una visión global Hay que superar el síndrome del “volver a empezar” Marco general www.upc.edu Verificación Autorización Acreditación Seguimiento anual Diseño Proyecto Título Implantación / Revisión y mejora Año 1 Año 2 Año 3 Año 4 Año 5 Año 6 Sistema de Garantía de Calidad Mantenimiento y mejora Año 7 Año 8 … www.upc.edu Más conclusiones Evitar procesos de seguimiento y de garantía de calidad muy complejos y que requieran un exceso de burocracia: al diseñar el sistema tener presente que hay que mantenerlo Poner el SGIC (y el seguimiento), (y los indicadores), ( y…) al servicio de la institución y no al revés Incorporar el proceso de seguimiento y el SGIC al trabajo diario de la institución Introducir el principio de racionalización y de sostenibilidad No olvidarnos del SGIC (de su despliegue …, del encaje con los otros procesos Hay que saber claramente “el porqué” y “el para qué”. Hay que contextualizar los proyectos, tener claros los objetivos…. Interiorizar las políticas de calidad y avanzar hacia una práctica más sistemática de los procesos para ganar en credibilidad y validez. www.upc.edu La opinión de los Grupos de interés (extraídas de un estudio del 2011) 1. La AQ está ayudando a transformar positivamente la manera de funcionar las Universidades. Aunque estamos en el inicio de un largo camino y aún no conocemos el impacto real, éste está siendo y percibido en general, como positivo. 2. Fuera del ámbito de toma de decisiones y político, los sistemas de garantía de la calidad no han arraigado en la cotidianeidad, son unos grandes desconocidos. 3. La implementación de los sistemas está siendo más difícil de lo que previsiblemente era de esperar. Una cosa es definir sobre el papel y otra implantar en la realidad. www.upc.edu La opinión de los Grupos de interés (extraídas de un estudio del 2011) 4. Una parte del profesorado ve los sistemas de garantía de calidad como elementos burocráticos que incrementan la carga de trabajo sin ofrecer nada positivo que ofrezca valor real a cambio. 5. El profesorado de base tiene una opinión y visión crítica con respecto a los sistemas de garantía de calidad, alejada de los otros actores. No se ha buscado su complicidad y eso se nota mucho. 6. Las personas (PDI y cargos directivos) que se han implicado en las fases de diseño e implementación perciben con mayor índice de satisfacción la utilidad de los sistemas de calidad. www.upc.edu La opinión de los Grupos de interés (extraídas de un estudio del 2011) 7. El grado de información que tienen los estudiantes sobre los procesos de AQ son realmente muy bajos, tanto a nivel de universidad como de titulación. 8. La participación de los agentes de interés externos es testimonial. 9. Las asociaciones profesionales desconocen el impacto, la utilidad y el funcionamiento de los sistemas de garantía de la calidad. 10. Los egresados desconocen, de manera generalizada, la existencia de mecanismos internos de calidad y de los procesos de AQ, así como el beneficio que éstos pueden tener en el quehacer diario de la universidad. www.upc.edu En resumen … Hay que hacer pedagogía interna (y externa) Se ve la necesidad de hacer transparente todo lo relacionado con los procesos de AQ de las universidades, ya que diversos colectivos desconocen en un alto grado su existencia y utilidad. Debe promoverse la cultura de la calidad dentro de las universidades y desarrollar procesos para que éstas puedan demostrar su responsabilidad. www.upc.edu Reflexiones Iniciativas www.upc.edu Para empezar …. en la UPC hemos detectado algunas necesidades a las que dar respuesta ... 1. Actividades formativas (PDI, PAS, ED, Estudiantes …) 2. Consultoría (establecer prioridades, diseñar plan de trabajo, plan de comunicación interna …) 3. Establecimiento de un sistema solido y consolidado de indicadores. Desarrollo de sistemas de información 4. Diseño de herramientas de apoyo www.upc.edu 1. Actividades formativas Taller de sensibilización para la implementación de AUDIT dirigido a los equipos directivos. Oferta formativa dirigida directivos y al PDI a los equipos Oferta formativa dirigida al PAS Curso en SQ dirigido a los estudiantes Taller anual organizado por el GPAQ orientado a los gestores de los diferentes procesos Plan de formación en calidad Gestor de unidad ¿Qué cambiar? A1 ¿Cómo cambiar? La excelencia: más allá de la Q Introducción a las herramientas de Q SSII de la Q Describir procesos Herramientas estadísticas y six sigma Las encuestas Procesos Herramientas de Q SSII La gestión por procesos Elaborar un plan de mejora Compromisos de Q: la carta de servicios Introducción al AUDIT MODELO Implantar la ISO AUDIT Avanzado No mandos ¿Por qué cambiar? Elaborar un plan estratégico La Q: ¿por dónde empezar? Introducción a la ISO Mandos El auditor interno: técnicas de auditoría U U F F El auditor interno: técnicas de auditoría U U B B Rendir cuentas a la sociedad www.upc.edu 1. Necesidades detectadas ... Actividades formativas (PDI, PAS, ED, Estudiantes …) 2. Consultoría (establecer prioridades, diseñar plan de trabajo, plan de comunicación interna …) 3. Establecimiento de un sistema solido y consolidado de indicadores. Desarrollo de sistemas de información 4. Diseño de herramientas de apoyo 2. Acciones de consultoría www.upc.edu Asesoramiento y seguimiento de los proyectos • Asesoramiento para el desarrollo • Soporte en el establecimiento de prioridades • Soporte en la elaboración de planes de trabajo • Soporte en la elaboración de otros elementos: plan de comunicación, plan de sistemas, gestión documental • Acciones de fomento de participación • …. www.upc.edu Necesidades detectadas ... 1. Actividades formativas (PDI, PAS, ED, Estudiantes …) 2. Consultoría (establecer prioridades, diseñar plan de trabajo, plan de comunicación interna …) 3. Establecimiento de un sistema solido y consolidado de indicadores. Desarrollo de sistemas de información 4. Diseño de herramientas de apoyo 3. Establecimiento de un sistema solido y consolidado de indicadores www.upc.edu Hemos rediseñado el sistema de información general de la Universidad para garantizar la accesibilidad y disponibilidad de la información (cuadros de mando/indicadores ) Objetivo: dar a conocer los indicadores más importantes de la universidad. • Agrupados por ámbitos / unidades / titulaciones Con apartados de indicadores personalizados a los distintos grupos de interés (estudiantes, PDI. gestores de centros y departamentos, gestores de la universidad …) Con información contextual complementaria (www.upc.edu/dades) Cuadros de mando/indicadores www.upc.edu www.upc.edu/dades Cuadros de mando/indicadores www.upc.edu www.upc.edu/dades Cuadros de mando/indicadores www.upc.edu www.upc.edu/dades 29 Cuadros de mando/indicadores www.upc.edu www.upc.edu/dades Cuadros de mando/indicadores www.upc.edu www.upc.edu/dades Cuadros de mando/indicadores www.upc.edu www.upc.edu/dades www.upc.edu Sobre los indicadores … Un INDICADOR relevante es CONTEXTUAL un dato puede ser un indicador pero no todo dato es un indicador: la diferencia no reside en el contenido sino en su relación con la finalidad. Transformar un dato en un indicador implica contestar: ¿quién es el destinatario / agentes de interés? ¿cuál es el propósito de la medida? ¿cómo queremos generar valor? ¿Por qué y para qué medir? www.upc.edu GRUPOS DE INTERÉS GESTIÓN DIARIA RENDIR CUENTAS TOMAR DECISIONES INDICAR COMPARAR SOBRE EL PASADO – TENDENCIA ¿hemos mejorado? SOBRE LO DESEADO – ESTRATEGIA ¿lo hemos conseguido? BENCHMARKING www.upc.edu Centro C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12 C13 C14 C15 C16 Resultados 22,50% 32,14% 46,67% 52,65% 55,67% 55,73% 56,52% 56,76% 63,91% 65,96% 73,71% 77,78% 78,00% 80,14% 81,06% 82,92% Calculamos una función de valor para cada indicador Valor asociado 0,59683 0,73315 0,86435 0,90072 0,91616 0,91647 0,92023 0,92136 0,95044 0,95742 0,97951 0,98875 0,98921 0,99350 0,99524 0,99858 % de titulados con un mínimo de un cuatrimestre en el extranjero ## ## ## ## 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 0% 10% 20% 30% 40% 50% Sota mínim Mitjana 70% 60% Sobre màxim 80% Los documentamos www.upc.edu 36 Los documentamos www.upc.edu www.upc.edu Necesidades detectadas ... 1. Actividades formativas (PDI, PAS, ED, Estudiantes …) 2. Consultoría (establecer prioridades, diseñar plan de trabajo, plan de comunicación interna …) 3. Establecimiento de un sistema solido y consolidado de indicadores. Desarrollo de sistemas de información 4. Diseño de herramientas de apoyo www.upc.edu 4. Diseño de herramientas de apoyo En la UPC se utiliza el potencial del plan de sistemas de información para: Automatizar los procesos Mejorar la accesibilidad de la información de la universidad Aumentar la transparencia de la información Proporcionar información que facilite la toma de decisiones y, en concreto, mejorar y agilizar los procedimientos www.upc.edu En relación al seguimiento de titulaciones Hemos trabajado en la creación de un aplicativo web para alojar información, gestionar documentos y elaborar los informes de títulos para el seguimiento y la acreditación … … que permite elaborar el Informe anual y global de la universidad de acuerdo con los principios del documento de CURSA y con el MVSMA de titulaciones de AQU : • Referencia a la información pública (indicadores) • Reflexiones en torno a la planificación de la titulación • Reflexión sobre la adecuación del SGIC • Modificaciones introducidas en las titulaciones (propuestas de mejora …) Aplicación SAT http://www.upc.edu/sat 42 43 44 45 46 www.upc.edu www.upc.edu 49 50 51 52 www.upc.edu •Las MODIFICACIONES son una consecuencia natural y deseable del SEGUIMIENTO •No tiene sentido plantearlas si no derivan del proceso de seguimiento 54 55 56 www.upc.edu En síntesis SAT es una herramienta pensada para Simplificar y facilitar la generación de informes Iniciar un proceso de reflexión sobre la disponibilidad, accesibilidad y pertinencia de información Iniciar un proceso de reflexión sobre el desarrollo del plan de estudios Valorar el funcionamiento de cada título a partir del despliegue del sistema de garantía interna de la calidad Aportar recomendaciones y propuestas de mejora Conclusiones www.upc.edu La principal que los sistemas de garantía interna de calidad, de seguimiento, …. tengan una alto impacto en la mejora de la actividad docente, e investigadora, y en la gestión, y en la calidad de los servicios …, con un relativo bajo coste www.upc.edu Y además … Poner el sistema de garantía interna de calidad (y el proceso de seguimiento), al servicio de la institución y no al revés Evitar diseños muy complejos y que requieran un exceso de burocracia: al diseñar los sistemas tener presente que hay que mantenerlos Incorporar los sistemas de información al trabajo diario de la institución. El Proceso de seguimiento ha de ser útil para mejorar los resultados de la organización Introducir los principios de racionalización y de sostenibilidad Muchas gracias [email protected] Área de Planificación, Evaluación y Calidad Universitat Politècnica de Catalunya