La qualitat, garantia de millora www.aqu.cat La qualitat, garantia de millora. www.aqu.cat VERIFICACION SEGUIMIENTO ACREDITACIÓN XIV Foro de Almagro Josep A. Ferré Director 22 de Noviembre de 2012 1 www.aqu.cat La qualitat, garantia de millora. VERIFICACIÓN- SEGUIMIENTO-ACREDITACIÓN SEGUIMIENTO VERIFICACIÓN Monasterio de Santes Creus (Tarragona) ACREDITACIÓN 2 La parte 3 de los ESG se refiere a las características esenciales que deben exhibir las www.aqu.cat agencias que desarrollen procesos de garantía externa de la calidad La qualitat, garantia de millora. ESG 3.1 ... deben tener en cuenta los procesos de garantía externa de la calidad La parte 2 de los ESG se refiere a los ingredientes esenciales de las actividades de ESGgarantía 3.2 ... deben tener una legal y que un estatus formallas en agencias... el sistema externa de base la calidad desarrollen El seguimiento y los ESG ESGESG 3.3 ...2.1 deben llevar acomo cabo punto actividades de garantía externa de calidad de una manera regular ... tomando de partida los procedimientos internos … si las IES pueden demostrar la efectividad de sus procesos de GIC … ESG 3.4 ... deben disponer de recursos adecuados y proporcionales (personas+€) … entonces los procesos externos podrían ser menos intensivos que en el caso contrario ESG 3.5 ... deben tener unas metas y unos objetivos claros … públicamente disponibles ESG 2.2 ... publicando los objetivos de la avaluación antes de hacerla ESG 3.6 ... deben ser independientes que terceras partes como IES o ministerios ... definiendo los objetivos… dede lamodo evaluación con la participación de los implicados… … no puedan influir en las conclusiones y recomendaciones que hagan en sus informes ESG 2.3 ... tomando decisiones basadas en los criterios publicados y pruebas documentales 1 de los ESG describe (deylaser misión docente) ESG 3.7 ...La losparte criterios y procedimientos deben algunos definirseprocesos previamente públicos con … sobre los ESG 2.4 ...las mediante la participación de profesionales con experiencia demostrada que instituciones deben desarrollar degarantía garantía • una auto-evaluación por parte del sujeto programas del proceso de de interna calidad de la calidad … ...1.1 con visita, informe preliminar, final • una evaluación externa que incluya …estrategia estudiantes visitas in situy seguimiento ESG ...autoevaluación, desarrollar y implementar una deyinforme mejora continuada de la calidad • publicación de se unhan informe que yincluya las decisiones y recomendaciones ESG 2.5 ... los ... informes publicar y redactar en un estilo comprensible per todos la estrategia, ladepolítica los procedimientos deben tener un estatus formal • un procedimiento de seguimiento de las recomendaciones incluyendo descripción, análisis de las evidencias, y recomendaciones ESG...1.2 ... mecanismos para aprobar, evaluar y controlarsugerencias periódicamente las titulaciones ESGESG 3.8 ...2.6 deben disponer de procedimientos para rendir cuentas ... los… procesos de GC con recomendaciones tener un plan de seguimiento control del progreso y el rendimientohan delde alumnado consideración de los ocupadores y del mercado de trabajo ESG 2.7 ... los ... procesos de GC de se las hanopiniones de desarrollar cíclicamente ESG 1.3 ... los alumnos han de ser avaluados con criterios, reglas y procedimientos publicados ESG 2.8 ... periódicamente se han de analizar globalmente los resultados de las evaluaciones ESG las instituciones han de garantizar queinvestigación el equipo de yprofesores ... 1.4 las ... agencias han de asumir una función de desarrolloestá cualificado ... deben tener medios para relevar de sus cargos docentes a los profesores inefectivos ESG 1.5 ... garantizar que los recursos de soporte son adecuados para cada programa ESG 1.6 ... recopilar, analizar y utilizar la información para la gestión eficaz de las actividades ESG 1.7 ... publicar periódicamente información sobre sus programas y titulaciones 3 www.aqu.cat La qualitat, garantia de millora. VERIFICACIÓN- SEGUIMIENTO-ACREDITACIÓN SEGUIMIENTO Garantia interna de la calidad Garantia externa (agencia) VERIFICACIÓN Garantia externa (comité externo) Monasterio de Santes Creus (Tarragona) Abadia de Beauport, Paimpol (F) ACREDITACIÓN 4 www.aqu.cat La qualitat, garantia de millora. Marco de VSMA Verificación Planificación Mejora Planificación Mejora Planificación Desarrollo Mejora Desarrollo Planificación Desarrollo Seguimiento Seguimiento Mejora Seguimiento Desarrollo Seguimiento Evaluación Seguimiento Seguimiento Seguimiento Seguimiento Acreditación Seguimiento 5 www.aqu.cat La qualitat, garantia de millora. Informe anual de Seguimiento Planificación del título Indicadores cuantitativos Curso 2010-11 Indicadores = datos de UNEIX enviados por e-mail Se recibieron ≈ 300 informes Las CEA han avaluado ≈ 100 titulaciones Se elaboró un IVSU focalizado en o información pública sobre desarrollo e indicadores o análisis, propuestas de mejora y SGIC Valoración de los indicadores Planificación Mejora Propuestas de mejora Desarrollo Seguimiento Curso 2012-2013 Indicadores = datos de UNEIX + WINDDAT Se han recibido ≈ 780 informes Les CEA han evaluado ≈ 150 titulaciones Los informes de seguimiento muestran … o mejora de la información pública o progreso notable en un % de casos o análisis valorativo débil en otros casos o pocas acciones de mejora Modificación 6 www.aqu.cat La qualitat, garantia de millora. Indicadores cuantitativos EST UNIV Especificaciones € GOBERNANZA ENTRADAS ORG GOB RM SOC RH Misión Visión Valores PROCESO SALIDAS Indicadores cuantitativos: • Características de la entrada • Aportaciones de la universidad al proceso de enseñanza-aprendizaje • Características de la salida 7 www.aqu.cat La qualitat, garantia de millora. Lista de indicadores 1. Vías de acceso y calificaciones, etc., y para másteres, los títulos previos 2. Las características personales, familiares y sociales de los alumnos 3. El tipo de profesorado que imparte el título y los tramos docentes/investigación 4. Horas de clase magistral, seminarios, laboratorio, etc. y el tamaño del grupo 5. Uso de las aulas, laboratorios, bibliotecas y otros recursos materiales 6. Uso del campus virtual (volumen de material, de descargas, etc.) 7. Disponibilidad, actualidad y usabilidad de la información de la titulación 8. Evidencias de los métodos de evaluación (exámenes, trabajos, etc.) 9. Las prácticas externas, la movilidad y la orientación para la profesión 10. La satisfacción de los estudiantes, la satisfacción del profesorado 11. Resultados académicos (tasas rendimiento, abandono, etc.) 12. Los resultados personales (competencias transversales) 13. La inserción laboral y profesional de los titulados 8 www.aqu.cat La qualitat, garantia de millora. ENCUESTA SATISFACCION ESTUDIANTES WINDDAT.AQU.CAT Universidades públicas ENCUESTA INSERCION LABORAL UNEIX SUR+AQU + UNIVERSIDADES WINDDAT.aqu.cat Universidades privadas SIIU 9 …una INGENIERIA curso 2009‐10 La qualitat, garantia de millora. UNI‐4 UNI‐1 UNI‐2 UNI‐3 32 60 60 60 78 75 54 60 media creditos matriculados/alumno creditos totales matriculados 55.2 13,579.2 52.6 14,999.6 57.3 23,624.1 63.8 16,720.8 horas de prof. permanente+ayu. doctor horas de profesor asociado horas de otras figuras contractuales horas totales 3,171.8 639.2 821.0 4,632.0 3,713.7 1,013.9 616.9 5,344.5 6,326.6 1,207.0 1,289.4 8,823.0 4,155.7 2,016.0 1,253.6 7,425.3 horas totales/creditos totales horas perm+ay.doctor/creditos totales 0.341 0.234 0.356 0.248 0.373 0.268 0.444 0.249 horas totales/alumno horas perm+ay.doctor/alumno 18.8 12.9 18.8 13.0 21.4 15.4 28.3 15.9 titulados de la cohorte 2001‐02 en el curso 2008‐09 (8 cursos) n.d. 62% 48% 75% entre 5 y 6 entre 6 y 7 entre 7 y 8 entre 8 y 9 entre 9 y 10 traslado expediente n.d. n.d. n.d. n.d. n.d. n.d. ‐‐ 3% 4% 33% ‐‐ 18% 0% 14% 16% 50% 50% 36% 39% 75% 73% 88% ‐‐ 73% titulados en el 2010 19 41 50 47 horas totales/titulado horas perm+ay.doctor/titulado coste de profesorado/titulado 244 167 130 91 176 127 158 88 demanda 1a opcion oferta www.aqu.cat DADES WINDDAT S WINDDAT Un ejemplo de WINDDAT + encuesta Inserción Laboral alumnos matriculados 246 285 412 262 tasa de graduacion a N+1 en funcion de la nota de acceso 10 Edad fin/encuesta: 27/30 años …una INGENIERIA acabada 2007‐encuestada 2011 www.aqu.cat UNI‐1 UNI‐2 UNI‐3 La UNI‐4 qualitat, garantiaUNI‐5 de millora. Empleados 89% 92% 97% 88% 89% antes de acabar menos de 1 mes de 1 a 3 meses de 4 a 6 meses mas de 6 meses 33% 11% 39% 11% 6% 35% 27% 16% 16% 5% 38% 35% 25% 3% 0% 33% 13% 20% 23% 10% 26% 5% 26% 16% 26% funciones propias funciones no propias funciones propias funciones no propias requerida form. univ. no req. form. univ. 33% 17% 44% 6% 0% ‐‐ 54% 8% 22% 5% 11% 50% 10% 30% 8% 3% -- -- 47% 3% 43% 7% 0% ‐‐ 53% 11% 26% 5% 5% ‐‐ 9.000 a 18.000 18.000 a 24.000 24.000 a 30.000 30.000 a 40.000 mas de 40.000 24% 12% 29% 29% 6% 6% 32% 18% 35% 9% 5% 18% 42% 26% 8% 14% 10% 24% 28% 24% 11% 21% 47% 11% 11% 56% 83% 67% 83% 58% 97% 69% 86% 67% 79% poblacion muestra % respuesta % error muestral 27 19 70% 12% 48 37 77% 8% 49 40 82% 7% 43 30 70% 10% 26 19 73% 12% horas totales/titulado horas perm+ay.doctor/titulado coste de profesorado/titulado 244 167 130 91 176 127 158 88 Un ejemplo de WINDDAT + encuesta Inserción Laboral Tiempo para el ENQUESTA INSERCIO LABORAL NSERCIO LABORAL primer trabajo Requisito de titulo especifico Requisito de titulo universitario Sin requisito de titulo universitario Salario anual ¿Repetirias carrera? ¿Repetirias universidad? Satisfaccion Datos tecnicos de la encuesta 11 Paro univ. 30 años ½ EPA franja 25-54 << paro juvenilwww.aqu.cat 16-24 La qualitat, garantia de millora. Paro juvenil sobre total ½ juvenil sobre población activa La tasa de paro por franjas de edad (EPA 1er trimestre 2011) http://www.ine.es/jaxiBD/tabla.do?per=03&type=db&divi=EPA&idtab=25 Encuesta de Población Tablas por Comunidades Autónomas Población de 16 y más años por relación con la actividad económica, sexo y grupo de edad, por comunidad autónoma Unidades: Miles de personas Activos + Inactivos Cataluña Ambos sexos Total De 16 a 19 años De 20 a 24 años De 25 a 54 años De 55 y más años De 16 a 24 años Total 2011TI 6,068.20 267.80 375.70 3,364.20 2,060.50 643.50 Total De 16 a 19 años De 20 a 24 años De 25 a 54 años De 55 y más años De 16 a 24 años 100% 100% 100% 100% 100% 100% Total De 16 a 19 años De 20 a 24 años De 25 a 54 años De 55 y más años De 16 a 24 años Ocupados + Parados Activos + Inactivos Activos Ocupados Parados Inactivos 2011TI 2011TI 2011TI 2011TI 3,827.10 3,099.50 727.60 2,241.10 65.80 18.70 47.10 202.00 270.00 170.80 99.20 105.80 2,988.60 2,476.80 511.80 375.60 502.70 433.20 69.60 1,557.80 335.80 189.50 146.30 307.80 100% 100% 100% 100% 100% 100% 51% 7% 45% 74% 21% 29% 12% 18% 26% 15% 3% 23% 81% 28% 63% 83% 86% 56% 19% 72% 37% 17% 14% 44% 37% 75% 28% 11% 76% 48% Total 2011TIII 6,034.90 266.70 366.80 3,324.00 2,077.40 633.50 Ocupados + Parados Activos Ocupados Parados Inactivos 2011TIII 2011TIII 2011TIII 2011TIII 3,818.60 3,076.60 742.00 2,216.30 69.70 31.60 38.00 197.00 266.70 159.70 107.00 100.20 2,970.30 2,434.60 535.80 353.70 511.90 450.70 61.30 1,565.40 336.40 191.30 145.00 297.20 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 100% 51% 12% 44% 73% 22% 30% 12% 14% 29% 16% 3% 23% 81% 45% 60% 82% 88% 57% 19% 55% 40% 18% 12% 43% 37% 74% 27% 11% 75% 47% 12 www.aqu.cat La qualitat, garantia de millora. ENCUESTAS A LOS ESTUDIANTES Máster Grado Año 0 Entrada a la Universitat 1 2 3 Encuesta de satisfacción al finalizar el primer curso 4 5 Encuesta de satisfacción al finalizar el Grado/Máster Encuesta de satisfacción de los estudiantes Proyecto piloto Coste del proyecto: 70.000€ Opción 1 Opción 2 Encuesta de satisfacción de los estudiantes con resultados significativos a nivel de subámbito Encuesta de satisfacción de los estudiantes con resultados significativos a nivel de cada titulación Coste total: 201.000€ 0,92€/est*año (trianual) Coste total: 391.000€ 1,76€/est*año (trianual) 6 7 Encuesta de inserción laboral Encuesta de inserción laboral con resultados significativos a nivel de titulación Coste total: 200.000€ 3,70€/est*año (trianual) Financiación de los Consejos Sociales Realizada el 2001, 2005, 2008, 2011 … 2014 Estudio sobre la opinión de los empleadores de los graduados universitarios Coste total: 43.200€ 0,50€/est*año (trianual) www.aqu.cat La qualitat, garantia de millora. Indicadores cuantitativos ¿Qué hace este niño aquí? ¡ ESTO ES CONSTRUIR REFERENTES ! ARoS Aarhus Museum of Art, DK Los indicadores • han de mantenerse a lo largo del tiempo • han de hacerse extensivos a todo el sistema • han de contextualizarse y compararse con los de sistemas parecidos Pero, quizás lo más importante es que los indicadores • tienen que formar parte de la cultura de gestión de las universidades • son de muy poca utilidad si no catalizan la adopción de propuestas de mejora concretas y realizables 14 www.aqu.cat La qualitat, garantia de millora. SEGUIMIENTO CURSOS 2012-13 Y SIGUIENTES APARTATADOS DEL INFORME DE SEGUIMIENTO INFORME DE SEGUIMIENTO DEL TITULO Idoneidad del SGIQ para al seguimiento del título Información pública sobre el desarrollo operativo del título Información pública sobre los indicadores del título Análisis valorativa del título y acciones de mejora Análisis valorativa de los indicadores públicos (WINDDAT) y acciones de mejora propuestas Información pública de las evidencias usadas para la evaluación y análisis valorativa de los resultados de aprendizaje alcanzados Análisis valorativa de los indicadores de satisfacción y de inserción laboral INFORMES ENVIADOS A LA AGENCIA INFORMES EVALUADOS POR LA AGENCIA 1 i 2 3 i 4 5 i 6 SI SI SI SI SI SI SI SI ‐‐ ‐‐ ‐‐ ‐‐ ‐‐ SI SI ‐‐ SI SI ‐‐ SI SI todos todos todos muestra muestra muestra MEMORIA DE VERIFICACIÓN ACTUALIZADA INFORME DE LA EVALUACIÓN EXTERNA Dossier de acreditación 15 www.aqu.cat ACREDITACION La qualitat, garantia de millora. Los ESG de ESG referencia ¿En cuantas dimensiones se organizan? ¿QUE PREGUNTAS SE QUIEREN RESPONDER? EL MAPAMUNDI DE LA ACREDITACION ¿Que evidencias se usaran para hacerlo? Eficacia de los sistemss de OBLIGATORIAS 2 soporte al aprendizaje Eficacia del SGIC para la mejora continua Pertinencia de la informacion 3 publica 3 Diseño del plan de formacion 4 OPTATIVAS STAKEHOLDERS 3 Resultados de aprendizaje de los estudiantes El modelo de evaluacion de los aprendizajes Interaccion docencia‐ investigacion en los Internacionalitzacion de los programas Sostenibilitat de los programas Valor añadido de los programas 1 2 Memoria de verificacion TFG, examenes, trabajos, 3 ORIGEN DE LAS EVIDENCIAS 1 Adequacion del profesorado 4 ¿QUE TIPO DE RESPUESTAS SE DARAN? 1‐ Tiene un nivell suficiente y se identifican buenas practicas que se deben difundir 2‐ Tiene un nivel suficiente 3‐ Tiene un nivell suficiente pero se solicita que se mejoren algunos aspectos 4‐ Tiene un nivel insuficiente ¿Qué tipo de respuestas se quieren dar? 16 Acreditación : • reconocible en el EEES • instrumento para la internacionalización www.aqu.cat La qualitat, garantia de millora. EL MAPAMUNDI DE LA ACREDITACION ACREDITACION ¿Para quien son relevantes las respuestas? Estudiantes Empleadores Gobierno Universidades Los ESG de ESG referencia ¿En cuantas dimensiones se organizan? ¿QUE PREGUNTAS SE QUIEREN RESPONDER? ¿Que evidencias se usaran para hacerlo? ¿Aparecen en el ¿Se recojen en proceso de el proceso de VERIFICACION? SEGUIMIENTO? ¿Se especifican en el ultimo informe de SEGUIMIENTO? ¿Se observaran en el proceso de EVALUACION EXTERNA? ¿Se prepararan en la visita previa? ¿Se obtendran con la evaluacion externa? OPTATIVAS OBLIGATORIAS Adequacion del profesorado Acreditación relevante: • para los estudiantes • para los empleadores • para los gobiernos • para la universidad Eficacia de los sistemss de soporte al aprendizaje Eficacia del SGIC para la mejora continua Pertinencia de la informacion publica Diseño del plan de formacion Memoria de verificacion Resultados de aprendizaje de los estudiantes El modelo de evaluacion de los aprendizajes Interaccion docencia‐ investigacion en los Internacionalitzacion de los programas Sostenibilitat de los programas Valor añadido de los programas TFG, examenes, trabajos, ¿QUE TIPO DE RESPUESTAS SE DARAN? 1‐ Tiene un nivell suficiente y se identifican buenas practicas que se deben difundir 2‐ Tiene un nivel suficiente 3‐ Tiene un nivell suficiente pero se solicita que se mejoren algunos aspectos 4‐ Tiene un nivel insuficiente Acreditación útil para la universidad: • detecta buenas prácticas • aporta propuestas de mejora Memoria de verificacion TFG, examenes, trabajos, TFG, examenes, trabajos, Acreditación integrada/integral: • basada/reemplace la verificación • valora la evolución del seguimiento • incluye un autoinforme • requiere una evaluación externa 17 www.aqu.cat La qualitat, garantia de millora. UNA LISTA DE DESEOS … Desde la perspectiva de la mejora de la calidad de las universidades necesitamos … Menos regulación sobre... • la contratación/descontratación de profesorado • la duración de los títulos y la separación títulos oficiales/propios • los instrumentos de calidad (VERIFICA+SEM= bomba de relojería) Más autonomía para … • fijar el catálogo de títulos que oferta cada universidad • reforzar los mecanismos internos de aseguramiento de la calidad de las universidades y para organizar su gobernanza Más rendición de cuentas de … • la eficacia de las universidades, divulgando la lista de todos los “resultados” producidos y contrastándola con los stakeholders • la eficiencia, explicitando el uso de los recursos para cada una de las actividades docentes, investigadoras y de 3ª misión • relacionando los resultados obtenidos con los recursos disponibles • la sostenibilidad de los títulos (y la investigación) 18 www.aqu.cat La qualitat, garantia de millora. ! Las cosas no son lo mismo vistas por delante … 19 www.aqu.cat La qualitat, garantia de millora. ... que vistas por detrás! 20 www.aqu.cat La qualitat, garantia de millora. ¡…pero el escultor pone el mismo esmero en cada parte! British Museum (London) 21 www.aqu.cat La qualitat, garantia de millora. ¡Gracias! 22