Informe de Evaluación Externa, Julio 2005

INTRODUCCIÓN
Objetivo del Informe
El presente documento recoge el trabajo realizado en la etapa de Evaluación Externa del
Proceso de Evaluación de la Oficina de Transferencia de los Resultados de la
Investigación (OTRI) de la Universidad de la Coruña. Esta etapa de Evaluación Externa
se enmarca en el proceso de evaluación de la calidad de la universidad dentro del II Plan
de la Calidad de las Universidades (PCU).
Para elaborar el presente informe se ha partido del Informe de Autoevaluación (IA)
realizado por la propia unidad evaluada que, una vez analizado, se ha contrastado in-situ
por el Comité Externo de Evaluación (CEE) mediante audiencias con: el Comité de
Autoevaluación (CA), el personal de la Unidad y los colectivos de “usuarios” más
representativos: profesorado, alumnos y sector empresarial, junto con una visita a las
instalaciones disponibles. Posteriormente, y como resultado del trabajo del CEE se han
sintetizado en el presente documento las conclusiones y aspectos más relevantes.
Composición del Comité. Justificación
El CEE designado por el Consejo de Universidades, ha estado constituido por:
ƒ
Andrés Sampedro Nuño, Director de los Servicios Científico-Técnicos de la
Universidad de Oviedo, en calidad de Presidente-coordinador.
ƒ
Rogelio Montañana Pérez, Analista del Servicio de Informática de la
Universidad de Valencia, en calidad de Vocal Académico
ƒ
Rodrigo Llano-Ponte Álvarez, Subdirector de Laboratorios y Talleres de la
Universidad del País Vasco, en calidad de Vocal Técnico.
El presidente y el vocal técnico poseen una dilatada experiencia en la gestión de
servicios científico técnicos y han participado en varios procesos de evaluación de
diversos servicios universitarios. El presidente desde hace tres años es el Director de la
OTRI de la Universidad de Oviedo.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
1
El vocal académico tiene una amplia experiencia en entornos de servicios informáticos
universitarios y ha participado en los comités de evaluación externa de varios Servicios
de Informática universitarios.
Consideramos por tanto que el equipo de personas nombrado para esta evaluación
externa tiene una visión amplia y completa de la organización y actividades propias de
una unidad de transferencia de tecnología y conocimiento, así como de los procesos
asociados a una evaluación externa.
Plan de Trabajo.
I.
Acciones previas al encuentro
ƒ
Constitución del Comité y envío del IA
ƒ
Análisis del contenido del IA
II.
Visita Institucional
ƒ
Programa de la visita
ƒ
Primera reunión del CEE
ƒ
Audiencias y visita a la Institución
ƒ
Informe oral preliminar
III.
Informe final
IV.
Documento de síntesis
V.
Valoración del proceso de Evaluación Externa
ACCIONES PREVIAS AL ENCUENTRO
Constitución del CEE y envío del IA
El presidente del CEE en colaboración con la Unidad Técnica de Calidad (UTC) de la
Universidad de la Coruña (UDC), estableció contactos personales con los otros
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
2
miembros del Comité designados por el Consejo de Universidades a fin de definir el
plan de trabajo y concretar las fechas de la visita a las instalaciones.
El CEE recibió con tiempo suficiente el IA que, en opinión de este CEE, cumple con los
requisitos metodológicos y técnicos especificados en la Guía para Evaluadores Externos
de Servicios Universitarios (GEESU), facilitada
por el Consejo de Coordinación
Universitaria.
Análisis del contenido del IA
Fruto del trabajo realizado por el CA, el IA recoge fortalezas, puntos débiles y
propuestas de mejora de la unidad evaluada para cada uno de los nueve criterios que se
consideran básicos en la excelencia de una Institución, de acuerdo con el modelo EFQM
(European Foundation for Quality Management):
•
Política y Estrategia
•
Personas
•
Alianzas y recursos
•
Liderazgo
•
Procesos
•
Resultados en los clientes
•
Resultados en el personal
•
Resultados en la sociedad
•
Resultados clave
Sobre el proceso de autoevaluación (PA)
El PA de la OTRI parte de una iniciativa de la UDC dentro de un plan de acción
encaminado a evaluar diversos servicios de gestión. El proceso se enmarca pues en el
Plan de Calidad de la UDC y ha contado con el apoyo decidido de los órganos de
gobierno.
Forman parte del CA, la Vicerrectora de Investigación Dª Concepción Herrero López
(de cuyo Vicerrectorado depende la OTRI), dos representantes de los usuarios y tres
miembros de la OTRI.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
3
Para la correcta realización del proceso, la UTC organizó una acción formativa para
todos los miembros del CA. Además la UTC ha colaborado en la elaboración de
modelos de encuestas de satisfacción de los clientes. Es evidente que ha sido muy corto
el tiempo disponible para el desarrollo del proceso, ya que el informe se lleva a cabo en
menos de dos meses: se empieza a elaborar el 19 de enero de 2005 y el borrador
definitivo se tiene el 7 de marzo.
Sobre el contenido del autoinforme
El informe se ajusta a la Guía de evaluación, realizando un análisis detallado de la
Unidad para cada uno de los criterios, detectando los puntos fuertes, débiles y
propuestas de mejora. Además las evidencias son remarcadas de forma clara lo que
facilita, en el periodo de visitas, su comprobación y estudio.
A continuación indicamos algunos detalles concretos del autoinforme que a juicio del
CEE deberían revisarse:
ƒ
En los apartados correspondientes a los diferentes criterios se presenta una tabla
llamada “Análisis cuantitativo” que muestra la puntuación obtenida para cada
pregunta. Convendría explicar cómo se ha obtenido esa valoración, si ha sido
por consenso entre los miembros del CA, rellenando una encuesta cada uno de
ellos, o el personal del servicio, etc. En el caso de que se haya obtenido mediante
encuestas individuales lo normal sería que se mostraran valores promedio y por
tanto con decimales, sin embargo siempre aparecen valores enteros. Además
falta añadir al final del informe (posiblemente como apéndice) la tabla resumen
de la valoración cuantitativa de cada criterio en la que se calcule la puntuación
media de todas las preguntas para cada criterio, así como la puntuación media de
todos los criterios.
ƒ
En el apartado de Tablas, tabla 1 (“Datos generales de la Universidad”) los
valores del dato “Total de superficie construida de la universidad” deben ser
erróneos en lo que se refiere a los cursos 01/02 y 04/05, pues se producen unas
fluctuaciones importantes a la baja respecto a otros cursos.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
4
•
En la tabla 3 (págs. 4 y 5) se hace referencia a una plantilla y a una relación de
cursos adjuntos que no aparecen. Lo mismo ocurre en la tabla 4a (pág. 6) que
hace referencia a una “Información adjunta”.
•
En la tabla 4b (pág. 6) la superficie destinada al personal y al usuario suman más
que la superficie total.
•
En la pág. 13 se dice que en la OTRI trabajan 5 personas. Sin embargo en la
tabla 2 (pág. 3 de tablas) aparecen 13 personas en el servicio (en 2004), y en la
tabla 3 (pág. 4) Personal por categorías son 11, en personal por funciones 7, por
tipo de contrato 6, por antigüedad 1, por edades 0 y por titulación 6. Todos estos
datos debería revisarse y completarse para asegurar que son coherentes.
•
Pág. 40, primer punto débil dice: “Falta de difusión por parte de los usuarios
…”. Debería decir: “Falta de difusión hacia los usuarios …”.
•
Pág. 40, segundo y tercer puntos débiles están formulados como propuestas de
mejora. Por ejemplo el segundo debería decir “ Sistema de quejas y sugerencias
deficiente y poco accesible”.
•
Pág. 57: Primer punto débil: donde dice “Necesidad de presupuesto propio …”
debe decir “Ausencia de presupuesto propio …” .
•
La numeración de la parte de tablas es incorrecta (se reinicia).
VISITA INSTITUCIONAL
La visita se desarrolló durante los días 7 y 8 de junio de 2005, de acuerdo con el
siguiente Programa:
•
Reunión interna del CEE.
•
Reunión con el responsable y el CA de la OTRI
•
Reunión con usuarios internos de la OTRI: Profesorado
•
Visita a las instalaciones
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
5
•
Audiencia Pública
•
Reunión interna del CEE
•
Informe preliminar oral al CA
A continuación pasamos a detallar lo tratado en cada una de dichas reuniones.
Reunión interna del CEE
Lugar: Sala de reuniones del Edificio de Servicios Centrales de Investigación-Campus
de Elviña
Asisten:
Andrés Sampedro Nuño
Rogelio Montañana Pérez
Rodrigo Llano-Ponte Álvarez
Los puntos tratados en dicha reunión fueron:
ƒ
Comentarios sobre el contenido del IA, anteriormente mencionados.
ƒ
Especificación y reparto de tareas, funciones y responsabilidades.
ƒ
Información complementaria a solicitar al CA. Se comprueba que todas las
evidencias referenciadas en el autoinforme se encuentran disponibles para su
consulta por parte del CEE por lo que no se considera necesario solicitar
ninguna información adicional.
Reunión con el responsable y el CA de la OTRI
Asistieron a esta reunión todos los miembros del CA (ver pág. 8 del autoinforme), así
como Ana Isabel Martínez y Felipe Semana, por ser personal de la OTRI.
Sobre el valor otorgado al Proceso de autoevaluación el CA lo considera interesante y
le ha brindado la oportunidad de reflexionar sobre la forma de funcionar, aunque se
lamenta de la premura con que ha tenido que realizarse.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
6
En cuanto a la ayuda institucional el CA ha contado en todo momento con el apoyo de
la Unidad Técnica de Calidad de la UDC.
Respecto a la Política y Estrategia la comunicación con el resto del personal de la
Universidad parece buena.
En el apartado relacionado con las personas, parece ser que la plantilla no se ajusta a
las necesidades, y consideran necesaria la incorporación de personal con conocimientos
en el área científico-técnica, así como personal con conocimientos jurídicos (gestión de
patentes).
En cuanto a los recursos tanto en lo relativo a equipamiento (hardware: ordenadores,
impresoras, fotocopiadoras, ...)
como a los espacios disponibles, se consideran
adecuados a las necesidades de la Unidad.
En cuanto al liderazgo el compromiso por parte de la Vicerrectora ha quedado de
manifiesto en la reunión con el CA, además, y como consta en el autoinforme, la
comunicación entre los responsables de la Unidad y el personal es fluida.
No existe una división de funciones entre los diferentes miembros del servicio y esto
tiene lugar por delegación en la persona más adecuada para realizarla.
Sobre los procesos, aunque se difunde la información a través de la página web, no
existe un mapa organizativo ni planificación de los mismos, por lo que sería necesario la
puesta en marcha de un sistema de gestión de la calidad que identifique y documente
tanto los procesos como los diferentes procedimientos.
En el apartado de los resultados en los clientes, se ha realizado una encuesta a todo el
personal docente e investigador de la UDC utilizando la web como soporte de la misma.
El número de personas que han respondido ha sido muy bajo (82) sobre un total de 1400
investigadores. No obstante, aunque la respuesta fue baja, se deduce de los resultados
que un amplio sector de los investigadores están satisfechos con el funcionamiento de
esta Unidad.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
7
En cuanto a resultados en las personas y dado que el personal de este servicio es
pequeño no se ha realizado una encuesta para determinar la satisfacción o
insatisfacción, lo que se ha realizado son entrevistas, reuniones y comentarios
destacando un buen ambiente de trabajo. Por otra parte se detecto que el personal tiene
cierto temor sobre aspectos de seguridad, dado que comparte edificio con los Servicios
de Apoyo a la Investigación (SXAIN).
En cuanto a resultados en la sociedad y resultados clave se recogen en el autoinforme
los resultados de la encuesta de autoevaluación en la tabla de “Análisis cuantitativo”,
como ocurre con el resto de criterios.
Reunión con usuarios internos de la OTRI: PDI
Asistieron a esta reunión ocho miembros del PDI de diferentes departamentos y dos
miembros del PAS. Durante la reunión los usuarios destacaron los siguientes aspectos
en relación con el funcionamiento de la OTRI:
En opinión de los usuarios de la OTRI, ésta funciona bastante bien y de forma eficiente,
informando con prontitud de las diferentes convocatorias tanto publicas como privadas.
También, consideran los usuarios la facilidad para acceder a determinado tipo de
información o responder a consultas y peticiones no planificadas.
Por otra parte, todos coinciden en la necesidad de dar a conocer, a través de la OTRI, el
potencial investigador y de equipamiento disponible en los SXAIN.
Visita a las Instalaciones
El CEE tuvo la oportunidad de realizar una visita a las instalaciones acompañado de la
Directora de la OTRI. Dicha visita fue breve aunque suficiente para verificar lo
adecuado de las instalaciones, así como el espacio disponible para este servicio.
Audiencia Pública
No asistió nadie a esta reunión.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
8
Informe preliminar oral al CA y responsables de los Servicios
Como resultado del análisis del IA, las audiencias celebradas y la visita a las
instalaciones, el CEE ofreció al CA un Informe preliminar oral que se componía de
cuatro apartados con los siguientes puntos:
Proceso de Autoevaluación:
1. Proceso extenso e impecable. Composición adecuada del comité, si bien habría
sido deseable la participación de un representante de las empresas.
2. Buen resultado y soporte de la unidad de Calidad.
3. Planificación temporal excesivamente ajustada, dificultando la reflexión y
comprensión del proceso
Informe:
1. Trabajo muy completo y bien realizado. Extensión adecuada. Estructura
coherente.
2. Encuesta a clientes diseñada a propósito y adecuada al servicio.
3. Faltan tablas de criterios EFQM.
4.
Ausencia de indicadores descriptivos de calidad.
Aspectos positivos:
1. Instalaciones adecuadas e infraestructuras modernas (contrastado mediante la
visita a las instalaciones).
2. Buena opinión sobre el servicio (usuarios internos). Habría sido conveniente
conocer la opinión de usuarios externos
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
9
3.
Buen conocimiento de la producción científica y áreas de conocimiento en que
la universidad es competitiva
Aspectos a mejorar:
1. Establecer una planificación estratégica(dirección por objetivos, indicadores,…)
y la visión del servicio
2. Desarrollar un catálogo de servicios
3. Puesta en marcha de un plan de calidad que identifique y documente los
procesos y procedimientos.
4. Mejorar canales de comunicación con los investigadores de la UDC y con el
tejido empresarial gallego.
5. Poner en valor la capacidad de transferencia de los grupos de investigación,
SXAIN, etc.
6. Fomentar a través de jornadas, cursos, presentaciones, etc.,
la cultura
emprendedora.
7.
Incorporar personal con conocimientos en el área científico-técnica y en temas
jurídicos para gestión de patentes.
INFORME FINAL
El CEE en consonancia con los antecedentes expuestos, ofrece para cada uno de los
criterios del modelo EFQM su opinión y valoración siempre desde una óptica
constructiva.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
10
Política y Estrategia
En este criterio destaca la falta de una política y un plan estratégico definidos. Esta es
sin duda la primera acción que debería abordarse y que está recogida en la propuesta de
mejora No. 1.
En cuanto a las otras propuestas de mejora planteadas en este criterio (Nos. 2, 3, 4 y 5)
aunque son de ámbito más específico no por ello son menos importantes, especialmente
las 3 y 5 que hacen referencia a definir los factores de éxito y el establecimiento de
indicadores y a la mejora del contacto con las empresas.
Consideramos pues que todas las propuestas de mejora planteadas en relación con este
criterio son pertinentes.
Personas
En este apartado creemos que el IA realiza un adecuado diagnóstico de la situación y
una adecuada exposición de puntos fuertes, débiles y propuestas de mejora.
Dado que la OTRI, actualmente está formada por 5 personas, no creemos que sea
necesario establecer mecanismos formales de reuniones periódicas.
Por el tipo de formación actual del personal de la OTRI, y así se recoge en la segunda
propuesta de los planes de mejora, sería adecuado la contratación de personal estable
con un perfil científico-técnico, además de personal con conocimientos jurídicos
(gestión de patentes).
Alianzas y Recursos
En este criterio los aspectos más destacables a juicio del CEE son los que se recogen en
las propuestas de mejora, siendo en opinión de este CEE el segundo punto el más
importante de cara a una difusión del potencial científico-técnico de la UDC, así como
una forma indirecta de obtención de recursos externos.
Liderazgo
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
11
Como ya se ha comentado la comunicación interna entre el personal es la adecuada,
pero como ha quedado de manifiesto en la encuesta llevada a cabo es de destacar la
comunicación con el conjunto de los usuarios internos de la UDC.
Consideramos importante el establecimiento de un plan estratégico, así como aumentar
las relaciones con los usuarios externos (empresas, otras OTRIS,..)
Procesos
La tabla 5 del autoinforme incluye una relación bastante completa de los procesos
desarrollados por la OTRI por lo que se constata que el CA ha hecho una considerable
labor de análisis de cara a la elaboración del autoinforme.
Existen entre las propuestas de mejora planteadas en este criterio dos que merece la
pena destacar, que son las siguientes:
•
La propuesta de mejora nº 3 para la elaboración de un mapa de procesos.
•
La propuesta de mejora nº 2 mediante la cual se establecerá un plan de visitas y
encuestas a clientes y usuarios para conocer mejor su oferta y su demanda con el
objetivo de mejorar las relaciones con ellos.
Resultados en los clientes
En el autoinforme se lleva a cabo un análisis pormenorizado de este criterio, gracias a la
elaboración por parte del CA de una encuesta de evaluación que ha sido respondida por
82 profesores de un total de 1400 a los que se les ha enviado.
De las respuestas obtenidas los usuarios consideran que las actividades realizadas por la
OTRI son importantes y deben de seguir realizándose.
A partir de las opiniones recogidas en las diferentes reuniones, y a la vista del resultado
de la encuesta, el CEE considera que la OTRI ofrece un servicio de calidad a sus
usuarios, especialmente teniendo en cuenta los recursos humanos de que dispone.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
12
Resultados en las personas
Para el análisis de este criterio y dado el escaso número de miembros, el procedimiento
de análisis en este apartado se realizó a través de comentarios y entrevistas personales.
Se destaca en este apartado las buenas relaciones personales y el ambiente de trabajo en
equipo.
En el lado opuesto encontramos algunas valoraciones negativas en los siguientes
aspectos:
•
La contratación de personal y la estabilidad laboral
•
La falta de colaboración con otros servicios de la UDC
Resultados en la sociedad
Como se recoge en el autoinforme, el impacto que este servicio realiza sobre la sociedad
es más a nivel interno que externo, sin embargo, sería necesario establecer más
contactos con el entorno empresarial como queda reflejado en el punto de mejora de
este apartado.
Resultados clave:
Sin duda la OTRI progresa adecuadamente hacia la consecución de los objetivos
fijados. Sería deseable sin embargo disponer de indicadores de medida del rendimiento
con el fin de valorar objetivamente dicha eficiencia y mantenerla en el futuro.
DOCUMENTO DE SÍNTESIS
Consideramos que la OTRI camina con paso firme hacia el logro de su cometido.
Actualmente creemos que es una estructura bastante limitada para sus fines, si bien
parece ser capaz de responder adecuadamente a la demanda de los investigadores.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
13
Fortalezas y Debilidades
El CEE considera que el autoinforme refleja de forma bastante objetiva las fortalezas y
debilidades
de
la
OTRI.
Se
han
discutido
los
puntos
de
cada
criterio
pormenorizadamente, se han aportado evidencias de los hechos más significativos y se
han realizado encuestas de valoración cuando se consideró pertinente. En suma, se ha
realizado una concienzuda labor de análisis como resultado de la cual se ha obtenido un
diagnóstico preciso de la situación.
Ante esta situación al CEE solo le resta confirmar su completo acuerdo con la relación
de fortalezas y debilidades que aparece en el informe.
Propuestas de mejora
Consideramos que todas las propuestas de mejora recogidas en el plan de mejora en el
Listado de Propuesta de Mejora (pág. 59-60 del autoinforme) son pertinentes y deberían
llevarse a cabo.
Aunque el formato de las fichas no contempla la asignación de prioridades a las
propuestas de mejora, sería conveniente que el CA estableciera una escala de
prioridades en tres niveles (alta, media y baja) e intentara asignar a cada propuesta uno
de esos niveles de acuerdo con su importancia y complejidad.
Esta lista de prioridades debe de acompañarse de los correspondientes períodos de
ejecución. Algunas propuestas de mejora si especifican una planificación temporal (que
en todos los casos es 2005-2006), pero en otras no se indica período alguno. Sería
importante que el CA estableciera períodos de ejecución concretos (por ejemplo seis
meses, uno y dos años).
VALORACIÓN DEL PROCESO DE EVALUACIÓN EXTERNA
Idoneidad del CEE para el desarrollo de la evaluación
Como señalamos inicialmente, creemos que los integrantes del CEE presentan perfiles
tanto profesionales como de formación y conocimiento totalmente complementarios y
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
14
que han resultado muy adecuados para realizar el proceso de evaluación externa de la
OTRI.
Organización interna
El trabajo desempeñado por el CEE a lo largo del proceso ha sido equilibrado, llevado a
cabo de forma cooperativa, alcanzándose en todo momento el consenso entre sus
miembros.
Nivel de satisfacción con la tarea realizada
Queremos resaltar la cordialidad y el excelente trato que el CEE ha recibido por parte
del personal de la OTRI, de la Unidad Técnica de Calidad de la UDC, así como del
equipo de gobierno de la UDC, que ha facilitado enormemente el proceso a la vez que
ha permitido seguir una densa agenda de trabajo en unas condiciones inmejorables.
Es digna de resaltar en este punto la profesionalidad del personal de la OTRI que,
apoyado por la Unidad Técnica de Calidad de la UDC, ha llevado a cabo el proceso de
evaluación. Las evidencias referidas en el autoinforme estaban en la sala de las
audiencias permanentemente a disposición del CEE para su consulta en cualquier
momento. Los asistentes convocados a las reuniones habían recibido con antelación una
copia del autoinforme para su estudio.
Desde el punto de vista del CEE este proceso de Evaluación Externa ha permitido
compartir valiosas experiencias profesionales.
Solo nos queda por tanto agradecer y reconocer a la ACSUG y en especial a todo el
equipo de trabajo de la UDC, su dedicación a esta iniciativa, en la confianza de que el
plan de mejora que se lleva a cabo como resultado de este proceso de evaluación
conlleve un servicio público más eficiente y más cercano a las necesidades de la
sociedad.
Informe de Evaluación Externa. Oficina de Transferencia de los Resultados de la Investigación
(OTRI). Universidad de La Coruña. Junio 2005
15