Una evaluación del éxito de las Una evaluación del éxito de las RTO

Una evaluación del éxito de las
RTO
La experiencia española
Aurelia Modrego Rico
Andrés Barge Gil
Universidad Carlos III de Madrid
EARTO Annual Conference 2008
“Impacting New Markets”
Sistema de tres pasos
Evaluación de
la situación
actual
Sistema de
análisis por
casos
EARTO Annual Conference 2008
“Impacting New Markets”
Sistema de
entrevistas
Viejos problemas metodológicos que afectan a la evaluación
del impacto
1.
2.
3.
4.
5.
6
6.
7.
Falta de datos: ausencia de bases de datos para evaluar el impacto
Complejidad y heterogeneidad del impacto
Formas de cuantificarlo: Hasta ahora: Evaluación principalmente
cuantitativa
Desfase de tiempo entre la interacción y la constatación del impacto
Problema de atribución: ¿Cómo aislar el efecto de la interacción con el
Centro Tecnológico de todas las acciones de la compañía?
Situación contra factual: ¿Qué habría hecho la compañía en caso de
ausencia de interacción con el Centro Tecnológico?
¿Qué hay de los determinantes del impacto? ¿Es posible utilizar un
enfoque
f
h
holístico?
lí ti ?
EARTO Annual Conference 2008
“Impacting New Markets”
Nuevas estrategias para superar los problemas
metodológicos
1.
La falta de datos hace preciso desarrollar una encuesta específica
para ell proyecto
Formas de asegurar la fiabilidad y la representatividad
•
Acuerdo de colaboración con el Instituto Nacional de Estadística (INE)
( )
–
–
–
Definir la muestra que se utilizará para una encuesta concreta
Asociar los datos recopilados a los suyos (aun a riesgo de que las
observaciones q
queden reducidas al anonimato))
Incluir un Anexo en la Encuesta de Innovación Tecnológica de las
Compañías, preguntando por el impacto de sus relaciones cooperativas
En los próximos años contaremos con una base de datos caracterizada
por lo siguiente:
•
•
•
•
Estabilidad
Fi bilid d
Fiabilidad
Posibilidad de generalizar
Abundancia de datos en lo tocante a la compañía
EARTO Annual Conference 2008
“Impacting New Markets”
Nuevas estrategias para superar los problemas
metodológicos
2. La complejidad y la heterogeneidad de los impactos debe abordarse
utilizando una taxonomía exhaustiva de los impactos:
–
–
–
–
–
Impactos técnicos: incluyendo nuevos productos y procesos
procesos, y propiedad
intelectual e industrial
Impactos económicos: incluyendo ventas, exportaciones, beneficios,
productividad empleo,
productividad,
empleo costes y número de clientes
Impacto en las inversiones: incluyendo recursos humanos, I+D interna y
externa, otras actividades de innovación, software, etc.
Impactos intangibles: efectos en la gestión de recursos humanos, visión
estratégica, gestión de la información y gestión de las relaciones externas
Otros indicadores de impacto: mediciones subjetivas de la satisfacción de
la compañía y del valor añadido que ofrece el Centro Tecnológico en
términos de velocidad, ambición o eficacia de los proyectos
EARTO Annual Conference 2008
“Impacting New Markets”
Nuevas estrategias para superar los problemas
metodológicos
3. El problema de la cuantificación de los impactos se ha afrontado
utilizando mediciones cualitativas y cuantitativas simultáneamente
cuando ambas tienen sentido
•
Al utilizar esta estrategia las mediciones cualitativas sirven como una
prueba de la robustez de las mediciones cuantitativas
4. Para enfrentarnos al problema del desfase de tiempo hemos
considerado un período de cinco años, que es mucho más largo que el
de dos o tres años utilizado habitualmente en las encuestas de
innovación
o ac ó
EARTO Annual Conference 2008
“Impacting New Markets”
Nuevas estrategias para superar los problemas
metodológicos
5. El problema de atribución es probablemente el más difícil de resolver en
los estudios de impacto
Hemos considerado que la estimación de la atribución sería más fiable si fuera la
compañía quien la llevara a cabo en lugar de los investigadores de forma
indirecta
Examinamos dos acciones para resolver el problema de la atribución
•
Solo p
preguntamos
g
a la compañía
p
p
por el impacto
p
p
producido como
consecuencia de la relación con su socio principal (el Centro Tecnológico
que tuviera la mejor consideración como socio)
•
Preguntamos a la compañía por la evolución de cada indicador en los
últimos cinco años y le pedimos que estime cuál habría sido la evolución de
cada indicador de no haber existido esa relación
EARTO Annual Conference 2008
“Impacting New Markets”
Nuevas estrategias para superar los problemas
metodológicos
6. Las situaciones contra factuales se han tomado en consideración por
medio de un grupo de control
•
El grupo de control estaba constituido por compañías que tenían relaciones
con universidades y centros de investigación públicos, pero no con Centros
g
((las diferencias entre estos g
grupos
p se analizaron a fondo en la
Tecnológicos
fase 1 del proyecto)
7. Para examinar los determinantes de los impactos es preciso utilizar un
enfoque
f
holístico
h lí ti
•
Diseñamos el estudio para que se correspondiera con los resultados de las
siguientes encuestas:
•
•
•
•
Encuesta de impacto (abundante información acerca de la relación con el
principal Centro Tecnológico y su impacto)
Encuesta de innovación nacional (abundante información acerca de las
características de las compañías)
Encuesta FEDIT (abundante información acerca de las características de los
Centros Tecnológicos)
También es posible utilizar otras encuestas del INE (abundante información
acerca de características del medio)
EARTO Annual Conference 2008
“Impacting New Markets”
Datos
Muestra:
2357 compañías que habían afirmado colaborar con Centros
Tecnológicos, universidades o centros de investigación públicos en la
Encuesta de Innovación 2005.
–
–
–
1264 habían colaborado con Centros Tecnológicos
1529 habían colaborado con universidades
790 habían colaborado con centros de investigación públicos
El número de respuestas fue de 309 (13,1%)
–
–
–
–
134 habían colaborado con un Centro Tecnológico
123 solo han colaborado con universidades o centros de investigación
públicos
25 h
habían
bí colaborado
l b d con alguna
l
organización
i ió con á
ánimo
i
d
de llucro
27 habían colaborado con alguna agencia pública (con un perfil no
científico)
EARTO Annual Conference 2008
“Impacting New Markets”
Algunos resultados
Impacto técnico
• El 57,6% de los clientes ha desarrollado nuevos productos
o mejorado significativamente los que ya tenía como
resultado de la relación con el Centro Tecnológico
g
• El 38,4% de los clientes ha desarrollado nuevos servicios o
mejorado los que ya tenía como resultado de la relación con
el Centro Tecnológico
• El 38,1% de los clientes ha logrado nuevos procesos o los
ha mejorado como resultado de la relación con el Centro
T
Tecnológico
ló i
• El 11,3% de las ventas son fruto de productos nuevos o
mejorados
j
como resultado de la relación con el Centro
Tecnológico
EARTO Annual Conference 2008
“Impacting New Markets”
Algunos resultados
Impacto
p
económico
•
•
•
•
El 56,6% de los clientes afirma que la relación con el Centro
Tecnológico ha afectado positivamente a sus ventas
El 48
48,4%
4% de
d los
l clientes
li
afirma
fi
que lla relación
l ió con ell C
Centro
Tecnológico ha afectado positivamente a sus ganancias
El aumento en las ventas como resultado de la relación con los Centros
Tecnológicos es de 4 puntos porcentuales anuales (el 31,8% del
aumento total en las ventas)
El aumento de las ganancias como resultado de la relación con los
Centros Tecnológicos es de 3,2 puntos porcentuales anuales (28,1%
del aumento total de las ganancias)
EARTO Annual Conference 2008
“Impacting New Markets”
Algunos resultados
Impacto en las inversiones
•
El 60,2%
60 2% de los clientes afirma que la relación con el Centro Tecnológico ha
afectado positivamente a sus inversiones internas en I+D
•
El 36,8% de los clientes afirma que la relación con el Centro Tecnológico ha
afectado positivamente a sus inversiones en equipos
•
El aumento de la inversión en I+D como resultado de la relación con el Centro
Tecnológico es de 7,1 puntos porcentuales anuales (el 43,5% del aumento total
de la inversión en I+D interna)
•
El aumento de la inversión en equipos como resultado de la relación con el
Centro Tecnológico es de 2,8 puntos porcentuales anuales (el 22,4 del
aumento total de la inversión en I+D interna)
EARTO Annual Conference 2008
“Impacting New Markets”
Algunos resultados
Impactos intangibles
• El 71,6% de los clientes afirma que la relación con el
C t Tecnológico
Centro
T
ló i ha
h afectado
f t d positivamente
iti
t a la
l
formación de su personal en otras áreas
64,3%
3% de los clientes afirma que la relación con el
• El 64
Centro Tecnológico ha afectado positivamente para definir y
planificar sus actividades de innovación
• El 78,1% de los clientes afirma que la relación con el
Centro Tecnológico ha afectado positivamente a su
utilización de otras fuentes de información externas
(universidades, centros de investigación públicos,
consultoras, etc.)
EARTO Annual Conference 2008
“Impacting New Markets”
Algunos resultados
Otros indicadores de impacto
• El 92% de los clientes afirma que está bastante o muy
satisfecho
ti f h con la
l relación
l ió establecida
t bl id con llos C
Centros
t
Tecnológicos
55,2%
2% de los clientes afirma que sus proyectos se
• El 55
habrían desarrollado de manera menos ambiciosa sin la
intervención del Centro Tecnológico
• El 50,4% de los clientes afirma que sus proyectos habrían
tenido peores resultados sin la intervención del Centro
Tecnológico
• Solo el 24,8% afirma que sus proyectos se habrían
desarrollado sin diferencias significativas
EARTO Annual Conference 2008
“Impacting New Markets”
¿Y qué sucede con los grupos de control? En proceso
Las principales conclusiones preliminares fruto de la
comparación de los impactos con los del grupo de
control son que:
• El grado de impacto es muy similar
• Pero el tipo de clientes varía mucho
–
•
•
Los clientes de los Centros Tecnológicos tienen un personal
menos cualificado y más enfocado hacia la exportación
Este resultado puede ampliarse cuando se cotejan
los datos (más características de las compañías)
E llos próximos
En
ó i
años
ñ se llevará
ll
á a cabo
b otra
t ffase
con respecto a esta cuestión
EARTO Annual Conference 2008
“Impacting New Markets”
¿Y qué hay de los determinantes de los impactos?
Características
ambientales
Características
de la compañía
Características
de los Centros
Tecnológicos
Características de
la relación
Fuentes de
información
Encuesta de
impacto
E
Encuesta
FEDIT
Encuesta
Oficial de
Innovación(IN
E)
Otras
encuestas
oficiales (INE)
DIFERENTES TIPOS DE IMPACTO
Impacto
Técnico
Impacto
Económico
Impacto en las
Inversiones
Impactos
Intangibles.
.
EARTO Annual Conference 2008
“Impacting New Markets”
Otras
mediciones del
impacto
p
Conclusiones
•
•
•
•
La evaluación del impacto es muy difícil
Aunque existen varios problemas es posible
aplicar soluciones
Adoptamos la idea multidimensional y
multifactorial del impacto
Los resultados preliminares muestran que la
metodología es muy útil y que aporta mucha
información
EARTO Annual Conference 2008
“Impacting New Markets”
Conclusiones
•
El principal problema ha sido la reducida tasa de respuesta
de la encuesta
–
–
•
En los próximos años este problema quedará resuelto
gracias al Anexo de impacto que se ha añadido a la
Encuesta de Innovación Española
–
•
El proceso de recolección de datos es crucial es crucial y
financieramente gravoso. Debería seguir los mismos protocolos
utilizados en las encuestas oficiales
Se debe llevar a cabo un esfuerzo para reducir la encuesta y facilitar
respuestas
Por otro lado,
lado se perderá mucha información
Escogemos una estrategia paralela para beneficiarnos de
las ventajas de ambos métodos
EARTO Annual Conference 2008
“Impacting New Markets”