Análisis del Índice ScientiCol

Análisis del Índice ScientiCol
En este escrito se analizan las premisas bajo las cuales ha sido construido el índice
ScientiCol-2006, herramienta básica de medición de la productividad de los grupos de
investigación en el Sistema Nacional de Ciencia, Tecnología e Innovación. La necesidad de
este análisis surge después de haber conocido los resultados de la última convocatoria de
medición de Colciencias que evidencia una serie de fallas en esta herramienta de
clasificación.
El propósito del autor es contribuir en la discusión y la construcción de un sistema de
medición que efectivamente incluya los factores más relevantes en el momento de
determinar la calidad de los grupos de investigación.
Este documento está dividido en cinco secciones. En la primera sección se explica de
manera general como se calcula el actual índice, luego se realiza una comparación con el
índice usado en la convocatoria de medición 2004. En la tercera parte del escrito se
analizan los aspectos positivos del proceso de medición 2006; a continuación se analizan
los vacíos encontrados en este mismo proceso, para finalizar con algunas conclusiones y
propuestas tendientes a superar los problemas detectados.
1. Como se calcula el índice Scienticol-2006.
Para efectos del cálculo se divide la productividad de un grupo en 4 componentes:
Productos de nuevo Conocimiento, Productos de nuevo conocimiento Tipo A, Productos de
divulgación y Productos de formación.
a. Productos de Nuevo Conocimiento (NC). Caben acá los artículos, capítulos de libro
resultados de investigación, libros resultados de investigación, normas, patentes, productos
registrados, entre otros. Para cada uno de estos tipos de productos se calcula su aporte en la
productividad de NC a partir de tres indicadores: Existencia, Calidad y Visibilidad
Circulación y Uso.
Título
A Framework for the
Generation of Adaptive
Courses
Based
on
Semantic Metadata
A
Knowledge-Based
Approach to Describe
and
Adapt
Learning
Objects
Tipo. Producto
Existencia
Calidad
Visibilidad,
circulación
y uso
Artículo completo –
Revista Tipo A
1
3
1
5
Artículo completo –
Revista Tipo B.
1
1.6
1
3.6
Aporte Artículos
Aporte
8.6
Tabla 1. Aporte por producto.
El indicador de existencia toma valores de 1 y 0; uno cuando el producto ha sido bien
ingresado en el CVLaC respectivo y cero cuando falta información. En este último caso el
producto no es tomado en cuenta en los cálculos. El indicador de calidad asigna un mayor
valor para aquellos productos de mayor relevancia; publicar en una revista indexada A
origina un mayor valor en el índice de calidad que publicar en una revista indexada B.
Análisis del índice ScientiCol
1
Véase tabla 1 en donde se asignan indicadores de calidad de 3 y 1.6 respectivamente. El
indicador de visibilidad circulación y uso no es medido en esta convocatoria; en todos los
casos que la información ha sido correctamente ingresada toma un valor de 1, sin establecer
diferencias entre impactos distintos.
Una vez calculado el aporte por tipo de producto se procede a calcular la productividad
promedio anual en Nuevo Conocimiento como se muestra en la tabla 2. El aporte de cada
tipo de producto se divide por cinco, que es el máximo puntaje obtenido por los productos
que generan nuevo conocimiento (1 de existencia, 3 de calidad y 1 de visibilidad
circulación y uso). A continuación, el resultado obtenido se multiplica por el peso o anclaje.
Obsérvese que a cada tipo de producto se le asigna un peso específico o factor de anclaje
en el cálculo del aporte total en productos de nuevo conocimiento. Por ejemplo, el aporte
total en libros de investigación tiene un peso de 3 unidades, mientras que el aporte total en
artículos tiene un peso relativo de 1. Esta es otra manera de dar mayor o menor relevancia a
un tipo de producto frente a otro.
Tipo Producto
Artículos
Capítulos de libro
Libros de investigación
Normas
Productos registrados
Indicadores de Nuevo Conocimiento
Dividido por
Peso o
Aporte
5
anclaje
8.6
5
5
0
7
1.72
1
1
0
1.4
1
0.6
3
1
3
Suma
Productividad promedio anual para un grupo con 5 años de existencia en
productos de Nuevo Conocimiento
Indicador
1.72
0.6
3
0
4.2
9.52
1.9
Tabla 2. Cálculo de la Productividad Promedio Anual.
Una vez obtenido el indicador de nuevo conocimiento, el valor resultante (9.52), se divide
por los años de existencia del grupo, suponga 5 años para el ejemplo de la tabla 2. De esta
manera se obtiene la productividad promedio anual de un grupo en productos de nuevo
conocimiento durante toda su existencia.
b. Productos de nuevo conocimiento tipo A (NC-A). Este tipo de productos está
conformado por un subconjunto de los de nuevo conocimiento, llamados productos tipo A.
Esta es la producción de mayor relevancia para un grupo; por ejemplo, sólo los artículos
publicados en revistas tipo A caben en este componente. Mientras que un artículo publicado
en una revista tipo C, aunque es producto de nuevo conocimiento, no cabe en esta categoría
de los tipo A.
Para cada uno de estos productos se calcula su aporte de la misma manera como se hace
con los productos de nuevo conocimiento: Existencia, Calidad y Visibilidad. La diferencia
radica en el indicador de calidad asignado, el cual toma mayor valor que el tomado por el
resto de productos de NC. Para productos A el valor es 3 y para productos B el valor es 1,6.
(Véase tabla 1)
Nótese que un producto que se usa en los cálculos de la producción de nuevo conocimiento,
si es tipo A, es usado de nuevo para calcular la productividad en esta categoría.
Análisis del índice ScientiCol
2
c. Productos de divulgación. Acá caben las ponencias presentadas en eventos y la
literatura gris, entre otros. Para calcular el aporte se toma únicamente el indicador de
existencia. Esta categoría no usa los indicadores de calidad ni de visibilidad circulación y
uso.
d. Productos de formación. En este componente del índice se agrupan las tesis de
doctorado y maestría dirigidas y finalizadas, los programas y cursos de maestría y
doctorado soportados por profesores miembros del grupo, entre otros. Se calcula su aporte
únicamente con el indicador de existencia. Esta categoría no usa los indicadores de calidad
ni de visibilidad circulación y uso.
De manera similar a como se obtiene la productividad promedio anual para los productos
de nuevo conocimiento, se calcula la productividad promedio anual para los otros 3
componentes del índice. Para ejemplificar tomaremos cuatro casos hipotéticos:
•
El grupo X en sus 5 años de existencia ha producido 1.7 productos de nuevo
conocimiento por año, 0.4 productos de nuevo conocimiento tipo A por año, 0.7
productos de formación por año y 0.8 productos de divulgación por año.
•
El grupo Y en sus 6 años de existencia ha producido 1.1 productos de nuevo
conocimiento por año, 0.3 productos de nuevo conocimiento tipo A por año, 1
producto de formación por año y 0.4 productos de divulgación por año.
•
El grupo Z en sus 5 años de existencia ha producido 4 productos de nuevo
conocimiento por año, 2 productos de nuevo conocimiento tipo A por año, 2
productos de formación por año y 2 productos de divulgación por año.
•
El grupo W en sus 7 años de existencia ha producido 5.5 productos de nuevo
conocimiento por año, 4 productos de nuevo conocimiento tipo A por año, 3
productos de formación por año y 4 productos de divulgación por año.
Para continuar con el cálculo, la productividad obtenida se divide por un umbral definido
por Colciencias. Este umbral representa la productividad esperada por año para un grupo
típico de 4 miembros. Los actuales umbrales son 2 productos por año de NC, 0.5 para NC
tipo A, 1 producto por año de formación y 1 producto por año para divulgación.
La división entre la productividad anual calculada y los umbrales Colciencias origina en
todos los casos valores entre 0 y 1. Si el cociente es mayor que 1 se toma como valor 1.
Como se verá más adelante esta decisión se hace para efectos de mantener normalizado el
cálculo y garantizar que el índice Scienticol arroje valores entre 0 y 10. La tabla 3 muestra
los cálculos obtenidos para los 4 grupos ejemplo. En el caso del grupo X se toma su
productividad promedio anual en NC y se divide por el umbral Colciencias obteniendo un
valor de 0.85. En el caso del grupo W, como el cociente es mayor que uno (5.5 dividido 2),
se toma el máximo valor permitido (uno).
Grupo
X
Y
Z
W
Nuevo Conocimiento
NC-TipoA
Formación
Umbral 2
Umbral 0.5
Umbral 1.0
1.7 / 2 =
1.1 / 2 =
4.0 / 2 =
5.5 / 2 =
0.85
0.55
1.0 *
1.0*
0.4 / 0.5 = 0.8
0.3 / 0.5 = 0.6
2 / 0.5 = 1.0 *
4 / 0.5 = 1.0 *
0.7 / 1 =
1.0 / 1 =
2.0 / 1 =
3.0 / 1 =
0.7
1.0
1.0 *
1.0 *
Divulgación
Umbral 1.0
0.8 / 1 = 0.8
0.4 / 1 = 0.4
2 / 1 = 1.0*
4/ 1 = 1.0 *
Tabla 3. Productividad promedio anual de un grupo dividido por el umbral Colciencias.
Análisis del índice ScientiCol
3
Como paso final, a cada componente de productividad se le asigna un peso específico en el
aporte al índice ScientiCol. Los productos de NC aportan el 50% del valor de índice, los de
NC tipo A aportan el 35% de este valor, los productos de formación aportan el 10% y los
de divulgación el 5%. En este paso, el cociente obtenido en la tabla 3 se multiplica por este
peso como se muestra en la tabla 4, lo cual permite conocer el índice ScientiCol obtenido
por cada grupo.
Grupo
X
Y
Z
W
Nuevo Conoc.
NC-TipoA
Formación
Divulgación
50%
35%
10%
5%
5 x 0.85
5 x 0.55
5 x 1.0
5 x 1.0
= 4.25
= 2.75
= 5
=5
3.5 x 0.8 = 2.8
3.5 x 0.6 = 2.1
3.5 x 1.0 = 3.5
3.5 x 1.0 = 3.5
1 x 0.7 =
1 x 1.0 =
1 x 1.0 =
1 x 1.0 =
0.7
1
1
1
0.5 x 0.8 = 0.4
0.5 x 0.4 = 0.2
0.5 x 1.0 = 0.5
0.5 x 1.0 = 0.5
Índice
ScientiCol
8.5
6.5
10
10
Tabla 4. Índice ScientiCol de cada grupo ejemplo
En este punto vale la pena hacer notar que para los grupos X e Y, el índice los clasifica
correctamente; es decir, para productividades diferentes el cálculo arroja un índice
diferente. Obsérvese que ambos grupos tienen una productividad que no supera los
umbrales establecidos por Colciencias.
No ocurre lo mismo con los grupos Z y W; aunque la productividad del grupo W es mucho
mayor que la del grupo Z, ambos grupos obtienen el mismo valor para el índice. Nótese que
W duplica en producción tipo A al grupo Z. La causa de esta anomalía es que ambos grupos
tienen una producción por encima del umbral definido por Colciencias y por ello el índice
no los jerarquiza correctamente.
2. Diferencias frente a la anterior versión del índice ScientiCol.
En esta sección vamos a enumerar algunas diferencias respecto al índice utilizado en la
medición de grupos 2004. Nos referiremos a los índices versión 2004 y versión 2006 como
I-2004 e I-2006 respectivamente.
•
En el I-2006 no es posible que un grupo sin producción de nuevo conocimiento tipo
A pueda ser clasificado como A. El peso de los productos tipo A, 35% en el cálculo,
garantiza que un grupo sin productos A no obtenga a un índice mayor o igual a 8, lo
que es equivalente a no poder ser clasificado como A. Esto no ocurría con el I2004.
•
En el I-2006 no se tiene en cuenta cuantos de los autores del producto son del grupo
para calcular el aporte. Esto significa por ejemplo, que un artículo de 4 autores, en
donde solo uno de ellos es miembro del grupo, aporta lo mismo en el cálculo que un
artículo realizado únicamente por miembros del grupo. Esto no ocurría con el I2004.
•
En el I-2006 se toma como base un grupo tipo de 4 miembros para efectos de
estimar productividad. Es decir, no se incluye en el cálculo el número real de
miembros de un grupo. Lo deseable sería que el cálculo del promedio de
productividad por año de un grupo esté mediado por el número de miembros que
posea.
Análisis del índice ScientiCol
4
•
En el I-2006 un umbral único de producción es definido por Colciencias para todos
los programas. En el I-2004 existía un umbral por programa que se definía tomando
el grupo de mayor productividad en cada categoría y por programa; es decir, se
empleaba el método de la curva.
•
Para calcular el I-2006 se desligaron los productos de los proyectos. Como
consecuencia, no es obligatorio que un producto registrado en el GrupLaC esté
asociado a un proyecto para que sea tenido en cuenta en el cálculo. Esto no ocurría
con el I-2004.
3. Ventajas del I-2006.
Del índice 2006 y del proceso de medición efectuado podemos enumerar las siguientes
fortalezas.
•
Un grupo sin producción tipo A no puede ser clasificado como A.
•
El cálculo del aporte al índice de los artículos en revistas indexadas se realizó
automáticamente, a partir de las bases de datos de clasificación de revistas que tiene
Colciencias. Eliminar la intervención humana en esta parte del proceso le da más
transparencia a la medición.
•
Existió un primer nivel de verificación de la información. Esta verificación se
delegó en las universidades para el caso de libros, capítulos de libros, patentes,
normas, productos registrados. Obsérvese que esto es un primer paso, aunque
todavía con vacíos. En las universidades públicas deberían existir sistemas de
información que integren la producción registrada y evaluada por las oficinas de
jerarquía docente con los productos registrados en los GrupLaC, evitando que exista
información no coincidente en ambas bases de datos.
•
El simulador provisto por Colciencias da una mayor transparencia al proceso y
permite a los coordinadores corregir con anticipación posibles errores en el ingreso
de la información al GrupLaC.
4. Desventajas del I-2006.
Del índice 2006 y del proceso de medición podemos enumerar las siguientes debilidades.
•
Para el I-2006, si un producto aparece registrado en diferentes GrupLaC tiene el
mismo impacto que si solo aparece registrado en un GrupLaC. Esto da lugar a que
se infle la productividad de los grupos; por ejemplo, que se creen nuevos grupos con
miembros de grupos ya existentes y se replique además parte o toda su
productividad.
•
Como ya se mencionó arriba, no se tiene en cuenta cuantos autores de un producto
son miembros del grupo para diferenciar el aporte al índice.
• No se incluye el número de miembros de un grupo en los cálculos. Obviando el
hecho evidente que no se puede exigir el mismo número de productos por año a un
grupo de 3 miembros que a uno de 10.
Análisis del índice ScientiCol
5
•
El umbral definido por Colciencias para todo el país es demasiado bajo y no permite
clasificar realmente a los grupos que estén por encima de este. De los resultados de
la convocatoria de medición 2006, véase tabla 5, hemos tomado un buen número de
universidades representativas del sistema. Obsérvese que el 47.52% de los grupos
que se presentaron a la medición fueron clasificados como A, el 31.13% fueron
clasificados en categoría B y el 21.35% se clasificaron como C. Lo anterior significa
que la pretendida jerarquización arrojo una pirámide invertida en esta medición. Si
se toman estas mismas universidades para el consolidado nacional de grupos por
categoría, es decir los clasificados en el 2004 más los nuevos clasificados, hemos
observado que se obtiene una tendencia similar.
Universidad UN
U.
Andes
U.
Valle
UdeA
PUJ
U.
Norte
UPB
Categoría A 131
Categoría B 92
Categoría C 46
Medidos
269
49
27
9
85
39
21
19
79
35
22
15
72
33
14
22
69
14
10
4
28
12
9
9
30
12
10
17
39
11
13
7
31
9
8
7
24
Posición por
grupos A
2
3
4
5
6
7
8
9
10
1
UTP UIS Eafit
Total
%
345
226
155
726
47.52
31.13
21.35
100.0
1
Tabla 5. Grupos por categoría en medición 2006 .
•
No es claro por qué Colciencias define incluir dos veces los productos Tipo A: En
productos de Nuevo conocimiento y en productos tipo A.
•
El impacto de los productos no es medido en el I-2006. No debería tener el mismo
impacto aquél artículo que es referenciado ampliamente por la comunidad científica
en sus publicaciones respecto a aquellos que apenas son referenciados. Igualmente,
el impacto de las patentes debería estar relacionado con el aporte al PIB o lo
producido en regalías.
5. Conclusiones.
La conclusión más evidente es la obtenida a partir del análisis de la tabla 5. El proceso
de medición concebido para jerarquizar los grupos en función de su productividad no
está arrojando los resultados deseados. Los niveles de exigencia y los criterios
establecidos no están permitiendo identificar realmente a los grupos de excelencia. La
pirámide invertida es un resultado a todas luces anómalo para el estado actual de la
investigación de nuestro país en el contexto Mundial. En el caso de nuestro Sistema
Nacional de Ciencia, Tecnología e Innovación aún en proceso de crecimiento y con un
impacto muy modesto en el mundo, no podemos concluir que el 47.52% de nuestros
grupos han alcanzado altos niveles que permitan clasificarlos como grupos A.
Una segunda conclusión tiene que ver con la necesidad de incorporar nuevos elementos
de medición tales como la cantidad de miembros del grupo, el impacto de los productos,
el número de miembros del grupo que participan del producto, etc.
1
Estadísticas tomadas de los resultados publicados por Colciencias en su página Web - Junio 2006.
Para la UN y la PUJ se toma el consolidado de todo el país.
Si un grupo es avalado por varias universidades es contabilizado para todas.
Análisis del índice ScientiCol
6
En opinión del autor, lo deseable es establecer un umbral de producción por año en
función del número de miembros del grupo y de su capacitación. Un indicador
importante para cualquier universidad es establecer indicadores de producción anual
para sus investigadores; este dato puede ser la base para calcular la producción esperada
de los grupos que ellos conformen.
Otro elemento a incorporar es el indicador de visibilidad circulación y uso de los
productos. Aunque todavía difícil de implantar en la práctica, vale la pena notar que
algunas bases de datos bibliográficas permiten calcular automáticamente el número de
referencias que tiene un artículo, cuál es el autor más referenciado, entre otros
indicadores de impacto. Como se mencionó arriba, las patentes y los desarrollos
tecnológicos pueden ser medidos por su impacto en la economía.
Como tercera conclusión nótese el poco peso que tienen los productos de divulgación.
El 5% del ScientiCol es atribuible a ponencias y póster en conferencias, literatura gris,
etc. Este hecho lleva a reflexionar sobre la necesidad de dosificar la inversión en este
tipo de eventos; aunque pueden ser útiles como primera experiencia de un investigador
o para establecer contactos con pares científicos, su impacto en el índice es casi nulo.
ScientiCol vs Productividad Promedio Anual NC-Tipo-A
Valor
10,0
9,5
9,0
8,5
8,0
7,5
7,0
6,5
6,0
5,5
5,0
4,5
4,0
3,5
3,0
2,5
2,0
1,5
1,0
0,5
0,0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65
Posición Grupo
Indice ScientiCol
NC-Tipo-A
Gráfica 1. Índice ScientiCol para 65 grupos A y B de la U de A2.
Como cuarta y última conclusión, esta vez para el caso particular de la U. de A., el
autor analizó el índice ScientiCol de 65 grupos categoría A y B Colciencias de los 123
que posee hoy esta Universidad3 (véase gráfico 1). Como resultado encontró que 61 de
2
3
Información tomada de la impresión paso a paso del Índice Scienticol
Para el momento de escribir este documento no se contaba con la información de los otros 58 grupos.
Análisis del índice ScientiCol
7
estos grupos superan el umbral definido por Colciencias para productos de Nuevo
Conocimiento Tipo A (0.5). Lo anterior significa que el índice no los clasifica
correctamente; pues como se mostró más arriba, para estos casos el índice no mide el
real aporte de la productividad; es decir, una mayor productividad tipo A no
necesariamente implica un mayor índice ScientiCol.
John Freddy Duitama M.
Coordinador del Grupo Ingeniería Web.
Jefe Centro de Investigaciones Ambientales y de Ingeniería.
Facultad de Ingeniería -Universidad de Antioquia.
Julio 2006.
Análisis del índice ScientiCol
8