Indicadores de evaluación científica. Índices bibliométricos para la

Indicadores de evaluación científica.
Índices bibliométricos para la
evaluación de publicaciones
y productividad
I Curso de Especialización en Competencias Transversales de los Doctorados. EDUJA 2013
publicar con medida
a la búsqueda de indicios de calidad
universidad de jaén
vicerrectorado de extensión universitaria, deportes y proyección institucional
una novela negra
«El consejo de facultad decide cómo se reparten las asignaciones, y ellos, como todos los demás,
negocian un plan de acuerdo con un perfil académico determinado. ¿Cuál va a ser la apuesta y
por qué?. Para Dinamarca es importante tener un perfil de investigación competitivo que no solo
esté a la altura del resto de las investigaciones que se estén llevando a cabo en la Unión Europea,
sino de las de todo el mundo.
Dicho esto, no cabe duda que las decisiones del consejo no sólo miran por el interés del país.
Dentro de su cerradísimo círculo también reina cierto nepotismo. Hoy por ti, mañana por mí, un
mecanismo que empezará a vivir su edad de oro en cuanto se cierren las arcas del Estado….
Los miembros del consejo tienen que soportar enormes presiones al tiempo que ven cómo
van reduciendo sus áreas de investigación… Intercambian ayudas
y becarios como los
niños cambian cromos, y cuando toca hacer públicas sus decisiones todo el mundo contiene
la respiración y cruza los dedos»
Gazan, Sissel-Jo. Las alas del dinosaurio. Alfaguara, 2011, p. 182
Nota: la autora es doctora en biología 
Publicar no es investigar
Todo lo que se publica no es investigación
Normalmente toda investigación se convierte
en una publicación
Llamada de atención del profesor E. Delgado en su introducción al
master “evaluación de la investigación…” de la ugr
La publicación científica y la difusión
de los resultados constituyen uno de
los pilares fundamentales de la
actividad científica
1
El carácter
científico de una
disciplina va
indisolublemente
unido al ejercicio
de la
investigación
2
3
La madurez de
una disciplina se
mide por la
actividad
investigadora
que genera
Para evaluar el
progreso de una
disciplina nada
mejor que
valorar la
cantidad y
calidad de la
investigación
producida
publicación
podríamos decir
Investigación
orientada a resultados
comunicada
difundida
y desembocamos en el concepto de
“producción”
¿Qué es la producción científica? .JC.Argüelles. El País, 6/02/2008
La ciencia dejó de ser protagonizada por ricos ociosos y talentos patrocinados por algún
mecenas acaudalado.
Los espectaculares avances científicos son patrimonio de profesionales
financiados con fondos públicos o capital privado, reclutados como
investigadores con dedicación exclusiva.
El grupo de investigación sustituye al científico individual,
estructurado a modo de pirámide jerarquizada, con un director al frente,
varios miembros consolidados dotados de sólida base (sinónimo de
posdoctorales), más un elenco de investigadores en proceso de formación
inicial.
cambios en los procedimientos de
comunicar los resultados
y descubrimientos relevantes
la edición paralela de un
número importante de
nuevas revistas en
cualquier rama del saber.
 La abundancia y nivel de las publicaciones constituye
un índice fiel de la capacidad, trayectoria y hondura
científica asignable a cada grupo investigador. Más aún,
se han convertido en un parámetro crucial de
política científica para medir la calidad y decidir -dada
la escasez crónica de recursos- qué líneas y equipos de
trabajo merecen ser financiados
 se han introducido ciertos factores matemáticos para
medir el rendimiento de los grupos, que atienden a
dos criterios esenciales:
 el número de artículos publicados (cantidad) y
 el prestigio de la revista (citaciones y/o impacto).
publicaciones
parámetro
calidad
financiación
rendimiento
medida
esto lleva implícito una gran
tiranía
• debe ser valorada en términos absolutos o relativos?
• la cantidad producida determina conclusiones brillantes?
• realmente es riguroso el sistema de selección de los journals más
influyentes?
• el proceso de revisión por pares es infalible per se?
• hay espacios reservados a los gurús en la revistas de impacto?
• el conocimiento o desconocimiento del investigador influye en sus
oportunidades de publicación?
• el número de citas es la madre de todos los parámetros?
• cuentan igual las citas negativas que las positivas a la hora de las
metrías?
• tenemos presentes episodios fraudulentos relacionados con
revistas prestigiosas?
por cotillear…
¿Qué es la producción científica?´.JC.Argüelles. El País, 6/02/2008
proponemos una reflexión
¿la esencia de la ciencia es crear o producir?
publica que algo queda
 En su concepción actual son más
importantes los continentes que los
contenidos, condicionando una
investigación rutinaria mediante proyectos
continuistas de objetivos previsibles,
encaminados a obtener resultados
rápidamente publicables a corto plazo.
 La disyuntiva estriba en decidir si la
investigación debe favorecer el
conocimiento y progreso de la humanidad
o el currículo de los grupos; si se investiga
para descubrir o para publicar. Quizá en
estos tiempos de pragmatismo rácano, se
abuse con exceso del axioma "... publica,
que algo queda"
Contenido:
un nuevo concepto:
impactolatría
Impactolatría: diagnóstico y tratamiento. Jordi
Camí. MEDICINA CLÍNICA. VOL. 109. NÚM. 13. 199
Bibliometría, bases de datos bibliográficos,
factor de impacto, autoría.
El caso de la bibliometría y a propósito del
factor de impacto. La pretensión de cuantificar
a priori el valor intrínseco de una publicación
científica. Intentando cuantificar a posteriori el
valor de una contribución científica mediante
indicadores bibliométrico. Análisis de citas: ¿un
zumo natural o artificial? Anatomía y
fisiopatología del factor de impacto de las
revistas: advertencias para el consumidor.
Impacto, ergo sum: el significado de ser citado
en España. Análisis de citas frente a revisión
por pares.
La ciencia por definición “es la suma de las contribuciones
de individuos (con una formación y un talento especiales) que
publican sus descubrimientos, obtenidos tras la aplicación de
métodos rigurosos y fiables”
MALTRÁS, B. Los indicadores bibliométricos en el
estudio de la ciencia : fundamentos conceptuales
y aplicación en política científica. Salamanca:
Universidad, 1996
el investigador siente la presión de la
publicación
Los autores quieren ser
evaluados positivamente
mediante los indicadores
de visibilidad habituales :
las citas de sus trabajos y
la publicación en revistas
de impacto
Sus organizaciones
intentan maximizar su
inversión en recursos
humanos y materiales
buscando la eficiencia del
sistema académico. A los
investigadores se les exige
el, aumento de la
producción científica.
La industria quiere
rentabilizar sus productos
y aumentar beneficios
podríamos introducirnos aquí en el interesante
mundo de la edición científica
http://blogs.ams.org/mathgradblog/files/2012/04/boycott_Elsevier.jpg
Scientists boycott Elsevier
Thousands Of Researchers Boycott Elsevier,
Demand Open Access Journals
http://www.ibtimes.com/thousands-researchers-boycott-elsevier-demand-open-access-journals-427106
http://www.delta.tudelft.nl/article/scientists-boycott-elsevier/24695
pero esto es otra historia…
retomemos
y además no vale cualquier cosa…
recordemos la noción de
rentabilidad, que como
concepto también nos abre un
mundo de posibilidades que no
remiten sólo a consideraciones
económicas
la producción se mide en rendimiento y
el rendimiento científico se articula en
torno a bases de datos y productos de
evaluación basados en indicadores
lo que no se mide no se puede controlar, y lo que no
se controla no se puede gestionar
las políticas científicas evalúan y
miden el rendimiento científico
Comisión Nacional Evaluadora de la Actividad
Investigadora (CNEAI)
•
realiza la evaluación de la actividad investigadora de los profesores
universitarios y del personal de las escalas científicas del CSIC
•
la evaluación de la actividad científica es un proceso reglado en el que
los criterios de calidad que sirven de base para la evaluación están
establecidos
de forma tan meridianamente clara como…
Agencia Nacional de Evaluación de la Calidad
y la Acreditación
fundación estatal que tiene como objetivo contribuir a la mejora de la
calidad del sistema de educación superior mediante la evaluación,
certificación y acreditación de enseñanzas, profesorado e instituciones
Ciencias Experimentales y Ciencias de la Salud
Se indicará el índice de impacto de la revista en el año en
que se publicó el trabajo, así como el lugar que ocupa en
las diversas áreas del JCR (ISI Web of Knowledge). Se
elegirá el área en que la posición de la revista sea más
favorable.
Podría incluirse también el número de citas que ha
recibido el artículo, indicando la base de datos consultada.
Así por ejemplo:
…
Subprograma de Apoyo a Centros y
Unidades de Excelencia Severo
Ochoa
pero esto no es “conceptual”…
ni conceptualmente individual…
la medida de prestigios
se traduce en millones de euros
Por poner un ejemplo, merece la pena una ojeada al modelo de financiación de las universidades andaluzas
2007-2011
• La financiación de las Universidades Andaluzas debe encontrar el equilibrio adecuado entre la financiación básica, la
competitiva y la basada en los resultados (apoyada en un sólido aseguramiento de la calidad) para la educación
superior y la investigación de base universitaria.
• La financiación competitiva debe basarse en sistemas de evaluación institucionales y en indicadores de rendimiento
diversificados con objetivos claramente definidos, apoyados en evaluaciones comparativas internacionales tanto para
los insumos como para los resultados económicos y sociales.
• Por todo ello, entendemos que la universidad debe financiarse en razón de tres conceptos: formación, investigación e
innovación, que engloban las funciones que tiene la universidad andaluza encomendadas, compartiendo y
transfiriendo conocimientos con la sociedad y reforzando el diálogo con todas las partes interesadas.
%
y cada
que veis en el documento
no es un número vacío
La Estrategia Universidad 2015 (EU2015) se
presentó y aprobó en el Consejo de Ministros de 30 de
enero de 2009, después de ser informada la Comisión
de Ciencia e Innovación del Congreso de los
Diputados y posteriormente el Senado.
Sus propuestas diseñarán la educación superior del
futuro. Un hacia dónde vamos se adelanta en un
primer documento en borrador, cuya redaccción fué
encargada conjuntamente a la CRUE (Conferencia de
Rectores de las Universidades Españolas) y a
la Fundación CYD (Fundación Conocimiento y
Desarrollo):
Estrategia Universidad 2015: La gobernanza de la
universidad y sus entidades de investigación e
innovación
http://www.mecd.gob.es/eu2010/la-eu2015.html
Hasta ahora las Universidades eran responsables de cerca
del 80% de la producción científica (SCImago Institutions
Rankings)
http://www.scimagoir.com
futuro incierto
las subvenciones del Plan Nacional para Ciencia (del que los investigadores de las universidades
consiguen en torno al 60%) han caído alrededor un 26% (110 millones) entre 2008 y 2012. Ello, sin
contar un recorte general de la inversión pública en universidades de más de 1.200 millones desde
2010.
el rendimiento de los centros I+D se suele comparar a partir
de rankings basados en indicadores
El Shanghai Jiao Tong Academic Ranking of World Universities (ARWU) o
Ranking de Shanghai, pese a la proliferación de otros rankings de
universidades y a las duras críticas recibidas, se ha convertido en el referente
básico para señalar las universidades de investigación a nivel global.
aunque no es el
único
Robinson-García, N., Jiménez-Contreras, E. y Delgado López-Cózar, E. (2013). Las universidades
españolas en los principales rankings de universidades. 2013. EC3 Working papers, 14: 20 de
noviembre de 2013.
se alerta del peligro del diseño de políticas de
investigación a partir de los rankings
Los 'rankings' imponen su ley a la Universidad
La Comisión Europea prepara un nuevo ranking
de universidades: U-Multirank
 La Comisión Europea prepara un nuevo ranking mundial
para las universidades. El ranking, que entrará en vigor en
2014, clasificará a los centros en función de una serie más
amplia de factores de calidad
¿cómo ordenan los rankings?... sencillamente
miden con indicadores
NDOC
Nº documentos citables publicados en
revistas JCR
NCIT
Nº de citas recibidas por los documentos
citables
H-INDEX
Índice H según la fórmula de Hirsch
PCIT
Promedio de citas de los documentos
citables
TOPCIT
Porcentaje de documentos citables
altamente citados (establece un límite de percentil)
1Q
Porcentaje documentos citables publicados
en revistas 1Q del JCR
y así las cosas…
¿por qué y qué tengo
que saber de índices e
indicadores?
5
4,5
4
3,5
Primero que existen y que son
decisivos en tu carrera científica
3
2,5
2
1,5
1
0,5
0
y si algo es decisivo… debe
entrar formar parte en tu
proceso de investigación
una definición y una aclaración
• Los indicadores bibliométricos sirven para evaluar la producción
científica de los investigadores, medir el impacto de los autores,
determinar la calidad de las revistas y de los artículos.
•
Cada índice o combinación de ellos sirve para evaluar criterios
diferentes. los expertos suelen recomendar el uso de varios
indicadores, no el uso de un único valor. Una buena batería de
indicadores permite medir y analizar la ciencia en muchos
aspectos
una nube que permite conocer
de forma combinada el impacto
y el estado de la producción
científica, ya sea de una
publicación, un trabajo, un
campo de la ciencia , una
institución, un país…
estudian la dispersión, la
colaboración, la visibilidad, el
envejecimiento…
índice g
ef
SJR
(eigenfactor
score)
SNIP (Source
Normalized
Impact per
Paper
FI
Índice h
Ai (article
influence
score)
dónde encuentro ….
El factor de impacto ¿qué es exactamente?
se trata de una medida aplicada a la repercusión
que tiene una publicación en la literatura científica
a partir de las citas que ha recibido, es decir, el
número de veces que se cita por término medio
un artículo publicado en una revista determinada
La idea es que cuanto más se cita un
artículo, más importante es y más
relevancia tiene dentro de su ámbito de
trabajo
¿cómo se calcula el factor de impacto de
?
Institute for Scientific Information
El FI de una revista para
un año concreto se calcula
dividiendo el número de
citas obtenidas en ese
año por los artículos
publicados en dicha
revista los dos años
anteriores entre el total
de artículos que la revista
publicó en esos dos años.
•Es decir, el FI es el número
promedio de citas de los
artículos obtenidas por los
artículos publicados en esa
revista.
El FI para el 2008 para una revista X
A
número de veces que
los artículos publicados
por la revista X en el
periodo 2006-2007 han
sido citados por las
revistas fuente a lo
largo del año 2008
B
número de artículos
publicados en la
revista X durante el
período 2006-2007
C=A/B
FI de la revista X en el año 2008
WOK: manual de uso en español
p. 128
Y el factor de impacto de
?
parecido pero no igual
Una alternativa que basa su funcionamiento en
el algoritmo PageRank. Es un portal que incluye
las revistas científicas y los indicadores
científicos por países que utiliza los datos de
Scopus ® a partir de 1996. El acceso a este
índice es gratuito y es una alternativa española
desarrollada por el Grupo de Investigación
Scimago. SJR es un índice más ponderado, ya
que incluye cuatro factores respecto a los dos
que incluye ISI
• El índice H
• Número total de citas por revista
http://www.scimagojr.com
• Número total de documentos revista
• Número de citas por documento
El indicador expresa el número de enlaces que recibe una
revista a través de la citación ponderada de sus
documentos en relación con el número de documentos
publicados durante el año por cada publicación.
factor de impacto normalizado NIF?
se calcula dividiendo el factor de impacto de la revista entre el máximo factor
de impacto de su categoría y multiplicando por 10
Revistas ordenadas
por factor de
impacto en la
categoría
factor de impacto
1a
IF a
2b
IF b
3c
IF c
4d
IF d
5e
IF e
6f
IF f
valores
impacto
NIF≤ 0’100
muy bajo
0’100<NIF≤1,00
bajo
1’00<NIF<2,00
medio
2’00≤NIF≤3’00
alto
NIF>3,00
muy alto
No al FI como parámetro primario con el que comparar producción científica de personas e instituciones
“La Declaración de San Francisco sobre
Evaluación de la Investigación (DORA),
impulsada por la Sociedad Americana de
Biología Celular (BCSV), junto con un grupo de
directores y editores de revistas científicas,
reconoce la necesidad de mejorar la forma
en que se evalúan los resultados de la
investigación científica . El grupo se reunió
poniendo ciencia en la evaluación de
la investigación
Para leer y descargar la Declaración de San Francisco de la
Investigación (DORA) traducida al español, (DORA, PDF, 441
KB).
Pulsando aquí accede a DORA y apoya esta iniciativa.
en diciembre de 2012 durante la reunión
anual BCSV en San Francisco e hizo circular un
proyecto de declaración entre los diversos
grupos de interés.Se trata de una iniciativa
mundial que abarca todas las disciplinas
académicas. Animamos a las personas y
organizaciones que están preocupados por la
evaluación adecuada de la investigación
científica a que firmen DORA” (observatorio de
revistas científicas)
Índice h
propuesto por Jorge Hirsch en el 2005
• Es uno de los indicadores más
relevantes para evaluar la
producción científica de un
investigador.
• Mide a la vez la calidad (en
función del número de citas
recibidas) y la cantidad de la
producción científica.
¿Cómo calculo mi índice h?
Ordeno mis publicaciones por el número de citas
recibidas en orden descendente, las numero e identifico
el punto en el que el número de orden coincide con el
número de citas recibidas por una publicación.
Este número constituye el índice h.
Hay 6 artículos que han
recibido al menos 6 citas
cada uno
A partir de esta búsqueda obtenemos un listado de publicaciones de este
autor. Pulsamos el enlace "Create citation report" para ver el índice H.
En la siguiente pantalla volvemos a ver las publicaciones de este autor pero
ordenadas por el número de citas recibidas en orden decreciente, y el indice H
calculado de forma automática
también se puede calcular el índice h para una
revista o para un grupo de revistas: Scimago…y
también
Google Scholar Metrics elabora listados de revistas y su índice H, haciendo varios rankings por
idiomas con una selección de las 100 mejores revistas según este indicador.
Listados de revistas con Indice H segun
Google Scholar Metrics
- Listados de revistas españolas por materias
(elaborados por el grupo EC3 de Granada a partir de los datos de
Google Scholar Metrics)
Índice H de las Revistas Españolas de Ciencias
Sociales
Cuartil?
 En matemáticas: los cuartiles son los tres valores que
dividen al conjunto de datos ordenados en cuatro
partes porcentualmente iguales
 Permite evaluar la importancia relativa de una
revista en el total de las revistas de su área
indexadas en una base de datos
 ¿dónde? A nivel internacional, por supuesto, en
JCR y en SJR.
Para publicaciones nacionales de ciencias sociales y
humanidades, en los productos desarrollados por el grupo de
investigación EC3 (In-RECH, In-RECJ, In-RECS)
 Si un listado de revistas ordenadas de mayor a
menor factor de impacto se dividiera en cuatro
partes iguales, cada una de las partes sería un cuartil.
Las revistas con el factor de impacto más alto están
en el primer cuartil, los cuartiles medios serán el
segundo y tercero, y el cuartil más bajo será el
cuarto. Por ejemplo, en un listado de 100 títulos, el
primer cuartil son los 25 primeros títulos y estos
serán los más valorados por los investigadores.
hay áreas con dificultad
para localizar estos
indicadores de impacto
Los propios evaluadores
permiten alternativas
para localizar indicios
de calidad
otras bases que
permiten valorar
calidad de las
publicaciones científicas
•
•
•
•
•
•
ERIH
DICE-CINDOC
RESH
In-RECS, In-RECJ, In-RECH
LATINDEX Catálogo
Acreditación de la FECYT
inclusión de las revistas
en bases de datos
internacionales de
relevancia para el área
•
•
•
•
FRANCIS
IBSS
RLG
…
Libros
•
•
•
•
CARHUS Plus+
CIRC
MIAR
….
• SPI (Scholarly Publishers Indicators) : Indicador de Calidad
de Editoriales segun los Expertos (ICEE) : Permite medir el
prestigio editorial de los libros de ciencias sociales y
humanidades
recomendable
aunque no sea palabra divina: conocer
muy bien los criterios que fija la CNEAI
para tu área de conocimiento
conocer todas las posibilidades para
obtener indicios de calidad
desconocer
esto es
todo
por tanto y además….
la investigación debe tener una
estrategia de posicionamiento
y para ello…
tendrás que tomar
decisiones previas
relacionadas con
la gestión del
conocimiento
la evaluación de
la información
que serán determinantes a la hora de comenzar o replantear un
determinado proyecto de investigación
una vez identificado y
focalizado tu tema de
investigación…
ten claro el lugar
adecuado donde
publicarlo
¿sobre qué conocimiento?
sobre volúmenes de datos e informaciones que se almacenan en
bases de datos y en grandes repositorios de datos
contextualizado: la necesidad de saber qué es lo que está
ocurriendo en el entorno
¿cuáles son las principales líneas de investigación?
¿qué hacen otros investigadores?
¿quiénes son los líderes? (centros o grupos de
investigación, equipos, personas…)
¿cuáles son los canales de difusión?
….
“información en contexto”…para la toma
de decisiones, que producen resultados
VT: vigilancia tecnológica
vigilancia tecnológica
Según la norma UNE 166006:2006, la vigilancia
tecnológica es un proceso organizado, selectivo y
permanente, de captar información del exterior y de
la propia organización sobre ciencia y tecnología,
seleccionarla, analizarla, difundirla y comunicarla,
convertirla en conocimiento para tomar decisiones
con menor riesgo y poder anticiparse a los cambios.
captar información en relación a
nuestro campo de estudio
analizar las tendencias de
investigación
tomar decisiones
Informe APEI sobre Vigilancia Tecnológica, 2009
objetivos
 conocer cambios de nuestro entorno
 detectar información de interés procedente de recursos variados y
dispersos
 reducción de riesgos de toma de decisiones
 conocer hacia donde avanzar
 seguir y analizar fuentes de obligada consulta, que aportan información
relevante y que deben explotarse sistemáticamente
 ver dónde debemos llevar nuestros esfuerzos
 conocer e identificar tendencias
 conocer la competencia
que en realidad tiene bastante parecido con el
esquema clásico del «método científico»
ESI: ESSENTIAL SCIENCE INDICATORS
ESI nos aporta todos los
rankings necesarios para
conocer qué está pasando,
quién lo está haciendo y
cuándo está pasando!
Tutorial Formación WoK. 2013 . P 64-69
buscar aliados
en otras
instituciones
conocer
quién, qué y
dónde se está
publicando
identificar los
trending
topics de mi
área
reconocer el
top 10 del
ranking de
revistas donde
posicionarme
La UJA se adhiere a la Declaración de Berlín sobre Acceso
Abierto al Conocimiento en Ciencias y Humanidades
<mayo 2013>
“Escribir bien un trabajo científico no es una cuestión de vida o
muerte; es algo mucho más serio.”
Robert A. Day
Muchas gracias por vuestra atención