Evaristo Jim nez-Contreras: Calidad editorial, difusi n, impacto y reconocimiento de las revistas cient ficas

Sociedad Latina de Comunicación Social, SLCS
Calidad editorial,
difusión, impacto y
reconocimiento de las
revistas científicas
Dr. Evaristo Jiménez-Contreras
G. I. “Evaluación de la Ciencia y de la Comunicación Científica - EC3”
F. Comunicación y Documentación – Universidad de Granada
http://ec3.ugr.es
[La Laguna (Tenerife), 7-10 de diciembre de 2010
Cuestiones previas
• Preguntas:
– Porqué hablar de “prestigio, calidad, difusión, impacto..”
de las revistas?
– Porqué nos preocupan tanto estas palabras?
– Porqué se asocian con la evaluación de los investigadores?
El papel de las revistas
• Las publicaciones en revistas son los productos más
genuinos de la actividad científica
– Principal medio de difusión de resultados de investigación
– Biblioteca, archivo y registro
– Difusión, interactuación, reconocimiento
• Son un elemento vertebrador de las comunidades
científicas
• Y a su vez…
– Las citas son una medida fiable de la repercusión de las
revistas
El papel de las revistas
• Son también un ESLABÓN ESENCIAL EN EL SISTEMA
DE EVALUACIÓN
– medio (in)directo para evaluar la actividad investigadora
de:
• Los autores que publican sus resultados en las mismas
• Las instituciones
• Bibliotecarios, etc.
– Son una herramienta esencial para los organismos y
agencias que se ocupan de la Ciencia
• El efecto de la obra de E. Garfield
• Aparición de indicadores bibliométricos
La situación actual
• La calidad nos ha preocupado siempre (¿?),
pero ahora existe una coyuntura que la
convertido en un problema/necesidad de
urgente atención
• Necesidad a todos los niveles:
– Investigadores
– Editores
La calidad científica
• La evaluación de la calidad científica de los
trabajos y por elevación de las revistas es
esencialmente subjetiva pero…
• Calidad científica
• Calidad científica
Impacto
Reputación
La calidad científica
• La evaluación de la calidad científica de los
trabajos y por elevación de las revistas es
esencialmente subjetiva pero…
• Calidad científica
• Calidad científica
Impacto
Reputación
¿Cómo se mide la calidad de una
revista?
– Dimensiones
• En tanto que medio de comunicación:
– Criterios de calidad formal: parámetros Latindex, Apéndice 1 (en
España)
– Criterios de visibilidad
• Herramienta científica
– Criterios de calidad editorial
– Criterios de calidad científica (respecto de los contenidos)
» Originalidad, relevancia, metodología, elegancia
(evaluación por pares)
• Impacto: citas, visitas, descargas
– Son criterios híbridos que miden al mismo tiempo la difusión y la
calidad científica
Midiendo la calidad
– Criterios Cualitativos
•
•
•
•
•
Miden sobre todo la reputación
Opiniones/percepciones de los pares, colegas y expertos
Información rica, de calidad y relevante
Subjetivos
Herramienta principal: las encuestas
– Cuantitativos:
•
•
•
•
Bibliométricos: análisis de citas
Miden comportamientos, el impacto, el contexto…
Objetivos
Herramienta principal: las bases de datos
– Normativos
Los aspectos normativos
La calidad informativa de una revista,
favorecedora de la transferencia de la
información, está extraordinariamente
mediatizada por el ajuste de la revista
a las normas internacionales de
presentación de Publicaciones
Periódicas
En ningún caso ligaremos
normalización con calidad del
contenido
La mayor o menor normalización de
las revistas científicas facilita o
dificulta los estudios bibliométricos,
Lista de criterios Latindex (33)
Características básicas
8
Presentación
9
Gestión y la Política Editorial
8
Contenidos
8
Controlando la difusión
http://proyectos.cchs.csic.es/encuesta
Qué es el impacto científico?
• Para empezar, no existe una definición canónica de impacto
científico
• Podemos decir lo que no es:
Calidad ≠ Impacto científico
Prestigio ≠ Impacto científico
• Pero no son fenómenos desvinculados
• Definición provisional:
• El impacto científico es la reacción que provoca un trabajo
(autor, institución) en la comunidad a la que se dirige. Dicho
impacto debe ser cuantificable de alguna forma
Perspectiva Mertoniana de la Ciencia
• Prestigio de los científicos es proporcional al prestigio de su
obra y ésta a su vez se viene cuantificando entre otras formas
a través de las citas que recibe o de las revistas en las que
publica
Cómo se mide el impacto?
• Básicamente se mide a través del recuento de
citas pero han surgido otras posibilidades
– Citas
– Análisis de redes
– Usos
Medidores del impacto de las publicaciones
basados en citación
• Tradicionales (recuentos y promedios):
– Factor de impacto, con diferentes períodos
– Inmediacy Index
– Citas/articulos,
– Half-life
– Citas totales (en un período detiempo)
• Planteamiento similar (Citas con pesos):
– Scimago Journal Rank
– Eigenfactor
– Article influence
• Orientadas a autores o similares:
– H-index
– Pagerank
Limitaciones, sesgos y peligros
• Del FI se ha dicho (y escrito)
– “..es un indicador básicamente inútil “useless
indicator”
– “ el FI... No es una medida de calidad y debe
emplearse con cuidado.”
– El uso de las citas como indicador... Carece de
soporte teórico.
JCR
Estudios sobre el factor de impacto
200
SSCI 331
180
SCI 866
160
140
120
100
80
60
40
20
0
1991
1992
1993
1994
1995
1996
1997
1998
1999
En total, unos 1000 trabajos
2000
2001
2002
2003
2004
2005
2006
El interés por el FI por países e
instituciones
USA
GERMANY
SPAIN
ENGLAND
ITALY
FRANCE
INDIA
NETHERLANDS
CANADA
AUSTRALIA
PEOPLES R CHINA
BELGIUM
DENMARK
BRAZIL
GREECE
JAPAN
RUSSIA
SWITZERLAND
SWEDEN
AUSTRIA
MEXICO
TAIWAN
CROATIA
177
103
102
75
57
45
32
29
27
26
25
20
20
18
17
16
16
15
13
11
11
11
10
17,72%
10,31%
10,21%
7,51%
5,71%
4,50%
3,20%
2,90%
2,70%
2,60%
2,50%
2,00%
2,00%
1,80%
1,70%
1,60%
1,60%
1,50%
1,30%
1,10%
1,10%
1,10%
1,00%
CSIC
UNIV HAMBURG
UNIV VALENCIA
INDIANA UNIV
TUFTS UNIV
UNIV GENOA
ROYAL SCH LIB & INFORMAT SCI
UNIV GRANADA
UNIV LEIPZIG
IST NAZL FIS NUCL
LEIDEN UNIV
MCMASTER UNIV
NATL INST SCI TECHNOL & DEV STUDIES
UNIV AUTONOMA BARCELONA
INST SCI INFORMAT
UNIV AMSTERDAM
WOLVERHAMPTON UNIV
ALFA INST BIOMED SCI
HONG KONG POLYTECH UNIV
HUNGARIAN ACAD SCI
19
15
15
12
12
12
11
11
10
9
9
9
8
8
7
7
7
6
6
6
1,90%
1,50%
1,50%
1,20%
1,20%
1,20%
1,10%
1,10%
1,00%
0,90%
0,90%
0,90%
0,80%
0,80%
0,70%
0,70%
0,70%
0,60%
0,60%
0,60%
Revistas y especialidades
SCIENTOMETRICS
85
8,51% INFORMATION SCIENCE & LIBRARY SCIENCE
MEDICINA CLINICA
19
1,90% MEDICINE, GENERAL & INTERNAL
JASIST
19
1,00% COMPUTER SCIENCE, INTERDISCIPLINARY APPLICATIONS
JOURNAL OF DOCUMENTATION
14
1,40% COMPUTER SCIENCE, INFORMATION SYSTEMS
CURRENT SCIENCE
12
1,20% SURGERY
JOURNAL OF INFORMATION SCIENCE
11
1,10% CARDIAC & CARDIOVASCULAR SYSTEMS
CIRCULATION RESEARCH
9
0,90% ONCOLOGY
LANCET
9
0,90% PHYSICS, PARTICLES & FIELDS
PHYSICAL REVIEW D
9
0,90% PUBLIC, ENVIRONMENTAL & OCCUPATIONAL HEALTH
PSICOTHEMA
9
0,90% RADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING
MULTIDISCIPLINARY SCIENCES
CARDIOVASCULAR RESEARCH
8
0,80%
ANESTHESIOLOGY
DEUTSCHE MEDIZINISCHE WOCHENSCHRIFT
8
0,80%
HEMATOLOGY
CROATIAN MEDICAL JOURNAL
7
0,70%
PERIPHERAL VASCULAR DISEASE
JAMA-JOURNAL OF THE AMERICAN MEDICAL ASSOCIATION
7
0,70%
RESPIRATORY SYSTEM
WIENER KLINISCHE WOCHENSCHRIFT
7
0,70%
PSYCHIATRY
AMERICAN JOURNAL OF RESPIRATORY AND CRITICAL
6 CARE0,60%
MEDICINE
GASTROENTEROLOGY & HEPATOLOGY
ARCHIVOS DE BRONCONEUMOLOGIA
6
0,60% NEUROSCIENCES
CANADIAN MEDICAL ASSOCIATION JOURNAL
6
0,60% PSYCHOLOGY, CLINICAL
EUROPEAN JOURNAL OF CANCER
6
0,60% PSYCHOLOGY, MULTIDISCIPLINARY
EUROPEAN PHYSICAL JOURNAL C
6
0,60% CLINICAL NEUROLOGY
HAEMATOLOGICA
6
0,60% OBSTETRICS & GYNECOLOGY
INFORMATION PROCESSING & MANAGEMENT
6
0,60% PHYSICS, MULTIDISCIPLINARY
NUCLEAR PHYSICS B-PROCEEDINGS SUPPLEMENTS6
0,60% MEDICINE, RESEARCH & EXPERIMENTAL
STRAHLENTHERAPIE UND ONKOLOGIE
6
0,60% SPORT SCIENCES
178
111
87
72
41
38
32
30
29
28
27
26
22
22
22
20
19
18
15
15
14
14
14
13
13
17,82%
11,11%
8,71%
7,21%
4,10%
3,80%
3,20%
3,00%
2,90%
2,80%
2,70%
2,60%
2,20%
2,20%
2,20%
2,00%
1,90%
1,80%
1,50%
1,50%
1,40%
1,40%
1,40%
1,30%
1,30%
Indicadores de redes sociales
• Basados en intercambios de citas o en algún
otro tipo de enlace
• Indicadores
– Centralidad: capacidad para posicionarse el centro
de las redes
– Intermediación: capacidad para conectar redes
– Cercanía: vinculación entre nodos
Indicadores de uso
• Consisten en procesar la información derivada
de los ficheros log de consulta, donde que
recogidos las sesiones de consulta de los
usuarios
–
–
–
–
Fechas/duración
Identificador de la sesión
Identificador de los artículos
Tipo/resultados de la consulta
Indicadores de uso
• “a number of initiatives have attempted to measure scientific impact from
usage log data”
• “derivation of metrics to assess the quality and impact of scholarly
communication units”
Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute
A Principal Component Analysis of 39 Scientific Impact Measures.
PLOS One 2009
• Los eventos de uso, a lo largo del proceso académico puede ser
procesados
• Los datos de uso tienen diferentes ventajas sobre los de citas
• Inmediatos
• Proceden de diferentes fuentes no sólo de revistas
• P. MESUR, 1000 mill de eventos de uso durante 5 años afectando a
100,000 publicaciones
Indicadores de uso
• Consisten en procesar la información derivada
de los ficheros log de consulta, donde que
recogidos las sesiones de consulta de los
usuarios
– Fechas/duración
– Identificador de la sesión
– Identificador de los artículos
– Tipo/resultados de la consulta
MESUR
2005 JCR
Análisis cluster del conjunto de indicadores
citas
usos
Análisis PCA de los
indicadores
Preguntas:
• Los indicadores de uso.
• Han venido para quedarse?
• Aportan nueva información
• La información es complementaria?,
alternativa?, mejor?
• Son una alternativa real a las citas?
Métrica a nivel de artículos
¿Qué es una revista de calidad?
PARA EL LECTOR
PARA EL AUTOR
sus trabajos serán
•
•
valorados con rigor, seriedad y
honestidad
editados con pulcritud
•
ampliamente difundidos y, como
consecuencia
•
podrán serles reconocidos social y
profesionalmente
la información que publica es
•
original,
•
actual y novedosa
•
relevante, esto es, útil y
significativa
•
de calidad metodológica
contrastada,
•
bien redactada y fácil de
leer
Muchas gracias!
[email protected]
http://ec3.ugr.es