Localización de indicios de calidad de las publicaciones

Localización de indicios de calidad de las publicaciones
Localización de indicios de calidad de las publicaciones
Índices de Calidad Relativa
Criterios de calidad editorial de las
publicaciones
Calidad editorial de las revistas
Otras fuentes de medición de la calidad editorial
Para las Agencias Evaluadoras (ANECA, UNIBASQ, CNEAI…) los resultados de la investigación
científica que fundamentalmente meritan son trabajos de investigación publicados en revistas
de la especialidad con indices de calidad relativa; en concreto revistas incluidas en Journal
Citation Reports. Para el campo de las Ciencias Sociales y Jurídicas y las Humanidades pueden
considerarse también artículos publicados en revistas no indexadas o sin índice de calidad
relativo atendiendo al reconocimiento científico de la revista en su área, y al rigor y objetividad
del proceso de selección de los artículos (como referencia, ver más abajo los “Criterios que debe
reunir un medio de difusión de la investigación (revista, libro, congreso) para que lo publicado
en él sea reconocido como «de impacto»” (según CNEAI).
Nota: Aunque los criterios de evaluación suelen ser muy similares de una convocatoria a otra,
debemos revisar siempre las bases de las mismas para determinar exactamente qué indices
podemos o no podemos usar como indicadores de calidad.
Índices de Calidad Relativa
Los Índices de Calidad Relativa (ICR) son ranking o listados de revistas ordenadas y priorizadas
según un parámetro conocido, de manera que se puede definir su posición relativa en relación
con el resto de las revistas analizadas pertenecientes a la misma área de especialización. El
parámetro más habitual es el índice de impacto que conjuga el número de artículos publicados
y las citas recibidas.
Journal Citation Reports (ISI Web of Knowledge).
El factor de impacto JCR es una medida de calidad científica para
evaluar las revistas académicas que proporciona el Journal Citation
Report, producto actualmente de la empresa Thomson Reuters. Es un
índice de calidad relativo (ICR) que establece rankings de revistas
dentro de una misma categoría en función de las veces que es citado
un artículo. No mide la calidad de un artículo sino de la revista en la que se publica. Se valora
especialmente en acreditaciones de la ANECA (PEP y ACADEMIA) y en otras procesos de
evaluación por lo que imprescindible su consulta para la mayoría de los investigadores.
Cómo se calcula el Journal Impact Factor de JCR: es el resultado de dividir el número de
citas que ha recibido una revista en un año dado para los dos años anteriores por la cantidad de
artículos publicados por una revista durante esos dos años citados.
1
Amaia Guerrero
 Guía: Cómo localizar el Factor de Impacto y el cuartil de una revista en JCR
 Acceso a JCR - Ediciones 1997 - actualidad
 Acceso a JCR - Ediciones 1989-1997
 Acceso a JCR - Ediciones 1979-1988
 Master Journal List
 Journal Citation Reports Tutorial
 Más tutoriales aquí
FECYT pone a disposición de la comunidad científica el listado de revistas españolas incluidas
en Web of Science hasta abril de 2011: Listado de revistas noviembre 2011.
Scimago Journal & Country Rank
SCImago Journal & Country Rank un indicador alternativo al factor de
impacto, que basa su funcionamiento en el algoritmo PageRank. Es
un portal que incluye las revistas científicas y los indicadores
científicos por países que utiliza los datos de Scopus ® a partir de
1996. El acceso a este índice es gratuito y es una alternativa española desarrollada por el Grupo
de Investigación Scimago. SJR es un índice más ponderado, ya que incluye cuatro factores
respecto a los dos que incluye ISI: el índice H, Número total de citas por revista, Número total
de documentos revista, Número de citas por documento
El indicador expresa el número de enlaces que recibe una revista a través de la citación
ponderada de sus documentos en relación con el número de documentos publicados durante el
año por cada publicación. Permite hacer un ránking por países “Country indicators”. También
SCImago ha desarrollado The Atlas of Science project para disponer de una representación
gráfica de la investigación científica.
 Guía: Cómo localizar el Índice de Impacto SJR y el cuartil de una revista en SJR
 Acceso a SCJ
IN-REC*
Es un índice bibliométrico que ofrece información estadística a partir
del recuento de las citas bibliográficas con el fin de determinar la
relevancia, influencia e impacto científico de las revistas españolas de
ciencias sociales, de los autores que publican en las mismas y de las instituciones a que estos se
adscriben. Asimismo, permite conocer de manera individualizada las citas bibliográficas que
reciben los trabajos publicados en revistas científicas españolas con lo que es posible conocer el
impacto real que han tenido en la comunidad científica a la que se dirigen.
 Guía: Cómo localizar el Índice de Impacto y el cuartil de una revista en IN-REC*
 Acceso a IN-RECS. Índice de impacto de las revistas españolas de ciencias sociales.
 Acceso a IN-RECJ. Índice de impacto de las revistas españolas de ciencias jurídicas.
 Acceso a IN-RECH. Índice de impacto de las revistas españolas de ciencias humanas.
2
Localización de indicios de calidad de las publicaciones
Otros ICR
Google Scholar Metrics
Google Scholar Metrics proporciona una manera fácil de medir el
impacto y la visibilidad de las revistas. Actualmente ofrece un listado de
las 100 revistas con mayor impacto agrupadas según idioma y
ordenadas a su vez según su índice-h de los últimos 5 años.
También podemos identificar las revistas con mayor impacto por categorías temáticas, aunque
esta opción sólo está, de momento, habilitada para las revistas en inglés.
RePEc
RePEc: Research Papers in Economics incluye un ranking con el factor de
impacto de revistas y series de documentos de trabajo en Economía.
Journal-Ranking
Journal-Ranking.com proporciona información sobre el impacto de más de 7.000 revistas de
todas las disciplinas.
Criterios de calidad editorial
Además del índice de impacto, existen otros criterios para valorar la calidad científica de una
publicación. Las diferentes agencias evaluadoras señalan, en sus respectivas convocatorias, los
criterios que debe reunir un medio de difusión (revista, libro, congreso…) para que se reconozca
su calidad.
Basicamente se refieren a:
 Calidad informativa: identificación de los comités editoriales y científicos,
instrucciones a autores/as, información sobre el proceso de evaluación y selección de
manuscritos, traducción de sumarios, títulos de los artículos, palabras claves,
resúmenes en inglés y publicación de datos del proceso editorial.
 Calidad del proceso editorial: periodicidad, regularidad, arbitraje científico,
revisores/as, anonimato de la revisión, instrucciones para la revisión, comunicación
motivada de las decisiones, consejos de redacción y asesor.
 Calidad científica: porcentaje y tasa de aceptación de artículos de investigación
 Calidad de difusión y visibilidad: inclusión en bases de datos bibliográficas.
Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Programa Academia.
Acceso a los Cuerpos Docentes Universitarios. Principios y orientaciones para la aplicación de los
criterios de evaluación. V. 2.0 31/01/2008.
Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI). BOE. Resolución de 19 de
noviembre de 2012, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la
que se establecen los criterios específicos en cada uno de los campos de evaluación.
3
Amaia Guerrero
Agencia de Evaluación de la Calidad y Acreditación del Sistema Universitario Vasco (UNIBASQ).
DECRETO 228/2011, de 8 de noviembre, por el que se aprueban los criterios a utilizar por
Unibasq _ Euskal Unibertsitate Sistemaren Kalitatea Ebaluatu eta Egiaztatzeko Agentzia-Agencia
de Evaluación de la Calidad y Acreditación del Sistema Universitario Vasco en la evaluación y
acreditación del personal docente e investigador contratado de la Universidad del País
Vasco/Euskal Herriko Unibertsitatea y del profesorado de las Universidades privadas de acuerdo
con lo establecido en la Ley 3/2004, de 25 de febrero, del Sistema Universitario Vasco.
Estos documentos refieren un conjunto de indicadores que deben cumplir las revistas científicas.
En el caso de las agencias de evaluación estos indicadores se establecen como requisitos de
referencia para que una revista pueda ser considerada en los procesos de evaluación o
acreditación. No obstante, esto no significa que todos los indicadores tengan el mismo peso
para las agencias, por lo que pudiera darse el caso de que revistas que cumplan muchos
criterios pero no estén cumpliendo alguno de los considerados fundamentales por las agencias,
no resultaran bien valoradas por estas.
Ejemplo: Criterios que debe reunir un medio de difusión de la investigación (revista, libro,
congreso) para que lo publicado en él sea reconocido como «de impacto» (según CNEAI).
A. Criterios que hacen referencia a la calidad informativa de la revista como medio de comunicación
científica.
1.
Identificación de los miembros de los comités editoriales y científicos.
2.
Instrucciones detalladas a los autores.
3.
Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista,
editorial, comité de selección, incluyendo, por ejemplo, los criterios, procedimiento y plan de
revisión de los revisores o jueces.
4.
Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de
revistas y actas de congresos.
B. Criterios sobre la calidad del proceso editorial.
1.
Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de
editoriales de libros.
2.
Anonimato en la revisión de los manuscritos.
3.
Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista, la editorial o el
comité de selección de una notificación motivada de la decisión editorial que incluya las razones
para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por los
expertos externos.
4.
Existencia de un consejo asesor, formado por profesionales e investigadores de reconocida
solvencia, sin vinculación institucional con la revista o editorial, y orientado a marcar la política
editorial y someterla a evaluación y auditoría.
C. Criterios sobre la calidad científica de las revistas.
1.
Porcentaje de artículos de investigación; más del 75% de los artículos deberán ser trabajos que
comuniquen resultados de investigación originales.
2.
Autoría: Grado de endogamia editorial, más del 75% de los autores serán externos al comité
editorial y virtualmente ajenos a la organización editorial de la revista.
Asimismo, se tendrá especialmente en cuenta la progresiva indexación de las revistas en las bases de datos
internacionales especializadas.
4
Localización de indicios de calidad de las publicaciones
Calidad editorial de las revista
Latindex
Latindex (Sistema Regional de Información en Línea para Revistas
Científicas de América Latina, el Caribe, España y Portugal) es un
sistema de información que reúne y permite consultar información
bibliográfica sobre las publicaciones científicas seriadas de la región. Las revistas incorporadas
por cada país participante en el sistema son evaluadas conforme a 33 criterios de calidad
para revistas impresas o 36 para revistas electrónicas. Por ello, el usuario podrá
encontrar revistas incluidas en el Directorio Latindex (aquellas que cumplen menos de 25
criterios de calidad) o en el Catálogo Latindex (aquellas que cumplen 25 o más criterios de
calidad).
 Guía: Cómo localizar los criterios de calidad de una revista en Latindex
 Acceso a Catálogo Latindex
CIRC
La Clasificación Integrada de Revistas Científicas - CIRC se propone como
objetivo la construcción de una clasificación de revistas científicas de Ciencias
Sociales y Humanas en función de su calidad integrando los productos de
evaluación existentes considerados positivamente por las diferentes agencias de
evaluación nacionales como CNEAI, ANECA). La clasificación resultante consta de cuatro grupos
jerárquicos (gA, gB, gC, gD) en función de la visibilidad de las revistas y un quinto grupo de
excelencia (gEx).
 Guía: Cómo localizar los criterios de calidad de una revista en CIRC
 Acceso a CIRC (Clasificación Integrada de Revistas Científicas)
ERIH
European Reference Index for the Humanities (ERIH) es un índice elaborado
por la European Sciende Foundation y que recoge publicaciones que cumplen
ciertos criterios de calidad en el ámbito de las Humanidades. Las disciplinas
que abarca son: antropología, arqueología, arte, historia, estudios clásicos,
estudios de género, filosofía de la ciencia, lingüística, literatura, musicología, estudios orientales
y africanos, investigación educativa y pedagógica, filosofía, psicología y estudios religiosos y
teología.
En la Resolución de 11 de nobiembre de 2008, de la Presidencia de la Comisión Nacional de
Evaluación de la Actividad Investigadora, por la que establecen los criterios específicos en cada
uno de los campos de la evaluación, aparece como fuente de consulta entre otros portales.
 Guía: Cómo localizar los criterios de calidad de una revista en ERIH
 Acceso a ERIH (European Reference Index for the Humanities)
5
Amaia Guerrero
 Toda la información sobre ERIH aquí.
RECYT
Repositorio Español de Ciencia y Tecnología: Plataforma de gestión, edición
y acceso al contenido de las revistas científicas españolas de calidad
contrastada.
Listado de revistas científicas españolas que han obtenido el sello de calidad FECYT.
Otras fuentes de medición de la calidad editorial
Dialnet
Dialnet (Difusión de Alertas en la Red) es uno de los mayores portales
bibliográficos de acceso libre, cuyo principal cometido es dar mayor
visibilidad a la literatura científica hispana. Recopila y facilita el acceso a contenidos científicos,
principalmente a través de alertas documentales. Además cuenta con una base de datos
exhaustiva, interdisciplinar y actualizada, que permite el depósito de contenidos a texto
completo.
 Guía: Cómo localizar los criterios de calidad de una revista en Dialnet
 Acceso a Dialnet
RESH
RESH (Revistas Españolas de Ciencias Sociales y Humanidades) es un
sistema de información que integra indicadores de calidad para las revistas
científicas españolas de Ciencias Sociales y Humanidades. Los indicadores
que ofrece e integra esta plataforma son, por una parte, aquellos que CNEAI, ANECA y Latindex
tienen en cuenta en sus respectivos sistemas de evaluación, y que se refieren
fundamentalmente a la calidad editorial. Otro tipo de indicador ofrecido es el de difusión,
medido a través de la presencia de las revistas en bases de datos nacionales e internacionales.
Ofrece además un dato que cualifica la “opinión de expertos/as” y un índice de impacto.
 Guía: Cómo localizar los criterios de calidad de una revista en RESH
 Acceso a RESH (Revistas ESpañolas de Ciencias Sociales y Humanas)
MIAR
MIAR es un sistema para medir cuantitativamente la visibilidad de las
publicaciones periódicas en Ciencias Sociales en función de su presencia en
distintos tipos de bases de datos.
 Guía: Cómo localizar los criterios de calidad de una revista en MIAR
6
Localización de indicios de calidad de las publicaciones
 Acceso a MIAR (Matriu d’Informació per a l’Avaluació de Revistes)
CARHUS Plus+
CARHUS Plus+ es un sistema de evaluación de revistas científicas de los ámbitos de las Ciencias
Sociales y las Humanidades que se publican a nivel local, nacional e internacional. Esta
clasificación se revisa periódicamente cada dos años. Desarrollado por la AGAUR a propuesta de
la Direcció General de Recerca, se presenta con la finalidad de contribuir a la evaluación de la
investigación que se lleva a cabo en el sistema científico y universitario catalán con la máxima
objetividad. Utiliza, como indicador de calidad, el ICDS, que mide la difusión de las revistas en
bases de datos científicas.
 CARHUS Plus+. Sistema de evaluación de revistas científicas en el ámbito de las
ciencias sociales y humanidades.
SPI
SPI Scholary Publishers Indicators es una primera
aproximación a la evaluación de la calidad de las
editoriales de libros científicos. SPI muestra un ranking de editoriales basado en la opinión de
expertos españoles en Humanidades y Ciencias Sociales. Representa solo una primera
aproximación al estudio de la calidad de las editoriales y, por tanto, debe evitarse cualquier uso
automático en sistemas de evaluación. Sí que puede servir de referencia en estos procesos,
pero debe complementarse con el juicio matizado de los expertos que componen los paneles de
evaluación o con otros indicadores, cuando estén disponibles.
SPI muestra un ranking general de editoriales para todas las áreas y rankings
especializados por disciplinas. Se recomienda el uso combinado de ambos pues aportan
informaciones distintas y complementarias.
Desarrollado por el EPUC, Grupo de de Investigación de Evaluación de Publicaciones
Científicas del CSIC.
¡ATENCIÓN! ACCESOS: Muchas de estas fuentes de información son de pago y la mayoría están
contratadas por la Biblioteca de la Universidad del País Vasco UPV/EHU; otras son de acceso
libre y gratuito en internet.
Material usado para el Taller sobre Indicadores bibliométricos:
“Sesión introductoria a los indicios de calidad de las publicaciones científicas”.
Abril 2013. Hegoa, Universidad del País Vasco UPV/EHU
7