evaluación de revistas científicas: análisis comparativo

EVALUACIÓN DE REVISTAS CIENTÍFICAS:
ANÁLISIS COMPARATIVO DE DOS MODELOS Y
SU APLICACIÓN A CINCO REVISTAS ESPAÑOLAS
DE BIBLIOTECONOMÍA Y DOCUMENTACIÓN*
ELEA GIMÉNEZ TOLEDO y ADELAIDA ROMÁN ROMÁN
esde la década de los
60, algunos organismos
gestores de política científica de distintos países han venido desarrollando modelos de evaluación de revistas científicas que pretenden determinar
la calidad de las mismas y su grado de
difusión con el objetivo de mejorarlas.
Los resultados que se obtienen de la aplicación de estos modelos permiten, además, tomar decisiones sobre la distribución óptima de las subvenciones existentes para las revistas científicas, así como
evaluar de forma indirecta a los científicos, en cuanto que las publicaciones son
el reflejo directo de los resultados de investigación.
Resulta interesante acudir a tales experiencias para identificar
aquellos indicadores que aportan información más significativa sobre la calidad de
las revistas y para eliminar aquellos otros
que sean difíciles de valorar, con el propósito de establecer un modelo básico
que permita evaluar grandes conjuntos de
*
Trabajo basado en la tesina «Evaluación de
Revistas Científicas: Análisis Comparativo
de Tres Modelos» leída en la Universidad
Carlos III de Madrid (Septiembre, 1998).
revistas y, más en concreto, que sean
aplicables a la valoración de las revistas
científicas españolas.
Los estudios valorativos
de revistas españolas empiezan a realizarse
en los años setenta y están centrados fundamentalmente en las revistas de Ciencia
y Tecnología, analizando especialmente aquellos aspectos más ligados a la visibilidad y a la difusión internacional de las revistas (Ortega, 1992). Delgado LópezCozar sintetiza en su revisión (Delgado,
1997) los estudios de evaluación de revistas realizados en España, que han ido evolucionando e incorporando una tipología
más amplia de indicadores. Por otra parte,
aunque con mucho retraso, se han iniciado
algunos estudios de características similares pero aplicados al ámbito de las Humanidades y las Ciencias Sociales, si bien
generalmente orientados al estudio de las
revistas de especialidades concretas (García Marín, 1996; Sales Heredia, 1997;
García Marín, 1998). Sin embargo, aun no
se ha llegado a formular ningún modelo
global que permita estudiar en su conjunto
la situación de las revistas científicas españolas.
Los países latinoamericanos han sido muy activos en los últi-
mos diez años a la hora de desarrollar
metodologías de evaluación de revistas
científicas e incluso de aplicarlas como
herramientas de gestión de política científica. Brasil ha sido especialmente activo
en este terreno (Moriconi, 1994). La actividad evaluadora se inicia en 1983 con el
Programa Sectorial de Publicaciones en
Ciencia y Tecnología, que pretendía evaluar las revistas financiadas por la
Financiadora de Estudios y Proyectos
(FINEP) y el Centro Nacional de Desarrollo Científico y Tecnológico. Años
más tarde la Fundación de Amparo a la
Investigación del Estado de São Paulo
(FAPESP), reanudaría la tarea de evaluar
el contenido de las publicaciones recurriendo a la consulta a los pares para definir el núcleo de revistas que serían financiadas. Posteriormente, en Guadalajara
(México), con ocasión del II Taller de
Publicaciones científicas latinoamericanas, se daba a conocer un completo modelo de evaluación elaborado por la Biblioteca de la Universidad de São Paulo
(Favero, 1999). En el mismo Taller, Colombia presentaba un modelo de evaluación, bastante complejo, que Colciencias
estaba tratando de aplicar a sus revistas
nacionales (Jack, 1999). En México exis-
PALABRAS CLAVE / Revistas Científicas / Indicadores de Calidad / Evaluación Científica / Modelos de Evaluación / Universidad de São Paulo (Brasil) / Colciencias (Colombia) /
Elea Giménez Toledo. Licenciada y Doctorando en Documentación, Universidad Carlos III,
Madrid. Becaria predoctoral del (CINDOC(CSIC). Dirección: Centro de Información y Documentación Científica
(CINDOC) del Consejo Superior de Investigaciones Científicas (CSIC). C/ Pinar, 25. 3º. 28006. Madrid. España. e-mail:
[email protected]
Adelaida Román Román. Doctora en Historia Contemporánea, Universidad Complutense de
Madrid. Especialista en información científica. Coordinadora del Area de América Latina del CINDOC y Jefa del Departamento de Documentación Científica en Ciencias Humanas. Miembro de la Comisión de Certificación de Profesionales de Información y Documentación de la SEDIC. Dirección: Centro de Información y Documentación Científica (CINDOC) del
Consejo Superior de Investigaciones Científicas (CSIC). C/ Pinar, 25. 3º. 28006. Madrid. España. e-mail:
[email protected]
234
0378-1844/00/05/234-08 $ 3.00/0
AUG 2000, VOL. 25 Nº 5
te desde 1993 un Indice de Revistas
Mexicanas de Ciencia y Tecnología, en
el que están incluidas las revistas que se
presentaron a evaluación para ser incorporadas y fueron aceptadas en sucesivas
convocatorias (Bazdresch, 1999). En Venezuela, el CONICIT ha desarrollado un
sistema de control de calidad para las revistas científicas que recurren a subvenciones, etc. La experiencia es ya muy
rica y conviene analizarla para que, en la
medida de lo posible, sirva de pauta para
orientar el trabajo que se desarrolla en
España a niveles mucho más fragmentarios, en un intento de esbozar una metodología más practicable para grandes
conjuntos de revistas.
En este contexto, se han
seleccionado dos modelos de entre los
que han sido o están siendo aplicados y
con ellos se han sometido a valoración
cinco revistas españolas de Biblioteconomía y Documentación. Los objetivos del
ejercicio propuesto son observar y analizar el comportamiento de las revistas
ante los distintos grupos de indicadores
que proponen los modelos; identificar indicadores comunes en los dos modelos
que puedan constituirse en la base de un
sistema de evaluación de revistas general,
esto es, que pueda aplicarse a grandes
conjuntos de revistas; e identificar las dificultades metodológicas que puedan surgir de la aplicación de los indicadores,
con objeto de proponer los que resulten
más efectivos y sean comprobables y
aplicables sin excesivas dificultades.
Los dos modelos de evaluación de revistas científicas seleccionados son latinoamericanos, uno de la Universidad de São Paulo (Brasil) y otro de
Colciencias (Colombia). Ambos fueron
presentados en el II Taller de Publicaciones Científicas en América Latina celebrado en Guadalajara (México) en noviembre de 1997, y contemplan las diferencias que existen entre revistas de distintas especialidades. Por ello, aunque
utilizan esquemas de evaluación similares
para todas ellas, sólo comparan resultados
entre revistas de un mismo campo.
Podría haberse optado
por analizar una muestra de revistas de
cualquier otra disciplina, pero se ha elegido ésta por ser el ámbito profesional
propio de las autoras y por conocer a
fondo todas las revistas sometidas a evaluación en este trabajo. La selección de
los cinco títulos fue realizada por los responsables de la elaboración de la base de
datos ISOC-DC que, desde 1980, vacía
sistemáticamente las revistas de Biblioteconomía y Documentación españolas.
Para ello, consideraron la publicación habitual de trabajos de investigación, la relevancia de las instituciones editoras, así
AUG 2000, VOL. 25 Nº 5
como la calidad de los artículos contenidos en las revistas.
Las revistas que componen la muestra son: Boletín de la ANABAD (Asociación española de archiveros, bibliotecarios, museólogos y documentalistas), Documentación de las Ciencias de la Información, ITEM: revista de
Biblioteconomia i Documentacio, Revista
Española de Documentación Científica y
Revista General de Información y Documentación.
No obstante, es necesario
subrayar que el objetivo de este trabajo es
observar el rendimiento de los modelos de
evaluación y no llevar a cabo un proceso
valorativo de las revistas españolas de Documentación. Se trata, pues, de un trabajo
puramente experimental que, en ningún
caso, sustituye a la evaluación del conjunto de revistas del área. La selección y valoración de esta muestra de revistas es un
asunto secundario.
Para obtener los datos
necesarios en el proceso de aplicación de
los modelos se han utilizado como fuentes de información los propios ejemplares
de las revistas para los períodos temporales correspondientes en cada caso, el fichero de control de recepción de las revistas de una biblioteca universitaria para
estudiar el cumplimiento de la periodicidad, el Catálogo Colectivo de Publicaciones Periódicas español (CCPP), bases de
datos, y datos proporcionados directamente por los editores de las revistas.
Modelo de la Universidad
de São Paulo (USP)
El modelo de la USP
está basado en una evaluación del contenido y en una evaluación de la forma.
Para la “evaluación del mérito” (contenido) se recurre a los especialistas de las
distintas áreas de una institución brasileña que financia proyectos de investigación (FAPESP). El objetivo de la encuesta sería que estos especialistas clasificaran las revistas en las siguientes categorías: prioritarias, importantes, relativamente importantes y no relevantes. Para
establecer esta clasificación, los profesionales deben considerar las variables referidas a calidad de los artículos; calidad
del cuerpo editorial; criterios de arbitraje
de los textos; editor de la revista (se supone que serán mejor valoradas si son
editadas por instituciones de enseñanza,
de investigación o por sociedades científicas); origen de los trabajos (en cuanto a
si la revista da acogida a trabajos de la
misma institución o de otras, de la misma
comunidad autónoma o de otras, del mismo país o de otros); difusión de la revista en función del público al que va diri-
gida: a la propia institución, al país o a
la comunidad internacional; presencia en
bases de datos: servicios de indización y
resumen que vacían la revista; y evaluación global de la revista en comparación
con otras del área.
Una vez obtenidos los
resultados de ese cuestionario dirigido a
los especialistas se dispondría de un núcleo básico de revistas, que excluiría a
las que hubieran sido consideradas no relevantes, y que constituirían la base de la
segunda parte del proceso, esto es, la
“evaluación de la forma o desempeño”.
En esta fase, se estudian una serie de variables a través de indicadores. Cada indicador toma un valor numérico, lo que
significa que este modelo asigna pesos a
las variables. Es decir, en función de la
importancia que se le de a cada una de
las variables se le da más o menos puntos. La evaluación de la forma varía al
hablar de revistas en el área de Ciencias
Exactas/Biológicas y de Ciencias Humanas. Existe un formulario de evaluación
para cada una de esas áreas, que se diferencian tan sólo en una puntuación mayor para la inclusión de instrucciones a
los autores en el área de Ciencias Exactas/Biológicas que en el área de Ciencias
Humanas, pero que sirve para evaluar por
separado las revistas de cada área.
En la aplicación del modelo a las revistas españolas de Documentación la primera fase de consulta a
los pares se ha obviado o se ha simplificado, puesto que se ha partido de la selección realizada por los responsables del
área de Documentación del Centro de Información y Documentación Científica
(CINDOC, España). Por otra parte, en la
fase de evaluación de la forma, se ha
adoptado el formulario previsto para las
Ciencias Humanas por la naturaleza de
las publicaciones seleccionadas.
Análisis de los Indicadores
A continuación se presentan los principales apartados del modelo, con sus correspondientes indicadores (Favero et al., 1999).
Normalización. Periódico en general: leyenda bibliográfica,
ISSN, dirección, periodicidad e instrucciones a los autores; fascículo: resumen y
referencias bibliográficas; artículos: afiliación del autor, resúmenes en el idioma
del texto, en otros idiomas o bilingües,
descriptores y fecha de recepción y/o publicación de los artículos.
Duración: tiempo ininterrumpido de existencia.
Periodicidad: intervalo
regular de aparición (número de veces
235
que se publica al año) e irregularidad/retrasos de las publicaciones.
Inclusión en índices: inclusión en bibliografías, abstracts, resúmenes corrientes impresos o en CDROM.
Difusión: formas de distribución (compra y/o permuta, distribución gratuita) y existencia en colecciones
razonablemente completas del sistema.
Colaboración y división
del contenido: autoría (participación de
autores extranjeros y/o en colaboración o
participación de varias instituciones del
país), división del contenido (inclusión regular de artículos/ensayos, comunicaciones, cartas, documentos, registros, relatos,
reseñas bibliográficas, entrevistas, etc.)
Se puntúan por encima
de la media las revistas con periodicidad
mensual, la inclusión en bibliografías,
servicios de indización y resumen, etc.,
la publicación de trabajos de varias instituciones del país y la inclusión regular
de artículos/ensayos. También destacan
por su alta puntuación la inclusión sistemática de resúmenes bilingües, la indicación de la afiliación institucional del autor, la distribución de la revista a través
de compra o permuta y la publicación de
artículos de autores extranjeros y/o en
colaboración.
Según la escala de valoración propuesta tendrían un desempeño
débil las revistas con menos de 30 puntos, mediano las que tuvieran entre 31 y
55, bueno si oscilaran entre 56 y 80, y
muy bueno si tuvieran más de 80.
Como puede observarse,
se trata de un modelo completo que contempla multitud de variables y que permite valorar mediante puntos cada una de
ellas. Algo que podría añadirse, desde
nuestro punto de vista, es la consideración de los distintos filtros de calidad
que utilizan las revistas, puntuando mejor
aquellas que dispongan de consejos de
redacción o de sistemas de evaluación
por pares, e incluso tratando de evaluar
la cualificación de sus miembros o la entidad de las instituciones a las que pertenecen. Estos aspectos sí son contemplados por el modelo pero se dejan en manos de los especialistas en el tema que,
en principio, deberían participar en la
evaluación del contenido científico de la
revista pero no en aspectos de gestión de
la misma.
Algunas Consideraciones sobre
la Aplicación del Modelo
La formulación de un
modelo está siempre sujeto a condicionantes derivados de las particularidades
de cada proyecto. Los dos modelos anali-
236
zados utilizan una serie de referentes nacionales (normas técnicas, sistemas de información, etc.) que necesitan de una
adaptación para poder ser aplicados a las
revistas españolas de Documentación.
Leyenda
bibliográfica.
Este elemento no es definido claramente
en el modelo; tan sólo se establecen puntuaciones diferentes si existe o si se incluye en la portada, en el resumen y en
las páginas del texto. Por estos datos, se
puede deducir que se trata de los elementos de identificación bibliográfica que
menciona la norma ISO 8:19771. Haciendo la equivalencia entre la leyenda bibliográfica de la que habla el modelo y
esta norma, es posible valorar si las revistas españolas de Documentación cumplen con este elemento. Según ésta, las
publicaciones periódicas deben incluir, en
la cubierta y en la cabecera del sumario:
título, número de volumen, sección o serie, número de fascículo, ISSN y fecha
de publicación; y en cada una de las páginas de la revista: título de la publicación, fecha, número de volumen, número
de fascículo, número de página, título del
artículo y nombre del autor.
La única duda que queda con respecto a este indicador es la diferencia que plantea el modelo entre existencia e inclusión en las distintas partes
de la publicación. El membrete bibliográfico existe para todas las revistas, puesto
que no es más que la reunión de una serie de elementos. El hecho de que aparezcan reunidos es lo que da valor añadido a la revista, por lo que, desde nuestro
punto de vista, la puntuación por existencia de la leyenda bibliográfica podría obviarse.
Dirección. Se ha interpretado que se refiere a la indicación o
no de la dirección postal de la revista,
puntuando por este elemento cuando se
indica de forma completa.
Referencias bibliográficas. En la aplicación del modelo, no se
ha pretendido analizar al detalle el cumplimiento de la correspondiente norma de
citación bibliográfica. Lo que se ha hecho ha sido comprobar que cada referencia constaba de los elementos necesarios
y básicos para identificar el documento y
que se ha hecho siguiendo los esquemas
que corresponden a cada tipo de documento. El otro aspecto que se contempla,
que es la indicación expresa de la norma
que debe seguirse para citar las obras
consultadas, se ha valorado a partir de lo
que las propias revistas suelen indicar en
las instrucciones dirigidas a los autores.
Afiliación del autor.
Puesto que se diferencian las puntuaciones según se indique la afiliación institucional del autor de forma completa o in-
completa, se ha considerado indicación
completa cuando se hace constar no sólo
el lugar de trabajo del autor sino también
la dirección postal del mismo.
Periodicidad. La asignación de puntos según la periodicidad de
cada revista no plantea ningún problema.
Sin embargo, ha sido necesario cuestionarse de qué forma se juzgaba si una revista cumple o no con esa periodicidad
(si no la cumple, el modelo indica que
hay que restar un punto). Para estudiar el
cumplimiento de la periodicidad de las
revistas, se ha tomado como referencia la
fecha de recepción en el fichero de la biblioteca de la Universidad Carlos III de
Madrid, que las recibe por suscripción. A
partir de esa fecha, se han adoptado estos
criterios para afirmar que una revista
cumple o no la periodicidad: a las revistas trimestrales y cuatrimestrales se les da
un plazo máximo de dos meses a partir
de la fecha en que debe salir la edición
para que llegue al centro de información
seleccionado y para las revistas semestrales y anuales este plazo se amplía tres
meses.
Aunque estos criterios
podrían ser sustituibles por otros, sirven
como guía en el estudio de este indicador. Se ha tratado de evitar que fueran
demasiado rígidos o demasiado flexibles.
Estas mismas pautas se han seguido en la
aplicación del modelo de Colciencias.
Inclusión en índices. Es
necesario aclarar que este modelo asigna
cinco puntos por cada servicio extranjero
y/o internacional que analice la revista,
siempre y cuando aparezca citado en la
propia publicación.
Difusión - Formas de
distribución. La puntuación en este apartado se asigna no sólo por la forma de
distribución (gratuita o a través de compra o intercambio) sino también por indicarla de forma explícita en la propia revista.
Difusión - Existencia en
colecciones razonablemente completas en
bibliotecas del sistema. Para trabajar este
apartado ha sido necesario establecer un
paralelismo entre el Catálogo Colectivo
Nacional de Publicaciones Brasileño base utilizada en el modelo- y el Catálogo Colectivo de Publicaciones Periódicas
(CCPP) español, coordinado por la Biblioteca Nacional y finalizado recientemente. En el caso de las publicaciones
periódicas brasileñas se consultó el citado
catálogo para comprobar cuántas bibliotecas del sistema COMUT (principales bibliotecas de Brasil) tenían las revistas
evaluadas. En este caso, se ha consultado
el mencionado catálogo colectivo español
para localizar en qué bibliotecas, de las
AUG 2000, VOL. 25 Nº 5
1142 que han participado en el proyecto,
se encontraba al menos el 75% de la colección de las revistas analizadas.
El catálogo español está
completo hasta 1990. Realizando la búsqueda para cada revista, el CCPP2 indica
qué bibliotecas tienen esa publicación,
cuántos años de la misma poseen y si
esos años están completos o incompletos.
Por último, tomando como base el número de años que lleva editándose cada revista, se calcula cuántos de ellos debería
tener una biblioteca para considerar que
alberga el 75% de la colección de esa revista.
Este cálculo no está
exento de dificultades y, por tanto, no es
todo lo preciso que pudiera ser, aunque
sirve claramente para dar una puntuación
de referencia. Las dificultades derivan
fundamentalmente de la falta de uniformidad en las notaciones que da cada biblioteca para indicar los fondos que tiene. Una limitación en este ensayo ha sido
que la fecha de cierre del catálogo sea
1990. Esto afecta de manera especial a la
Revista General de Información y Documentación, que empezó a publicarse en el
año 1992 y que, por tanto, no recibe
puntuación en este apartado.
Colaboración y división
del contenido – Autoría. Para estudiar la
autoría y las instituciones, se han analizado los trabajos de los tres últimos fascículos de cada revista, tal y como indica
el modelo3 distinguiendo y tomando
como base, únicamente, aquellas contribuciones con categoría de artículo o trabajo científico. A partir de ahí, se han
contabilizado los trabajos en los que participa al menos un autor extranjero y los
trabajos en los que participa más de un
autor (ya sea de la misma institución o
de otra diferente). Por otra parte, se han
contabilizado aquellos trabajos en los que
participan al menos dos instituciones diferentes del mismo país.
Colaboración y división
de contenido - División de contenido. Para
asignar las puntuaciones en este apartado
se han identificado todas las secciones o
partes que componen normalmente las revistas y se las ha hecho corresponder con
alguna de las secciones que propone el
modelo (artículos/ensayos, comunicaciones, cartas, documentos, etc.). Así, equiparando el tipo de trabajos, se ha puntuado
a cada revista en función de la división de
contenido que presenta.
Modelo de Colciencias
Colciencias
(Instituto
Colombiano para el Desarrollo de la
Ciencia y la Tecnología “Francisco José
de Caldas”) es el organismo oficial co-
AUG 2000, VOL. 25 Nº 5
lombiano encargado de promover y desarrollar proyectos en ciencia y tecnología
a nivel nacional. Recientemente ha presentado un novedoso proyecto de evaluación de revistas científicas que es el que
se analiza a continuación (Jack, 1999).
Análisis de los Indicadores
Al igual que el método
de la USP, el modelo de Colciencias se
preocupa tanto por el contenido (evaluación de la producción científica) como
por la forma (evaluación de la publicación seriada científica como producto
editorial), aunque hace mayor hincapié en
esta última, como se verá más adelante.
Este método también está basado en la valoración de múltiples
variables, reunidas en torno a cuatro
grandes apartados. Para cada uno de ellos
se propone una fórmula matemática, que
opera con los valores obtenidos de las
variables, y que sirve para evaluar globalmente las revistas desde cuatro puntos
de vista o funciones:
La función de calidad
editorial de una publicación seriada científica (PSC)4: puntualidad, antigüedad, artículos originales e inéditos, arbitraje, formato de evaluación, suscriptores particulares de la revista, depósito legal, contribuciones internacionales y coautorías internacionales.
La función de normalización de una PSC: fecha de recepción
de artículos, guías de presentación de artículos, resúmenes, idioma de los resúmenes, palabras clave, índices retrospectivos
periódicos, localización de autores de los
artículos, norma técnica NTC946.
La función de visibilidad nacional de una PSC: ISSN, fuentes
secundarias nacionales que reseñan la publicación, tiraje, suscripciones particulares
nacionales, suscripciones institucionales
nacionales, canje, donaciones y unidades
de información nacionales que reciben la
publicación.
La función de visibilidad internacional de una PSC: ISSN,
fuentes secundarias internacionales que
reseñan la publicación, tiraje, suscripciones particulares internacionales, suscripciones institucionales internacionales y
unidades de información internacionales
que reciben la publicación.
En el modelo de Colciencias se duplica la información relativa al
ISSN y a la tirada con el objetivo, posiblemente, de validar la fórmula. De esta
forma, la misma fórmula de la visibilidad
nacional puede adaptarse y aplicarse a la
visibilidad internacional.
Analizando las fórmulas
propuestas por el modelo se puede obser-
var que los indicadores a los que se otorga un mayor peso específico son el cumplimiento de la periodicidad, la inclusión
de resúmenes, la publicación de índices
retrospectivos periódicos, las fuentes secundarias nacionales e internacionales
que reseñan la publicación, las unidades
de información nacionales e internacionales que reciben la revista y el número de
suscripciones internacionales que tiene.
Algunas Consideraciones
sobre la Aplicación del Modelo
Como característica general que se da en todos los apartados del
modelo hay que mencionar que muchas de
las variables que se analizan toman su valor como resultado de la división del valor
correspondiente a cada revista, entre el valor más alto del conjunto de revistas analizadas. Por ejemplo, para estudiar la antigüedad hay que dividir el número de años
de la revista estudiada entre el número de
años de la revista más antigua dentro del
programa. En este caso, “la publicación
seriada más antigua dentro del programa”
sería la revista con más años de vida de la
muestra seleccionada. De no ser así, no se
podría calcular el valor de la variable.
A continuación se comentan los procedimientos seguidos con
algunos de los indicadores para poder
aplicar el modelo.
Calidad Editorial
Puntualidad. Para estudiar el cumplimiento de la periodicidad
se han empleado los mismos criterios que
en el modelo de la Universidad de São
Paulo, utilizando como muestra los últimos cinco fascículos de las revistas.
Antigüedad. La antigüedad de cada revista se ha calculado contando el número de años transcurridos a
partir de la fecha de origen que se indica
en el Directorio de Revistas españolas de
Ciencias Sociales y Humanas (Villagrá,
1998), en el Catálogo colectivo de publicaciones periódicas de la Biblioteca Nacional y a veces en la propia publicación,
hasta el año 1997.
Artículos originales e
inéditos. Para el estudio de esta variable
se han tenido en cuenta únicamente los
trabajos con forma y carácter de artículo
(quedan excluidos, por tanto, las normas,
las críticas de libros, las noticias o experiencias, los índices bibliográficos, etc.).
Así, se está evaluando qué porcentaje de
los trabajos científicos son verdaderamente originales o inéditos y cuáles están basados en tesis, tesinas, traducciones de
obras extranjeras ya publicadas, etc. La
única forma de conocer este dato es la
237
observación de las notas a pie de página
que suelen aparecer cuando los trabajos
no son originales. Esto quiere decir que
si no se indica lo contrario se ha contabilizado el trabajo como original e inédito.
Según la fórmula que
propone el modelo, para obtener el valor
de este indicador se debe dividir el número de artículos originales e inéditos publicados en las últimas cinco ediciones entre
el número máximo de artículos originales
e inéditos dentro del Programa. Debe interpretarse que “ediciones” se refiere a volúmenes, de forma que al hablar de las
cinco últimas ediciones se esté haciendo
referencia a los cinco últimos volúmenes,
es decir a la producción de cinco años. En
el caso que nos ocupa, tanto para este indicador como para las contribuciones y las
coautorías internacionales, se ha trabajado
con todos los fascículos de un año. No se
puede pensar que “ediciones” equivale a
fascículos o números de una revista puesto
que se estarían comparando datos de producción distintos (no suponen lo mismo
cinco números de una revista anual que
cinco números de una revista trimestral).
Formato de evaluación.
Una vez consultados algunos Organismos
de Ciencia y Tecnología (ONCYTs) de
América Latina se ha podido comprobar
que el formato de evaluación es el formulario que deben cumplimentar los editores de las revistas para acceder a los
correspondientes programas nacionales de
subvenciones de publicaciones seriadas
científicas. En este trabajo, no ha sido
posible aplicar este indicador dado que
en España no hay un programa de subvenciones y, en consecuencia, tampoco
un formato de evaluación.
Suscriptores particulares
de las revistas. Este indicador no se ha
aplicado por no disponer de los datos.
Sin embargo, no es un aspecto que quede
sin cubrir puesto que se trata de otra forma en otros apartados del modelo.
Depósito legal. Si en la
revista aparece un número de Depósito
Legal, ésta debe recibir la máxima puntuación.
Contribuciones internacionales. A partir de las instituciones de
trabajo de los autores de los artículos, se
han contado como contribuciones internacionales las firmas de autores de instituciones extranjeras. Este valor se divide
entre el número máximo de contribuciones extranjeras dentro de las revistas analizadas. La muestra analizada está compuesta por todos los fascículos de un año
de cada revista (ver comentarios sobre el
número de artículos originales e inéditos).
Coautorías internacionales. A partir de las instituciones de traba-
238
jo con las que firman los autores de los
artículos, se han contado como coautorías
internacionales aquellos trabajos en los
que participen al menos dos autores y en
los que al menos uno de ellos pertenezca
a una institución extranjera. Ese valor se
divide entre el número máximo de coautorías internacionales que se dan en el
conjunto de revistas analizadas. La muestra analizada está compuesta por todos
los fascículos de un año de cada revista
(ver comentarios sobre el número de artículos originales e inéditos).
Normalización
Localización de autores
de artículos. Cuando en una revista se
hace constar la dirección postal del autor
o bien su dirección de correo electrónico,
se ha otorgado la máxima puntuación (1
punto) en este apartado.
Norma técnica NTC946
(Información en cubierta, portada, etc.).
El modelo no expone qué elementos son
exactamente los que se valoran por lo
que ha sido necesario establecer unas referencias. Se puede considerar que la
norma internacional sobre presentación de
publicaciones periódicas5 equivale, en
cierta medida, a la norma NTC946 colombiana. Según la norma ISO 8:1977
hay 19 elementos que se deben hacer
constar (de distinta forma) en la cubierta,
en la cabecera del sumario y en cada una
de las páginas de la publicación. A estos
19 elementos6 se les pueden restar dos,
que serían la indicación de la serie tanto
en la cubierta como en la cabecera (no
tiene sentido valorar la presencia o no de
este elemento, puesto que las revistas
analizadas no tienen secciones ni series).
El modelo dice que “la variable correspondiente toma valores discretos entre 14
y 0 de acuerdo con el puntaje de presentación obtenido, dividido por el puntaje
máximo (igual a 14)” 7 (Jack 1999). Adaptando esto a la norma española, y con la
salvedad hecha respecto a la sección, el
valor de la variable estaría entre 0 y 17,
dividido entre 17. La diferencia que se
puede observar a simple vista entre la
norma colombiana y la ISO es que la primera contempla la presencia o ausencia
de los elementos de identificación bibliográfica también en el lomo de la publicación, ubicación que no se menciona en la
norma internacional.
Visibilidad Nacional e Internacional
Fuentes secundarias nacionales e internacionales que reseñan la
publicación. Para obtener esta información, se ha optado por explorar algunas
bases de datos con el objetivo de com-
probar en cuántas vacían las revistas y en
qué medida lo hacen (qué periodo temporal cubren, cuántos registros tienen, si
hay interrupciones en el análisis de la publicación, etc.). Se ha considerado que
una revista está vaciada por una base de
datos cuando ésta recoge de forma regular e ininterrumpida la mayoría de los
trabajos de la revista. En esta ocasión no
se mide la visibilidad de la revista en
función del número de fuentes que la
analizan y que la propia revista indica,
como propone el modelo de la USP, sino
que se acude directamente a la fuente.
Las bases de datos que se han examinado
son:
De ámbito nacional:
-
ISOC: cubre las distintas disciplinas
de las Ciencias Sociales y Humanidades. Está elaborada por el CINDOC y
se puede consultar en http://www.
bdcsic.csic.es:8084 (aunque para el acceso completo se requiere password).
- COMPLUDOC: base de datos multidisciplinar elaborada desde 1997 por la
Universidad Complutense de Madrid.
Se puede consultar en la dirección
http://www.ucm.es/BUCM/complu.
- DATATHÉKE: elaborada por la Universidad de Salamanca, vacía todas las
revistas recibidas por la Facultad e
Traducción y Documentación. Recoge
las revistas más significativas del área
de la Biblioteconomía y la Documentación. Se puede consultar en la dirección http://exlibris.usal.es/dtt.htm.
De ámbito internacional:
- LISA plus (Library and Information
Science Abstracts): base de datos en
CD-ROM, producida por BowkerSaur, que vacía revistas de Biblioteconomía, Archivística y Documentación
de distintos países.
- Article@INIST7, recoge los documentos
que forman parte del catálogo del
INIST. Está disponible en Internet (http:
//fce.inist.fr/public/eng/conslt.htm).
- ULRICH’s plus: versión en CD-ROM
del directorio de publicaciones periódicas.
Suscripciones particulares nacionales y suscripciones institucionales nacionales. Al no disponer del dato
desglosado (es decir, sólo disponemos del
dato absoluto número de suscripciones)
se ha aplicado un solo indicador que
engloba a ambos: número de suscripciones. Tampoco se tiene el dato desglosado
en cuanto a suscripciones nacionales e
internacionales por lo que en este aspecto
sólo se aplicará un indicador.
AUG 2000, VOL. 25 Nº 5
Unidades de información nacionales e internacionales. Este
indicador se refiere al número de unidades de información, tanto nacionales
como internacionales, que reciben la revista. En este caso, no se ha aplicado por
falta de información.
Las fórmulas del modelo
original han tenido que ser adaptadas, en
función de la información con la que se
contaba, para poder aplicarlas. En la fórmula propuesta para determinar la calidad
editorial se han excluido los operandos
relativos al formato de evaluación y al
número de suscriptores particulares de la
revista. La fórmula que afecta a la normalización se ha mantenido en su forma
original, mientras que las dos referidas a
visibilidad se han reducido a una por falta de información en algunos casos. En
concreto, se ha excluido el dato de número de unidades de información nacionales e internacionales que reciben la publicación y se ha reservado un único
operando para reflejar los datos de suscripción (uniendo suscripciones particulares e institucionales, nacionales y extranjeras); puesto que este dato recibía pesos
específicos distintos en la fórmula de visibilidad nacional y en la de visibilidad
internacional, se ha optado por hacer la
media entre los dos.
Resultados de la Aplicación
de los Modelos a la Muestra de
Revistas Españolas de Documentación
Siguiendo las adaptaciones necesarias se han aplicado los dos
modelos analizados a cinco revistas españolas de Documentación. Se ha trabajado
con cada uno de los indicadores que incluyen los modelos y en función de los
resultados se han ido asignando las correspondientes puntuaciones. El cómputo
total de estas puntuaciones ha servido
para elaborar los rankings que se presentan en las Tablas I y II.
Análisis de los Resultados
A la luz de los resultados obtenidos se puede decir que, como
es lógico, resultan más precisas las puntuaciones que se obtienen de la aplicación de fórmulas y no sólo del sumatorio
de puntos porque se afina más con la utilización de los decimales. Aunque resultan más difíciles de obtener, los rankings
que se obtienen de esta manera permiten
asignar su justo lugar a cada título.
La división por apartados
que hace el modelo de Colciencias y que
se traduce en una fórmula para cada uno
de ellos permite identificar claramente
cuáles son los puntos más débiles o más
AUG 2000, VOL. 25 Nº 5
TABLA I
RANKING DE REVISTAS SEGÚN EL
MODELO DE LA UNIVERSIDAD DE SÃO PAULO
Revistas
Total puntos
Revista Española de Documentación Científica
Boletín de la ANABAD
Documentación de las Ciencias de la Información
ITEM
Revista General de Información y Documentación
86
46
40
38
34
TABLA II
RANKING DE REVISTAS SEGÚN EL MODELO DE COLCIENCIAS
Revistas
Calidad
editorial
Normalización
Visibilidad
TOTAL
Revista Española
de Documentación Científica
0,77
0,91
0,89
2,57
Documentación de las Ciencias
de la Información
0,73
0,55
0,47
1,75
Revista Gral. de Información
y Documentación
0,68
0,5
0,46
1,64
ITEM
0,33
0,7
0,52
1,55
Boletín de la ANABAD
0,37
0,007
0,634
1,011
fuertes de cada revista. La formulación resulta muy adecuada para hacer comparaciones entre grupos de indicadores. Se
puede observar, por ejemplo, que el Boletín de la ANABAD resulta la revista peor
valorada por la escasa puntuación que recibe en el apartado de normalización.
Aunque el otro modelo también agrupa
los indicadores según el aspecto que se
esté analizando, parece que tiende más al
establecimiento de una puntuación global.
La Revista Española de
Documentación Científica e ITEM mantienen las mismas posiciones en los dos
rankings (1ª y 4ª respectivamente), mientras que las otras tres varían. Esto es
consecuencia de los diferentes pesos que
se asignan a cada aspecto (normalización,
sistema de evaluación de originales, etc.).
Las revistas ocupan mejores posiciones
cuando el modelo valora mejor aquel aspecto que más se cuida en determinada
publicación. El hecho de que las mencionadas revistas ocupen siempre el mismo
lugar significa que prestan la misma atención a todas las variables (normalización,
selección de originales, colaboraciones
extranjeras, difusión, etc.)
Dejando de lado la Revista Española de Documentación Científica, podemos observar cómo las diferencias que surgen entre las demás revistas
no son tan acentuadas. Unos indicadores
de calidad se compensan con otros y el
resultado final es muy similar. De cualquier forma, si se hubiera trabajado con
un conjunto más grande de revistas sí se
hubieran observado mayores diferencias.
Boletín de la ANABAD.
Como ya se ha indicado, el principal fallo de esta revista es la normalización y
esto es algo que se ve claramente con la
puntuación obtenida en el modelo de
Colciencias. Sin embargo, en el de la
USP, donde ocupa la segunda posición,
la falta de normalización se ve compensada por otros aspectos (pervivencia,
existencia en bibliotecas del sistema y división de contenido).
Documentación de las
Ciencias de la Información. Esta revista
ha quedado clasificada en los puestos intermedios (3º y 2º) y esto responde a
que, en los dos modelos, unos aspectos
se compensan con otros. No cumple con
todas las normas de presentación de publicaciones periódicas ni cuenta con el
sistema de evaluación óptimo, según los
métodos de evaluación, sin embargo, abre
sus páginas a autores extranjeros y lleva
editándose mucho tiempo, lo cual influye,
en parte, en su adecuada difusión.
ITEM: revista de biblioteconomía i documentació. Mantiene la
239
cuarta posición tanto en el modelo de la
USP como en el de Colciencias. Destaca
por el respeto a las principales normas de
presentación de publicaciones periódicas.
Por otra parte, no parece que su difusión
en bases de datos se vea muy afectada
por ser una revista que se publica en catalán, y esto en parte se deberá a que
presenta resúmenes en catalán y en inglés. Sin embargo, en el modelo brasileño no recibe apenas puntuación por existencia en bibliotecas del sistema; esto
responde a un posible fallo del CCPP
que no menciona ninguna biblioteca catalana en la que tengan esta revista, lo cual
no deja de ser llamativo. También cabe
destacar las cifras tan altas que registra
en lo que se refiere a número de ejemplares editados, número de suscripciones
y número de intercambios.
Revista Española de Documentación Científica. Ocupa el primer
lugar en los dos modelos, con una puntuación muy superior a la de las otras revistas. En el modelo de la USP gana muchos puntos por dos indicadores relacionados con la difusión: inclusión en índices y existencia de la colección en bibliotecas del sistema. Aunque la visibilidad se mide de forma distinta en
Colciencias, también en este modelo esta
revista obtiene la mayor puntuación, no
sólo en relación con las demás revistas
sino también comparándolo con los otros
apartados (calidad editorial y normalización). También es destacable que en el
modelo colombiano reciba la máxima
puntuación en lo que se refiere al sistema
de arbitraje.
Revista General de Información y Documentación. La última
posición que ocupa en el modelo brasileño está relacionada en parte con su corta
vida y con la falta de información sobre
la existencia de la revista en las bibliotecas del sistema, por una parte, y con la
falta de información sobre el sistema de
evaluación de originales, por otra. El tercer puesto que ocupa en la clasificación
de Colciencias viene dado por el equilibrio que se da entre los valores de los
distintos grupos.
Discusión y Conclusiones
La realización de este
trabajo ha servido fundamentalmente para
conocer los distintos enfoques de dos
modelos de evaluación de revistas (Jack,
1999; Favero, 1999) e identificar los problemas que surgen al aplicar los distintos
indicadores que plantean los modelos estudiados. Como consecuencia de esto, es
posible apuntar los elementos que podrían formar parte de un sistema de evaluación para grandes conjuntos de revis-
240
tas, objetivo fundamental que se planteaba al comienzo de este trabajo. La propuesta que aquí se presenta está abierta y
podrá ser completada al analizar otros
métodos que se hayan desarrollado o que
se estén desarrollando actualmente. Los
indicadores que probablemente aportan
más información relevante sobre la calidad de las revistas y que al mismo tiempo se pueden valorar sin excesivas complicaciones, son los siguientes:
-
-
Normalización: atendiendo fundamentalmente a la presencia o ausencia de
ISSN, normas a los autores, resúmenes
y palabras clave bilingües, y adscripción institucional de los autores.
Cumplimiento de la periodicidad
Pervivencia
Sistema de evaluación de originales:
evaluadores o revisores externos.
Organos de gestión de la revista: consejos de redacción.
Porcentaje de trabajos de autores de
instituciones extranjeras
Número de suscripciones
Tirada de la revista
Bases de datos nacionales e internacionales que vacían la publicación
Para que la evaluación
fuera completa sería muy interesante contar con la opinión de los especialistas en
la materia (García Marín, 1996), que es
la que permite conocer la calidad del
contenido científico de las revistas. Sin
embargo, esta fase de la evaluación no
siempre podrá ser llevada a cabo puesto
que requiere mucho tiempo.
Por otra parte, las distintas clasificaciones obtenidas al aplicar los
modelos muestran posiciones variables
para las revistas. Probablemente, con una
muestra más grande de títulos, se podría
observar una mayor estabilidad de los
mismos en los rankings finales.
Las principales conclusiones extraídas
en este trabajo son:
a) Existen múltiples indicadores que inciden en la calidad de las revistas
científicas. En función de los intereses
de cada país -determinados por su política científica- o de cada grupo de
trabajo, se aplican unos u otros y se
les asignan pesos diferentes.
b) La formulación de modelos demasiado
complejos ralentiza mucho el proceso de
evaluación, tanto por la dificultad en la
obtención de la información como por
el tiempo que supone su aplicación. Sin
embargo, cuánto más detallados son los
modelos más precisas resultan las puntuaciones obtenidas por las revistas y
más precisos también los rankings. La
aplicación de modelos complejos se
debe reservar para conjuntos de revistas
pequeños, ya que requieren muchos recursos y mucho tiempo.
c) La aplicación de cualquier método de
evaluación de revistas requiere comprobar previamente que la formulación del
mismo es clara y precisa, que no da lugar a equívocos y que se están utilizando muestras comparables.
d) Existen una serie de indicadores que
se repiten en los dos modelos: algunos
relacionados con la normalización
(ISSN, normas a los autores, resumen,
descriptores, ...), antigüedad (pervivencia de la revista), difusión, contribuciones internacionales y coautorías,
cumplimiento de la periodicidad y sistema de evaluación de los originales.
Destaca el hecho de que sean tan pocos los indicadores comunes cuando
se ha trabajado con más de una
treintena de indicadores diferentes. Sin
embargo, se puede decir que la mayoría de los indicadores comunes son
“complejos” en el sentido de que el
valor que toman viene determinado
por algunas de las otras variables que
no se han repetido. Así, la mayor o
menor pervivencia de una revista está
directamente relacionada con su aceptación por parte de la comunidad científica (opinión de los pares), con una
gestión adecuada de la misma, etc.
Una publicación que no cumple estas
condiciones no puede mantenerse de
forma ininterrumpida a lo largo de los
años.
La presencia de las revistas en fuentes
secundarias de información implica
que han pasado por la selección que
inevitablemente deben realizar los productores de bases de datos (por poner
un ejemplo) para abordar el trabajo
documental. Y esta selección está basada normalmente en el cumplimiento
de unos requisitos mínimos de calidad
como pueden ser la inclusión de resúmenes y palabras clave, el ISSN, la
existencia de consejos de redacción o
el cumplimiento de la periodicidad.
Por otra parte, una revista que publica
regularmente trabajos de autores de
instituciones extranjeras es una revista
que goza de un reconocimiento en
otros países y a la que los autores extranjeros envían sus originales porque
la consideran un vehículo adecuado
para dar a conocer sus resultados de
investigación.
El cumplimiento de la periodicidad
también es consecuencia de varios factores. La eficacia en los procesos de
evaluación de originales o el hecho de
recibir un número suficiente de trabajos son una muestra de ello.
AUG 2000, VOL. 25 Nº 5
Finalmente, la revisión del sistema de
evaluación de los originales de cada
revista pretende determinar si hay un
consejo de redacción o un conjunto de
evaluadores externos que garanticen
de alguna forma la calidad de los trabajos que se publican.
e) El lugar que ocupan las revistas en los
rankings finales varía en función del
peso específico que otorgan los distintos modelos a cada aspecto analizado
(difusión, normalización, mecanismos
de selección de originales, colaboraciones extranjeras, etc.).
5
6
7
NOTAS
1
2
3
4
ISO 8:1977. Présentation des periodiques.
Esta norma equivale a la UNE 50-101-90.
“Presentación de las publicaciones periódicas”. Madrid: AENOR, 1990.
Puede consultarse en Internet: http://www.
bne.es
Esto presenta un inconveniente y es que en
principio no pueden compararse datos de producción distintos (por ejemplo, la producción
de tres números de una revista anual con la
de tres números de una revista trimestral),
aunque en este caso concreto no se producen
grandes variaciones.
Para analizar el cumplimiento de la periodicidad, el número de artículos originales e inéditos, las coautorías internacionales y las contribuciones internacionales, el modelo propone
analizar las cinco últimas ediciones de las revistas. Para el primero de los indicadores se
ha hecho así pero no para los otros tres (véase más adelante los comentarios a estos indi-
AUG 2000, VOL. 25 Nº 5
cadores). Por otra parte, para calcular el valor
de las coautorías internacionales se considera
que es autor internacional aquel que está radicado fuera de Colombia.
UNE 50-101-90. Presentación de las publicaciones periódicas. El punto 5.2 de la norma
se refiere a los elementos que deben hacerse
constar en la cubierta y en la cabecera del sumario, mientras que el 10 se ocupa de aquellos que deben estar presentes en cada una de
las páginas de la publicación.
Título, número de volumen, número de fascículo, sección, ISSN y fecha de publicación,
tanto en la cubierta como en la cabecera del
sumario, y título de la publicación, número
de volumen, número de fascículo, fecha de
publicación, nombre del autor, título del artículo y número de página en cada una de las
páginas de la publicación.
Para cotejar la información obtenida de esta
base de datos, se ha consultado también
PASCAL. Ambas bases de datos ofrecen los
mismos resultados.
REFERENCIAS
Bazdresch C (1999) El Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del CONACYT. En: AM Cetto, O
Alonso (comp.) Revistas científicas en América latina. México: ICSU (etc.), pp. 337353.
Delgado López-Cozar E (1997) Evaluación y
aplicación de las normas de presentación de
publicaciones periódicas: revisión bibliográfica. Revista Española de Documentación
Científica 20 (1): 39-51.
Favero Krzyzanowski R, Gonzaga Ferreira MC
(1999) Evaluación de publicaciones científicas y técnicas brasileñas. En: AM Cetto y
O Alonso (comp.) Revistas científicas en
América latina. México: ICSU (etc.), pp.
406-423.
García Marín A, Sales Heredia P, Román
Román A (1996) Evaluación de publicaciones periódicas en el ámbito de ciencias sociales y humanas. Estudio de los indicadores de calidad: El juicio de los pares y la
difusión internacional. En: Actas de las V
Jornadas Españolas de Documentación Automatizada.
Cáceres:
Universidad
de
Extremadura; ABAMEX, pp. 995-1018.
García Marín A, Román Román A (1998) Las
publicaciones periódicas de Historia Antigua, Prehistoria y Arqueología: difusión internacional. Trabajos de Prehistoria 55(1):
139-146.
Jack Gómez Y (1999) A propósito de un ejercicio de evaluación de seriadas científicas.
En: AM Cetto, O Alonso (comp.) Revistas
científicas en América latina. México:
ICSU (etc.), pp. 375-390.
Moriconi Valerio P (1994) Espelho da Ciência:
avaliaçao do Programa Setorial de Publicaçoes em Ciència e Tecnologia da FINEP.
Rio de Janeiro: FINEP, IBICT.
Ortega C, Plaza LM, Martín MJ, Urdín MC
(1992). Spanish scientific and technical
journals. State of the art. Scientometrics
24(1): 21-42.
Sales Heredia P, García Marín A, Román Román
A (1997) Las revistas científicas, transmisoras del conocimiento. Una metodología de
evaluación. En: Organización del conocimiento en sistemas de información y documentación. Zaragoza: Universidad; ISKO,
pp. 271-283.
Villagrá Rubio Á (coord.) (1998). Directorio de
revistas de Ciencias Sociales y Humanas.
Madrid: CINDOC (CSIC).
241