Editorial 0112.indd

EDITORIAL
Periódicos científicos brasileños: popularidad y encanto
Mauricio Rocha e Silva1
Al hablar de nuestros periódicos científicos, es importante no olvidar que ellos existen en dos categorías: con y
sin peer review. Solamente la primera debe ser tenida en cuenta. En total, según la CAPES, son cerca de seis mil,
pero apenas el 8% de ellos publica ciencia original con peer review. Antes de que alguien encuentre eso anormal, vale
destacar que el gran archivo internacional Ulrich´s relaciona cerca de 300.000 periódicos científicos en todo el mundo,
de los cuales apenas 27.000 son peer reviewed. Por lo tanto, estamos dentro del promedio mundial. En cuanto a la visibilidad, la divisoria es otra: siglo pasado y nuevo milenio. Hasta 1999, la mayoría de nuestros periódicos era totalmente
ignorada y apenas un puñado muy pequeño conseguía que sus artículos fueran citados. Ningún periódico brasileño
llegó jamás a tener un factor de impacto por sobre 1,000, ¡y muy pocos llegaban a 0,500! A partir del nuevo milenio,
todo cambió, gracias a SciELO y a PubMed. La creación de una biblioteca virtual de acceso libre y gratuito (SciELO)
disponible en PubMed, pasó a implicar que cualquier persona en el mundo conectada a Internet pudiera consultar y
hacer la descarga gratuita de cualquier artículo de nuestros periódicos. Naturalmente, peer review es condición sine
qua non para ser aceptados en SciELO. La magia no demoró demasiado. En 2004, dos revistas brasileñas alcanzaron
un Factor de Impacto por sobre 1,000 y nunca más volvieron atrás. Apenas seis años después, tenemos una revista
con impacto superior a 2,000 y trece revistas superando el 1,000. Las proyecciones para 2011 sugieren que tendremos
tal vez dos revistas encima de 2,000 y alrededor de quince superando 1,000. Las descargas de artículos científicos
publicados en nuestros periódicos pasaron de 100.000 en 1999 a más de 100 millones en 2010.
Nuestras revistas son observadas y los artículos que aparecen en ellas son leídos y citados como nunca lo fueron. ¡Sin dudas, estamos más atractivos! ¡Pero podríamos estar mucho más encantadores! Y desafortunadamente,
el obstáculo es interno. El sistema de evaluación de artículos publicados por nuestros programas de graduación no
nos ayuda en nada. Cualquier alumno u orientador de posgraduación que publique en una revista brasileña sufre un
descuento de 20 a 60% en su nota por haber publicado en casa. El sistema clasificador de artículos se basa en una
idea portadora de un peligroso sesgo: el artículo recibe la nota en función del factor de impacto del periódico que lo
publica. No somos los únicos pecadores: diversas agencias internacionales, tanto de clasificación como de distribución
de notas también lo cometen. El propio padre del Factor de Impacto, Eugene Garfield, ya marcó dicha observación:
el factor de impacto refleja la importancia de los periódicos, pero nunca la de los artículos publicados en ellos, porque
la distribución de citaciones de los artículos es tremendamente asimétrica.
En un estudio(1) de reciente publicación, examiné cerca de 7.000 artículos aparecidos en 60 periódicos con factores
de impacto entre 1 y 50, y observé que todos ellos obedecen a una distribución equivalente al Principio de Pareto: en
su forma original, el referido principio afirma que en todas las acciones humanas, el 80% de las acciones provienen
del 20% de los agentes. En el caso de las citaciones en periódicos científicos la situación no es tan extrema; pero la
asimetría es profunda: 50% de las citaciones proviene de 20% de los artículos (los más citados), mientras que apenas
el 3% de las citaciones proviene del 20% de los menos citados. ¿Cuál es la consecuencia de esa asimetría para la
evaluación indirecta de los artículos? Muy simple: más allá de dónde sea publicado el artículo, el mismo tiene cerca
de 30% de posibilidades de ser más citado y cerca de 60% de ser menos citado de lo que el factor de impacto de la
revista sugiere. Si un autor consigue publicar en la categoría más alta del sistema de evaluación, él, ciertamente, no
será sub-evaluado, porque ya está recibiendo la nota máxima. ¡Pero tiene 50% de chances de ser sobre-evaluado,
para su fortuna! El problema es mucho más complicado si el artículo aparece en una de las categorías por debajo de
la más alta: ¡en este caso, nuestro autor corre un riesgo para nada despreciable (30%) de ser sub-evaluado! Porque
habrá de ser más citado de lo que sugiere el factor de impacto de la revista donde publica y debería recibir una nota
más alta. ¡Mala suerte para él! La chance de sobre-evaluación continúa siendo de 50% (¡para su fortuna!), de modo
que la evaluación habrá de ser correcta apenas para el 20% de los artículos. En diagnóstico, esto tiene un nombre:
Factor Predictivo Positivo (FPP), que define el porcentaje de evaluaciones correctas realizadas por cualquier prueba
diagnóstica. Cualquier sistema que evalúe publicaciones científicas indirectamente a través del factor de impacto del
periódico tiene un FPP de 40% para revistas de la categoría más alta y de 20% para las de categoría inferior. O sea,
¡60% de error en la categoría más alta y 80% de error en las inferiores!
Aplicaremos ahora este concepto a nuestras revistas. En el sistema de evaluación de posgraduación brasileña,
ninguna revista nacional pertenece al estrato más alto; consecuentemente, para todas ellas, vale el Factor Predictivo
Positivo de 20%, ¡queriendo con eso decir que el 80% de los artículos allí publicados son incorrectamente evaluados!
Para el 50% de los casos, vale el concepto de para su fortuna, pero cerca de 30% de ellos recibe una reclasificación
negativa de su nota. Uno de los argumentos utilizados por todas las instituciones evaluadoras es que para artículos
recientemente publicados, es imposible evaluar cuántas citaciones habrán de serles atribuidas. Vamos a tomar un
ejemplo absolutamente extremo: ¿cuántas citaciones habrá recibido en junio del presente año un artículo publicado
en diciembre de 2011? ¡Casi con seguridad ninguna, haya sido publicado en un periódico de impacto 1, 5 o 50! Pero
si el período de publicación fuera un poco mayor, digamos desde junio de 2011 para julio de 2012, él ya estaría visible
1
Editor de Clinics, São Paulo, SP, Brasil. [email protected]
EDITORIAL
y posiblemente citado. La nueva idea es utilizar un procedimiento recién propuesto, que bauticé como Continuously
Variable Rating(1). La antigua idea, no olvidemos, carga con un 80% de probabilidades de generar un resultado errado.
Antes de que alguien piense que mi propósito es totalmente negativo, hago énfasis en lo que he dicho en repetidas
ocasiones: lo que Brasil le debe a la CAPES no tiene precio: científicamente, somos lo que somos, uno de los países
G20 de la ciencia, gracias a la voluntad política y a todo lo que la CAPES ha hecho por este país. Hace 70 años éramos un enano científico que observaba a la Argentina con largas miradas de envidia. ¡Hoy en día, producimos tanta
ciencia como la suma de México, Argentina, Chile y el resto de los países latinoamericanos! Mucho de eso se debe a
los sistemas de posgraduación CAPES, al portal CAPES y a la dinámica CAPES. Vamos, pues, a continuar alentando
para que la CAPES corrija esta insólita inconsistencia suya: ¡ella desentona tanto con el resto de la CAPES como la
falta de un diente frontal en la sonrisa de una célebre beldad!
Referencias
1. Rocha-e-Silva M. Continuously Variable Rating: a new, simple and logical procedure to evaluate original
scientific publications. Clinics. 2011;66(12):2099-104.