Indicadores de productividad científica en ránkings universitarios: criterios y metodologías

Indicadores de productividad científica en
ránkings universitarios: criterios y
metodologías
August 16, 2013 11:10 am , SciELO
5
Ilustración: FreeDesignFile
Hoy en día los estudiantes, académicos e investigadores aspiran a oportunidades en las
instituciones de educación superior a menudo en países diferentes de su origen en procura de la
excelencia en la enseñanza, la posición en la carrera, o especialización en un área específica. En
este proceso, los indicadores de calidad de las universidades y centros de investigación son
puntos de referencia para una elección adecuada. Por otro lado, las universidades se ven
afectadas por tener su reputación expuesta y cuestionada en relación con el ránking recibido.
La publicación del primer ránking de universidades en EE.UU. data de 1983, y los estudios se
habían originado a principios de 1870, cuando los órganos conectados al sistema universitario en
ese país comenzaron la evaluación de sus instituciones de educación superior. El primer ránking
internacional de instituciones fue realizado por la Universidad Shanghai Jiao Tong, de Shanghai,
China, denominado Academic Ranking of World Universities’ (ARWU). Su publicación causó
un poco de tensión, especialmente en Europa, debido a que las instituciones de los Estados
Unidos y el Reino Unido dominaban las listas de las 20 mejores y las 100 mejores universidades.
En 2004, como propuesta de Europa frente el ARWU fue creado el Times Higher Education
Supplement World University Ranking, después simplemente llamado Times Higher Education
(THE).
Desde entonces, han estado surgiendo nuevos ránkings internacionales como iniciativas de
empresas privadas, organizadas por los principales medios de comunicación o instituciones de
educación superior y de investigación, que difieren en la metodología y los indicadores
utilizados, así como la forma de presentación de los resultados. Hay una cierta predilección por
parte de la sociedad por tablas que ordenan las instituciones por indicadores de excelencia, las
denominadas tablas de clasificación, en una analogía con la clasificación de los equipos en
campeonatos deportivos. Hay otras maneras de presentar los resultados que compilan diversos
indicadores, sin necesidad de clasificar las instituciones de orden de excelencia, obtenidos por
puntuación total en temas tales como la calidad de los profesores y las publicaciones en revistas
prestigiosas, por la infraestructura y la presencia de estudiantes extranjeros.
Serán presentados y discutidos aquí los indicadores utilizados para evaluar las instituciones
científicas en los principales ránkings internacionales de universidades.
Academic Ranking of World Universities
El primer ranking internacional de universidades
fue creado en 2003 por iniciativa de la Universidad Shanghai Jiao Tong de Shanghai, China,
llamado el Academic Ranking of World Universities’ (ARWU), que se viene actualizando
anualmente. Los indicadores de producción científica incluyen el número de artículos publicados
en las prestigiosas revistas Nature y Science (que representan el 20% del total), el número de
artículos indizados en Science Citation Index Expanded (SCIE) y el Social Science Citation
Index (SCCI), Thomson Reuters (20%) y el número de investigadores más citados seleccionados
por Thomson Scientific (también 20%). La producción científica en este ránking, por lo tanto, es
responsable del 60% del peso correspondiente de los indicadores utilizados en la evaluación.
Además de la clasificación mundial, el ARWU también publica evaluaciones por país y área de
conocimiento.
Times Higher Education
El segundo ránking mundial, Times Higher
Education (THE), se publicó en 2004, en contraste con el ARWU creado el año anterior y utilizó
el colector y procesador de datos de Quacquarelly-Symonds (QS) entre 2004 y 2009. A partir de
esta fecha, THE comenzó a usar datos de Thomson Reuters. El número de artículos publicados
en revistas indizadas por esta base de datos está normalizado por el número de investigadores y
por tema, aportando datos sobre la capacidad de la institución para publicar sus resultados de
investigación en revistas de calidad sujetos a revisión por pares. Este indicador representa el 6%
del total.
Las citaciones miden la influencia de la investigación de las instituciones y en el ránking THE
representan el 30% de los puntos evaluados. Este es el indicador más importante de todos,
evaluado entre las 12.000 revistas que forman parte de la base de Thomson Reuters,
contabilizadas por un período de cinco años para tener en cuenta también las áreas en las que la
vida media de las citas es mayor, como es el las ciencias sociales y las humanidades. Se hacen
también correcciones para no favorecer las instituciones especializadas en áreas conocidas por
generar un alto número de citas, como las ciencias de la salud, física y matemáticas.
QS World University Rankings
La empresa multinacional con sede en Londres,
Inglaterra, Quacquarelli-Symonds que originalmente proporcionaron datos para el ranking THE,
publica desde 2004 la guía TopUniversities de las mejores instituciones del mundo. Los
indicadores de producción científica incluyen citas por artículo (corregidas para las disciplinas
que atraen pocas citas), con un 4% de los puntos, y artículos publicados por cada investigador,
también con 4%, ambos recogidos en Scopus, empresa afiliada a la editorial multinacional
Elsevier.
El ránking también proporciona listas por regiones y la categoría QS Stars, en la que las
instituciones se evalúan no sólo por su capacidad de investigación y enseñanza, sino también por
sus instalaciones, la innovación y la participación con la región en la que están situadas. Esto
permite poner de relieve a las universidades jóvenes o en países emergentes que por el criterio de
la mayoría de los ránkings probablemente no figurarían entre las primeras 500.
Leiden Ranking
El Centre for Science and Technology Studies
(CWTS) de la Universidad de Leiden en los Países Bajos ha desarrollado su propia metodología
para medir, desde el año 2008, el impacto de los indicadores científicos y de otro tipo con el fin
de seleccionar las 500 mejores instituciones del mundo.
Los datos bibliométricos provienen del Web of Science, y se recoge el número de publicaciones
de la institución en los últimos cinco años. Las citas se calculan mediante un algoritmo que tiene
en cuenta las citas en los últimos cinco años, normalizadas por las diferentes áreas del
conocimiento y el número de publicaciones, descontadas las autocitas.
El CWTS también proporciona información sobre la cooperación entre universidades e industrias
y mapas de colaboración entre las universidades integrantes del ránking.
U-Map
La iniciativa es un proyecto en desarrollo por parte de la
European Classification of Higher Education Institutions, concebido en 2005 como una
alternativa a los ránkings basados en la productividad de la investigación, y proporciona un
ranking “multidimensional” de las instituciones y universidades europeas (excepto el Reino
Unido) anclado en una amplia gama de indicadores.
Los principales productos del ránking, que proporcionan una visión general de la diversidad
institucional europea, incluyen el ProfileFinder, una lista de instituciones de educación superior
en la que se puede comparar ciertas características mencionadas, y ProfileViewer, que
proporciona un perfil de la actividad institucional que se utiliza para comparar las instituciones.
Los indicadores de productividad científica utilizados son el número anual de publicaciones
científicas presentadas a proceso de revisión por pares relativo al número de investigadores en la
institución, y otros tipos de publicaciones resultantes de la investigación, también relativo al
número de académicos que no forman parte de la categoría anterior.
U-Multirank
Este nuevo ranking universitario, creado con fondos de la
Unión Europea, fue lanzado en enero de 2013 y publicará su primer listado a principios de 2014.
El objetivo de este proyecto será inicialmente la evaluación de las instituciones en Europa, Reino
Unido, Estados Unidos, Asia y Australia.
Su enfoque se diferencia de otros ránkings, enfocados principalmente en la excelencia en la
investigación, e incluye indicadores tales como la reputación de la investigación, la calidad de la
enseñanza y el aprendizaje, la orientación internacional, la transferencia de conocimientos, y la
contribución al crecimiento regional.
La Comisión de la Unión Europea y los responsables del proyecto aún no han definido la fuente
de los indicadores de productividad de la investigación, pero informan que deberán utilizar las
bases de Thomson Reuters (Web of Science) y Elsevier (Scopus).
Webometrics
El Webometrics Ranking of World Universities se
inició en 2004 como una iniciativa del Laboratorio de Cibernética del Consejo Superior de
Investigaciones Científicas (CSIC) de España. El proyecto fue diseñado para promover la
difusión a través de la publicación en acceso abierto de artículos y otros documentos en la Web
Los indicadores Web son herramientas que se utilizan para las evaluaciones en general, sin
embargo Webometrics no utiliza el número de accesos o la navegación de sitios como
indicadores de rendimiento y visibilidad de las instituciones, sino el volumen, de contenido,
apretura y impacto de las instituciones en la Web, con énfasis en los resultados de investigación.
Al igual que otros ránkings, éste también tiene su principal enfoque en el impacto de la
producción científica de las instituciones. Lo que lo distingue, sin embargo, es que en la Web
están disponibles otras formas de publicación como repositorios, revistas exclusivamente en
línea, así como productos de comunicaciones científicas informales, como blogs, wikis y otros.
En última instancia, el ránking tiene como objetivo motivar a los académicos a exponer su
presencia en la Web, atrayendo la atención de la comunidad científica y la sociedad en su
conjunto.
El ránking incluye a las instituciones de educación superior, hospitales y centros de investigación
en todos los continentes y también los bloques BRICS y CIVETS, así como análisis por áreas de
conocimiento y un ránking mundial de repositorios.
Los datos se actualizan online cada seis meses desde el año 2004 y la clasificación evalúa, sobre
la base de la normalización en escala logarítmica de las variables actividad/presencia y
visibilidad/impacto en la Web combinándolas en relación 1:1, el Fator de Impacto Web,
mediante el cual se clasifican las instituciones.
SCImago Institutions Ranking
En 2012, o SCImago crío o SCImago Institutions
Ranking (SIR) utilizando la base de datos Scopus, parte de la editorial multinacional Elsevier. El
SRI publica dos relatos anuales, uno sobre las instituciones Iberoamericanos y otro global.
El SIR tiene características diferentes a otras clasificaciones de las universidades por no producir
listas ordenadas por instituciones prestigiosas, las llamadas tablas de clasificación, sino un
compendio de inclusión que propone analizar los resultados de la investigación en Iberoamérica
y el mundo. La forma de presentación de los resultados consiste en tablas que contienen una gran
cantidad de datos, incluyendo la posición de la institución de acuerdo con el criterio
seleccionado, el número total de documentos publicados en el período de cinco años, los
indicadores de citación normalizada, el número de artículos en revistas de alto impacto, y el
porcentaje de la tasa de excelencia, expresada por el número de artículos incluidos en la
proporción del 10% de los artículos en su área más citada.
El SIR se presenta con una metodología innovadora para ranquear las universidades que se
encuentran fuera del eje Estados Unidos-Reino Unido, y no estarían incluidos en los ránkings de
los favoritos, lo que permite de este modo un análisis justo y adecuado al perfil de estas
instituciones.
Ranking Universitário da Folha
Dado el gran crecimiento en el número de instituciones de
educación superior en Brasil en los últimos años, surgió la demanda de un ránking nacional de
universidades, adecuado a la realidad brasileña y su contexto.
Por iniciativa del diario Folha de São Paulo, Datafolha y la supervisión del coordinador
científico de SciELO y especialista en análisis de producción científica Rogerio Meneghini, fue
desarrollado el Ranking Universitário Folha (RUF), cuya primera edición se publicó en 2012.
Los indicadores de producción científica utilizados en el estudio dan cuenta del 55% de los
puntos totales y fueron extraídos de la Web of Science (Thomson Reuters), e incluyen el número
total de publicaciones, citas, y artículos con colaboración internacional. Estos datos están
normalizados por el número de docentes en la institución y también se contabilizan los artículos
en la base de datos SciELO, lo que dota al RUF con un enfoque más amplio y en el contexto de
la producción científica brasileña.
Consideraciones Finales
Los ránkings de universidades que se iniciaron en la década de los años 2000 vino a llenar un
vacío para orientar la elección de los estudiantes y académicos en busca de la calidad en la
docencia y la investigación en todo el mundo.
Las evaluaciones cuantitativas tienden a ser más fáciles de entender y de utilizar que las
cualitativas y, así como los indicadores de impacto científico ranquean las revistas, los ránkings
universitarios listan instituciones. Este paralelo, sin embargo, incluye una advertencia acerca de
la fiabilidad de estos indicadores, así como las recientes manifestaciones sobre el uso
indiscriminado del factor de impacto1 .
Hay un sinnúmero de cuestiones planteadas en los indicadores de producción científica en los
ránkings, tales como: la desventaja de los artículos publicados en idiomas distintos del inglés en
relación a las citas; la reputación a priori de las instituciones en Norteamérica, Reino Unido y
Europa que les hace propensas a mejores evaluaciones; las diferencias inherentes entre los
resultados en las áreas de ciencias de la vida y las ciencias sociales; el uso del factor de impacto
de las revistas en las que se difunde la producción científica de la institución; las diversas formas
del proceso de revisión por pares utilizado por diferentes revistas; y otras.
La investigadora Ellen Hazelhorn del Dublin Institute of Technology, en su libro Rankings and
the Reshaping of Higher Education: The Battle for World-Class Excellence hace una fuerte
crítica al uso frecuente de los ránkings por las autoridades y los organismos de financiación de
investigación, que ella también manifestó durante la conferencia organizada por la UNESCO en
2011 Rankings and Accountability in Higher Education: Uses and Misuses. Ellen dice que el
ránking incluye menos del 1% de las instituciones existentes en todo el mundo, dando la falsa
impresión de que el desarrollo de la vida cultural, económica y de salud dependen de estas
universidades en el tope de la lista.
En la misma ocasión, la Vicerrectora de la Malaysia’s National University, Sharifah Shahabudin
dijo que más importante que la posición de una universidad en un ránking, su función principal
es la de “anticipar y liderar continuamente a través de la innovación mediante la creación de
nuevos valores, así como un nuevo orden social, ambiental y financiero para la universidad, la
nación y la región”. En su opinión, los indicadores deberían medir el impacto de la universidad
en la sociedad en la que opera, lo que aún debe ser creado y perfeccionado.
Notas
1
Declaração recomenda eliminar o uso do Fator de Impacto na Avaliação de Pesquisa. SciELO
em Perspectiva. [viewed 16 August 2013]. Available from:
http://blog.scielo.org/blog/2013/07/16/declaracao-recomenda-eliminar-o-uso-do-fator-deimpacto-na-avaliacao-de-pesquisa/
Referencias
HAZELHORN, E. Rankings and the Reshaping of Higher Education: the battle for World-Class
Excellence. London: MacMillan Publishers Ltd., 2011.
RAUHVARGERS, A. Global University Rankings and their Impact. Brussels: European
University Association, 2011. [viewed 16 August 2013]. Available from:
http://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEQQFjAA
&url=http%3A%2F%2F
www.eua.be%2Fpubs%2FGlobal_University_Rankings_and_Their_Impact.pdf&ei=ZLoMUu
6BF9LRiALJxYHICQ&usg=AFQjCNGVKgtKX1TQP811fEblozz0T_b2A&sig2=Olv15o64OrD7Bp-DZl3znw&bvm=bv.50768961,d.cGE&cad=rja
UNESCO Global Forum: Rankings and Accountability in Higher Education: Uses and Misuses,
Paris, 16-17 May 2011. UNESCO. [viewed 16 August 2013]. Available
from: http://www.unesco.org/new/en/education/themes/strengthening-education-systems/highereducation/quality-assurance/rankings-forum/
WALTMAN, L., et al. The Leiden Ranking 2011/2012: Data collection, indicators, and
interpretation. 2012. [viewed 16 August 2013]. Available from: arXiv:1202.3941.
http://arxiv.org/abs/1202.3941
Traducido del original en portugués por Ernesto Spinak.
Como citar este post [ISO 690/2010]:
Indicadores de productividad científica en ránkings universitarios: criterios y metodologías.
SciELO en Perspectiva. [viewed 22 November 2013]. Available from:
http://blog.scielo.org/es/2013/08/16/indicadores-de-productividad-cientifica-en-rankingsuniversitarios-criterios-y-metodologias/
http://blog.scielo.org/es/2013/08/16/indicadores-de-productividad-cientifica-en-rankingsuniversitarios-criterios-y-metodologias/#.Uo-BUOLsm8k