originales Evaluación formal de las revistas electrónicas Formal evaluation of the electronic journals Lourdes Castelló-Cogollos1, Carolina Navarro-Molina1, Máxima BolañosPizarro1, Gregorio González-Alcaide1, Adolfo Alonso Arroyo2, Juan Carlos Valderrama–Zurián1, Rafael Aleixandre–Benavent1 1. Instituto de Historia de la Ciencia y Documentación López Piñero (CSIC-Universitat de València). València 2. Departament d’Història de la Ciencia i Documentació. Universitat de València. València Correspondencia: Rafael Aleixandre–Benavent. Instituto de Historia de la Ciencia y Documentación López Piñero Palau de Cerveró Plaza de Cisneros, 4 46003-Valencia Correo electrónico: [email protected] Resumen: Abstract: Las revistas electrónicas han experimentado un crecimiento espectacular en los últimos tiempos, lo que ha traído consigo la inclusión de nuevos criterios adecuados al entorno web que permiten evaluar su calidad formal. En este trabajo se presentan las ventajas e inconvenientes de las revistas electrónicas y los criterios que utiliza Latindex para su evaluación, pues son los más arraigados en este ámbito y suelen servir de referente para los evaluadores. Estos criterios se complementan con las aportaciones de otros autores que trabajan en la misma línea. Electronic journals have grown exponentially in recent years, so new standards have been incorporated in order to evaluate their formal quality in the web media. In this paper we present their advantages and disadvantages and the criteria used by the Latindex system in the evaluation of the electronic journals, because they are the most spread in this area and use to be a reference tool for evaluators. These criteria are complemented with contributions from other authors that work in the same topic. papeles médicos 2008; VOL. 17 Núm. 1 9 originales 1. Introducción. Con la aparición en el siglo XVII de Le Journal des Savans1 se instauró un nuevo método de comunicación entre la comunidad científica, la revista, que pronto se reveló como el medio propicio para la conservación del acervo científico. La revista científica ha permitido, desde sus orígenes, la validación de los descubrimientos por parte de la comunidad al existir la tecnología necesaria para ser difundida de un modo masivo. Este panorama permaneció prácticamente inmutable hasta la aparición de dos fenómenos: la explosión de la información y la aparición de Internet. Las actividades de I+D (Investigación y Desarrollo) vieron incrementadas su financiación en la década de los 50 del siglo XX2, hecho que favoreció el aumento de la producción de información de carácter científico. Este incremento de la actividad investigadora se plasmó, a su vez, en un aumento exponencial de publicaciones científicas para transmitirla, dando lugar al fenómeno conocido como “explosión de la información”. Internet vió la luz en 1989 en el CERN (Centro Europeo de Física de Partículas) fruto de un proyecto de Berners-Lee3 y tuvo un rápido éxito gracias al desarrollo de la tecnología del hipertexto. En la década siguiente se popularizaron las sedes web4 y los editores de revistas vieron en este nuevo medio una forma de edición rápida y con costes mucho más bajos, capaz de integrar multitud de recursos y potencialidades nuevas, como la inclusión de motores de búsqueda o la posibilidad de implementar servicios de alerta informativa, entre otras. Nacieron entonces las revistas electrónicas, definidas por Barrueco como “conjunto de artículos ordenados, formalizados y publicados a través de redes teleinformáticas bajo la responsabilidad de una institución científica o técnica que entre otras cosas valida la calidad de la información publicada en la misma”. A partir de este momento, las revistas electrónicas experimentaron un crecimiento espectacular7 que aún hoy continúa. En la actualidad Internet se ha convertido en una obligada fuente papeles médicos 2008; VOL. 17 Núm. 1 de información científica en continua evolución. Un ejemplo de este carácter evolutivo lo constituye el movimiento conocido como Open access5 (acceso abierto) que está cambiando el panorama de las revistas científicas de un modo radical. Esta iniciativa defiende el acceso libre al texto completo de los trabajos científicos, dejando a los autores el control de sus trabajos. El cambio de soporte de la revista científica trae consigo la inclusión de nuevos criterios que permiten evaluar la calidad formal de las revistas electrónicas. Entre ellos se encuentran criterios relacionados con la usabilidad, que según la norma ISO 9241 (Ergonomic requirements for visual display terminals, 1998), parte 11 (Guidance for usability)8 se define como el rango en el cual un producto puede ser usado por un grupo de usuarios específicos para alcanzar ciertas metas definidas con efectividad, eficiencia y satisfacción en un contexto de uso especificado. La usabilidad es la percepción de cuán consistente, organizado, eficiente, productivo, fácil de usar e intuitivo es el proceso de completar una tarea en particular dentro de un sistema. La inclusión de aspectos adecuados al entorno Web en la evaluación de la calidad formal de estas publicaciones ha sido tratada por diversos autores. Algunos como Codina9 o Ayuso y Martínez10 le dedican a este aspecto un apartado específico, mientras que otros como Aguillo11 o iniciativas como Latindex 12 incorporan indicadores en apartados más genéricos. 2. Revistas impresas versus revistas electrónicas Las revistas electrónicas encuentran en Internet el medio ideal para su difusión gracias a su inmediatez (o rapidez de publicación) y actualización (o puesta al día de los contenidos). La edición electrónica es una forma rápida, económica y ecológica de publicar y de distribuir lo publicado, ya que la información es accesible al mismo tiempo en todo el mundo y, al no ser necesaria la tirada de ejemplares impresos, se evita el consumo de papel y se 10 originales reducen los costes de impresión, encuadernación, transporte y correo. Este ahorro permite independizarse de la publicidad comercial, lo que puede redundar en el incremento de la calidad de la revista. Otras ventajas de las ediciones electrónicas radican en la posibilidad de incluir contenidos multimedia e hipertexto, que permite interrelacionar y acceder a otros recursos enlazados, como los artículos citados en la bibliografía, o sus resúmenes en las bases de datos, así como las direcciones de los autores, lo cual facilita la comunicación entre el autor y los lectores y permite mejorar el debate científico13. La fiabilidad de las revistas electrónicas viene dada por los mismos requisitos que las impresas, fundamentalmente, la revisión editorial por pares, el patrocinio institucional académico o científico, y el cumplimiento de los estándares de calidad formal y de contenido de las publicaciones periódicas. Existen directorios en la red que recopilan las revistas electrónicas existentes como, por ejemplo, Free Medical Journals (http://www. freemedicaljournals.com). (Figura 1) En cuanto a los inconvenientes, Fumagallo y Martínez14 han comentado, entre otras, la incomodidad de la lectura de los textos en pantalla, que hace que generalmente las revistas electrónicas acaban leyéndose sobre papel; la dependencia del ordenador y de la velocidad de transmisión de Internet; los temas relacionados con las licencias, condiciones de uso y derechos de copia y del autor; la diversidad de interfaz de usuarios entre las diferentes editoriales; y la volatilidad de la información no impresa. En lo que se refiere al número de revistas electrónicas que existen en la actualidad, sólo es posible ofrecer una cifra aproximada, ya que su crecimiento diario imposibilita a los directorios ofrecer un catálogo exhaustivo y actualizado. Según las estadísticas del ISSN (Internacional Standard Serial Number), en el año 2007 su base de datos contenía 50.353 revistas on-line. En el caso de España y Latinoamérica, el directorio Latindex cuenta en la actualidad con 2.550 revistas electrónicas. Respecto a los contenidos que pueden consultarse, existe una amplia variedad de posibilidades que van desde facilitar únicamente los sumarios o resúmenes a proporcionar enlaces al texto papeles médicos 2008; VOL. 17 Núm. 1 completo de los artículos. Esta última opción va tomando cada vez más cuerpo gracias al movimiento Open Acess y a la creación de directorios específicos que recopilan las revistas como el DOAJ (Directory of Open Acess Journals) http://www.doaj.org/ que en la categoría de Ciencias de la Salud incluye 264 títulos de Medicina General y 103 de Salud Pública. En el caso de las revistas científicas españolas y latinoamericanas, es posible consultar la plataforma que elabora el CINDOC e-revistas http://www.erevistas.csic.es/portal/index.jsp que cuenta con solo 10 títulos en la categoría de Ciencias de la Salud. Las revistas electrónicas se ofrecen a través de Internet en dos formatos básicos: • HTML (Hypertext Markup Language). Es el formato típico de los documentos publicados en Internet y permite ofrecer los artículos a los usuarios sin que estos necesiten ningún programa específico. Los artículos se benefician de los recursos de Internet (como enlaces hipertextuales a otros documentos y ficheros multimedia). • PDF (Portable Document Format). Este formato, comercializado por Adobe, tiene la ventaja de ofrecer los artículos individualmente, reproduciendo el formato original de la versión en papel. Los contenidos se suelen mostrar en formato PDF para facilitar la descarga al usuario y en ocasiones se ofrece también la posibilidad de visualizarlo en HTML, aunque esta opción va en detrimento de la usabilidad de la sede Web. Aunque cada vez hay más revistas electrónicas de acceso gratuito, una buena parte de ellas requieren la suscripción o “pago por ver” (pay per view) o descargar el texto completo de los artículos. Algunas editoriales permiten el acceso gratuito a los artículos de los años anteriores, o bien a determinadas informaciones (por ejemplo, artículos editoriales y cartas) y solicitan la suscripción para el resto de artículos. 11 originales 3. Criterios para la evaluación de las revistas electrónicas Los Criterios que utiliza Latindex para la evaluación de las revistas electrónicas son los más arraigados en este ámbito y suelen servir de referente para los evaluadores12. Latindex (Sistema Regional de información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal) es un producto de la cooperación de una red de instituciones que funcionan de manera coordinada para reunir y diseminar información bibliográfica sobre las publicaciones científicas seriadas producidas en los países que la integran. Además de su objetivo general de desarrollar un sistema de información para reunir y tener consultables los datos sobre las publicaciones periódicas, se han propuesto unos objetivos más específicos que incluyen15,16: • Establecer políticas conducentes a integrar los esfuerzos que se realizan en los diferentes países participantes en materia de producción, difusión, sistematización y uso de la información científica. • Reforzar y elevar la calidad y el impacto de las publicaciones científicas iberoamericanas y del Caribe. • Dar a éstas una mayor visibilidad y cobertura a nivel internacional. • Utilizar la información procesada como base para la elaboración de subproductos. • Influir tanto en los diferentes ámbitos nacionales como en el internacional en materia de información, documentación y edición científica. 3. 4. 5. 6. 7. 8. 3.2. Características de presentación de la revista 9. 10. Los criterios Latindex se agrupan en cuatro epígrafes: características básicas; características de presentación de la revista; características de gestión y política editorial; características de contenido. 11. 12. 3.1. Características básicas: 1. Mención del cuerpo Editorial. Se refiere a que en la revista deberá mencionar consejo editorial, de redacción o científico en la página de inicio o bien con un enlace. 2. Contenido científico. Al menos el 40% de papeles médicos 2008; VOL. 17 Núm. 1 los documentos publicados estará constituido por: artículos originales, artículos técnicos, comunicaciones en congresos, artículos breves, artículos de revisión, etc. Debe primar el interés científico o técnico. Generación continuada de contenidos. Debe demostrar la generación de nuevos contenidos en un año. Identificación de los autores. Los trabajos deben estar firmados por los autores con nombre y apellidos o declaración de autor institucional. Entidad editora. Deberá constar la entidad o institución editora en la página de inicio o bien con un enlace, así como la dirección de correo electrónico. Mención del director. La revista deberá dejar constancia del nombre del director de la publicación, responsable editorial o equivalente. Mención de la URL de la revista. Deberá constar en la página principal de la revista. Mención del cuerpo editorial. Se deberá mencionar el consejo editorial, de redacción o responsable científico, en la página de inicio directamente o bien con un enlace. 13. 14. Navegación y funcionalidad. Se refiere a que la navegación estructural permita acceder a los sumarios y artículos de forma rápida. Mención de periodicidad. Deberá aparecer la periodicidad o la declaración de periodicidad continuada. Acceso a los contenidos. Facilitar el acceso al sumario o de una estructura de contenidos. Acceso histórico al contenido. Por el tiempo de vida de la revista, o por un tiempo mínimo de tres años. Membrete bibliográfico al inicio del artículo. Se refiere a si el membrete bibliográfico aparece al inicio de cada artículo e identifica a la fuente. Miembros del consejo editorial. Si apare- 12 originales cen los nombres de los miembros del consejo editorial de la revista. 15. Afiliación institucional de los miembros del consejo editorial. Se refiere a la mención de los nombres de las instituciones a las que están adscritos los miembros del consejo editorial. 16. Afiliación de los autores. Es requisito indispensable señalar la afiliación profesional del autor. 17. Recepción y aceptación de originales. Se tendrá en cuenta la aparición de ambas fechas. 3.3. Características de gestión y política editorial 18. ISSN. Las revistas electrónicas deben contar con su propio ISSN. 19. Definición de la revista. Es requisito que se mencione el objetivo, cobertura temática y público al que va dirigida. 20. Sistema de arbitraje. Deberá constar el procedimiento empleado para la selección de los artículos a publicar. 21. Evaluadores externos. Debe mencionar que el sistema de arbitraje utiliza evaluadores externos a la entidad o institución editora de la revista. 22. Autores externos. Se refiere a que el 50% de los trabajos publicados deben provenir de autores externos a la entidad editora. 23. Apertura editorial. Hace referencia a que dos terceras partes del consejo editorial deberán ser ajenas a la entidad editora. 24. Cumplimiento de la periodicidad. Si la revista cumple con la declaración de periodicidad que se contempla en el criterio 10. 3.4. Características de contenido 25. Contenido original. El 40% de los artículos deben ser trabajos de investigación, comunicación científica u originales. 26. Instrucciones a los autores. Hace referencia a la presencia de las instrucciones a los autores sobre el envío de originales y resúmenes. 27. Elaboración de las referencias bibliográficas. Deberán indicarse las normas de elaboración de las referencias bibliográficas. papeles médicos 2008; VOL. 17 Núm. 1 28. Exigencia de originalidad. Se refiere a la mención de esta exigencia para los trabajos sometidos a publicación. 29. .Resumen. Es requisito indispensable que los artículos incorporen un resumen en el idioma original del trabajo. 30. Resumen en dos idiomas. Se refiere a la inclusión del resumen en el idioma original y en un segundo idioma. Aunque no es un requisito indispensable, su cumplimiento se valora positivamente. 31. Palabras clave. Si se incluyen palabras clave o equivalente en el idioma original del trabajo. 32. Palabras clave en dos idiomas. Se refiere a la inclusión de palabras clave o equivalente en el idioma original del trabajo y en otro idioma. 33. Metaetiquetas. Hace mención a la aparición de metaetiquetas en la página de presentación de la revista. Son etiquetas HTML insertadas el código de la web que llevan información sobre el documento para una mejor indexación. 34. Buscadores. Se valora la presencia de algún motor de búsqueda que permita realizar búsquedas por palabras, por índices, utilizar operadores booleanos, etc. 35. Servicios de valor añadido. Se refiere a si la revista ofrece alertas, enlaces hipertextuales, foros, guías de enlaces. La usabilidad se contempla en esta selección de criterios de una forma completamente integrada. Así en los criterios 1, 5, 7, 9, 11 y 13, además de indicar qué información es necesario proporcionar, se precisa el lugar en el que esta ha de aparecer para facilitar la localización al usuario. Otros autores proponen ampliar estos criterios y adecuarlos al entorno web. Así, Rodríguez Gairín17, Ayuso y Martínez10, Aguillo11,18, Abadal y Rius19 se basan en los parámetros e indicadores propuestos por Codina en su metodología para evaluar los hiperdocumentos9. Codina, además de utilizar los parámetros enfocados a la estructura habitual de una revista, incorpora otros dirigidos a entornos web. Entre otras aportaciones, en la sección de contenidos y acceso a la información añade el paráme- 13 originales tro de ergonomía (que se refiere a la capacidad de hacer agradable la lectura y consulta de un texto)17, con la facilidad, flexibilidad, claridad, legibilidad, recursos media y velocidad como indicadores20-22. Este autor también aporta otras secciones, como la visibilidad (que analiza cómo se ajusta o encaja la publicación digital en el entorno web) y la usabilidad. En el primer caso fija los parámetros de luminosidad, que hace referencia a la cantidad de enlaces del sitio web hacia otros recursos; y la ubicuidad, que consiste en la facilidad de localización del recurso en la web. La luminosidad tiene como indicadores: enlaces; contexto del anclaje, que se refiere a la ubicación del enlace con respecto al texto; oportunidad, que analiza la adecuación del enlace y el número de enlaces que se ajustan a las características de la web; calidad; actualización y tratamiento. Los indicadores de ubicuidad son: título de la página; transparencia, que verifica la existencia de información sobre el contenido de la web para una mejor identificación por parte de los motores de búsqueda; meta información; Dublin Core, que es un estándar de meta datos que se utiliza para una mejor identificación de los recursos, y popularidad. En lo que respecta a la usabilidad, Codina2022 divide los parámetros en procesos, errores y adaptación. El parámetro procesos se divide en los siguientes indicadores: visión de estatus, que se refiere a la indicación de estado de la acción que se está realizando; convenciones, que indica si se utiliza un lenguaje y acciones comprensibles para el usuario, y deshacer acciones. El parámetro errores tiene como indicadores: deshacer acciones; mensajes y consecuencias, que mide el intento de disminuir el grado de consecuencias que tiene un error por parte del usuario. Por último, el parámetro adaptación contiene los indicadores de redundancia, acceso y política22. Otros autores se basan en la organización de los parámetros e indicadores que realiza Codina entre micronavegación y la macronavegación. La micronavegación estudia la organización y estructura interna de la publicación y la macronavegación analiza aspectos de encaje de la publicación en la web10. Aguilló propone que se incorporen paráme- papeles médicos 2008; VOL. 17 Núm. 1 tros como las estadísticas de consumo, que se refieren a datos sobre el número de visitas a la revista; número de artículos descargados y artículos leídos. Estos datos deberían estar disponibles en la web de la revista18. Por último, cabe señalar también el modelo aportado por Abadal y Rius, que se basa en los criterios propuestos por el CNEAI (Comisión Nacional de la Evaluación de la Actividad Investigadora), Latindex (Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal) o el ISI (Institute for Scientific Information). Este modelo establece que dichos criterios e indicadores se pueden agrupar en tres categorías: aspectos formales, adecuación al medio digital y difusión e impacto19. Estos autores incluyen el parámetro de conservación, que se refiere a que se pueda asegurar en el futuro el acceso al contenido de estas publicaciones. También aportan otros indicadores como el factor de impacto y la credibilidad, es decir, el grado de influencia en el pensamiento y acciones de las personas como criterio para evaluar una revista. En este sentido, Abadal y Rius realizan un cruce entre las variables establecidas por la Universidad de Stanford (Tabla 1) para conocer el grado de credibilidad de una web con los parámetros utilizados para la evaluación de las revistas científicas digitales. Con ello, se puede comprobar no solamente la calidad de los contenidos, sino también su credibilidad19. BIBLIOGRAFÍA 1. Otlet P. Tratado de Documentación. Murcia: Universidad, 1996. 2. Cañedo Andalia, R. Las instituciones de información ante la “crisis de la información”. ACIMED.1996; 4(2):3-5. 3. Gómez del Pulgar Rodríguez de Segovia G. Difusión por Internet de las revistas jurídicas españolas de edición impresa. Rev Esp Doc Cient 2006; 29 (2): 258-285. 4. Alvite Díez MªL. Evolución de las bases de 14 originales datos jurídicas en España. An Doc. 2006;7: 7-27 5. Open Access. EPI.2005; 14(4). 6. Marcos MC. La revista electrónica y su aceptación en la comunidad científica. Prof Inf 2000; 9(5): 4-14. 7. García Testal C, Barrueco JM. El panorama editorial en la revolución electrónica. Information world en español 1997; 6 (6):12-14. 8. Internacional Organization for Standardization. ISO 9241. Ergonomics of human-system interaction . Usability methods supporting human-centred design. ( consultado el 14 de mayo de 2008). Disponible en: http://www. iso.org/iso/home.htm 9. Codina L. Evaluación de recursos digitales en línea: conceptos, indicadores y métodos. Rev Esp Doc Cient 2000; 23 (1):9-44. 10. Ayuso García MD, Martínez Navarro V. Protocolo de evaluación de fuentes y recursos informativos en la sociedad del conocimiento: propuestas, enfoques y tendencias. Rev Esp Doc Cient. 2005, 1:21-53 11. Aguillo IF. Evaluación de revistas electrónicas. Prof Inf. 2000; 23(1):9-44 12. Latindex (Sede Web). México; (actualizada el 14 mayo de 2008; (consultado el 14 de mayo de 2008). Disponible en: http://resh. cindoc.csic.es/criterios_latindex_electronicas. php 13. CINDOC-CSIC (2004): Revistas científicas electrónicas: estado del arte [en línea]. Disponible en: http://www.cfieburgos.org.es/noticias/PROPIEDAD%20INTELECTUAL%20 Y%20DERECHOS%20DE%20AUTOR.pdf [Consultado el 12/05/2008]. 14. Fumagallo Díaz-Llanos F; Martínez Morilla JA. Revistas electrónicas: aplicación de una biblioteca de ciencias de la salud. Disponible en: http://eprints.rclis.org/archive/00011949/02/ comunica.pdf [Consultado el 12/05/2008]. papeles médicos 2008; VOL. 17 Núm. 1 15. Román Román A; Vázquez Valero M; Urdín Camino C. Los criterios de Calidad Editorial Latindex en el marco de la evaluación de las revistas españolas de Humanidades y Ciencias Sociales. Rev Esp Doc Cient. 2002; 25(3): 286-307. 16. ¿Qué es Latindex? Disponible en: http:// www.latindex.unam.mx/latindex/busquedas1/latin.html [Consultado el 12/05/2008]. 17. Rodríguez Gairín JM. Parámetros e indicadores de calidad en la evaluación de una revista electrónica: El caso de BiD: textos universitaris de biblioteconomía y documentació [en línea]. Biblioteconomia i Documetació. 2001; (consultado el 12/04/2008).Disponible en: http://www.ub.es/biblio/bid/06gairi1.htm 18. Aguillo IF. Evaluación de revistas electrónicas. Prof inf. [revista en línea] 2005; 15(5). Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2005/ septiembre/1.pdf 19. Abadal Falgueras E, Rius Alcaraz Ll. Revistas científicas digitales: características e indicadores. En: ROCA, Genís (coord.). La presencia de las universidades en la Red [monográfico en línea]. Rev Univ Soc Conoc (RUSC). 2006[Consultado el 15 de abril de 2005]; 3(1). Disponible en: http://www.uoc.edu/rusc/3/1/dt/esp/abadal_ rius.pdf 20. Codina Ll. Evaluación de los recursos digitales en línea: Conceptos, Indicadores y Métodos. Rev Esp Don Cient. 2000; 23(16): 9-44. 21. Codina Ll. Parámetros e indicadores de calidad para la evaluación de recursos digitales. En: VII Jornadas españolas de documentación automatizada. Fesabid 2000. Bilbao: Universidad del País Vasco. 2000. p. 135-144. 22. Codina Ll. Metodología de análisis y evaluación de recursos digitales en línea. (documento reprografiado). Barcelona: UPF. Área de Biblioteconomía y Documentación. Dep. De Periodismo y de Comunicación Audiovisual, 2006. 15 originales Figura 1. El directorio de revistas médicas electrónicas de acceso gratuito Free Medical Journals (www.freemedicaljournals.com). papeles médicos 2008; VOL. 17 Núm. 1 16 originales Tabla 1. Relación entre los indicadores de credibilidad y los parámetros de calidad20. *Accesibilidad. Se refiere la facilidad de acceso a todos los contenidos de una web por parte de cualquier usuario. **W3C (World Wide Web Consortium). Es un consorcio internacional que desarrolla protocolos y pautas para el crecimiento y buen funcionamiento de la Web. papeles médicos 2008; VOL. 17 Núm. 1 17