Indicios de calidad de sus publicaciones para la ANECA. Campaña 2015 Sevilla, 24 de junio 2015 Formadores: Mª José Martínez ([email protected]) Pilar Romero ([email protected]) . Este obra está bajo una Licencia Creative Commons Atribución 3.0 Unported 1 Contenido Introducción a ANECA: situación actual y próximos cambios Acreditaciones y Sexenios en el portal BUS Búsqueda de indicios de calidad I. Revistas: factor de impacto , otros indicios II. Libros : indicios de calidad editorial III. Citas y Reseñas Recomendaciones finales para cumplimentar el formulario de Acreditaciones 2 Agencia Nacional de Evaluación de la Calidad y la Acreditación Creación: 19 de julio 2002 Objetivo: aportar garantía externa de calidad al sistema universitario y contribuir a su mejora constante Programas de evaluación del CV del profesorado. Para la contratación (PEP) Acceso a las figuras de profesor universitario contratado Garantizar que los candidatos que se presenten a las plazas convocadas por las universidades tengan un nivel adecuado de méritos académicos adaptado al EEES Acreditación Nacional (ACADEMIA) Acceso a los cuerpos de funcionarios docentes universitarios 3 ANECA-Figuras Figuras que se pueden acreditar Profesor ayudante Doctor, PAD Profesor contratado Doctor, PCD Titular, TU Catedrático, CU Fuente: ANECA. Evaluación del Profesorado. 4 En Plan de Actuación 2012. p. 15 ANECA – Qué documentos debemos leer Indicaciones para presentar la solicitud Describe las grandes líneas del modelo de evaluación 5 ANECA - Evaluación Autoevaluación Experiencia investigadora Experiencia docente Formación Académica Experiencia laboral INDICIOS DE CALIDAD de la actividad investigadora Otros méritos 6 Ramas de conocimiento : requisitos Ramas de conocimiento (Art. 4.2. DEL R.D. 1312/2007, DE 5 DE OCTUBRE) Artes y Humanidades Ciencias Ciencias de la Salud Ciencias Sociales y Jurídicas Ingeniería y Arquitectura Consideraciones particulares … 7 ANECA - Requisitos : Comparación Requisito imprescindible para poder solicitar la acreditación: Estar en posesión del Título de doctor. Requisito para solicitar la acreditación al cuerpo de Catedráticos: Pertenecer al Cuerpo de Profesores Titulares de Universidad o al de Catedráticos de Escuela Universitaria siendo doctores Publicaciones: mínimo para alcanzar la puntuación máxima CATEDRÁTICO TITULAR INVESTIGACIÓN CIENCIAS ING/ARQ CCSSJJ A&H CIENCIAS ING/ARQ CCSSJJ A&H 40 24 16 30 20 12 8 15 Preferentemente en los últimos 10 años Preferentemente en los últimos 5 años 8 ANECA - ¿Qué valora? En general……. Actividad investigadora intensa que haya dado lugar a resultados reflejados en publicaciones que representen una innovación o avance en su campo… 9 En el Área de Ciencias Sociales • Preferentemente se valoran las publicaciones en revistas de prestigio incluidas en listados como Social Science Citation Index y Science Citation Index. • Se podrán valorar las publicaciones indexadas en Scopus. • En menor medida IN-RECS e IN-RECJ • También se puede utilizar como referencia de calidad para publicaciones españolas la base de datos DICE. • Se podrán valorar artículos publicados en revistas atendiendo al reconocimiento científico en su área(calidad informativa, cientifica, visibilidad) 10 En el Área de Ciencias Jurídicas En Derecho, además de la publicación de artículos en revistas de prestigio nacional e internacional, se valora muy especialmente la publicación de monografías en editoriales de prestigio. El nº de autores debe estar justificado por el tema, complejidad y extensión No se considerarán como libros o capítulos de libros : . las recopilaciones legislativas o jurisprudenciales. . Los libros de texto y manuales, salvo los muy acentuadamente innovadores 11 ¿Qué se valora en Ciencias jurídicas? * Se valoran las publicaciones científicas cuyo contenido reúna una serie de características: • • • • • • Trabajos que desarrollen nuevas perspectivas del ordenamiento jurídico; Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las normas; Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con el sistema jurídico español, europeo o internacional; Que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas…. Que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones en reglas o instituciones jurídicas; Que sean obras de carácter general que se reconozcan como referencia … * Nota a pie de página en el documento de ANECA “Principios y orientaciones para la aplicación de criterios de evaluación” La misma nota aparece en el apartado de artículos (pág. 52) y en el de libros (pág 57) 12 Resultados de la actividad investigadora publicaciones Artículos de revista: Publicaciones Indexadas con ICR Artículos de revista: Publicaciones Indexadas sin ICR Libros y capítulos de libros Creaciones artísticas y profesionales Congresos Conferencias y seminarios 13 Baremos Puntuaciones máximas para el Cuerpo de Catedráticos • Criterios de evaluación Acreditación para CU 1.- Actividad investigadora 55 2.- Actividad docente o profesional 35 3.- Experiencia en gestión y administración 10 • Requisitos mínimos para una evaluación positiva • Mínimo de 80 puntos en los 3 apartados anteriores • Actividad docente o profesional: Mínimo 20 puntos 14 Baremos Puntuaciones máximas para el Cuerpo de Titulares • Criterios de evaluación Acreditación para PTU 1.- Actividad investigadora 50 2.- Actividad docente o profesional 40 3.- Formación académica 5 4.- Experiencia en gestión y administración 5 • Requisitos mínimos para una evaluación positiva • Mínimo de 65 puntos en los 4 apartados anteriores • Mínimo 60 puntos entre la actividad investigadora + la actividad docente o profesional . 15 Próximos cambios en la acreditación del profesorado universitario Real Decreto 415/2015, de 29 de mayo, que modifica el Real Decreto 1312/2007, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios (Publicado en el BOE de 17 de junio 2015). No entrará en vigor hasta que lo haga el Real Decreto que apruebe los estatutos del Organismo Autónomo ANECA, previsto para el curso 2015/2016 (Disp. final 4ª) Las comisiones y las comisiones de revisión deberán constituirse dentro de los dos meses siguientes a fecha de entrada en vigor de este R.D. (Disp. adicional 1ª). El Director de ANECA, a propuesta de las comisiones de acreditación, establecerá los criterios de evaluación de los méritos que se aplicarán a cada área de conocimiento y establecerá los umbrales mínimos o niveles de referencia de la actividad docente e investigadora (Disp. final 1ª). Consulta el texto del Real Decreto 415/2015 16 Próximos cambios en la acreditación del profesorado universitario ANECA hará público los documentos de orientación a los solicitantes, que contendrán la información precisa acerca de los referidos umbrales o niveles de referencia en la actividad académica, así como de las normas de compensación aplicables en cada ámbito académico y científico. Hasta entonces, los procesos de acreditación se regirán por la normativa existente y, en ningún caso, se producirá la suspensión de los mismos. La entrada en vigor del nuevo Real Decreto provocará la anulación de las penalizaciones temporales existentes por resolución negativa. Quienes hubieran formalizado solicitudes de acreditación conforme a lo dispuesto con anterioridad a la entrada en vigor de este Real Decreto, podrán desistir en cualquier momento y optar por el nuevo procedimiento. Consulta el texto del Real Decreto 415/2015 17 Próximos cambios en la acreditación del profesorado universitario RD 1312/2007 RD 415/2015 Acreditación universal Supresión de la “acreditación universal” Antes se acreditaba a un cuerpo, independientemente de la rama de conocimiento El nuevo R.D. acredita sólo para ejercer en una de las cinco ramas de conocimiento previstas 5 comisiones (una por cada rama de conocimiento) 21 comisiones + 5 comisiones de revisión [26] Las comisiones remitirán la documentación a dos expertos que elaborarán dos informes individuales, a revisar por la comisión, según la documentación aportada por el solicitante Las decisiones de las comisiones se toman colegiadamente, basándose en dos ponencias elaboradas por dos miembros de la comisión. Es necesario un informe favorable de la actividad docente e investigadora por parte del Consejo de Universidades para la exención de la obligación de ser P. Titular para solicitar la acreditación para el Cuerpo de Catedráticos. La exención de ser P. Titular queda vinculada a la acreditación en este cuerpo y una evaluación destacada de su actividad investigadora [A]. Baremo por puntos Baremo alfabético Real Decreto 1312/2007 Real Decreto 415/2015 18 Próximos cambios en la acreditación del profesorado universitario Cambios en los criterios y baremos Real Decreto 415/2015 Se prioriza la investigación. En segundo lugar, la docencia. Las demás dimensiones son Una valoración positiva de la I y D hará innecesario tener en cuenta otros méritos Si no se alcanza el nivel mínimo exigible se tendrán en cuenta los méritos de otras dimensiones Nueva calificación alfabética (A, B, C, D y E) Entre los méritos obligatorios de investigación, se presentarán las cuatro contribuciones que el solicitante considere más relevantes 19 Próximos cambios en la acreditación del profesorado universitario Cambios en los criterios y baremos para el cuerpo de Catedráticos La evaluación de los méritos, debidamente justificados, dará lugar a una calificación alfabética de la A a la E. En cada una de las facetas de la actividad académica esta calificación tendrá el siguiente significado: •A, excepcional •B, bueno •C, compensable •D, insuficiente •E, circunstancia especial 1. El nivel E solo es válido para la acreditación cuando un solicitante haya desarrollado su carrera principalmente en una institución no universitaria o en una universidad no española cuyo nivel de docencia resulte difícil de evaluar. Real Decreto 415/2015 20 Próximos cambios en la acreditación del profesorado universitario Cambios en los criterios y baremos para el cuerpo de Profesores Titulares La evaluación de los méritos, debidamente justificados, dará lugar a una calificación alfabética de la A a la E. En cada una de las facetas de la actividad académica esta calificación tendrá el siguiente significado: •A, excepcional •B, bueno •C, compensable •D, insuficiente •E, circunstancia especial 2. El nivel E solo es válido para la acreditación cuando un solicitante haya desarrollado su carrera principalmente en una institución no universitaria o en una universidad no española cuyo nivel de docencia resulte difícil de evaluar. 3. El nivel D en investigación sólo es válido para la acreditación de Profesores Titulares de Escuela Universitaria Real Decreto 415/2015 21 Próximos cambios en la acreditación del profesorado universitario Méritos evaluables (Anexo 2) 1. Actividad investigadora • Calidad y difusión de resultados : publicaciones, congresos, conferencias, tesis doctorales dirigidas, etc. • Calidad y número de proyectos y contratos de investigación, con resultados constatables. • Movilidad: estancias en centros de investigación con resultados constatables • Otros méritos investigadores 2. Actividad docente • Dedicación docente: amplitud, ciclos , responsabilidad, tipos de docencia, diversidad, intensidad, tesis doctorales dirigidas, etc. • Calidad de la actividad docente: evaluaciones positivas, elaboración de material docente original, proyectos de innovación, publicaciones docentes,etc. • Formación docente • Otros méritos docentes 22 Próximos cambios en la acreditación del profesorado universitario 3. Formación académica (sólo para la acreditación de Titulares de Universidad): • Calidad de la formación predoctoral y postdoctoral: becas, premios, etc. • Calidad de la formación postdoctoral: becas o contratos postdoctorales • Otros méritos de formación académica 4. Experiencia profesional • Calidad y dedicación a actividades profesionales en empresas, instituciones, organismos públicos de investigación distintas a las docentes o investigadoras • Otros méritos de experiencia profesional 5. Experiencia en Gestión y Administración Educativa • Desempeño de cargos unipersonales de responsabilidad en la gestión universitaria o en organismos públicos de investigación. • Desempeño de puestos en el entorno educativo dentro de la Administración General del Estado o en las Comunidades Autónomas • Otros méritos de gestión 23 Marco legal: Real Decreto 1312/2007 de 5 de octubre, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios. (BOE de 6-10- 2007) Orden ECD/233/2014, de 4 de febrero. Fusión Aneca Cneai en un único y nuevo organismo público. (BOE 18-2-14) Real Decreto 415/2015 , de 29 de mayo, por el que se modifica el Real Decreto 1312/2007.(BOE de 17-6-2015). (No entrará en vigor hasta que se aprueben los estatutos de ANECA) 24 Apoyo a la Investigación Servicio de la Biblioteca con tres líneas principales: 1 Evaluación Soporte en convocatoria de acreditaciones y sexenios 2 Publicación Apoyo a la publicación científica 3 Propiedad intelectual Asesoría en cuestiones de derechos de autor y propiedad intelectual 25 Acreditaciones y Sexenios en el portal BUS • Buen punto de partida para buscar indicios de calidad para las publicaciones • Portal de Acreditación y Sexenios • Todos los recursos imprescindibles 26 Acreditaciones y Sexenios Portal estructurado en campos específicos de acreditación • Recursos imprescindibles • Herramientas (criterios, ANECA, CNEAI) • Enlaces a las agencias evaluadoras • Guías de apoyo, cursos, faqs • Dudas y preguntas • Noticias para la investigación Páginas con los recursos para las distintas áreas 27 Guías de Apoyo a la Investigación Guías breves y muy visuales 28FA Indicios de calidad en Revistas Indicios de calidad en Revistas CIENCIAS SOCIALES Y JURÍDICAS VISIBILIDAD Y CALIDAD REVISTAS CIENTÍFICAS ÍNDICES CALIDAD RELATIVO – FI • Journal Citation Reports (JCR) • Scimago Journal Rank (SJR) • IN-RECJ | IN-RECS | RESH | MIAR CALIDAD EDITORIAL • Latindex |DICE |CIRC |ERIH… PRESENCIA EN BASES DE DATOS Ulrichweb |Latindex | DICE | MIAR… FUENTES PARA CITAS Web of Science , Scopus, Google Scholar, Bases de datos jurídicas y plataformas libros electrónicos. 30 Índices de Calidad Relativo Permite conocer la posición que ocupa la revista en un ranking de su especialidad. ¿Qué productos nos ofrecen el ICR? PRODUCTO ÁREA DOMINIO COBERTURA Journal Citation Reports (JCR) Ciencias y Ciencias Sociales Mundial 1997- Scimago Journal Ranks (SJR) Ciencia y Ciencias Mundial Sociales 1999- IN-RECS Ciencias Sociales España 1994- IN-RECJ Ciencias Jurídicas España 2001- IN-RECH Humanidades España 2012 RESH Ciencias Sociales y Humanidades España 1999- Indicios de calidad en Revistas ¿Qué es el Factor de Impacto? El Factor de Impacto es la media de veces que en un año determinado fueron citados los artículos publicados por una revista en los dos años anteriores (nº de citas dividido por nº de artículos). Se utiliza para medir la importancia de una revista, según las citas recibidas por los artículos que publica. Factor de Impacto 32 Indicios de calidad en Revistas Journal Citation Reports (JCR) Grupo Thomson Reuters, ha introducido a nivel mundial la clasificación de las revistas en 4 cuartiles y la asignación de diversos índices bibliométricos (FI, total de citas…) Primer índice bibliométrico internacional de importancia (FI), competencia del SJR. Se basa en las revistas que tiene la WOS indizada (SCI, SSCI) 33 Indicios de calidad en Revistas Journal Citation Reports (JCR) Pinchamos en JCR (Journal Citation Reports) para buscar Si accedemos de forma remota… Factor de Impacto 34 Ejercicio práctico en JCR ¿Tiene la Revista Española de Derecho Constitucional Factor de Impacto? Para saberlo buscamos en el Journal Citation Reports (JCR) 35 Ejercicio práctico en JCR 1er paso: En JCR seleccionamos la edición Social y el año de publicación del artículo o el año más cercano 2º paso: Buscar por área temática, por título o alfabéticamente Pulsar en Submit 36 Ejercicio práctico en JCR Buscamos la revista por título y pulsamos search 37 Ejercicio práctico en JCR Vemos el factor de impacto pinchando en el título abreviado 38 Ejercicio práctico en JCR Por último pinchamos en Journal Ranking para ver el lugar que ocupa 39 Ejercicio práctico en JCR • En este ejemplo hay 139 revistas de la categoría “Law”, y la nuestra ocupa el lugar 115. • En el formulario de la ANECA debemos especificar el lugar que ocupa y la categoría donde está encuadrada 40 Ejercicio práctico en JCR ¿Tiene la Revista Internacional de Sociología Factor de Impacto? Para saberlo buscamos en el Journal Citation Reports (JCR) 41 Ejercicio práctico en JCR 1er paso: En JCR seleccionamos la edición Social y el año de publicación del artículo o el año más cercano 2º paso: Buscar por área temática, por título o alfabéticamente Pulsar en Submit 42 Ejercicio práctico en JCR Buscamos la revista por título y pulsamos search 43 Ejercicio práctico en JCR Vemos el factor de impacto pinchando en el título abreviado 44 Ejercicio práctico en JCR Por último pinchamos en Journal Ranking para ver el lugar que 45 ocupa Ejercicio práctico en JCR • En este ejemplo hay 132 revistas de la categoría “Sociology”, y la nuestra ocupa el lugar 122. • En el formulario de la Aneca debemos especificar el lugar que ocupa y la categoría donde está encuadrada Factor de Impacto 46 Indicios de calidad en Revistas Scimago Journal Rank (SJR) Grupo Scimago, en el que participan varias universidades españolas y el CSIC, ha introducido a nivel mundial otro índice de calidad de revistas Segundo índice bibliométrico internacional de importancia, basado en la base de datos Scopus (Elsevier), competencia del JCR. A diferencia del FI, el SJR se basa en el doble de revistas (18.000, las que tiene Scopus indizadas) 47 Índice de Calidad Relativo : SJR Pinchar en SJR Scimago Journal & Country Rank y buscar la revista… 48 Ejercicio práctico SJR La Revista de Estudios Políticos no está en JCR ¿Dónde busco su índice de impacto? En segundo lugar buscamos en SJR (Scimago Journal & Country Rank) 49 Ejercicio práctico SJR Buscamos revista por título y pinchamos en botón Search 50 Ejercicio práctico SJR Pinchando en “Subject Category “vemos el ranking de la revista dentro de la categoría La seleccionamos Pinchando en pestaña “Data“ Vemos el Impacto del año que nos interese 51 Ejercicio práctico SJR En el formulario debemos especificar el lugar que ocupa y la categoría donde está encuadrada . Para ello buscamos en Journal Rankings En este ejemplo hay 534 revistas de la categoría “Sociology and political science”, y la nuestra ocupa el lugar 383 52 Sugerencia… Si es una revista española, ¿la buscamos o no en los rankings internacionales? Listados de las revistas españolas JCR/Scimago Mirar en FAMA Clásico Otros recursos que nos pueden orientar Consultar DICE. Indicios: valoración de la difusión internacional, Bases de datos Consultar CIRC Categoría internacional. Si es del grupo A o Ex. Buscar el FI. Se puede ver desde DIALNET 53 Índices de calidad nacionales ¿Y si la revista no está en JCR ni en SJR? Habría que mirar los rankings nacionales 54 Buscar en IN-RECJ Seleccionamos área DERECHO ADMINISTRATIVO 55 Buscar en IN-RECJ Ej.: Civitas: Revista Española de Derecho Administrativo 56 Indicios de calidad en Revistas Sin actualizar IN-RECS Índice bibliométrico que determina el impacto científico de las revistas españolas de Ciencias Sociales, a partir de las citas recibidas Calcula el impacto de 761 revistas Facilita el índice H de las revistas científicas españolas según Google Scholar Metrics, 2007-2011 / 2008-2012 / 20092013. IN-RECS no está actualizado desde 2011 y últimamente no está operativo desde su servidor. Para acceder al recurso haga clic aquí. Buscar en In-Recs Factor de impacto 58 Recursos para localizar indicios de calidad en revistas Revistas. Factor de impacto y terciles 59 Revistas: otros indicios de calidad Revistas Otros indicios 60 Otros indicios de calidad en Revistas Presencia en Bases de datos y calidad editorial PRODUCTO ÁREA DOMINIO DICE Sociales y Humanidades España LATINDEX Todas las disciplinas Iberoamérica, España y Portugal ULRICH’S Todas las disciplinas Mundial Todas las disciplinas Mundial MIAR Para ver en qué bases de datos está mi revista... 61 Otros indicios de calidad en Revistas Presencia en Bases de datos y calidad editorial Indicios de calidad en Revistas DICE DICE Introducimos el título de la revista : Hacienda pública española 64 DICE Bases de datos en las que está indexada Evaluadores externos Criterios de calidad cumplidos En los resultados obtendremos datos sobre los criterios Latindex cumplidos; si la revista tiene evaluadores externos y las bases de datos en las que está indexada la revista. 65 Latindex Hacienda pública española Es aconsejable comparar la información de DICE con la información suministrada en Latindex Introducir aquí el título de la revista 66 Latindex Página de información de la revista Bases de datos en los que está indizada la revista Criterios Latindex que cumple la revista. Atención, sólo muestra los criterios Latindex de las revistas que incluyen la etiqueta “En Catálogo” en la pantalla anterior de resultados En el formulario de ANECA pondríamos que la revista figura en el catálogo Latindex y cumple 32 criterios de 33, y está indizada en 7 bases de datos. 67 ULRICHSWEB Revista de Internet, Derecho y Política Muy útil para localizar las bases de datos en las que se han indexado revistas tanto españolas como extranjeras. Aconsejamos introducir el título entrecomillado o el ISSN. Si tiene una ñ poner una n. 68 ULRICHSWEB Revista de Internet, Derecho y Política Estos son los datos que nos interesan para nuestro formulario ANECA: Esta revista tiene revisión por pares, …y está indizada en X bases de datos. 69 RESH La consulta puede hacerse por Título, ISSN o Categoría temática 70 RESH Pinchar para ver criterios de calidad 71 RESH Criterios de calidad editorial según CNEAI, ANECA y LATINDEX 72 RESH Según RESH esta revista está indexada en dos bases de datos, una nacional y otra internacional 73 Indicios de calidad en Revistas • Base de datos que recoge 28.000 publicaciones. Se actualiza anualmente y nos proporciona información sobre la visibilidad de las revistas en función de su presencia en distintos tipos de bases de datos o en repertorios de evaluación como el Sello de Calidad de la Fecyt, Categoría CIRC, SJR, así como la política de acceso abierto. • Del análisis de las revistas sale el ICDS (Índice Compuesto de Difusión Secundaria), basado en la presencia en bases de datos y catálogos, antigüedad y pervivencia de la revista • MIAR es un instrumento de apoyo para quienes han de realizar labores de evaluación: datos sobre la identidad y la difusión de las revistas donde se publican los trabajos objeto de evaluación Indicios de calidad en Revistas • Permite establecer listados ordenados por este índice. Sin índice de impacto Otros indicios de calidad • No es un índice de calidad sino de visibilidad. • Se calcula teniendo en cuenta las bases de datos multidisciplinares y especializadas en las que está indizada, la antigüedad y la pervivencia de la revista. ICDS Índice de difusión 75 Utilidades Incluye revistas internacionales. Permite listados por áreas ordenados por ICDS. Las áreas son muy completas. En las búsqueda permite restringir los resultados sólo a las revistas españolas. Actualizado en 2015. Permite ver las bases de datos en las que está indizada la revista. Muchas revistas tienen el mismo ICDS. 76 Entrando en el título de la revista podemos ver la siguiente información: Evaluada en Presencia en bases de datos Enlace a catálogos 79 Otros indicios de calidad en Revistas Todos estos índices se pueden consultar en MIAR Indicios de calidad en Revistas CIRC CIRC clasifica las revistas en 5 categorías, por orden de importancia: grupos A, B, C, D y una quinta categoría de Excelencia que cumplen algunas revistas del grupo A Consejo: se puede consultar la clasificación CIRC desde Dialnet y desde MIAR 81 CIRC Podemos buscar la revista por título, ISSN o categoría CIRC CIRC clasifica las revistas en 5 categorías, por orden de importancia: grupos A, B, C, D y una quinta categoría de Excelencia que cumplen algunas revistas del grupo A Importante: se puede consultar la clasificación CIRC desde Dialnet 82 Almétricas Son nuevos indicadores para medir el impacto y la visibilidad de la investigación, basados en la interacción entre los usuarios de la web social. Incluyen por tanto las citas recogidas en blog, twitter, las veces que ha sido marcado como favorito o guardado entre las referencias personales de un usuario de redes sociales... 83 Ejemplos de la Guía de ayuda de Aneca 1. Artículo en una revista indexada: indicar la base de datos, el índice de impacto de la revista en el año que se publicó el trabajo, así como el lugar que ocupa en las diversas áreas del JCR. En el caso de que se utilice como referencia de calidad, la base de datos DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas) http://dice.cindoc.csic.es , indicar los principales descriptores de la publicación. 84 Ejemplos de la Guía de ayuda de Aneca 2. Artículo en una revista no indexada. Deberá comentarse: -Calidad informativa: identificación de los Comités editoriales y científicos, instrucciones a autores, información sobre el proceso de evaluación y selección de manuscritos, traducción de sumarios, títulos de los artículos, palabras claves, resúmenes en inglés y publicación de datos del proceso editorial. -Calidad del proceso editorial: periodicidad, regularidad, arbitraje científico, revisores, anonimato en la revisión, instrucciones para la revisión, comunicación motivada de las decisiones, consejos de redacción y asesor. -Calidad científica: porcentaje y tasa de aceptación de artículos de investigación. -Calidad de difusión y visibilidad: inclusión en bases bibliográficas. 85 Indicios de calidad en libros 86 Indicios de calidad en libros En España las agencias de evaluación de la actividad científica como CNEAI o ANECA han contemplado como criterios preferentes para libros: el número y la calidad de las citas recibidas, el prestigio de la editorial, los editores, la colección en la que se publica la obra, las reseñas en las revistas científicas especializadas, las traducciones y su inclusión en bibliografías. 87 Indicios de calidad en libros (Área de ciencias sociales y jurídicas) El texto de Aneca para el área de ciencias sociales y jurídicas dice: Son indicios de calidad en libros o capítulos de libro : -Textos fruto de la investigación o de reflexión bien documentada. -El prestigio de la editorial, la colección donde se publica la obra y los editores (en su caso). En todo caso, se valorará positivamente que exista un riguroso proceso de evaluación y selección de los originales. -Número de citas recibidas. -Las reseñas en revistas científicas especializadas. No se consideran como libros o capítulos de libros: - Las recopilaciones legislativas y jurisprudenciales. - Los libros de texto. - Los manuales (que van en el apartado de actividad docente) salvo los muy acentuadamente innovadores 88 Indicios de calidad en libros La guía de la BUS nos ayuda: Indicios de calidad para libros 89 Indicios de calidad en libros Herramientas para buscar indicios de calidad de libros en Ciencias sociales y jurídicas PRESTIGIO EDITORIAL SPI ((Scholarly Publishers Indicators) Publishers Scholar Metrics Book Publishers Library Metrics Rebiun (Red de Bibliotecas Universitarias Españolas) CITAS RECIBIDAS Bases de datos suscritas: Aranzadi, Vlex, Tirant, La Ley, Iustel, El Derecho Plataformas de libros-e: E-Libro, Biblioteca virtual Tirant B.D Nacionales: In-Recs, In-Recj B.D.Internacionales: WOS y Scopus Motores de búsqueda: Google scholar, Google books RESEÑAS Bases de datos especializadas, Dialnet, Wos, Scopus, CSIC, Google Books 90 Enlaces a las herramientas disponibles para libros del área de Ciencias sociales y jurídicas Calidad editorial Citas y B Reseñas Citas en B.D de Derecho B.D multidisciplinares Publishers Scholar Metrics Book Publishers Library Metrics REBIUN Citas en plataformas de libros-e 91 Calidad editorial Publishers Scholar Metrics Book Publishers Library Metrics REBIUN 92 PRESTIGIO EDITORIAL: SPI Calidad editorial Resultado de un proyecto de investigación, elaborado en 2012 por EPUC (Grupo de Investigación de Publicaciones Científicas) y financiado por el CSIC. Es un ranking de editoriales construido a partir de la opinión de más de 3000 investigadores españoles. Se evalúa la calidad y el prestigio de las editoriales, para los ámbitos de Ciencias Sociales y Humanidades Un ranking orientativo que puede ayudar en los procesos de evaluación Se presenta a nivel general un ranking de editoriales españolas (201 editoriales) y otro internacional (208 editoriales) Ofrece un listado general y otro por disciplinas. Buscaremos nuestra editorial en dichos listados 93 Calidad editorial PRESTIGIO EDITORIAL: SPI Posición en el ranking “Indicador de Calidad de Editoriales según Expertos” (puntuación) 94 PRESTIGIO EDITORIAL: SPI Calidad editorial Pinche en “Ranking SPI “ para ver el Ranking por disciplinas A veces nos conviene más poner la posición de nuestra editorial según el ranking general de SPI, y a veces nos conviene más poner el ranking de la disciplina específica. Por ejemplo: editorial Tirant ocupa el puesto nº 13 en el ranking general, y el nº 2 en la disciplina de Derecho. 95 PRESTIGIO EDITORIAL: SPI Bellas Artes Antropología Arqueología y Prehistoria Documentación Comunicación Economía Educación Estudios árabes y hebraicos Derecho Filosofía Geografía Historia Lingüística, Literatura.. Ciencias Políticas Psicología Sociología Calidad editorial Ranking, editoriales españolas y extranjeras en 16 disciplinas diferentes Y a veces conviene mirar nuestra editorial en varias disciplinas , y elegir aquella en la que esté mejor posicionada. Por ejemplo, si mi área es “Filosofía del Derecho”, y he publicado en la editorial “Tecnos” en el listado de Filosofía ocupa el primer puesto, y en el de Derecho ocupa el cuarto puesto. 96 PRESTIGIO EDITORIAL: SPI Calidad editorial Ranking, editoriales españolas y extranjeras para disciplina Derecho Y en el formulario de ANECA pondríamos : Libro publicado por la editorial …, que de acuerdo con el ranking ofrecido por SPI ocupa la posición nº … de 66 en la lista de editoriales más prestigiosas en España del área de Derecho 97 Publisher Scholar Metrics Calidad editorial Esta herramienta, específica para el área de ciencias sociales, jurídicas y humanidades, presenta cuatro grandes áreas, con un listado de editoriales de prestigio. . En los listados sólo figuran aquellas editoriales que han conseguido publicar libros altamente citados en cada una de las especialidades. 98 Publisher Scholar Metrics Calidad editorial En este ejemplo hemos seleccionado Ciencias jurídicas , y Filosofía del Derecho. Éste es el listado de editoriales prestigiosas en dicha disciplina 99 Publisher Scholar Metrics Calidad editorial Podemos consultar también un ranking general con las 100 editoriales más citadas. Y en el formulario de ANECA pondríamos : Según el ranking de Publisher Scholar Metrics la editorial …. ocupa el puesto nº… en el área de … y el puesto … en el ranking de las 100 editoriales más citadas 100 Book Publishers Library Metrics Calidad editorial Los investigadores del área de Ciencias sociales y jurídicas publican en una amplia variedad de medios, aunque tienen una especial predilección por las monografías publicadas en su lengua vernácula y en editoriales nacionales, así como una inclinación a citar fundamentalmente este tipo de documentos, por encima del resto. Book Publishers Library Metrics Calidad editorial Contabilizar el número de libros presentes en bibliotecas supone indirectamente medir su impacto. Aquí la difusión o visibilidad de una editorial es entendida como la capacidad que tiene un libro de ser visible y accesible en los distintos catálogos de bibliotecas académicas. La presencia de un libro en un gran número de bibliotecas académicas es un signo no sólo de alta visibilidad y de accesibilidad. En el formulario de Aneca podemos añadir como indicio de calidad que nuestro libro está catalogado en … bibliotecas académicas. Para ello buscamos en esta nueva herramienta Book Publishers Library Metrics Book Publishers Library Metrics Calidad editorial Es un índice bibliométrico que pretende medir la difusión y visibilidad de las editoriales de libros científicos en el ámbito de las Humanidades y Ciencias Sociales a partir del recuento de los libros incluidos en los catálogos de bibliotecas universitarias y académicas españolas que integran el catálogo colectivo REBIUN. Book Publishers Library Metrics Calidad editorial Si seleccionamos Derecho, éste es el listado Y en el formulario de ANECA pondríamos : según el ranking Book Publishers Library Metrics, la editorial ocupa el puesto… Rebiun Calidad editorial Una vez encontrado el libro en el catálogo de Rebiun, ver en Localizaciones en cuántas bibliotecas está presente la monografía. Y en el formulario de ANECA pondríamos : “La monografía, según REBIUN, está catalogada en…. Bibliotecas universitaria españolas “ Formulario Libro Ejemplos de otros indicios de calidad En el formulario, en el apartado “Indicios de calidad”, pondríamos: Libro publicado por la editorial …, que de acuerdo con el ranking ofrecido por SPI ocupa la posición nº … de 66 en la lista de editoriales más prestigiosas en España de Derecho. Según el ranking de Publisher Scholar Metrics ocupa el puesto nº… en el área de …. ; y según el ranking Book Publishers Library Metrics, la editorial ocupa el puesto… La monografía, según REBIUN, está catalogada en…. Bibliotecas universitaria españolas Prologado por ……., Catedrático de Derecho... A esta obra hacen referencia algunos de los más destacados especialistas como... Es una obra ampliamente citada en las monografías posteriores sobre la materia… y reseñada en las siguientes revistas científicas… Ha sido patrocinado por el Grupo de Investigación… 107 Buscar Citas 108 Herramientas para buscar citas Citas en B.D de Derecho Citas y Reseñas B.D B multidisciplina res Citas en plataformas de libros-e Enlaces a las herramientas disponibles en la Biblioteca 109 Buscar Citas Bases de datos del Área de Ciencias Sociales y Jurídicas: La ley digital Vlex Buscar CITAS Bases de datos suscritas: La Ley Tirant online Digital, Vlex, Tirant, Aranzadi, Iustel, El Derecho. Aranzadi Iustel Plataformas de libros-e: E-Libro, Biblioteca virtual Tirant El Derecho Plataformas de Libros-e: E-Libro, Bca. virtual Tirant B.D Nacionales: In-Recs, In-Recj Recursos nacionales cc.sociales/juridicas B.D.Internacionales: WOS y In- Recs Scopus In- Recj Bases de datos internacionales multidisciplinares: Web of Science Scopus Google Académico y Google Books Motores de búsqueda: Google scholar, Google books 110 Consejos para buscar citas En líneas generales… Para realizar la búsqueda dependerá del recurso específico que estemos utilizando(Ej. “búsqueda general / avanzada”, “texto libre”, “texto completo”…) Buscamos por nuestro apellido o por el título de nuestro trabajo, en recursos que contienen información a texto completo (recomendable buscarlo entrecomillado). Las citas a nuestros trabajos pueden aparecer en el texto completo (citas pie de página…) o en la relación de referencias bibliográficas . En las bases de datos internacionales ( Web of Science y Scopus), buscamos por el campo Referencia o Referencia citada 111 Cómo buscar Citas Bases de datos del Área de Ciencias Sociales y Jurídicas Acceso rápido desde: Página web de la Biblioteca de Derecho y Ciencias del Trabajo o desde la Guía por Materias de nuestra biblioteca Las bases de datos suscritas por la Biblioteca ofrecen información sobre citas y reseñas. 112 Buscar citas en La Ley digital En Doctrina, en la casilla de búsqueda general, teclear los apellidos y/o palabras del título, y dar al botón encontrar. 113 Buscar citas en VLex Buscar por contenido Libros y Revistas “Apellidos” o por el “título” 114 Buscar citas en Tirant online • Buscar en Doctrina --> Que contenga la expresión --> Con la frase exacta • Al pinchar en uno de los títulos, y ver el documento en pantalla, aparecen las citas en amarillo. Si se descarga el libro no sale el nombre sombreado en amarillo. 115 Buscar citas en Aranzadi En la pestaña Bibliografía, en el campo “texto libre”, buscar por los apellidos, y/o título, entrecomillados. Salen x documentos. Seleccionar uno y volver a buscar dentro de ese documento el apellido. El nombre buscado lo marca en verde . 116 Buscar citas en Iustel Tecleamos, en texto, el nombre del autor y/o título susceptibles de recibir citas. Y pulsando en cada título rastreamos las posibles citas que el trabajo ha recibido. 117 Buscar citas en Iustel En Revistas Generales de Derecho hemos encontrado 1 en títulos de artículos , 1 artículos con ese autor y también 50 en el texto de los artículos 118 Buscar citas en Iustel Pantalla de resultados 119 Buscar citas en El Derecho Buscamos por los apellidos, y/o título, entrecomillados, y en los resultados seleccionamos la pestaña bibliografía. El resultado aparece sombreado en amarillo. 120 Buscar citas en plataformas de Libros electrónicos Citas en plataformas de libros-e Buscar los apellidos y/o título entrecomillados en la búsqueda simple, y en el listado que obtengamos, pinchar en “ver citas de contenido” 121 Buscar citas en plataformas de Libros electrónicos Citas en plataformas de libros-e Pantalla de resultados 122 Buscar citas en E-Libro Citas en platafor mas de libros-e Con los iconos de la lupa puede ir pasando a las siguientes páginas donde citan a dicho autor. Buscar los apellidos y/o título entrecomillados en la búsqueda simple, o en la avanzada (en este caso en la opción texto). Al pinchar en el título parecen resaltadas las citas y las referencias bibliográficas. Por defecto aparece marcada la opción “Resaltar los téminos de búsqueda”, aunque a veces lo busca pero no lo resalta. 123 Buscar citas en In-Recs In-Recs: Revistas Españolas de Ciencias Sociales Recurso elaborado por el grupo de investigación "Evaluación de la Ciencia y de la Comunicación Científica" de la Universidad de Granada. • Permite conocer cuáles son los 100 artículos más citados de una especialidad, así como cuáles son los autores, artículos y revistas que los citan. • También facilita una lista de los autores más citados en cada especialidad indicando el número de citas. • A través de la opción Buscar-Por cita bibliográfica concreta permite saber las citas que ha recibido un artículo. 124 Indicios de calidad en Revistas Sin actualizar IN-RECS Índice bibliométrico que determina el impacto científico de las revistas españolas de Ciencias Sociales, a partir de las citas recibidas Calcula el impacto de 761 revistas Facilita el índice H de las revistas científicas españolas según Google Scholar Metrics, 2007-2011 / 2008-2012 / 20092013. IN-RECS no está actualizado desde 2011 y últimamente no está operativo desde su servidor. Para acceder al recurso haga clic aquí. Buscar citas en In-Recs 126 Buscar citas en In-Recj In- Recj : Revistas Españolas de Ciencias Jurídicas : Recurso elaborado por el grupo de investigación "Evaluación de la Ciencia y de la Comunicación Científica" de la Universidad de Granada. • Permite conocer cuáles son los 100 artículos más citados de una especialidad, así como cuáles son los autores, artículos y revistas que los citan. • También facilita una lista de los autores más citados en cada especialidad indicando el número de citas. • A través de la opción Buscar-Por cita bibliográfica concreta permite saber las citas que ha recibido un artículo. 127 Buscar citas en In-Recj Se puede buscar, dentro de cada área, por Revista, Artículo y Autor. La búsqueda por Autor se puede ordenar por: 128 Buscar citas en Google Académico • Google Académico o Google Scholar: ofrece datos de citas de autores y de sus trabajos cuando procede. • Busca tanto en artículos de revistas, libros, como capítulos de libros. • Es preferible hacer la búsqueda con el título o autor entrecomillado. • Se aconseja analizar los resultados detenidamente ya que se pueden producir errores. 129 Citas en Google Académico Búsqueda de citas: Buscamos directamente nuestro artículo y comprobamos la opción Citado por. Con la herramienta Mis citas vemos el listado de nuestras publicaciones ordenadas de mayor a menor en la columna Citado por. Ejemplo de búsqueda de citas en Google académico por título del trabajo 130 Citas en Google Académico 131 Buscar citas en Google Académico Ejemplo de búsqueda de citas en Google académico por autor del trabajo Citado por Alertas Puede crearse alertas, y así, cada vez que en Google Académico vuelvan a volcar ese término (autor, materia,…) le llegará una alerta con la nueva incorporación Resultado al pinchar en “citado por” 132 Buscar citas en Google Books Google Books o Google Libros : Permite encontrar los documentos que citan nuestro libro. Es preferible hacer la búsqueda con el título o autor entrecomillado. Una vez encontrado el libro, si tiene un epígrafe con Referencias a este libro, es que has encontrado citas a dicho documento. Incluye a Google Académico. 133 Buscar citas de libros en Google Books 1º : seleccionar libro 2º : buscar Referencias 3º Según Google Books el libro de Ortega ha sido citado en estos dos trabajos 134 Buscar citas en la Web of Science WOS: Base de datos de Thomson que permite localizar las citas que ha recibido el trabajo (artículo o acta de un congreso) de un autor. • El idioma con presencia casi exclusiva es el inglés, de forma que la producción científica generada en áreas no anglosajonas queda relegada. • En cuanto a la representación por materias, priman las ciencias biomédicas y naturales, por encima de las tecnologías y en detrimento sobre todo de las humanidades y ciencias sociales. • La BUS ha elaborado esta guía sobre Informes de citas: WOS 135 Buscar citas en la Web of Science Ejemplo de búsqueda en WOS Buscamos por título del trabajo o por Autor. Delimitamos por años, por áreas ( desmarcamos todo menos Social Science). Ejemplo: Búsqueda simple, buscar por apellido. Resultados Para limitar por el área de Ciencias sociales 136 Buscar citas en la Web of Science Crear alertas 137 Buscar citas en la Web of Science En la WOS hay muy pocas revistas españolas de nuestra área: Revista Española de Derecho Constitucional; Hacienda Pública Española… Pero se pueden encontrar citas de documentos no incluidos en la base de datos 138 Buscar citas en Scopus Scopus: Base de datos de Elsevier que recoge las citas que ha recibido el trabajo de un autor. En búsqueda por título respeta el idioma original del trabajo. La búsqueda por autor recupera las distintas variantes de firma. La búsqueda por el campo Referencia , poniendo el título del trabajo entrecomillado, permite localizar citas a documentos no incluidos en la base de datos de Scopus. Document Searchdesplegar y buscar “references” entrecomillar el título Buscar 139 Buscar citas en Scopus Pinchando en Biblioteca te enlaza al catálogo Fama 140 Buscar citas en Scopus 141 Buscar Reseñas 142 Recursos para buscar Reseñas ¿Qué valora ANECA en relación a las reseñas en el área de Ciencias Jurídicas? : “También se consideran, aunque con muy poca puntuación, las reseñas recibidas o publicadas en las revistas científicas especializadas y las traducciones a otras lenguas.” (pág. 20 del documento Principios y orientaciones para la aplicación..) 143 Recursos para buscar Reseñas • En Google Books, en la Web of Science o en Dialnet. • La búsqueda de reseñas es muy similar a la de citas recibidas, tanto en lo referente a los recursos utilizados como a la forma de realizar la búsqueda. Buscaremos, generalmente, por el título del trabajo. • Buscamos la reseña por el campo título del documento, utilizando como términos de búsqueda el título del libro. 144 Buscar Reseñas en Google Books Una opción de buscar reseñas es: teclear el título del trabajo entrecomillado , el autor y las palabra Reseña y Revista Otra opción: Una vez localizado el libro en Google Books, pinchamos en la pestaña "Acerca de este libro", no siempre disponible, y encontraremos bajo el epígrafe Referencias en páginas web, reseñas en revistas científicas (dependerá de la disponibilidad de acceso al texto completo), junto a otro tipo de información. No aportar en la convocatoria "Reseñas de los usuarios", cuando existe, pues no son reseñas publicadas en revistas científicas. 145 Buscar Reseñas en Google Books Buuscar en Google books: "la voluntad de vivir" Camps reseña revista. Pinchando aquí nos muestra la reseña de Dialnet Pinchando en Resultados nos muestra la reseña del libro en una revista 146 Buscar Reseñas en Google Books Pinchando aquí nos muestra una reseña Otra reseña 147 Reseñas en Google Books Ejemplo de reseñas en Google no válidas para Acreditación. Ej.: “Experiencias jurídicas y teoría del derecho” “Diez-Picazo” Y pinchamos en Reseña Algunas reseñas no nos sirven, como ésta del ejemplo, porque es una reseña de un usuario. Tenemos que buscar reseñas en revistas científicas 148 Buscar Reseñas en la WOS • Buscamos la reseña por el campo título del documento, utilizando como términos de búsqueda el título del libro, siempre en inglés, en la pantalla de búsqueda principal. • No podemos buscar por autor, porque en ese campo figura en la base de datos el autor de la reseña, no el del libro. • Después limitamos por tipo de documento book review. 149 Buscar Reseñas en la WOS Ejemplo: Seleccionar en Búsqueda básica : Tipo de documento : book review y en título escribir: “Using a Law Library” 150 Buscar Reseñas en Dialnet Ha sido reseñado en 151 Congresos , Conferencias y Seminarios 152 Congresos Los congresos científicos considerados son los de carácter internacional (y excepcionalmente los nacionales de especial relevancia), que incluyan revisión por pares y con una antigüedad y periodicidad que les convierta en referencia en su ámbito de conocimiento. En relación a estos congresos se valoran: • Ponencias invitadas • Comunicaciones orales y en forma de póster • Resúmenes extendidos de actas de congresos (proceedings) • Otras presentaciones a congresos P. 25 de los principios y orientaciones del programa ACADEMIA Conferencias y seminarios Las conferencias y seminarios se valoran, siempre que sean aportaciones relevantes, en los siguientes casos: • Conferencias y seminarios de especial relevancia en su ámbito (en seminarios de carácter periódico u organizados por sociedades científicas). • Seminarios invitados en centros docentes o de investigación. • Seminarios que den lugar a la publicación de un documento difundido. P. 25 de los principios y orientaciones del programa ACADEMIA Congresos, Conferencias… En la valoración final influirán además: • El prestigio de la editorial que publica las actas y el tipo de publicación (resumen, publicación corta, publicación detallada…) • El tipo de intervención (comunicación oral, ponencia invitada…) • Relevancia de la institución que organiza el congreso o donde se imparte el mismo • Composición nacional o internacional del Comité científico Recomendaciones finales 156 Recomendaciones finales para completar el formulario de ANECA El C.V y la solicitud para acreditarse como Titular o como Catedrático se puede presentar en papel o en formato electrónico. Cuando entre en vigor el nuevo Real Decreto la solicitud para acreditarse será, seguramente, sólo electrónica. 1º Hay que ser estratega para completar de la forma más ventajosa el formulario. 2º Guardar constantemente los cambios. 3º A la hora de rellenar el apartado “otros indicios de calidad” el tiempo caduca, por lo que es mejor hacer un documento (word) aparte ,y copiar y pegar. 4º En el formulario electrónico hay un límite de caracteres. Si se necesita más espacio se puede hacer un anexo. 157 Recomendaciones finales para completar el formulario de ANECA Índice de impacto: indicamos en números arábigos el Factor de Impacto de JCR. Posición de la revista: indicamos el lugar que ocupa la revista del total X de revistas de esa categoría. Las revistas estarán ordenadas según su factor de impacto, de mayor a menor (los primeros puestos son los más importantes). Nombre de la categoría. Si la revista tiene mayor factor de impacto en una categoría que en otra, debemos ser estrategas y elegir la que más nos beneficie. Tercil: lo elegimos del desplegable. Citas en JCR: se refiere al número de citas recibidas por el artículo en Web of Science. Nº de citas totales: total de citas recibidas, incluyendo las de WOS y las de otros recursos. Otros indicios (otra información): aportamos cualquier otra evidencia de calidad para nuestro artículo. Por ejemplo, es el lugar donde indicamos la procedencia de las citas que no se incluyen en WOS. 158 Formulario – Revistas indexadas 159 Formulario – Revistas no indexadas 160 Formulario -Libros 161 Formulario - Congresos Enlaces a las herramientas disponibles para Revistas del área de Ciencias sociales y jurídicas Revistas. Factor de impacto y terciles Revistas Otros indicios Enlace a ANECA 163 Enlaces a las herramientas disponibles para libros del área de Ciencias sociales y jurídicas Calidad editorial Citas en B.D de Derecho Citas y B Reseñas B.D multidisciplinares Publishers Scholar Metrics Book Publishers Library Metrics REBIUN Citas en plataformas de libros-e 164 La biblioteca te puede ayudar… 1. Firma siempre tus trabajos de la misma forma: firma unificada. 2. Comprueba que tus publicaciones están recogidas en Dialnet. Si falta alguna, la biblioteca te ayuda. 4. Antes de enviar un trabajo a una editorial o una revista, estudia el prestigio de la misma, su indicios de calidad. Apuesta por aquellas que estén mejor posicionadas. 5. Si tu trabajo se hace público en el repositorio de la Universidad de Sevilla (idUS), tendrá mayor visibilidad y serás más citado . Si no sabes cómo, pregunta en Biblioteca. Muchas gracias Encuesta de satisfacción Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercialCompartirIgual 3.0 Unported 166