• Evaristo Jiménez Contreras
Anuncio
Cienciometría,yevaluación la ciencia (…yrevistas de las Cienciometría medidas dedecalidad de las revistas) científicas Dr. Evaristo Jiménez-Contreras Facultad de Comunicación y Documentación Universidad de Granada GRUPO EC3 Cátedra Celestino Mutis, Bogotá 10 noviembre 2014 Contenido • • • • • Definición Algo de Historia Estructura, funcionamiento La primera pregunta Aplicaciones – – – – – Evaluación de proyectos Evaluación de revistas Evaluación de investigadores Rankings Evaluación de Instituciones • Ejemplo de la UGR Definición: qué es, para qué sirve la Cienciometría? • Vinckler, (1991) – Cienciometría es una disciplina científica dedicada a los aspectos cuantitativos de la Ciencia y la investigación científica. • La Cienciometría es una disciplina nacida como variación sobre la Bibliometría de la que toma sus metodologías pero las aplica exclusivamente sobre el análisis de la Ciencia y a la que añade todas las fuentes que pueden completar ese estudio. • Entre sus usos estaría el mejor uso de los recursos para la investigación Su posición BIBLIOMETRICS INFORMETRICS CIBERMETRICS WEBMETRICS SCIENTOMETRICS SCIENTOMETRICS Bjorneborn, L. (2004): Small world link structures across academic web space. A Library and Information Science approach Algo de Historia • • • • Cuando nace?, los primeros recuentos.. Precursores: Cole & Eales, Hulme, Ortega Clásicos: Lotka, Zipf, Bradford… los modelos Maduración: – Price, la Ciencia de la Ciencia – Garfield, ISI – Brookes, El envejecimiento • Hoy: – – – – – Es una disciplina muy europea y cada vez más asiática Hard Science Muy estructurada: sociedades científicas, revistas, congresos. Fuerte proyección social Controvertida Estructura funcional Investigación Aplicaciones Básica: Modelos, leyes, citas, redes… Indicadores Metodologías para el análisis de especialidades Benchmarking Desarrollo de bases de datos, repositorios Política científica en general Resultados/Productos Evaluación de autores Evaluación de proyectos Evaluación/Rankings revistas Rankings institucionales Evaluación institucional Nuevos indicadores altmetricos Lo que medimos (lo que podemos medir) •RRHH •Recursos Econ. •Variables de entorno • Económicas • Políticas •Producción científica Caja negra •Formación •Transferencia •Labor social • Variables mixtas: financiación externa, becas… La primera pregunta: es posible la evaluación de la Ciencia? Evaluación en Ciencia • La evaluación es inherente a la actividad científica. – La revisión por expertos es uno de los signos distintivos del quehacer científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo) • Es cualitativa/cuantitativa • Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica Es posible la planificación y la evaluación en Ciencia? • El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muy complejo que implica a numerosos agentes: – Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto • Sus efectos y algunos de sus factores son en parte intangibles • Es incierta y a veces impredecible • Las herramientas analíticas están poco desarrolladas (aunque cada vez más) • Con frecuencia genera polémicas y tiene efectos contraproducentes Es posible la planificación y la evaluación en Ciencia? • Por otra parte hay razones que parecen aconsejarla: – Optimización de recursos – Planificación de inversiones y de carreras – Evaluación de proyectos – Justificación ante la sociedad El debate sobre la Política científica Entre la Ciencia responsable. Bernal JD, (1931) La responsabilidad social del científico Los poderes públicos pueden y deben controlar la orientación de la Ciencia Y la república de la Ciencia… La evaluación ex ante no es necesaria porque “the results of any one particular investigation cannnot be predicted with accuracy” (Bush, V. 1945) Los científicos debían gozar de libertad total, nace la NSF La práctica evaluadora se generaliza a partir de los 70-80 como consecuencia de la crisis económica A quien interesa o afecta? La evaluación de la Ciencia es un territorio donde convergen muchos intereses: Académicos Desde la Universidad se suministran las herramientas y los fundamentos teóricos que la hacen posible. Políticos Desde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades Económicos Se aportan criterios para priorizar la investigación y se aprovechan de sus resultados Sociales Se impulsan prioridades y se benefician de los resultados Consecuencias: Internas Determina las carreras académicas Asigna la financiación Estratifica a la población Incrementa la eficiencia del sistema científico Externas Hasta cierto punto define la orientación en la medida en que es una herramienta de la PC Da cuenta a los gestores y a la ciudadanía del estado de sus instituciones científicas Otra reflexión previa La reflexión sobre los indicadores y usos de la Cienciometría no es meramente técnica/teórica, Tiene unas evidentes implicaciones políticas. Su uso deben ser decidido a la luz del modelo de universidad que busquemos (y no hay un modelo único). La no evaluación de las actividades científicas, o su disolución entre un conjunto más o menos amplio de objetivos o indicadores. también es una opción política, La percepción de las evaluaciones Actitud de los investigadores franceses ante los procesos evaluativos: Actitud Porcentaje Totalmente en contra 15 Aceptan con reparos 85 Totalmente a favor 0 Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS y H), Desde luego no gustan en España (en Latinoamérica?) Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones En Alemania a día de hoy no hay un sistema constituido de evaluación institucional Situación de las universidades en Iberoamérica • No existe un patrón común: – Países con sistemas universitarios muy desarrollados: México, Chile, Brasil, Colombia y otros… – Países con infraestructuras organizativas maduras y otros… • También hay que considerar si nos dirigimos a: – Universidades enfocadas a investigación o a docencia – Si tienen orientación internacional, nacional o local – Si los destinatarios de los indicadores son usuarios, gestores, responsables políticos – Públicas o privadas – Si aspiran a la excelencia científica o tienen una agenda social • Por tanto los indicadores deben adaptarse a esos modelos y objetivos. Aplicaciones Ámbitos de actuación Resultados/Productos Evaluación de proyectos Evaluación de autores Evaluación/Rankings revistas Rankings institucionales Evaluación institucional Valoración de proyectos • Desde los primeros ensayos en USA la valoración de proyectos ha incluido sistemáticamente un apartado de valoración de los CV de los solicitantes • Gradualmente esta valoración ha incorporado elementos bibliométricos – Producción, impacto, citas como parte del proceso Caso España, la ANEP Agencia Nacional de evaluación y Prospectiva (1989) 1, Méritos científicos del investigador principal y del resto del equipo de investigación. 1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo. 1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación 2. Interés científico-técnico del proyecto. 2.1 - Valorar el grado de novedad y relevancia del proyecto y el avance científico-técnico que supone respecto del estado actual del tema. 2.2 - Valorar los resultados esperables de los objetivos propuestos, el conocimiento del estado actual del tema y la claridad de ideas en el desarrollo del proyecto 3. Viabilidad de la propuesta. 3.1 - Capacidad del equipo de investigación para llevar a cabo los objetivos propuestos. No valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado. Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros. Aplicación a la evaluación de las carreras académicas e institucionales • Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia, España… han implementado alguna forma de premio por publicar fuera. • Se vincula la carrera académica a la publicación en los “mainstream journals”. • En general promueven la autoselección por parte de los autores • Consecuencias: • La investigación ha pasado a ser el centro de la vida universitaria • Incremento de las cifras de publicaciones internacional • Reacción en contra de las áreas de CCSS y Hum. Algunos ejemplos; Noruega • Tipos de publicaciones “A,B,C publications that could have achieved greater significance by expending more effort and being compiled into a smaller number of publications” • Tipos de investigadores: local, nacional, Internacional • “As a general rule, publications in publication channels with local authorship are not to be included in the statistics on academic publishing reported to the Database for Statistics on Higher Education (DBH), and which would therefore be included in the Ministry’s basis for setting the research component of the budgets.” • Se diferencia entre Thomson Sci, Norart y BibSys • Definición de publicación académica: originalidad, metodología canal, lengua. Algunos ejemplos; UK, del RAE al REF • • • • • • • • • Controvertido, calificado como muy negativo o muy positivo Mide la calidad de los resultados (publicaciones), entorno, reputación Flexible: cada panel establece sus reglas y umbrales. Se valoraban los 7 años anteriores del miembros permanentes pero se consideró a los part-time más adelante. Selección de las mejores publicaciones 15 paneles y 67 subpaneles Muy costoso Incremento de la visibilidad pero no necesariamente de la calidad (Moed 2008) Ha generado una adaptación de conductas Algunos ejemplos; UK, del RAE al REF • Valoración en 5 niveles. • Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente 15% • 36 paneles • Cada panel desarrolla sus propios criterios. A modo de ejemplo en el de Medicina no se menciona el impacto científico clásico medido en citas o similar. • Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither receive nor make use of citation data, or any other form of bibliometric analysis including journal impact factors. España • CNEAI: objetivos – Introducir un régimen retributivo para incentivar, mediante evaluaciones, la actividad investigadora de calidad – Fomentar que los investigadores orienten sus trabajos a lograr resultados de amplia repercusión (internacional) científica y social • Procedimiento: – Evaluación sobre resultados de investigación: Las publicaciones – Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación forma – Evaluación por pares: comisiones de expertos y selección de las mejores publicaciones de cada candidato (5 en 6 años) – Valoración bibliométrica sobre todo España • ANECA fue creada en 2002 • la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado (Ayuda para la toma de decisiones) Qué evalúa ANECA? ¿Qué dimensiones evalúa ACADEMIA? MÉRITOS DOCENTES ACTIVIDAD INVESTIGADORA • • • • • Artículos en revistas Libros y Capítulos Proyectos y contratos Transferencia Congresos FORMACIÓN ACADÉMICA • • • Títulos y premios Becas y ayudas Estancias de investigación Docencia universitaria Dirección de tesis, tesinas, trabajos grado… Cursos de formación docente • • • GESTIÓN • • • Cargos Académicos Puestos en la administración Liderazgo de grupos de investigación y docentes OTROS MÉRITOS ANECA: una evaluación integral de la actividad académica ANECA (2002 →) Docencia • 2008 programa ACADEMIA 22.000 evaluaciones) … pero, de(>hecho. Gestión INVESTIGACIÓN Transferencia Pesos y puntuaciones para acreditación CU TU Investigación Investigación Docencia Docencia Formación Formación Gestión Gestión Valoración de las revistas Revistas Indexadas o con Índice de Calidad Relativo JCR Revistas no Indexadas o sin Índice de Calidad Relativo ¿Cuántas publicaciones son necesarias en ANECA? o 1 index CU Ciencias y Ciencias de 40 SCI (50% primer tercio) la Salud PTU 20 SCI (50% primer tercio) Indicadores para revistas • Indicadores cualitativos • Indicadores cuantitativos – Basados en citas • FI, SJR, SNIP, AI…, sin ponderar, ponderadas – Nuevos • Uso: visitas, descargas…Altmétricas • Redes: Intermediación, centralidad… Rankings • • • • Los rankings son un arma arrojadiza Son unidimensionales o lo que es peor multidimensionales Difieren en sus reglas por tanto son incomparables entre sí No descansan en supuestos teóricos claros en muchos de sus apartados Rankings • Los rankings han proliferado en los últimos años – Internacionales, nacionales – Unidimensionales, multidimensionales, sintéticos – Orientados a investigación, a la profesión, etc. – Cerrados, adaptables • Lo bueno es que siempre podemos elegir el que más convenga a nuestra agenda científica o política. Desmontando los rankings • Elementos que componen la realidad universitaria: Investigación Investigación Docencia Reconocimiento Inserción laboral Opinión de los expertos Transferencia Opiniones y éxito de los egresados Otras labores sociales • Elementos que componen la realidad de los rankings Una valoración personal • Cual es la razón del éxito? – Percepciones, metodologías, información, expectación mediática • Los rankings han venido para quedarse por tanto… – Hay que tener un programa de actuación y debemos ser proactivos – Conocer sus criterios internos y potenciarlos en nuestra política científica si son razonables y es factible hacerlo, por ejemplo; • Favorecer la publicación en revistas internacionales de alto impacto • Contratar profesores de reconocido prestigio • Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos Evaluación institucional • La incorporación de las herramientas ciencimétricas a la gestión de la universidad es uno de los grandes cambios de la política universitaria reciente • Permiten – La toma de decisiones informada – La asignación de recursos de forma más objetiva y coherente – La evaluación de los logros de las políticas y el grado de acercamiento a los objetivos – La rendición de cuentas Un ejemplo de aplicación: la unidad de Bibliometría de la UGR Daniel Torres-Salinas, Evaristo Jiménez-Contreras: Hacia las unidades de bibliometría en las universidades: modelo y funciones. REDC, Vol 35, No 3 (2012) Las unidades de Bibliometría Un ejemplo de Transferencia: EC3metrics Muchas Gracias! [email protected]
