la evaluación en ciencias sociales y

LA EVALUACIÓN EN CIENCIAS
SOCIALES Y HUMANIDADES A TRAVÉS
DE LAS EDITORIALES DE LIBROS
Elea Giménez Toledo
[email protected]
Grupo de investigación de evaluación de publicaciones científicas (EPUC)
http://epuc.cchs.csic.es/
Instituto de Estudios Documentales sobre Ciencia y Tecnología (IEDCYT)
Centro de Ciencias Humanas y Sociales (CCHS)
Consejo Superior de Investigaciones Científicas (CSIC)
III Seminario EC3 sobre evaluación de la ciencia y la comunicación científica.
Granada, 17-18 de marzo de 2011
Precedentes
Evaluación de editoriales vs libros
Estudio mediante una doble aproximación
• Consulta a expertos en las distintas disciplinas
• Entrevistas en profundidad a editoriales
Proyecto (2009-2010)
Categorización de publicaciones científicas en Ciencias Humanas y Sociales
1. Encuesta a expertos
Dirigida a especialistas (11.000) con un tramo de
investigación reconocido
Encuesta estructurada
perfil del investigador
valoración de la calidad de una editorial
valoración del proceso de edición
2. Cuestionario dirigido a editoriales
1. Encuesta a expertos
Objetivos
Identificar indicadores de calidad relevantes para los
investigadores
Identificar las editoriales españolas y extranjeras más
“prestigiosas”
Conocer el proceso editorial (autores-editores):
Métodos de selección de originales
Transparencia de sus procesos
Tipología de editoriales científicas seleccionadas por los
investigadores
Identificar cómo es el proceso de toma de contacto entre
investigadores y editoriales
Identificar los criterios de los investigadores a la hora de
seleccionar una editorial.
Identificar prácticas de pago a editoriales
Encuesta a expertos
Formulario web
Resultados
3045 respuestas (27%)
Área de conocimiento
Filología Eslava
Didáctica de la Expresión Corporal
Biblioteconomía y Documentación
Arqueología
Didáctica de la Matemática
Historia de la Ciencia
Antropología social
Lingüística Indoeuropea
Teoría e Historia de la Educación
Didáctica de la Lengua y la Literatura
Didáctica de las Ciencias Sociales
Traducción e Interpretación
Didáctica de la Expresión Plástica
Derecho Internacional Público y Relaciones Internacionales
Filología Griega
Didáctica de la Expresión Musical
Didáctica y organización escolar
Filología Vasca
Derecho Eclesiástico del Estado
Filología Alemana
Geografía Humana
Total profesores consultados
7
16
92
93
43
70
118
8
174
60
33
88
17
124
149
9
165
24
71
68
157
Nº
Tasa de respuesta
respuestas
71,43
5
56,25
9
44,57
41
44,09
41
41,86
18
41,43
29
40,68
48
37,50
3
36,78
64
36,67
22
36,36
12
36,36
32
35,29
6
34,68
43
34,23
51
33,33
3
33,33
55
33,33
8
32,39
23
32,35
22
31,85
50
Resultados
Características más valoradas
0
500
1000
1500
2000
2500
El sistema de evaluació n de o riginales mediante reviso res:
Co mités de lectura especializado s
1499
Reviso res externo s
2452
Info rmació n so bre del pro ceso de selecció n de o riginales
1417
La especializació n temática de la edito rial:
Edito rial especializada
1370
Edito rial co n co leccio nes especializadas
Cantidad de publicacio nes so bre la materia
2018
435
El prestigio de la edito rial:
Trayecto ria co ntinuada de la edito rial
2314
Reseñas po sitivas en las mejo res revistas del área
1629
Número de título s y tirada de cada uno de ello s
455
Edito r de relevancia en la co lecció n o en la edito rial
1188
Co o rdinado r de la o bra
974
Co nsideració n ante las agencias de evaluació n
1071
El sistema de difusió n y distribució n de la edito rial:
P resencia en librerías especializadas nac./extr.
1891
P resencia en biblio tecas especializadas nac./extr.
2145
P resencia en bases de dato s internacio nales
1949
Traduccio nes en distinto s idio mas
M arketing edito rial
872
264
P ro yecció n internacio nal de la edito rial
Que la edito rial co edite
1334
272
La calidad de las edicio nes de la edito rial:
P resentació n fo rmal
1479
1638
Estructura adecuada
Índices de auto res, temas, o no mástico s, etc.
Oferta en fo rmato de libro electró nico
1567
914
3000
Resultados
Características más valoradas
0
0,5
1
1,5
2
2,5
3
3,5
4
El sistema de evaluación
de originales mediante
revisores de la editorial
3,92
La especialización
temática de la editorial
3,68
3,85
El prestigio de la editorial
El sistema de difusión y
distribución de la editorial
3,58
La calidad de las ediciones
de la editorial
Oferta de libro electrónico
3,53
2,46
4,5
Resultados
Prestigio de las editoriales
¿Cómo calcularlo?
Indicador de Calidad según Expertos (ICE)
Número de “votos” total para cada editorial
Número de votos en 1ª, 2ª y 3ª posición
Peso específico para cada editorial en función de
ambas informaciones
Los especialistas señalaron
450 editoriales españolas
Más de 700 editoriales extranjeras
Editoriales españolas más prestigiosas
Todas las áreas
EDITORIALES ESPAÑOLAS
Aranzadi
Ariel
Alianza
Cátedra
Crítica
Gredos
Marcial Pons
CSIC
Pirámide
Tecnos
Síntesis
Akal
Tirant lo Blanch
Paidós
Arco Libros
Trotta
Dykinson
Biblioteca Nueva
Morata
McGraw Hill Interamericana de España
Centro de Estudios Políticos y Constitucionales
Comares
Graó
Siglo XXI
Pearson Educación
Documentación
ICE
520,13
393,07
348,06
319,55
283,16
282,19
220,06
210,65
187,13
179,67
171,97
148,36
132,88
131,03
92,27
92,00
76,74
66,41
65,71
64,33
59,01
57,85
54,40
49,92
45,81
EDITORIAL
Trea
Síntesis
Fundación Germán Sánchez Ruipérez
Pirámide
RA-MA
Cátedra
CSIC
Ollero y Ramos
Anaya
Santillana
Arco Libros
Díaz de Santos
Alianza
UNESCO
Eunsa
Paidós
Pearson Educación
Editoriales extranjeras más prestigiosas
Todas las áreas
EDITORIALES EXTRANJERAS
Oxford University Press
Cambridge University Press
Routledge
Springer
John Benjamins
SAGE
Giuffrè
McGraw-Hill
Elsevier
John Wiley and Sons
Brill
MIT Press
De Gruyter
Pearson Education
Presses Universitaires de France
Blackwell
Brepols
Taylor and Francis
Peter Lang
Fondo de Cultura Económica
Harvard Unversity Press
Iberoamericana / Vervuert
Dalloz
Macmillan
CEDAM
Documentación
ICE
590,05
530,51
256,19
241,53
133,02
132,97
132,97
132,54
121,35
111,56
109,57
100,72
95,25
79,15
75,84
74,98
72,99
72,70
70,42
68,94
64,53
53,47
48,60
45,26
37,25
EDITORIAL
Elsevier
Springer
McGraw-Hill
American Library Association
De Gruyter
ASLIB
Libraries Unlimited
IGI Global
John Wiley and Sons
ASIST
Oxford University Press
Reichenberger
Vid. 5
ACM
CHANDOS PUBLISHING
Pearson Education. Addison-Wesley
Universidad Nacional Autónoma de México
Facet
Haworth Press
International Council on Archives
Pearson Education
Blackwell
Scare Crow Prees, Metuchen N. J.
Taylor and Francis
Academic Press
ICE
13,23
12,05
7,8
7,67
4,23
2,25
1,85
1,59
1,59
1,59
1,59
1,59
1,59
1,59
1,59
1,45
1,32
1,32
0,66
0,66
0,66
0,66
0,66
0,66
0,66
Ensayo de categorización de editoriales
Categorización basada en el indicador ICE
Permite ordenar las editoriales
Sobre el ranking generado se aplican los percentiles
Los núcleos de revistas incluidos en cada percentil
pueden ayudar a definir las categorías
Propuesta: percentiles y categorías
147
441
294 294
Percentil 20 Percentil 40
588
Percentil 60
Categoría A
Percentil 80
?
Resultados
Proceso editorial
Contacto autor-editor
0
200
400
La editorial contactó con el
auto r
600
800
1000
1200
1400
1600
1800
1132
El autor contactó con la
edito rial
1865
Publicación como premio en
concurso científico
224
El co ordinador contactó con el
autor para encargar un capítulo
Otro proceso
2000
1686
103
Resultados
Proceso editorial
Tipo de evaluación
0
200
400
600
800
1000
1200
M ediante un co mité de lectura
de la pro pia edito rial
1367
M ediante un info rme de un
evaluado r externo
1055
M ediante un pro ceso de
revisió n po r pares anó nimo
M ediante un pro ceso de
revisió n po r pares no anó nimo
Otro méto do
1400
835
97
101
1600
Resultados
Proceso editorial.
Motivaciones para elegir una editorial
0
500
1000
1500
Especialización temática de la editorial o de la
colección en la que se publica
2021
Buen sistema de difusión y distribución en librerías y
bibliotecas de los libros publicados por la editorial
1555
Presencia en bases de datos internacionales de los
libros publicados por la editorial
966
1155
Buena calidad de la edición
Facilidad en la aceptación del texto ya que se trata de
una editorial de la institución en la que trabajo
Facilidad en la aceptación del texto por tratarse de
una editorial en expansión
Otras.
2500
2086
Prestigio de la editorial
Facilidad en la aceptación del texto ya que financié su
publicación
2000
327
94
114
148
Discusión
¿Ranking o categorización?
¿Nivel de agregación?
¿Resultan penalizadas las especialidades?
¿Resultan penalizadas las áreas o los autores
interdisciplinares?
¿Utilización en política científica?
Sesgos acentuados en plena “cultura de la evaluación”
CONCLUSIÓN CONOCIDA:
COMBINACIÓN EQUILIBRADA DE INDICADORES CUANTITATIVOS E
INDICADORES CUALITATIVOS