Presentación a cargo del Dr. Gabriel Bilmes de la Universidad

UNLP
Seminario PLACTED –UNLP : La evaluación de la ciencia en Argentina: la
ausencia de criterios de pertinencia social y económica”.
¿Qué se quiere evaluar? ¿Quiénes deben evaluar?
¿Cómo evaluar?
Gabriel M. Bilmes
¿Que se quiere evaluar?
UNLP
Políticas públicas, planes nacionales de CyT, organismos, proyectos y recursos humanos
Se propone definir y explicitar primero las políticas de estado orientadas
prioritariamente a vincular la producción de conocimientos científicos con la
resolución de problemas estratégicos y necesidades sociales.
Se propone establecer un plan de CyT consensuado en el que se hayan
comprometido las distintas instancias que deben ejecutarlo, que defina necesidades,
prioridades, orientaciones estratégicas, objetivos, métodos, metas y plazos.
…”aún no se cuenta con un plan estratégico a nivel nacional intersectorial y articulado que
provea un marco integrado de políticas públicas propicias para el afianzamiento y expansión
de las actividades de CTI ”
Versión preliminar del Plan Nacional de C, T e I 2012-2015 Pág.. 7
¿Cómo se evalúa hoy ?
UNLP
Algunos elementos para un diagnóstico de situación
Documento Comité Territorial de Optica de Argentina (CTO) 2006.
1) Falta de coherencia y adecuación de sistemas y mecanismos de evaluación
respecto de las políticas públicas de los Organismos Ejecutores y los Planes
Nacionales de CyT que se impulsan.
Falta de criterios de evaluación para impulsar proyectos orientados a resolver
necesidades sociales, que generen autonomía tecnológica, que integren al sector
de CyT y que impulsen la utilización social del conocimiento
..el sistema de ciencia y tecnología carece de un sistema articulado y consistente de
monitoreo y evaluación que contemple todas las dimensiones”.
Versión preliminar Plan Nacional C, T innovación 2012-2015. Pg. 60.
2) Evaluación basada en pautas que hacen referencia, en forma explícita o
implícita, a conceptos asumidos como “objetivos” y universales, pero que no
suelen estar adecuadamente definidos (por ejemplo: calidad, excelencia,
productividad, pertinencia).
Si las grandes preocupaciones de la sociedad en los países de la región son la lucha contra
la pobreza, el empleo y la productividad, necesitamos indicadores que den cuenta de la
contribución de la ciencia y la tecnología a tales objetivos” (Mario Albornoz, 1999).
¿Cómo se evalúa hoy ?
3) ANONIMATO: instancias, mecanismos, criterios y procedimientos de evaluación que no
son suficientemente públicos, a pesar de que se trata de acciones realizadas con dinero del
estado y de que existen leyes, como la 25.200 (art.1 y 3) , que deberían garantizar la
transparencia y publicidad de estos actos. En muchos casos, los criterios de evaluación no son
conocidos a priori por los postulantes; en otros casos son poco explícitos y ambiguos, aún
para los evaluadores, quienes los establecen ad-hoc, sin explicitarlos en sus dictámenes.
Además, los mecanismos y criterios para la elección de los evaluadores en los distintos
organismos e instancias de evaluación no suelen ser conocidos ni siquiera por la comunidad
científica.
DICTAMEN DE LA FISCALÍA NACIONAL DE INVESTIGACIONES ADMINISTRATIVAS
Nº 23612/1592, de fecha 31 de agosto de 2010 SOBRE OTORGAMIENTO DE SUBSIDIOS
…”estimo oportuno propiciar entonces se remita copia certificada de este Expediente
No.23.612/1592 al Honorable Congreso de la Nación para que se evalúe la pertinencia de
incorporar en la legislación relacionada con el funcionamiento de la Agencia los mecanismos de
control necesario en situaciones donde se exteriorizan conflictos de intereses.
Ello, sin dejar de lado lo ya establecido en la Ley No.25.200 que actualmente no sería
aplicada por los funcionarios de la Agencia en los casos que se han examinado.
Ricardo Renom, FISCAL DE INVESTIGACIONES ADMINISTRATIVAS
Guillermo Felipe Noalles FISCAL GENERAL
UNLP
¿Cómo se evalúa hoy ?
UNLP
4) UTILIZACIÓN DE CRITERIOS DE EVALUACIÓN CUANTITATIVOS Y NO CUALITATIVOS
( la cantidad de artículos publicados; veces que estos fueron citados; factor de impacto, etc.).
- Estimulan la realización de investigaciones sobre temas de moda que garanticen numerosas
publicaciones y citas, independientemente de que sean relevantes o no para las políticas y
necesidades del país, o que produzcan genuinas contribuciones al conocimiento.
- Relegan a un segundo plano o descartan temas novedosos o referidos a problemáticas locales o de
carácter interdisciplinario, ya que estas investigaciones requieren estudios preliminares que
reducen la frecuencia de las publicaciones y pueden generar resultados que no sean fácilmente
publicables en las revistas de moda.
- Favorecen a grupos de investigación consolidados en detrimento de grupos con poco tiempo de
constituidos, o ubicados en áreas geográficas no centrales, o bien pertenecientes a disciplinas con
escasa tradición en el país.
5) Salvo excepciones, LAS EVALUACIONES NO SE UTILIZAN PARA REDEFINIR POLÍTICAS,
CORREGIR RUMBOS, REORIENTAR LAS ACTIVIDADES, AHORRAR PRESUPUESTO Y
MEJORAR LA CALIDAD DE LA CIENCIA REALIZADA EN EL PAÍS.
UNLP
¿Quiénes evalúan? ¿Quiénes deberían evaluar?
Actualmente centrada en la evaluación de pares.
Existen muy pocas instancias en las que se contempla otros actores
Si se trata de ejecutar una política científica orientada prioritariamente a
vincular la producción de conocimientos científicos con la resolución de
problemas estratégicos y necesidades sociales debe reconocerse que
estos problemas son complejos, interdisciplinarios y por tanto requieren la
participación de otros actores además de los científicos.
Por ejemplo beneficiarios, organismos del estado, representantes de
comunidades, municipios, estructuras del sistema Productivo.
UNLP
¿Cómo se debería evaluar?
Si se trata de desarrollar Proyectos Estratégicos y
Resolver necesidades Sociales
Utilizar el CRITERIO DE IMPORTANCIA
Desarrollar la INTERDISCIPLINARIEDAD
Propone:
El estudio interdisciplinario de los grandes problemas del país
Oscar Varsavsky ciencia política y cientificismo
UNLP
El CRITERIO DE IMPORTANCIA
La búsqueda de la verdad no es la única dimensión a
tener en cuenta en el trabajo científico, hay otro criterio
EL DE IMPORTANCIA que un conocimiento tiene
para un lugar determinado. Este es esencialmente local y
brinda la posibilidad de AUTONOMÍA CIENTIFICA.
“Si aceptamos que la ciencia del hemisferio norte nos
enseñe a pensar, haremos lo mismo que ellos y usaremos
sus criterios de importancia . Si usamos nuestros propios
criterios, haremos una ciencia argentina”. O. Varsavsky
El problema no es entre ciencia básica o ciencia aplicada, sino
ENTRE CIENCIA ÚTIL Y CIENCIA INÚTIL.
Propuestas para la evaluación
de proyectos y recursos humanos
UNLP
1- ESTABLECER Y EXPLICITAR POLÍTICAS PÚBLICAS dirigidas a resolver
necesidades sociales, que generen autonomía tecnológica, que integren al sector de CyT y que
impulsen la utilización social del conocimiento.
2 -ESTABLECER UN PLAN CONSENSUADO en el que se hayan comprometido
las distintas instancias que deben ejecutarlo, que defina necesidades, prioridades,
orientaciones estratégicas, objetivos, métodos, metas y plazos.
3. INCENTIVAR LA EVALUACIÓN CUALITATIVA, introduciendo criterios y metodologías
que permitan tener en cuenta las condiciones en que la investigación científica se realiza en el país;
estimular temáticas nuevas, desarrollos regionales, coherencia con políticas públicas, aporte
genuino al conocimiento, fondos reales con los que contaron los investigadores, etc.
4. REALIZAR EVALUACIONES IN SITU, para proyectos por encima de cierto
monto, instituciones, y en los casos que pudiera justificarse, investigadores.
Este mecanismo, muy usado en otros países del mundo, pero muy poco en nuestro país, ha
mostrado ser una herramienta sumamente eficaz para incentivar la evaluación cualitativa
por sobre la cuantitativa. Permite además un intercambio activo entre evaluadores y
evaluados que redunda positivamente en la calidad del proceso y en sus resultados,
independientemente de la decisión que se tome.
Propuestas para la evaluación
de proyectos y recursos humanos
UNLP
5- EVALUACIÓN EN SESIONES PÚBLICAS DE DEFENSA Y CRÍTICA PARA
ASIGNACIÓN DE FONDOS DE GRAN ENVERGADURA.
Los de montos pequeños deberían concederse automáticamente, con la sola aprobación de
las actividades anuales del investigador, laboratorio o Institución.
5-TRANSPARENTAR Y DEMOCRATIZAR LAS INSTANCIAS, MECANISMOS Y
PROCEDIMIENTOS DE EVALUACIÓN EN EL MARCO DEL ESPÍRITU DE LA LEY 25200.
- Criterios y procedimientos explícitos y públicos previos al proceso en sí, de modo que permitan
minimizar criterios “personalizados”.
- Exigir que en casos en que los evaluadores o las instancias que conforman utilicen criterios ad-hoc,
no públicos ni explicitados previamente, éstos aparezcan claramente enunciados en el dictamen.
- Mecanismos transparentes y públicos para la selección de evaluadores y una mayor posibilidad de
impugnación de los mismos.
-Eliminar el anonimato. Podría por ejemplo, probarse este mecanismo por la positiva, sugiriendo
que la decisión quede a cargo del evaluador.
-Restricciones explícitas que minimicen la posible actuación de los evaluadores como juez y como
parte.
7- EVALUAR LA TAREA DE LOS EVALUADORES
(por las instituciones o instancias independientes)
UNLP
Página web Cátedra Libre
Ciencia, política y sociedad
Contribuciones a un pensamiento latinoamericano:
http: //catedracps.blogspot.com/
Documento del Comité Territorial de Optica de la Argentina
sobre la evaluación de la actividades científicas
http: //www.optica.df.uba.ar/documentos.htm
UNLP
INTERDISCIPLINARIEDAD
“Indica un grado de organización y amplitud donde los distintos
aspectos de un problema son discutidos en común por especialistas
de igual nivel en cada disciplina, para descubrir las interconexiones
o influencias mutuas de esos aspectos y para que cada especialista
aproveche no solo sus conocimientos, sino la manera de pensar y
encarar los problemas habituales en los demás. Esta interacción de
disciplinas, exige discusión, critica y estímulo constantes entre
los investigadores y permite que ideas y enfoques típicos de una rama
de la ciencia se propaguen de manera natural a las demás”
Ley 25200
sobre Obligatoriedad de informar acerca de la evaluación
académica, científica y tecnológica.Promulgada 16/12/99
UNLP
ARTICULO 1°.- Los criterios, resultados y argumentos que fundamentan las calificaciones y
clasificaciones de los resultados de los concursos o instancias de evaluación de los docentes, de los
investigadores, becarios y personal técnico de apoyo de instituciones públicas de educación
superior y de organismos del sistema nacional de ciencia y tecnología, deberán ser informados a la
persona evaluada por la institución evaluadora.
ARTICULO 2°.- Toda persona podrá tomar conocimiento de la información a ella referida
proveniente de los concursos o instancias de evaluación que la afectan, que consten en registros o
archivos públicos o privados y, en caso de probada falsedad, discriminación o error, exigir la
supresión, rectificación, confidencialidad o actualización de la misma y la cancelación de sus efectos,
en especial cuando los resultados de la evaluación afecten su condición económica, profesional o
moral.
ARTICULO 3°.- Todas las personas evaluadas tendrán derecho a solicitar los nombres de los jurados
que los evaluaron, no pudiendo las instituciones negarles esa información.
ARTICULO 4°.- Cada institución reglamentará en el marco de la Ley 19.549 las instancias, plazos
y mecanismos para que el evaluado pueda interponer el recurso administrativo correspondiente o
impugnar los resultados de la evaluación con suficiente plazo y fundamento.
ARTICULO 5°.- Toda recurrencia administrativa o impugnación implicará, hasta tanto las instancias
pertinentes resuelvan al respecto, el sostenimiento de la situación anterior al diferendo.
ARTICULO 6°.- Comuníquese al Poder Ejecutivo.