Conclusiones del Taller sobre Evaluación de la actividad de CyT en

Conclusiones del Taller sobre Evaluación de la acti vidad de CyT en las
Uni versidades Naci onales
Vaquerías, Córdoba, 19 y 20 de Abril de 2012
Introducción
El análisis de los sistemas de evaluación en ciencia, tecnolog ía e
innovación es sumamente importante ya que a partir de sus resultados se
determina el otorgamiento de becas, el ingreso y promoción en las
carreras de invest igador y docente, y la asignación de recursos para el
desarrollo de pr oyectos, en def initiva, las polít icas en el área.
En el marco del análisis que está realizando el Minister io de Ciencia,
Técnica e Innovación Productiva ( MI NCyT) con todo el sistema cient íf ico y
tecnológico argent ino sobre como se evalúan los recur sos humanos
(RRHH) dedicados a estas actividades, la Com isión de Ciencia, Técnica y
Arte del Consejo Int eruniversitario Nacional (CIN) convocó a un Taller de
las universidades nacionales (UUNN) para analizar el tem a, el que se
realizó en Vaquer ías, Córdoba, el 19 y 20 de abr il de 2012.
Este Taller se desar rolló a part ir de dos sub -talleres, uno dedicado a
la evaluación de Recursos Humanos (RRHH) y el otro dedicado a la
evaluación de proyectos de invest igación, y culminó en u na reunión
plenar ia en la que se expusier on los resultados de ambas actividades.
Participaron de la reunión represent antes de las UUNN y una
delegación del Consejo de Rectores de las Universidades Pr ivadas.
Asim ismo, estuvieron presentes en sus deliber aci ones el Dr. Alejandro
Cecatto, Secretar io de Art iculación Institucional del MI NCYT y la Lic.
Crist ina Palacios, Coordinadora del Programa de Incentivos del Minister io
de Educación.
Contexto
La Argentina muest ra una creciente demanda social de ciencia y
tecnolog ía (CyT) asociada a un per íodo prolongado de desarrollo
económ ico y social, y a un panorama internacional signado por la cr isis
económ ica de los países desarrollados. También se obser va una mayor
comprensión del papel de la ciencia y la tecnolog ía en la consolidación de
este proceso.
El sistema de CyT de las UUNN ha concr etado una serie de
iniciativas para adecuarse a esta nueva realidad, en particular la
implementación del Plan Estratég ico de Investigación y Desarrollo (PEID)
aprobado por el CI N en el 2008 y comenzado a concret ar medi ante las
realización de taller es nacionales dedicados a analizar diversas temáticas,
el desarrollo de una serie de proyectos de invest igación cof inanciados con
la Agencia Nacional de Promoción Cient íf ica y Tecnológica ( ANPCyT)
orientados a atender demandas nacionales y regionales, y las
convocatorias a becas para est imular la incorpor ación de estudiantes a
actividades de investigación y desarrollo.
Estas exper iencias han demostrado que este sistema está en
condiciones de incrementar la ef icacia de sus apor tes al desarrollo
económ ico y social del país. Par a poder concretar esas posibilidades se ha
llegado a la conclusión de que es necesario analizar las metodolog ías de
evaluación de su per sonal y de los pr oyectos de invest igación en curso.
De este análisis se desprende que es necesar io complementar el
importante desarrollo de la actividad de invest igación básica existent e,
basada f undamentalmente en pr oyect os provenientes de la of erta
espont ánea del propio sistem a, con proyectos de investigación or ient ados
a atender las demandas que la sociedad presenta actualment e.
La invest igación básica (IB) y la invest igación aplicada u orientada
(IA o IO), son dos componentes, a veces indist inguibles, de las actividades
humanas or ient adas a la cr eación de nuevos conoci m ientos y a la solución
de pr oblemas e int errogantes, por lo que normalmente se desarrollan
armónicamente. Son categor ías complementarias, no contr adictorias, y la
f alta de concordancia entre ellas limita la signif icación social de ciencia y
la t ecnolog ía. Cuando esta concor dancia es insuf iciente es cuando la
polít ica cient íf ica debe act uar estableciendo los est ímulos adecuados para
recuperar la, lo que en el caso de este tipo de actividad está estrechamente
relacionado con los criterios de evaluación emplea dos.
Se acordó que para encarar adecuadamente estos análisis es
conveniente part ir de algunas premisas. Dado el nivel actual de desarrollo
del país, por un per íodo de tiempo el sistema cient íf ico técnico en la
Argentina va a estar f undamentalmente basado en las estructur as
estatales, lo que no signif ica que no se alient e y est imule la participación
privada en estos tipos de actividades. Por otro lado, cuando se habla de
investigación cient íf ica, tecnológica y de innovación productiva se hace
ref erencia a un conj unto de act ividades que van de la IB y la IO hasta el
desarrollo tecnológico y la transf erencia de conocim ientos . Aunque las
demarcaciones entr e esas categor ías pueden ser impr ecisas se ha
acordado centrar la discusión en las mismas dejando para una segunda
etapa otras actividades que pueden involucrar a per sonal que se
desempeña en el sector. Y por últ imo, a f in de concentrar la discusión
dentro de parámetr os que pueden tener elementos comparables, se ha
resuelto limit ar, en una pr imera etapa, el aná lisis de las metodolog ías de
evaluación de RRHH en la UUNN al personal de las carrer as del sistema
(docentes - invest igadores de las universidades, investigadores del
CONICET, de la CIC, etc). Lo anter ior no excluye que personal no
perteneciente a esas car reras puedan contribuir al desarrollo concreto de
investigaciones y paulatinamente deberán incorpor arse al proceso de
evaluación a todas las actividades universitarias que así lo ameriten.
Desarrollo
El taller de Evaluación de Recursos Humanos se desarr olló con la
presencia de 38 representantes de las UUNN y el de Evaluación de
Proyectos con la presencia de otros 35.
Al f inalizar est as actividades se realizó una reunión plenar ia en la
cual los coordinador es de ambos talleres expusieron los r esultados de los
encuentros y en la que se acordó sintet izar los resultados en el Grupo de
Apoyo Técnico (GAT) con el objeto de poder elevar una propuesta de
document o al CIN.
Se pret ende llegar a un consenso en
la def inición de criterios
generales que se em plean en la evaluación de los RRHH y de proyectos en
I+D, y producir un documento que se elevará al pr óxim o Plenar io los
Rectores para su apr obación.
Taller de Evaluación de Recursos Humanos
Las conclusiones de este taller son las siguientes:
Se aceptó la pro puesta de centrar en una primera etapa el análisis
de la evaluación de RRHH en las pr ácticas que se siguen con los
investigador es de carrera: o sea los docentes – investigadores de las
UUNN y los invest igadores de carrera de CONICET, CIC, et c. También se
acuerda restringir el tratamiento a las actividades de I+D, dejando a un
lado por el momento las actividades de extensión, dif usión de la ciencia, y
otras que deberán ser consideradas en una próxima etapa.
Se coincide en que existe una cultura predominante en las UUNN, en
el CO NICET y en el área de los proyect os PICT de la ANPCyT, generada
f undamentalmente por el desarrollo histór ico de la pr of esión, que
absolut iza cat egor ías tales como excelencia, originali dad, etc., y que
subest ima las act ividades tecnológicas y la transf erencia de conocimientos
al sector público y privado, lo que se expresa en metodolog ías de
evaluación
de
RRHH
f undamentalmente
basadas
en
criter ios
bibliométricos.
Se considera que para lo grar una adecuada combinación de
investigación básica e investigación orientada es necesar io modif icar los
criterios de evaluación predominantes en estas inst ituciones de f orma tal
de asignar los recur sos necesarios en ambas áreas y, part icularmente, de
asegurar a los investigador es que quieran incursionar en proyectos
orientados, objet ivamente con menos posibilidades de publicar en revistas
indexadas de alto índice de impacto, la cont inuidad en sus carreras de
investigador y/o docente .
Se entiende que la búsqueda de equilibrios no se soluciona mediante
parámetros de evaluación específ icos; el país cuenta con suf iciente
exper iencia en la evaluación de invest igación or ientada (en las UUNN, en
los inst itutos de CyT, de la ANPCyT (FONTAR, FONARSEC, START UP,
etc.), por lo que el problema no es técnico sino polít ico.
Por lo tanto, se concluye que la principal dif icultad radica en que esa
exper iencia de evaluación de pr oyectos de invest igación orientada no tiene
su correlato en la evaluación de los RRHH que enca ran esas actividades .
Esto genera desaliento y desinterés por la IO ya que en def initiva se pone
en juego la incorpor ación a las respectivas carreras y la promoción dentro
de ellas. En última instancia, también se genera una distorsión en la IB ya
que la e xigencia de publicar que demanda el sistema puede llegar a tener
mayor prior idad que el objet o de los trabajos.
Hay consenso en que existen mar cadas dif erencias en las
metodolog ías de investigación y de dif usión de los trabajos en las
dif erentes disciplin as, y por lo t anto, m ás que def inir una g rilla general y
única de evaluación, del tipo que implementa el Pr ograma de Incentivos
del ME, habrá que delimit ar pautas generales y criter ios indicativos que
permitan establecer en el sist ema univer sitar io metodol og ías de evaluación
para superar est e desbalance. Estas pautas y cr iter ios deberán ser
específ icos de las diver sas disciplinas y estar enmar cados en los
requerimientos regionales o generales de cada evaluación.
Establecido lo anterior hay coincidencia en que en esas
evaluaciones específ icas se deberán usar pautas concretas, para lo cual
es posible disponer y acordar sobre cr iterios existentes, com o los tomados
en cuent a por diver sas Universidades españolas, el Programa de
Incentivos, el CVar y el MINCyT. E n la medida de lo posible y necesar io se
considera oportuno r ealizar un trabajo de unif icación de estas visiones, de
tal f orma de evitar superposiciones, y poner en los pr imeros lugares de la
escala aquellos elementos que más claramente den respuesta a las
demandas del medio socioeconómico.
Se señala la necesidad de tener en cuenta las dif erencias que
necesariam ente deben existir en la evaluación de la IB y de la IO. La IB se
evalúa f undamentalmente por la repercusión que tienen los result ados, los
que, salvo en los casos de descubrim ientos o propuestas de repercusión
inmediata, se valoran f undamentalmente por especialist as del área
respect iva a través de publicaciones. En cambio, en la evaluación de la IO
los antecedentes valen como indicación de alguna ga rant ía de viabilidad;
lo que debe evaluarse en prof undidad es el objeto de la invest igación
(resultado, producto, proceso), por lo que se necesit an especialistas con
conocimientos ínt im os del tema de investigación; la evaluación “ in situ” de
la posibilidad de realizar el trabajo propuesto; el seguimiento de la marcha
del m ismo, etc., todo lo cual implica mayores recursos destinados a la
evaluación.
En consecuencia se acuerda que un aspecto esencial a t ener en
cuenta en las políticas de promoción de proyect os de IO y en la evaluación
del personal de car rera que incursione en este tipo de act ividades es la
composición de los comités evaluador es, los que deben realizar sus
actividades en el marco de las orientaciones institucionales que en cada
caso se estable zcan. Se considera impr escindible la participación de “no
pares” en lo que la literatura def ine com o “comunidad extendida de par es”.
El objet ivo de esta apertura es contar con la visión que los actores del
medio socioeconómico puedan aportar a las tareas d e I+D. En el caso de
las aplicaciones tecnológicas, por ejemplo, se juzga oportuna la
participación de evaluadores proveniente del ámbito industrial, y en todos
los casos la inter vención también del destinatar io dir ecto del desarrollo. En
la preparación de l taller se han presentado diversas sugerencias
adicionales, como por ejemplo: existencia, presencia y nivel de
involucramiento de demandantes; mecanismos de control de la “endogamia
inst itucional”; etc.
Se considera necesario cont inuar el trabajo de anál isis a f in de
def inir, dependiendo de caracter ísticas disciplinar es y regionales, cuáles
son los aportes a la IO que ser ían suf icientes para que un agente del
sistema pudiese acceder a un nuevo nivel en su carrera prof esional o de
docent e investigador (po r ej. De Adjunt o a Asociado), en comparación con
un prof esional que se mantiene en las actividades de I+D tradicionales
(IB). El propósito de estas def iniciones es lograr que un investigador que
opta por dedicar t iempo a la IA no sea castigado en su eval uación por el
consiguiente decremento de su producción medida por los parámetros
bibliométricos tradicionales. Aunque f ue discutido por algunos de los
asistentes, subyace en este planteo la idea de algún sistema de
equivalencias entre las actividades de IB e IO.
Se analizó también la necesidad de generar por parte del CIN,
quizás acompañado por el MINCYT, una o más publicaciones con ref erato
de actividades de IO. El primer objetivo de la gener ación de una
publicación de este tipo ser ía dar una f uerte seña l a todo el sistema en
cuanto a que la IO r ecibirá una at ención especial en un nuevo par adigma
de evaluación. Adicionalmente y con el tiempo, esas publicaciones podrán
ser también elementos ef icaces de evaluación. Si existiesen otras
publicaciones que adec uadamente ref lejaran la actividad en IO, como
aparent emente ocur re en Ciencias Agrarias, Geolog ía, etc., las m ismas
ser ían agregadas luego a un “corpus” de publicaciones que se tendr ían por
suf iciente resguardo de calidad de lo que en ellas se publica.
Finalmente, como un tema colateral pero también relacionado, y
tomando en cuenta la seria situación que sufren los doctores y pos
doctores f inanciados por las instituciones del sistema cient íf ico tecnológico
que no logran insert arse en el sistema, se ref lex ionó sobre la necesidad de
ref ormular nuestros posgrados de f orma tal que tengan una mirada a las
realidades locales y regionales, y un perf il prof esional que los haga
atractivos par a ser incorporados por el medio y no necesar iamente por las
dist intas inst ituciones del sistema de Ciencia y Tecnolog ía.
Taller de Evaluación de Pro yect os
Se considera oportuno que el CIN manifieste su interés en lograr un rápido
incremento de la cantidad de proyectos de investigación orientados a la resolución de
problemas de la sociedad, a la vez que reconoce la necesidad de generar mecanismos
que faciliten la recepción de la demanda y su articulación con los grupos de investigación
y desarrollo que podrían atenderla.
Se reconoce la existencia de diferentes tipos de proyectos y se destaca que los
mismos tienen diferentes formulaciones y por consiguiente, distintas formas de
evaluación. Si bien se parte de una primera clasificación en Investigación Básica e
Investigación Aplicada, se reconoce una gama de tipologías intermedias, existiendo
propuestas de clasificación según su orientación a problemas. De allí que para coincidir
con el taller de evaluación de RRHH se decide adoptar la denominación de Investigación
Orientada (IO).
Es necesario considerar en los proyectos aplicados (u orientados) la conformación
interdisciplinaria y la participación de los sectores externos involucrados,
fundamentalmente en el caso de que la transferencia de los resultados sea inmediata. Es
necesario además considerar la duración prevista en la formulación, dado que la
dimensión temporal guarda una directa relación con la escala del proyecto y con el tiempo
necesario para llegar a la transferibilidad de los resultados.
Se identifican tres escalas de proyectos: i. con aporte potencial; ii. con aporte
factible (se intuye que hay un adoptante); iii. con una transferencia concreta. En el caso
de proyectos a más largo plazo se deberían incluir metas parciales de evaluación.
En relación con la evaluación de los proyectos aplicados, además de la calidad,
adquiere relevancia fundamental la pertinencia, y a partir de esta, se identifica la
necesidad de integrar los comités evaluadores incluyendo a evaluadores que no
provengan del Sistema Científico sino de los sectores de la sociedad que se beneficiarían
con los resultados del proyecto. Se considera importante además, la dimensión regional y
local, como así también las prioridades institucionales.
Un aspecto a tener muy en cuenta es el objeto de la evaluación, si se trata de la
evaluación para el otorgamiento del proyecto (ex ante) o si se trata de evaluación de
resultados del proyecto (ex post). En este último caso se plantea la falta de instrumentos
que evalúen las etapas intermedias.
Líneas de acción:
1.
Elaborar un documento para elevar al Plenario de CIN.
2.
Que en la formulación del proyecto se establezcan pautas claras del alcance del
mismo que permita diseñar aspectos evaluativos.
3.
Trabajar ese documento en futuros talleres para definir pautas, criterios e
indicadores de evaluación, atendiendo a las particularidades de las diferentes áreas
disciplinares y que contemplen, entre otros:
a)
b)
c)
d)
Objeto y pertinencia.
Factibilidad técnica y económica.
Medición de impacto.
Carácter interdisciplinario.
e)
f)
Carácter regional.
Actores de la sociedad involucrados y su grado de compromiso.
4.
Propiciar acciones de formación y coordinación entre gestores y evaluadores de
los proyectos.
5.
Realizar acciones tendientes a incorporar al resto de las instituciones del Sistema
en la discusión para la elaboración de pautas comunes de evaluación.
6.
Generar mecanismos para la difusión de los resultados de proyectos aplicados.
7.
Proponer un sistema de seguimiento evaluación de resultados de los proyectos por
grandes áreas.
8.
Propiciar el análisis de la situación de las revistas nacionales tendiente a resolver
la contradicción entre la relevancia de la difusión al interior del país de los resultados de la
investigación y el bajo concepto que tienen estas publicaciones entre los evaluadores.
Grupo de Apoyo Técnico (G AT)