Avaluació projectes

Servei d'Epidemiologia Clínica i Salut Pública
CURS D’INTRODUCCIÓ A LA METODOLOGIA DE LA RECERCA (I)
Valoració dels punts dèbils i forts d’un protocol de recerca
Material per a l’activitat autònoma
(http://www.isciii.es/htdocs/aes/pdf/convocatoriaAES2010.pdf)
DISPOSICIONES ESPECÍFICAS DEL SUBPROGRAMA DE PROYECTOS DE INVESTIGACIÓN EN SALUD
Artículo 99. Evaluación y selección de las solicitudes
1. Las solicitudes admitidas serán evaluadas con arreglo a un procedimiento que constará
de dos fases, un proceso de evaluación científico-técnica y un proceso de evaluación
estratégica y de oportunidad.
2. La evaluación científico-técnica, en una primera etapa, se llevará a cabo por la Agencia
Nacional de Evaluación y Prospectiva (ANEP).
Para cada una de las solicitudes se recabará la opinión de, al menos, dos expertos de
acreditado nivel científico-técnico que, de modo confidencial, emitirán las evaluaciones.
La ANEP se responsabilizará de la objetividad de la evaluación, así como del
mantenimiento de la confidencialidad de sus autores y del procedimiento empleado, para
evitar cualquier influencia externa.
Esta evaluación podrá ser sustituida por la realizada a nivel europeo en los proyectos
presentados al amparo del Espacio Europeo de Investigación.
La evaluación científica, se realizará de acuerdo a los siguientes criterios:
a) Valoración del equipo de investigación: Valoración de los proyectos de
investigación, publicaciones y patentes del investigador principal (IP) y del grupo de
investigación en relación con la temática del proyecto.
1
b) Valoración científica del proyecto: Valoración de la hipótesis y del grado de
conocimiento del equipo investigador sobre el estado del conocimiento propio del
tema. Relevancia científico-sanitaria de los objetivos del proyecto. Viabilidad y
riesgos de la propuesta. Análisis metodológico y del plan de trabajo. Para el caso
de proyectos coordinados, complementariedad de los equipos de investigación
participantes y beneficios de la coordinación.
c) Valoración económica del proyecto: Adecuación de los recursos disponibles y
solicitados para la ejecución del proyecto. Justificación de los medios solicitados.
3. Una vez finalizada esta primera etapa, las Comisiones Técnicas de Evaluación del
Instituto de Salud Carlos III (ISCIII), actuando en paneles, realizarán una evaluación, de
las solicitudes atendiendo a los siguientes criterios de adecuación y oportunidad:
a) Adecuación de los proyectos a las prioridades de la Acción Estratégica de Salud
(AES): Valor traslacional y de transferencia a la práctica clínica, así como relevancia
y oportunidad de financiación de la propuesta en comparación con las otras
analizadas en el área temática. Para los proyectos de jóvenes investigadores se
valorará especialmente la propuesta de ideas, métodos, conceptos o temas
novedosos o innovadores. [vegeu més detalls al BOE i al seu Annex]
b) Análisis de la estructura del equipo y de su nivel de dedicación en relación al
proyecto y área de trabajo: Posición relativa del grupo en el área temática a través
de publicaciones y patentes. Se valorará la dedicación única al proyecto por parte
de cada uno de los miembros del equipo y especialmente la de los investigadores
principales. Capacidad formativa. Análisis de la estabilidad del grupo. Relaciones
con otros grupos de investigación. Implicaciones asistenciales. Valoración de IP
emergentes y asistenciales.
c) Plan de difusión y potencial de transferencia real de los resultados del proyecto a la
práctica clínica.
d) Consecución de los objetivos en las ayudas solicitadas previamente por el
responsable del proyecto de investigación solicitado y por el resto del equipo
investigador en relación con la financiación recibida.
e) Internacionalización de la actividad investigadora. Participación del equipo de
investigación en el VII Programa Marco de I+D de la Unión Europea, en otros
programas internacionales en colaboraciones con grupos internacionales, en temas
relacionados con el proyecto o cualquier otro elemento que permita medir el grado
de internacionalización de la actividad investigadora del grupo.
f) Valoración de la mulitidisciplinariedad del equipo de investigación: Participación en
los proyectos de equipos de investigación básicos, clínicos y en su caso del ámbito
de la salud pública y servicios de salud incluyendo las tecnologías sanitarias.
g) En los proyectos de investigación en tecnologías para la salud se valorará la
importancia que supondría su introducción en el Sistema Nacional de Salud.
A este proceso de evaluación en panel se podrán incorporar evaluadores de la ANEP.
4. Como consecuencia del proceso descrito, se elaborará un informe individual por las
Comisiones Técnicas de Evaluación del ISCIII con los aspectos más relevantes de la
evaluación científico-técnica, que se trasladará por el órgano instructor a la Comisión de
Selección establecida en el artículo 13 de la Orden de bases.
A la Comisión de Selección podrán asistir los coordinadores y/o los presidentes de la
Comisiones Técnicas de Evaluación correspondientes con voz pero sin voto.
2
5. La Comisión de Selección, teniendo en cuenta el resultado de la evaluación y las
disponibilidades presupuestarias, emitirá un informe en el que se concrete la evaluación
efectuada y seleccionará los proyectos, valorando los siguientes aspectos:
a) Adecuación de los proyectos a los objetivos establecidos en esta convocatoria.
b) Dedicación única al proyecto de los investigadores principales.
c) Se valorará muy positivamente la participación de mujeres investigadoras (como
investigadoras principales o como participantes en el equipo).
d) Proyectos presentados por equipos investigadores que, en razón de su situación
geográfica, hagan necesaria una acción de tipo concreto para conseguir la equidad
y el equilibrio interterritorial, siempre y cuando existan garantías del cumplimiento
de los objetivos propuestos.
6. En función de la valoración realizada, el informe de la Comisión de Selección, incluirá:
a) El presupuesto asignado a cada proyecto considerado financiable, el cual será
determinado según criterios de máxima eficacia en la asignación de los recursos
económicos disponibles.
b) Una relación de los proyectos que se consideran no financiables con los aspectos
más relevantes de la evaluación científico-técnica final.
c) En el caso de proyectos coordinados o multicéntricos podrá proponerse la
aprobación sólo de algunos de los subproyectos siempre que entre ellos esté
incluido el correspondiente al coordinador y no se afecte la viabilidad del mismo.
PASOS DEL PROCESO DE EVALUACIÓN GENERAL DE LA ANEP:
Comisiones Técnicas de
Evaluación del ISCIII
3
Comisión de
Selección
PLANTILLA ANEP DE EVALUACIÓN CIENTÍFICO-TÉCNICA DE PROYECTOS DE INVESTIGACIÓN
1. Valoración del equipo de investigación: de 0 a 10 puntos
Adecuación, capacidad y experiencia científica del IP y del resto del equipo de investigación,
especialmente en relación con la temática del proyecto.
¿Tiene el grupo de investigación experiencia? ¿Está bien compensado? ¿Posee los medios
necesarios?
– Valoración del investigador responsable proyecto (últimos 5 años)
• Méritos e historial científico. Formación, trayectoria, solvencia científica, contribuciones
científico-técnicas (proyectos de investigación, publicaciones y patentes),
especialmente la relacionadas con el área temática del proyecto
• Experiencia en dirección grupos o equipos trabajo, capacidad de liderazgo dentro del
grupo
• Participación en proyectos investigación de carácter competitivo a nivel mundial,
europeo, nacional, regional.
– Valoración del equipo investigador en su conjunto
• Nivel científico-técnico. Historial investigador y méritos científicos de cada uno de los
participantes.
• Grupo consolidado, con producción sostenida de alto nivel y participación en proyectos
de investigación de carácter competitivo a nivel mundial, europeo, nacional, regional,
especialmente en proyectos similares.
– Valoración del equipo investigador para desarrollar el proyecto
• Conocimiento de los antecedentes
• Conocimiento del estado actual del tema
• Identificación del problema
4
• Experiencia en el desarrollo de proyectos afines
• Contribuciones previas de carácter científico-tecnológico
• Adecuación del equipo de trabajo a la temática del proyecto
• Adecuación del tamaño y composición del equipo de trabajo para el desarrollo del
proyecto
Observaciones:
– no debe ser valorado negativamente:
• la disposición del IP para iniciar nuevas líneas de investigación
• un IP que sea la primera vez que presenta una solicitud, si su potencial científico y
capacidad de liderazgo son adecuados
• equipos de reciente formación, aunque debe ponerse especial atención en las
actividades anteriores de los investigadores y su potencialidad para llevar a cabo los
objetivos propuestos
– valorar positivamente la participación de investigadores en formación en el equipo, el
carácter interdisciplinario del equipo y su distinta procedencia geográfica e institucional
(multicentrico o coordinado).
– Criterios de denegación: presencia de miembros inertes o improductivos, así como los
equipos artificialmente grandes, sin experiencia o sin capacidad técnica. Ej. Equipo con
financiación previa sin producción acreditada.
2. Valoración científica del proyecto
Valoración de la hipótesis y del grado de conocimiento del equipo investigador sobre el
estado del conocimiento propio del tema. Relevancia científico-sanitaria de los objetivos del
proyecto. Viabilidad y riesgos de la propuesta. Análisis metodológico y del plan de trabajo.
Para el caso de proyectos coordinados, complementariedad de los equipos de investigación
participantes y beneficios de la coordinación.
2.1 Interés de los Objetivos: de 0 a 10 puntos.
Relevancia, originalidad, novedad, grado de innovación o avance científico-técnico de
los objetivos respecto del estado actual del tema.
¿Es una buena idea?
• Importancia del buen planteamiento de la pregunta de investigación: objetivos bien
planteados, expuestos de forma clara, concretos, coherentes y congruentes
(objetivos ligados entre sí)
• Objetivos relevantes en salud, con elevadas probabilidades de resultar en avances
científicos, sociosanitarios, técnicos o instrumentales en un área específica.
• Tema novedoso que aumenta aumenta el conocimiento cientifico-técnico y puede
abrir nuevas vías de investigación: intervención no estudiada, nuevo agente
etiológico, evaluación de una nueva tecnología, etc.
• Objetivos contrastables y bien fundamentados en todos sus términos. Apoyados en
trabajos de otros equipos o en el ámbito internacional (citas de otros equipos
españoles o extranjeros que contribuyan a manifestar el interés y actualidad de los
objetivos)
Observaciones:
– Valorar los resultados esperables de los objetivos propuestos y su relevancia, el
conocimiento del estado actual del tema y la claridad de ideas en el desarrollo del
proyecto.
– Criterios de denegación: incoherencia o yuxtaposición de objetivos (débilmente
ligados entre sí); objetivos excesivos, sin base científica, con poca aportación y
5
escasos resultados en avances del conocimiento; intervenciones o tecnologías
obsoletas o en desuso.
2.2 Viabilidad de la Propuesta y Coordinación: de 0 a 10 puntos.
¿El plan de trabajo presentado permite alcanzar los objetivos con un riesgo razonable?
– Solvencia científica del equipo de investigación: tiene capacidad para llevar a cabo
los objetivos propuestos.
• valorar los resultados obtenidos en proyectos anteriores.
– Naturaleza y dificultad de los objetivos (podrían ser excesivamente ambiciosos o
excesivamente pobres para el equipo).
– Viabilidad del proyecto de acuerdo con el plan de trabajo a desarrollar. Correcta
distribución de tareas entre los distintos miembros del equipo (aunque no se trate de
un proyecto coordinado), de modo que éstas respondan al propio papel que los
miembros del mismo se han asignado (el IP debe estar vinculado a los objetivos mas
cruciales de la investigación).
Observaciones:
– Valorar positivamente proyectos innovadores, con intentos ambiciosos y arriesgados
(un cierto riesgo puede ser aceptable y hasta meritorio en un proyecto bien
fundamentado y en un equipo con solvencia demostrada en actividades anteriores), o
con líneas de investigación interdisciplinares que supongan un avance en la frontera
del conocimiento, aunque impliquen el aprendizaje de nuevos conocimientos y
técnicas.
– Criterios de denegación: proyecto excesivo para la capacidad del equipo.
2.3 Adecuación de la metodología y del plan de trabajo a los objetivos: de 0 a 10
puntos.
Adecuación de la metodología, diseño de la investigación y plan de trabajo en relación a
los objetivos del proyecto
– Metodología (diseño, sujetos de estudio, variables, recogida y análisis de datos y
limitaciones del estudio)
• Actual, innovadora
• Adecuada a los objetivos
• Con elevadas probabilidades de resultar en una patente, en una aplicación
tecnológica o comercial, o de resolver un problema metodológico importante.
• Precisa, bien planteada en todos sus aspectos.
• Capacidad del equipo en la aplicación de la metodología propuesta
• Dificultad para alcanzar los objetivos con la metodología propuesta
– Plan de trabajo (etapas de desarrollo, distribución de tareas de todo el equipo
investigador incluido el personal solicitado, cronograma, lugar de realización)
• Adecuación del plan de trabajo propuesto con los objetivos del proyecto
• Posibilidad alcanzar resultados en tiempos previstos. Correcta distribución de tareas
entre los distintos miembros del equipo.
Observaciones:
– Criterios de denegación: proyectos incompletos o insuficientemente elaborados, con
procedimientos poco claros e imprecisos; metodología poco apropiada para
alcanzar los objetivos, difícilmente realizable u obsoleta. Incumplimiento de
requerimientos éticos o legales.
6
3. Adecuación del presupuesto solicitado a las actividades propuestas: de
0 a 10 puntos.
• Personal / • Material inventariable / • Material fungible / • Viajes y dietas
– Adecuación de los recursos disponibles y solicitados para la ejecución del proyecto.
Revisar los presupuestos con arreglo a los precio de mercado
– Grado de justificación de los medios solicitados
– Criterios de denegación: proyecto excesivamente caro para el rendimiento científico
esperable.
4. Evaluación global del proyecto
– Valoración final del proyecto: de 1 a 5 puntos
• Insuficiente-No recomendable: Proyecto no viable
• Dudoso-cuestionable: Proyecto de planteamiento científicotécnico dudoso
• Aceptable: proyecto con reservas
• Bueno: Proyecto bien calificado en todos sus términos
• Excelente: Proyecto muy bien calificado en todos sus términos
– Puntuación final del proyecto: Deficiente: (0-15) Cuestionable: (16-24) Aceptable: (25-33)
Bueno: (34-42) Excelente: (43-50).
5. Informe Final. Comentarios
Este apartado debe escribirse teniendo en cuenta que puede ser enviado al investigador
principal del proyecto.
– Resumir las principales valoraciones de los criterios evaluados. Debilidades y Fortalezas.
– Se invita a los evaluadores a incluir las recomendaciones y sugerencias que se quieran
hacer llegar al IP que pudieran redundar en la mejora del proyecto.
– Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.
7
PLANTILLA ANEP DE EVALUACIÓN CIENTÍFICO-TÉCNICA DE PROYECTOS DE INVESTIGACIÓN
1. Valoración del equipo de investigación
– Valoración IP responsable proyecto (de 0 a 6 puntos)………………..…………..…|___|
– Valoración equipo investigador en su conjunto (de 0 a 2 puntos) …..……………..|___|
– Valoración equipo investigador para desarrollar el proyecto (de 0 a 2 puntos)…...|___|
TOTAL (de 0 a 10 puntos)…………………………………………………………………………….……|___|
2. Valoración científica del proyecto
2.1 Interés de los Objetivos (de 0 a 10 puntos)…..…………………………….………|___|
2.2 Viabilidad de la Propuesta y Coordinación
– Solvencia científica del equipo de investigación (de 0 a 6 puntos) ….………|___|
– Naturaleza y dificultad de los objetivos (de 0 a 2 puntos) ……….……………|___|
– Viabilidad del proyecto de acuerdo con el plan de trabajo (de 0 a 2 puntos).|___|
Total (de 0 a 10 puntos)..………………………….………………………… ……..|___|
2.3 Adecuación de la metodología y del plan de trabajo a los objetivos (de 0 a 10 puntos)
– Metodología (de 0 a 8 puntos)…………………………………………..………..|___|
– Plan de trabajo (de 0 a 2 puntos)…………………………………….…………..|___|
Total (de 0 a 10 puntos)..………………………….………………………….……..|___|
TOTAL (de 0 a 30 puntos)…………………………………………………………………..……..……..|___|
3. Adecuación del presupuesto solicitado a las actividades propuestas
– Adecuación de los recursos disponibles y solicitados (de 0 a 5 puntos)…….…..|___|
– Grado de justificación de los medios solicitados(de 0 a 5 puntos)………………..|___|
TOTAL (de 0 a 10 puntos)……………………………………………………….………………….…..…|___|
TOTAL (de 0 a 50 puntos)……………………………………………………….………………….……|___|
4. Evaluación global del proyecto
Puntuación final del proyecto
• Insuficiente-No recomendable: Proyecto no viable (<25)
• Dudoso-cuestionable: Proyecto de planteamiento científicotécnico dudoso (25-34)
• Aceptable: proyecto con reservas (35-39)
• Bueno: Proyecto bien calificado en todos sus términos (40-44)
• Excelente: Proyecto muy bien calificado en todos sus términos (45-50)
8
Criterios genéricos ANEP para elaborar mejores proyectos
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Hay que leerse cuidadosamente las convocatorias y seguir las instrucciones
Leer y comprender los procesos de evaluación,
Elegir correctamente el Programa y el Área Científica
El proyecto debe convencer al evaluador: Buena descripción del estado del arte. Un buen
proyecto comienza por la exposición de una idea clara de los objetivos y de por qué va a
significar una mejora del estado actual y va a tener un impacto científico-técnico. Resaltar
las aportaciones de los solicitantes. Demostrar que tienes capacidad y conocimiento
suficientes
No asumir que los evaluadores conocen quién eres y qué has hecho
El evaluador no debe aburrirse. El proyecto debe ser interesante. Mensaje fluido: bien
organizado y conceptos claros (para expertos y pseudo-expertos).
Tener las ideas claras y exponerlas claramente al evaluador
Redacción y presentación de la memoria impecables. Cuidar la redacción: la impresión
personal es importante
Cuidar la estética: Utilizar gráficos y diagramas, separar diferentes ideas en párrafos,
destacar conceptos importantes y añadir espacios en blanco para romper la monotonía
Propuesta novedosa y ambiciosa pero creíble (contenidos y plazos); anticipar críticas.
Objetivos coherentes entre sí, realistas y alcanzables acorde al número de EDPs
(equivalentes de dedicación plena). Propuesta sincera. ¿IP a dedicación exclusiva?
Equipos, no bandas
Metodología al alcance del equipo proponente. Existe experiencia previa con esa
metodología?
Propuesta de trabajo de campo bien dimensionada
Proyecto bien repartido entre los integrantes, explicar su función
Los externos (sin EDP) no pueden ser responsables de tareas
Explicar clara y sinceramente las funciones de cada uno de los participantes
Describir los equipos disponibles (mejora la credibilidad)
Presupuesto bien justificado y realista (favorece la contratación de personal)
Revisar la memoria y solicitar su lectura crítica a un colega
Cumplir los plazos: Ni los evaluadores ni los gestores tienen mucha paciencia
9