Guía: Uso de Evidencia en el Diseño de Proyectos

Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014
Guía: Uso de Evidencia en el Diseño de Proyectos
En el proceso de diseño de un programa, producto o servicio es importante incluir la evidencia que
ya tenemos al respecto. Nuestro diseño puede parecer excelente, pero podemos estar olvidando
algunos aspectos relevantes que podrían hacerlo fracasar, ya sea en términos de rentabilidad,
como de un impacto social distinto del pronosticado. En este sentido, es importante recolectar
evidencia sobre cómo han resultado iniciativas parecidas antes, sobre el contexto en el que
queremos operar, etc. Esta evidencia puede agruparse en las siguientes categorías:



Evidencia entregada por la Experiencia: basada en la experiencia profesional, el
entendimiento del problema, vivencias, habilidades, etc. tanto de uno mismo como de los
demás, conocido como conocimiento intuitivo o tácito.
Evidencia sobre el Contexto: basada en la información que podemos recolectar sobre
nuestros potenciales beneficiarios (sus preferencias, necesidades, limitaciones), su
comunidad, el marco regulatorio del país, nuestra competencia, el contexto sociopolítico, etc.
Evidencia Científica: basada en la mejor evidencia rigurosa disponible relevante para el
problema en cuestión.
Existen diversas formas de recoger esta evidencia, entre las que está la experiencia, la
observación, y diversas herramientas de análisis cualitativo y cuantitativo, el primero enfocado en
entender en profundidad las razones del comportamiento humano, y el segundo introduce
herramientas y análisis estadístico al mismo problema. Todas estas fuentes son igual de útiles, y
debieran ser incluidas en nuestro diseño. Esta guía busca profundizar en el uso y selección de
evidencia científica, y es un apoyo a los contenidos del curso, y será complementada durante las
clases y talleres.
¿Cómo revisar la mejor Evidencia Científica Disponible?
Continuamente escuchamos lo importante que es incluir “evidencia científica” en nuestros
diseños. No obstante, existen numerosos estudios académicos sobre la eficacia de intervenciones
sociales, y resulta difícil diferenciar entre “buena” y “mala” evidencia. Este documento pretende
servir como una guía no-técnica para evaluar la calidad de evaluaciones de impacto de programas
sociales, y para determinar cuándo se puede aplicar sus resultados al diseño de un programa
nuevo, aun cuando el contexto y la localidad sean distintos que la evaluación original.
1
Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014
Validez Interna y Validez Externa
Para determinar que evidencia debemos usar, es crucial asegurarnos que el estudio que estamos
revisando tiene tanto validez interna como validez externa.
La validez interna se refiere a que la evaluación sea metodológicamente consistente y que los
resultados, dentro del contexto específico de la evaluación, sean científicamente legítim0s. Para
el propósito de este documento, vamos a asumir que los estudios publicados en revistas
académicas tienen validez interna, dado que tiene que pasar por el proceso de revisión de pares.
A diferencia de la validez interna, que podemos confiársela a los pares de los investigadores,
quiénes revisan el estudio antes de que éste sea publicado, la validez externa, o generalización,
es más difícil de determinar. Para evaluar cómo los resultados de un estudio se aplicarían a un
contexto diferente, hay que revisar cuidadosamente el contexto en que queremos aplicar los
resultados, y si acaso estos se debieran mantener en el nuevo contexto. Estas suposiciones
pueden ser más o menos razonables, y por eso es importante hacerlas de manera responsable.
¿Cómo evaluar Validez Externa?
El diseño de una evaluación a veces permite fácilmente generalizar los resultados. Por ejemplo, si
los participantes de una evaluación fueron elegidos aleatoriamente de un grupo bien definido (ej.
distritos de una región, o hogares de una aldea), se puede generalizar seguramente los resultados
al grupo entero sin tener que hacer un
Revisando evidencia científica a primera vista
juicio. Sin embargo, si quieres usar los
Evaluar la calidad de un artículo académico puede ser
resultados de una evaluación fuera de
complicado. No obstante, hay varios indicios que
su contexto original, hay que estimar
pueden ayudarte antes de empezar a leer:
que tan generalizable sería el estudio
Calidad de la revista: El proceso de publicar un
en el contexto distinto. Para hacer
artículo en una revista académica es muy competitivo,
esto, hay que tomar en cuenta lo
por regla general las mejores revistas publican los
mejores artículos. Si no sabes cuales, puedes consultar
siguiente:
esta lista: http://www.scimagojr.com/journalrank.php
 Diseño de la intervención:
Y para artículos en economía:
Ciertas estudios fueron diseñados
http://ideas.repec.org/top/top.journals.all10.html
para ser más generalizables que
Universidad o institución de los autores:
otros. Para analizar estas diferencias,
Generalmente, instituciones académicas eligen a sus
investigadores por la calidad de su investigación. Si el
hay que enfocarse en el diseño de la
autor de una publicación es de una institución buena,
intervención. ¿Cómo funciona en
es probable que su evaluación sea rigurosa. Puedes
teoría?
encontrar las mejores instituciones en economía acá:
Por ejemplo, si un medicamento
http://ideas.repec.org/top/top.inst.all.html
nuevo ha sido testeado en un lugar y
Citas: Si un artículo académico ha tenido un gran
ha resultado eficaz, es muy probable
impacto en el mundo académico y de políticas
que el medicamento tenga un
públicas, es probable que haya sido citado mucho. Se
resultado muy parecido en cualquier
puede averiguar cuantas citas tiene un artículo
lugar del mundo donde exista la
buscando aquí: http://www.scholar.google.com
2
Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014
enfermedad. Obviamente, el contexto siempre es importante. No tendría sentido
implementar un programa de anti-malaria en un lugar donde no existe la malaria.
En contraste, otr0s estudios están diseñados para contextos muy específicos, y cómo
funciona la intervención depende mucho del implementador, el contexto institucional, y
la población específica que recibe el programa, entre otros variables. Por ejemplo, en una
evaluación de un currículo escolar nuevo, influyen muchas variables como la calidad de los
profesores y las escuelas, el sistema institucional de la educación del país y otras variables
similares, y puede resultar difícil aplicar los resultados de la evaluación a cualquier
contexto. Mientras más variables afecten la intervención, más difícil será generalizar una
evaluación.

Contexto de la evaluación y contextos en los que te gustaría usar los
resultados: Aun si una evaluación tiene un diseño que no resulta muy generalizable, a
veces es posible usar los resultados en un contexto nuevo si ambos contextos son
suficientemente
parecidos
en
¿Dónde puedo encontrar evaluaciones de
términos de los factores que pueden
impacto rigurosas?
afectar la implementación del
Numerosas organizaciones han hecho esfuerzos
programa. En el ejemplo de
por reunir la evidencia en sitios web más
educación de la sección anterior,
accesibles. Revísalas acá:
podría ser posible usar los resultados
Abdul Latif Jameel Poverty Action Lab*:
de la evaluación de un currículo
http://www.povertyactionlab.org/evaluations
nuevo en el caso de que el contexto
Innovations for Poverty Action:
donde se desea implementar un
http://www.poverty-action.org/work/publications
Development Impact Evaluation, World Bank:
currículo similar sea suficientemente
http://www.worldbank.org/dime
parecido al contexto de la evaluación
Social Science Registry, American Economic
original (sistema de educación del
Association:
país, tipo de escuela donde se
https://www.socialscienceregistry.org/
implementará el programa, nivel de
* El sitio tiene también versión en español.
educación de los profesores, grado y
desempeño de los estudiantes, entre
También
puedes
encontrar
artículos
especializados en revisiones de literatura, y los
otros). Se puede hacer esta
puedes encontrar enfocando la búsqueda en
comparación
utilizando
datos
“literatura review” o “review”, incluyendo el
cualitativos y cuantitativos. Cuanta
tópico que te interesa. Puedes encontrar algunas
más información tengas sobre el
aquí:
contexto de la evaluación y el
Abdul Latif Jameel Poverty Action Lab:
contexto en el que quieres usar la
http://www.povertyactionlab.org/publications
evidencia, más puedes confiar en
Annual Reviews:
que esos resultados se aplican en tu
http://www.annualreviews.org/
contexto.
3
Herramientas de Evaluación en Proyectos de Innovación Social
Santiago, del 23 de abril al 14 de mayo de 2014
Cuándo diseñes un programa, o cuando ya lo estés desarrollando, no olvides consultar
regularmente nueva evidencia. El proceso de producción de evidencia es dinámico, y así como tu
proyecto va cambiando, la evidencia relevante también, y cada día se terminan nuevos estudios,
van cambiando los contextos, van cambiando las necesidades de la gente, la gente va conociendo
tu proyecto, etc. No dejes de recoger información, y de generar tu propia evidencia: qué funciona
en tu proyecto, que no, y porqué. Es fundamental que puedas identificar los factores, los
procesos, los componentes, etc. que están generando los resultados, para mejorar lo que no está
funcionando bien, y hacer más de lo que si funciona.
Ten especial cuidado cuando leas sobre estudios en la prensa, internet, redes sociales, etc.
Asegúrate de revisar las fuentes, con la misma rigurosidad que revisarías un estudio que
encontraras tú mismo.
4