Impulso a las evaluaciones de impacto en el MINEDU.

Impulso a la
evaluación de
impacto
Juan M. Hernández-Agramonte
www.poverty-action.org
Agenda
① ¿Cómo se produce evidencia?
① Valor de evidencia en Política: Ejemplo
Tikichuela
② ¿Por qué no se produce suficiente
evidencia?
③ Logros y siguientes pasos
①¿Cómo se produce
evidencia?
IPA y J-PAL
Investigación
Reducir la pobreza
garantizando que las políticas
públicas se basen en
evidencia
Desarrollando
capacidades
Lecciones
de política
Evidencia Causal
Muchas de las preguntas de política pública requieren
encontrar relaciones de causa-efecto.
•
¿Cuál es el impacto de un programa de
que entrega información sobre los
retornos de la educación en los puntajes
de los estudiantes y la matrícula?
•
¿Cuál es el efecto del aprendizaje de
habilidades socio-emocionales en el
clima escolar?
Efecto de política A en resultado B
Cuatro elementos importantes:

El problema y la población que presenta problema.

Resultado esperado (que mide resolución del problema).

Política (programa, política, tratamiento, etc)

Punto referencia (Contrafactual).
¿Cómo estaría la población que presenta el
problema si no recibiera programa?
¿Cómo se produce evidencia?
T
C
7
②Valor evidencia
¿Por qué evaluar un programa?
• ¿Qué pasaría si tuviéramos evidencia suficiente para
contestar preguntas?
Asignación presupuestaria
basada en evidencia
Expandir las intervenciones
más costo-efectivas
Innovación
Descubrimiento de nuevas
ideas efectivas
Mejores procesos políticos
Mayor costo de utilizar
argumentos extremos y menor
polarización política
9
Usando la evaluación de impacto para
aprender
Tikichuela matemáticas en mi escuela
 Ministerio de Educación y Cultura (MEC) y
BID
 Intervención en Educación Inicial (5 años)
 Uso de Educación por Radio Interactiva (ERI)
 Adaptación del curriculum BMLK
 Evaluación de impacto experimental
durante 3 años
Diseñar, aprender y mejorar
DISEÑO
• BMLK
• ERI
EVALUACIÓN 2011
• Incremento .16
• Cierre de brechas
• Brechas niños y
niñas
DECISIONES 2011
• Modificar
programa
• Evaluar
modificaciones
DECISIONES 2013
• Ampliar a 1° y 2°
de primaria
• Evaluar en 2° y 3°
• Focalizar
EVALUACIÓN 2013
• No se produce
brecha
• No hay efectos
duraderos
③¿Por qué no se
produce suficiente
evidencia?
Diferencia abismal de evidencia en relación a
las Ciencias Naturales
Número de evaluaciones de impacto experimentales
160000
140000
120000
100000
80000
60000
40000
20000
0
Medicina
Ciencias sociales
Algunas posibles causas de la sub-producción
de evidencia
• Problemas de Agencia
– Multiples agentes con intereses distintos
• Ilusión de Irrelevancia
– Gran confianza al “sentido comun” y
sobreestimación de los costos
Algunas posibles causas de la sub-producción
de evidencia
• Los tiempos de evaluación no siempre se
ajustan a los ciclos políticos
• Evaluación vista como herramienta de
control y no de aprendizaje
• Dificultades operativas y cambios de
prioridades
4) Avances y desafíos
Avances en Perú
Institucionalizados
• Ministerio de Economía y finanzas (MEF)
– Financiamiento
– Presupuesto basado en Resultados
• MIDIS gestión basada en evidencia
No institucionalizados
• Campeones de la evaluación: personas y direcciones
• Sociedad civil:
– REDLACME 2013
– IEN 2013
– REDPERUME
Avances en el MINEDU
• Esfuerzos institucionales:
– DIDE articulando investigación fortaleciendo capacidades y promocionando una
cultura de evidencia
– SPE dando acompañamiento técnico y entregando financiación
– PpR creando incentivos
• Agentes externos que promueves la EI:
–
–
–
–
–
–
BID con PRONABEC Beca 18
JPAL/IPA, Banco Mundial y DIGEDIE con Escuela Amiga/Nueva
JPAL/IPA y DES Entrega de información para prevenir deserción
JPAL/IPA y UMC Mejora de los informes para IIEE y padres para incentiva mejora
JPAL/IPA y SPE Uso de SMS para mejorar la implementación de mantenimiento
JPAL/IPA talleres de capacitación y sensibilización
• Oportunismo:
– No hay una priorización de la evaluación
– Voluntades y capacidades de las direcciones de poder vincularse a estos canales
– Direcciones comprometidas pero volátiles
Siguientes pasos
• Fortalecer la cultura del uso y producción de evidencia:
– Más espacios y ajustados a necesidades
– Promocionar y facilitar procesos de vinculación
– Promocionar la evaluación como aprendizaje
• Avanzar hacia esquemas institucionalizados de
innovación y aprendizaje
• Fortalecer sistemas de información para crear
esquemas de innovación
ANEXOS
Ideas estructurales
1.
Fomentar una cultura de evidencia y
aprendizaje en el quehacer público
2.
Promover mecanismos formales para
institucionalizar el aprendizaje
3.
Empoderar a la ciudadanía para demandar
evidencia en las políticas públicas
21
Ideas oportunistas
1.
Pensar evaluaciones desde el diseño del
programas
2.
Acercar a políticos con académicos
3.
Facilitar el uso de evidencia
22