It seems almost too obvious to state that educational quality in

Caso 2: Aprendiendo a Leer Evaluaciones
Evaluación de la campaña Read India.
Cómo leer y evaluar evaluaciones
Description
Learning Objective
En una encuesta de gran escala realizada en 2004, Pratham descubrió que
solo el 39% de los niños entre 7 y 14 años en el área rural de Uttar Pradesh
podían leer y comprender un cuento simple, y que alrededor de 15% no
podían reconocer ni siquiera una letra.
Este programa permitió a la comunidad participar de manera más directa en
la educación de los niños, a través de reuniones de aldeas, donde el personal
de Pratham compartió información sobre el estado de alfabetización en el
pueblo y los derechos de los niños a la educación. En estas reuniones,
Pratham identificó a los miembros de la comunidad que estaban dispuestos a
enseñar. Los voluntarios asistieron a una sesión de capacitación acerca de la
pedagogía, después de la cual pudieron realizar clases de lectura (después de
la escuela) para los niños, utilizando materiales diseñados y proporcionados
por Pratham. ¿Funcionó el programa “Learn to Read” de Pratham? ¿Qué se
requiere para que midamos si un programa funcionó, si tuvo un impacto?
o Aprender a identificar los métodos de evaluación sin haber sido informado
sobre el método específico.
o Promover el desarrollo de la intuición respecto al “sesgo”.
o Explorar el problema fundamental de identificación y las diferentes formas de
How to read and evaluate evaluations
Subjects covered
estimar el impacto de un programa usando diseños con grupos de control.
o Introducir el concepto de sesgo de selección y cómo los diseños que utilizan
grupos de comparación son solo buenos en la medida en que sus capacidades
le permiten deshacerse del sesgo de selección.
o Mostrar la forma mediante la cual la asignación aleatoria elimina del sesgo de
selección
Causalidad, contrafactual, impacto, grupos de control, sesgo de selección,
variables omitidas, aleatorización, equivalencia y comparabilidad
El objetivo principal de la evaluación de impacto es estimar qué habría pasado en ausencia del
programa. Se han usado un muchos métodos para estimar el contrafactual y comprender por qué
el diseño experimental es considerando “el estándar de oro”. Debemos comprender la deficiencia
con los otros métodos. Este caso trata de hacer eso.
Estimando el impacto del proyecto “Learn to Read”
Método 1:
Comunicado de prensa: Read India ayuda a los niños a aprender a leer.
Tema de discusión 1:
1. ¿Qué tipo de evaluación implica este comunicado de prensa?
Test pre-post
2. ¿Cómo intenta a estimar el contrafactual este método? ¿Qué usa para el grupo de
comparación?
Los estudiantes Pratham ANTES de matricularse en el programa.
3. ¿Cuáles podrían ser los problemas con este tipo de evaluación (utilice ejemplos
concretos)?
No sabemos cómo les habría ido a los estudiantes que se matricularon en el
programa si no lo hubiesen hecho. Es posible que los estudiantes habrían
mejorado incluso sin participar en el programa debido a otros factores. En ese
mismo año, por ejemplo, las familias tuvieron una mejor cosecha que lo habitual,
lo cual mejoró la nutrición de los estudiantes.
1
The Abdul Latif Jameel Poverty Action Lab
@MIT, Cambridge, MA 02130, USA | @IFMR, Chennai 600 008, India
@PSE, Paris 75014, France | @PUC, Santiago, Chile..
Case 2: Learn to Read Evaluations
Método 2:
Opinión: El proyecto “Read India” no está consiguiendo los resultados esperados
Tema de discusión 2:
1. ¿Qué tipo de evaluación utiliza este documento de opinión?
comparación expost de los participantes y no participantes (comparación simple
de media)
2. ¿Cómo intenta a estimar el contrafactual este método? ¿Qué usa para el grupo de
comparación?
Estudiantes de aldeas que no se matricularon en el programa, medidos después de
la implementación del programa.
3. ¿Cuál podría ser el problema con este tipo de evaluación (utilice ejemplos concretos)?
Los estudiantes que se matriculan en el programa pueden ser significativamente
diferentes a los estudiantes que no se matriculan. Los estudiantes que se
matriculan en el programa es probable que sean estudiantes de bajo rendimiento
en comparación con sus pares. Como resultado, incluso si el programa mejora los
puntajes, puede que los estudiantes aún no alancen a sus pares de mayor
rendimiento. Debido a este sesgo, puede que parezca que el programa no fue
efectivo.
Método 3:
Carta al editor: Education for All debe considerar evaluar de manera justa y precisa
Tema de discusión 3:
1. ¿Qué tipo de evaluación utiliza esta carta?
Differences in Differences
2. ¿Cómo intenta a estimar el contrafactual este método? ¿Qué usa para el grupo de
comparación?
Estudiantes de aldeas no matriculados en el programa, medidos tanto antes como
después de la implementación del programa (para obtener mejoras en los puntajes
de las pruebas).
3. ¿Cuál podría ser el problema con este tipo de evaluación (utilice ejemplos concretos)?
Los estudiantes que se matriculan en el programa es probable que sean de bajo
rendimiento comparado con sus pares. Como resultado, es probable que los
estudiantes matriculados mejoren más que los estudiantes no matriculados porque
tiene más espacio para mejorar, esto puede sesgar nuestros resultados hacia
arriba.
The Abdul Latif Jameel Poverty Action Lab
@MIT, Cambridge, MA 02130, USA | @IFMR, Chennai 600 008, India
@PSE, Paris 75014, France | @PUC, Santiago, Chile..
2
How to read and evaluate evaluations
Method 4
Los datos nunca mienten siempre cuando el investigador no está durmiendo
Tema de discusión 4:
1. ¿Qué tipo de evaluación utiliza este informe?
Regresión multi-variable
2. ¿Cómo intenta a estimar el contrafactual este método? ¿Qué usa para el grupo de
comparación?
Estudiantes de aldeas que no se matricularon en el programa, controlando por
edad, curso y nivel educacional de los padres.
3. ¿Cuál podría ser el problema con este tipo de evaluación (utilice ejemplos concretos)?
A pesar de controlar por muchas variables de confusión, es probable que aún
queden algunas, como las diferencias en motivación u otros factores no
observados. Los estudiantes no fueron asignados aleatoriamente y no pudimos
contabilizar estos otros factores como el “efecto de selección”, de esta manera,
sesgando potencialmente los resultados.
3
The Abdul Latif Jameel Poverty Action Lab
@MIT, Cambridge, MA 02130, USA | @IFMR, Chennai 600 008, India
@PSE, Paris 75014, France | @PUC, Santiago, Chile..