Caso 3 Programa de Profesores Adicionales

Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
Caso 3
Programa de Profesores Adicionales
Diseñando una evaluación para responder tres preguntas clave
sobre políticas educativas
Este estudio se basa en la publicación Peer Effects and the Impact of Tracking: Evidence
from a Randomized Evaluation in Kenya, de Esther Duflo (MIT), Pascaline Dupas
(Stanford) y Michael Kremer (Harvard).
Objetivos
Después de esta sesión, los participantes serán capaces de:


Identificar varias preguntas de investigación para la evaluación de un programa.
Realizar diseños experimentales complejos para responder múltiples preguntas
de investigación.
CONTEXTO
Al igual que otros países en vías de desarrollo, Kenia ha logrado rápidos progresos hacia
el cumplimiento del objetivo de educación primaria universal (Objetivos de Desarrollo del
Milenio). Después de la eliminación de las tarifas escolares en 2003, la matrícula en las
escuelas primarias aumentó casi un 30 por ciento, de 5,9 millones a 7,6 millones. Sin
embargo, este progreso ha dado origen a un conjunto de nuevos desafíos en Kenia.
1) Tamaño de clases demasiado grandes:
Debido a restricciones presupuestarias, el aumento en la matrícula escolar no ha
coincidido con un aumento proporcional en el número de profesores. Esto ha resultado
en clases muy grandes, particularmente en los cursos iniciales. En una muestra de
escuelas en Kenia occidental, las clases de primer grado tenían un promedio de 83
estudiantes en 2005. Esto es preocupante porque se cree que las clases pequeñas son
más importantes para los estudiantes más jóvenes, quienes aún se están acostumbrando
al entorno escolar. El Sindicato Nacional de Profesores de Kenia calcula que el país
1
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
necesita 60.000 profesores de escuela primaria, además de los 175.000 ya existentes,
para atender a todos los estudiantes de escuela primaria y reducir el tamaño de las
clases.
2) Ausentismo de los profesores:
Exacerbando el problema del elevado número de alumnos por profesor, la tasa de
ausentismo de los profesores es muy alta, situándose cerca del 20% en algunas áreas de
Kenia. Normalmente no existen reemplazos para los profesores ausentes, de modo que
los estudiantes simplemente pierden esa clase o asisten a otra, por lo general de otro
grado. Las escuelas de menor tamaño, nada infrecuentes en las áreas rurales de los
países en vías de desarrollo, pueden tener que cerrar por completo en ausencia de un
profesor.
3) Clases heterogéneas:
Las clases en Kenia también son muy heterogéneas, con estudiantes que varían
ampliamente en términos de preparación escolar y del apoyo que reciben en el hogar.
Agrupar a los estudiantes en clases clasificadas por aptitud (subdivisión o tracking) es una
idea debatida entre los académicos y los encargados de políticas públicas. Por un lado,
los profesores pueden centrar sus esfuerzos en las necesidades de un grupo más
homogéneo de estudiantes, y por tanto la subdivisión podría mejorar la efectividad de las
escuelas y los puntajes en los exámenes. Por otra parte, si los estudiantes aprenden en
parte de sus compañeros, la subdivisión podría convertirse en una desventaja para los
estudiantes con malos resultados y en un beneficio para los que tienen buenos
resultados, lo que exacerbaría la desigualdad.
Esta situación plantea nuevos desafíos para las comunidades. ¿Cómo garantizar una
calidad mínima de la educación, dadas las restricciones presupuestarias de Kenia?
2
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
Discusión 1
Piense en diferentes intervenciones o programas que se podrían implementar con el
fin de resolver algunos de estos problemas.
3
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
LA INTERVENCIÓN
En 2005, la ONG International Child Support Africa (ICS) se ofreció a apoyar al sistema
escolar de la región occidental de Kenia mediante la contratación de profesores en
80 escuelas primarias, a fin de abordar la escasez de profesores y poder reducir el número
de estudiantes por clase. En su programa de dos años, ICS proporcionó fondos a estas
escuelas para que cada una contratara un profesor adicional. A diferencia de los
funcionarios civiles contratados por el Ministerio de Educación, los profesores del
programa eran contratados localmente por comités escolares. ICS esperaba que este
programa mejorara el aprendizaje de los estudiantes gracias a la disminución del tamaño
de las clases y la utilización de profesores que rindieran cuentas directamente a las
comunidades a las que prestan servicios. Por otra parte, los profesores adicionales suelen
tener menos capacitación y recibir un salario mensual inferior al de los funcionarios
civiles. Por esta razón, existía preocupación acerca de si estos profesores estaban lo
suficientemente motivados (dada su remuneración) o calificados (dadas sus credenciales)
para lograr impactos sustanciales.
¿Son efectivos los profesores adicionales? La evaluación experimental del Programa
de Profesores Adicionales
La organización International Child Support Africa está interesada en examinar el efecto
de los profesores adicionales en la educación en Kenia. En la zona rural de Kenia donde la
ONG trabaja, la gran mayoría de escuelas consta solamente de una clase de primer
grado. ICS dispone de fondos para contratar a 80 profesores adicionales, y quiere que
cada profesor sea asignado a una de estas escuelas, para así dividir en dos las clases de
primer grado y poder reducir su tamaño. De este modo, la contratación de 80 profesores
adicionales en las 80 escuelas que sean seleccionadas conllevaría a la duplicación en el
número de clases de primer grado, pasándose de 80 clases a 160 clases. La mitad de las
clases estaría a cargo de profesores tradicionales, la otra mitad a cargo de prefesores
adicionales no funcionarios, y el tamaño de las clases se reduciría a la mitad.
4
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
Discusión 2
Antes de decidir qué escuelas se beneficiarián del proyecto de ICS, la ONG se
plantea realizar una evaluación experimental, y solicita tu ayuda para diseñarla.
1. ¿Cómo podría una evaluación experimental determinar el impacto de los
profesores adicionales? Diseñe una estrategia de aleatorización que permita
identificar el impacto causal del programa de profesores adicionales y grafíquela.
Antes de plantear el diseño de la evaluación experimental: ¿Cuál es el nivel de
aleatorización adecuado para esta evaluación?
2. Tras plantear el diseño de la evaluación experimental: Exactamente, ¿cuál es el
impacto causal que podría estimarse con tu propuesta de diseño? Es decir, ¿qué
elementos del programa explicarían el impacto calculado?
5
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
Discusión 3
Como hemos visto, el impacto del programa podría atribuirse a diferentes aspectos
de la intervención: por una parte estaría el impacto de tener un profesor distinto a
los profesores tradicionales; por otra, estaría el impacto de la reducción del tamaño
de las clases.
Diseñe una estrategia de aleatorización que permita aislar el efecto del profesor
adicional del efecto del tamaño de clase, y grafíquela.
Consejo: para empezar, fíjate solo en los colegios beneficiarios y piensa qué habría
que hacer para poder comparar el desempeño de los profesores adicionales frente a
los tradicionales.
6
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
Al dividir las clases en dos se podrían usar diversos criterios. Una posibilidad sería dividir la
clase en dos grupos construidos al azar, por ejemplo lanzando una moneda; otra opción
sería ordenar a los estudiantes alfabéticamente en base a la primera letra del apellido y
dividir esta lista en dos. Ambos criterios conducirían a clases hetereogéneas, donde los
estudiantes más aventajados compartirían el aula con aquellos menos aventajados.
Las clases también podrían dividirse de forma que los estudiantes más aventajados
queden en un grupo, y los menos aventajados queden en otro grupo. Así, los profesores
podrían centrarse en las necesidades de cada tipo de estudiante. Aprovechando la
división de las clases que se produce al incorporar a los profesores adicionales, los
implementadores del programa pensaron en incluir en el programa el componente de
tracking, donde los estudiantes son divididos en base a su desempeño académico inicial.
Discusión 4
Antes de integrar este componente al diseño de evaluación que hemos desarrollado
hasta ahora, diseñe una nueva estrategia de aleatorización que permita identificar
el impacto causal de tracking. Por ahora, el diseño no hace falta que permita estimar
el impacto de otros aspectos del programa (tipo de profesor o tamaño de las clases).
Consejo: dado que el tracking se va a realizar solo en las escuelas beneficiarias, solo
debes prestar atención a este lado del diagrama. Necesitamos crear dos grupos de
beneficiarios: uno donde la división de clases se base en tracking, y otro donde la
división de clases no se base en tracking.
7
Herramientas de Evaluación de Impacto e Innovación Social |
Santiago, del 23 de abril al 14 de mayo de 2014
Discusión 5
Ahora tratemos de incorporar todos los elementos en una misma evaluación.
Diseñe una estrategia de aleatorización que permita estimar los siguientes efectos,
y grafíquela.
-
El impacto de usar profesores adicionales (versus profesores tradicionales).
El impacto de reducir el tamaño de clase.
El impacto de hacer tracking.
Para facilitar las divisiones, supón que en el punto de partida existen 190 escuelas,
de las cuales 70 escuelas forman el grupo de control “puro” (no se benefician del
programa) y 120 escuelas reciben el programa en alguna de sus variantes.
8