aporte - Enseña Chile

1
Nº 14 - enero de 2012
Mariana Alfonso
Marina Bassi
Christian Borja
APORTE
La enseñanza de habilidades
socioemocionales en las escuelas
latinoamericanas. El rol de los docentes
no tradicionales.
qué manera las escuelas pueden promover habilidades socioemocionales
Resumen: ¿De
relevantes? El BID, con el apoyo de distinguidas instituciones académicas locales, se
asoció con Enseña Chile, organización que recluta a jóvenes profesionales sobresalientes y altamente
motivados para que enseñen en escuelas vulnerables, con el objetivo de contestar esta y otras preguntas.
Esta nota presenta resultados que sugieren la existencia de una asociación positiva entre los
profesionales de Enseña Chile y las habilidades socioemocionales, y que los docentes ECh transmitirían
actitudes positivas a sus estudiantes.
Las habilidades socioemocionales de
docentes y estudiantes
Las competencias que la sociedad y el mercado laboral
exigen a los jóvenes son cada vez más complejas. La
evidencia sugiere que para poder poder acceder a una buena
trayectoria
profesional
y
lograr
otros
resultados
socioeconómicos importantes en la vida, es necesario contar
tanto con habilidades cognitivas “duras” como con una serie de
habilidades socioemocionales "blandas" (Heckman, Stixrud y
Urzúa, 2006; Urzúa, 2008). En este contexto, es crucial
identificar programas educativos y experiencias que tengan un
efecto perceptible no sólo en términos de habilidades
cognitivas, sino también de habilidades socioemocionales, para
lograr así un mejor diseño de reformas y políticas educativas.
Claramente, los docentes juegan un papel importante en la
enseñanza de estas habilidades socioemocionales. Estudios han
señalado que un buen docente puede promover la relación
entre el rendimiento académico de los estudiantes y sus
habilidades socioemocionales (Bandura 1977; Rosenberg,
1965).
Enseña Chile: Iniciativa para atraer a la
docencia a graduados universitarios
sobresalientes
Enseña Chile (ECh) es la primera adaptación del modelo Teach
for America en América Latina, el cual busca atraer capital
humano de la más alta calidad a las escuelas urbanas y rurales
más vulnerables de Chile. ECh sigue un proceso de selección
riguroso que permite identificar graduados universitarios
dotados de competencias que les permitan convertirse no solo
Copyright © IDB 2012
Banco Interamericano de Desarrollo
1300 New York Avenue, N.W.
Washington, DC 20577 USA
La información y las opiniones que se presentan en estas publicaciones son
exclusivamente de los autores y no expresan ni implican el aval del Banco
Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que
representan. Este documento puede reproducirse libremente.
en muy buenos docentes, sino también en líderes y emprendedores sociales. La hipótesis consiste en
que cuando un docente posee estas competencias, es posible mejorar las habilidades
socioemocionales de los estudiantes. Hasta ahora ninguna de las evaluaciones de impacto del
programa Teach for America ha analizado el efecto que este programa tiene en las habilidades
socioemocionales. Para evaluar por primera vez esta y otras hipótesis, el Banco Interamericano
de Desarrollo se alió con Enseña Chile (ECh), el Centro de Políticas Públicas (PP-UC) de la
Pontificia Universidad Católica de Chile, el Centro de Medición de la misma universidad (MIDEUC) y Grupo Educativo para llevar a cabo una evaluación de Enseña Chile. Esta evaluación
comprendió la aplicación de una serie de pruebas y cuestionarios con el fin de medir los cambios en
los resultados de aprendizaje en lenguaje y matemáticas, en las habilidades socioemocionales e
intelectuales, y recabar información sobre el contexto socioeconómico de alumnos y docentes. Los
datos para los grupos de tratamiento y de comparación fueron recolectados en dos ocasiones durante
el año académico 20101: la línea de base se realizó en mayo y el seguimiento en noviembre. El total
de la muestra (tanto los participantes de ECh como los del grupo de comparación) se compone de
4.618 alumnos de primer año de escuela secundaria, 117 docentes y 57 escuelas.
Medición de las habilidades socioemocionales
Se midieron dos tipos de habilidades socioemocionales en los estudiantes: la autoestima y las
habilidades sociales. Ambos instrumentos son de auto-aplicación y han sido diseñados por MIDEUC. El instrumento diseñado para medir la autoestima se basa en el método de escalas de
Rosenberg, utilizado con mucha frecuencia en la literatura, y contiene dos marcos de afirmación
diferentes: afirmaciones positivas y negativas. El instrumento específico utilizado consta de diez
ítems con el objetivo de medir la autoestima como un constructo general y unidimensional. Además,
este instrumento tiene la ventaja de incluir tanto marcos positivos como negativos para minimizar el
sesgo de respuesta. En particular, "las afirmaciones negativas actúan como barreras cognitivas que
ameritan que el encuestado se involucre en un procesamiento cognitivo más controlado y no
automático" (Chen, Redina-Gobidoff y Dedrick, 2010). Esto significa que estos módulos tenderán a
aminorar cualquier percepción sesgada y, por el contrario, revelarán la verdadera percepción de los
estudiantes con respecto a su autoestima.
El instrumento para medir las habilidades sociales consta de 20 ítems que se dividen en tres
categorías principales: relaciones personales y participación con pares, resolución de conflictos,
y aspectos relativos a la comunicación asertiva. Un ejemplo de afirmación de este instrumento
sería “puedo expresar mis diferencias con otras personas sin ofenderlas”.
Los docentes ECh mejoran las habilidades socioemocionales
Los datos de la línea de base indican que los estudiantes que tienen un docente ECh (grupo de
“tratamiento”) y aquellos con un docente tradicional (grupo de “comparación”) registraron los
mismos niveles de autoestima y habilidades sociales. Sin embargo, en el seguimiento, se
evidenció que los alumnos beneficiarios del programa ECh presentaron puntajes mayores y
estadísticamente significativos en las dos pruebas de habilidades socioemocionales (autoestima
y habilidades sociales), en relación a los alumnos del grupo de comparación. La diferencia entre
los alumnos de ECh y el grupo de comparación en la medida de autoestima es de 2,8 puntos (o 78%
de una desviación estándar de la línea de base) y de 3,1 puntos en la medida para habilidades sociales
(40% de la desviación estándar de la línea de base), lo que constituye una magnitud importante si se
tiene en cuenta el corto período transcurrido entre las mediciones de la línea de base y el
seguimiento. Investigaciones futuras deberían confirmar causalidad de manera estricta y la magnitud
de los efectos. No obstante, estos resultados entregan evidencia importante en relación a los primeros
años del programa.
1 Para generar una muestra de comparación, utilizamos el método de emparejamiento (también conocido como propensity score
matching o PSM por sus siglas en inglés). El PSM empareja en sus características observables a los estudiantes que participaron en el
programa con aquellos que no. El puntaje de propensión se calcula usando un modelo Probit donde la variable dependiente es una
variable dicotómica que indica si el alumno participó en el programa o no. Después de calcular el modelo de probabilidad a nivel
alumno, se establece la probabilidad de que cada alumno participe en el programa ECh, seleccionando a alumnos de comparación
según la técnica del vecino más cercano.
2
Indagando acerca de los mecanismos detrás del efecto de ECh
sobre las habilidades socioemocionales
Los resultados presentados hasta ahora no indican
cuáles son las áreas específicas que impulsan el
efecto general. De este modo, calculamos el efecto de
ECh sobre las afirmaciones positivas y negativas de
manera separada, y sobre la distribución de las
habilidades sociales 2. Los resultados indican que los
alumnos que tuvieron docentes del programa ECh
presentan mejoras significativamente mayores en
sus propias percepciones positivas que los
alumnos que tuvieron docentes tradicionales,
mientras que las diferencias entre los alumnos
beneficiados por ECh y los del grupo de
comparación en el caso de las afirmaciones
negativas son cercanas a cero e insignificantes en
términos estadísticos. La existencia de una
correlación positiva entre el programa ECh y un
aumento en el número de respuestas afirmativas
indica que los docentes del programa ECh parecen
modificar la autoestima a lo largo del tiempo
transmitiendo principalmente conductas positivas.
Estos resultados coinciden con los objetivos del
programa de reclutar docentes que incentiven la
autoconfianza (en lugar de la desvalorización
personal) en sus alumnos.
Los docentes del programa ECh también parecen
producir efectos importantes en las habilidades
sociales de sus alumnos en comparación con los
docentes tradicionales. En un año académico, los
alumnos con los niveles más bajos en la distribución
de habilidades sociales y que tienen un docente del
programa ECh presentan un aumento de un tercio de
la desviación estándar en comparación a los alumnos
con docentes tradicionales, incluso después de
controlar por diferencias en resultados de aprendizaje
en las asignaturas de matemáticas y lenguaje entre la
línea de base y el seguimiento.
Comentarios finales y perspectivas
Las habilidades socioemocionales están demostrando
ser tan importantes como las habilidades cognitivas
para lograr resultados positivos en el mercado laboral
y la sociedad en general.
Figura 1: El efecto de un docente ECh en las
habilidades socioemocionales de los alumnos.
Fuente: Calculos propios con base en las bases de datos 2010 de
Ensena Chile.
Notas: ***indica significancia estadistica a un 1%.
2 Estos cálculos aparecen en la Figura 2. Las barras muestran la diferencia entre los alumnos del programa ECh y los que no son
alumnos del programa ECh en lo que se refiere al cambio en los niveles de habilidades medidas después de un año escolar. En la parte
izquierda de la figura 2, se presentan los cálculos de los cuatro modelos usados para calcular la correlación entre un docente del
programa ECh y las diferentes subpruebas de autoestima, mientras en el lado derecho se muestran los coeficientes de regresiones por
cuantiles en la que se parte la distribución de las puntuaciones de las habilidades sociales en tamaños iguales.
3
De este modo, se tiene por delante el desafío de buscar intervenciones exitosas que puedan fomentar
en forma eficaz aquellas habilidades “blandas” que sean pertinentes (además de las habilidades
cognitivas).
Figura 2: Docentes del programa ECh y la autoestima y las
habilidades sociales de los alumnos
Fuente: Cálculos propios con base en las bases de datos 2010 de Enseña Chile.Notas: * significativo al 10 %; ** significativo al 5 %; ***
significativo al 1 %. Los coeficientes de habilidades sociales se calculan mediante regresiones por cuantiles con errores estándares
simulados (también conocidos como bootstrapped standard errors). Asimismo, donde dice “con control por diferencias en pruebas
cognitivas” quiere decir que los resultados en las pruebas de lenguaje y matemáticas se incluyeron como variables de control.
Mediante instrumentos innovadores para medir las habilidades socioemocionales de los alumnos, el
BID y sus socios buscaron realizar una contribución por medio de la recopilación de este tipo de
información del programa Enseña Chile en el año 2010. La mayor parte de las conductas y las
características prevalentes en los docentes de ECh apuntan a que los niños adquieran y desarrollen las
habilidades socioemocionales a una edad crucial. Sin embargo, el método utilizado por el programa
ECh de incorporar docentes motivados con atributos de liderazgo debe continuar siendo evaluado a
una escala mayor. Los resultados presentados en este documento constituyen un primer paso
importante para sugerir y destacar ámbitos relevantes para futura investigaciones.
Referencias
Bandura, A. (1977). Social Learning Theory. Englewood Cliffs, NJ: Prentice Hall.
Carneiro, P. and Heckman, J. (2003). Human Capital Policy. IZA Discussion Papers 821, Institute for the
Study of Labor.
Chen, Y., Rendina-Gobioff, G. and Dedrick, R. (2010). Factorial Invariance of a Chinese Self- Esteem
Scale for Third and Sixth Grade Students: Evaluating Method Effects Associated with Positively and
Negatively Worded Items. The International Journal of Educational and Psychological Assessment, 6(1),
21-35.
Heckman, J., Stixrud, J. and Urzua, S. (2006). The Effects of Cognitive and Noncognitive Abilities on
Labor Market Outcomes and Social Behavior. Journal of Labor Economics, 24(3), 411-482.
Rosenberg, M. (1965). Society and the Adolescent Self-Image. Princeton, NJ: Princeton University
Press.
Acerca de los autores
Mariana Alfonso y Marina Bassi son especialistas en la División de Educación del Banco Interamericano
de Desarrollo (BID). Christian Borja es consultor para la División de Educación del BID.
4
1
Nº 15 - enero de 2012
Mariana Alfonso
Marina Bassi
Christian Borja
APORTE
¿Pueden docentes no tradicionales
mejorar resultados de aprendizaje
en lenguaje y matemáticas?
presenta una de las brechas de aprendizaje más amplias entre estudiantes de
Resumen: Chile
altos y bajos ingresos. Enseña Chile, la primera adaptación en América Latina del
exitoso modelo Teach for America, tiene por objeto eliminar la desigualdad educativa al reclutar a
jóvenes profesionales sobresalientes para que enseñen por dos años en escuelas vulnerables. Enseña
Chile se asoció con el BID (con el apoyo de instituciones académicas de renombre en el ámbito local) para
diseñar e implementar un estudio que encontró que el programa estaría asociado a una mejora en los
resultados de aprendizaje en lenguaje y matemáticas. Estos resultados son prometedores para la
formulación de políticas destinadas a reducir las brechas educativas en América Latina.
Resultados de aprendizaje sumamente desiguales
Chile presenta una de las brechas más amplias en materia
de logros de aprendizajes entre los alumnos de altos y
bajos ingresos. Chile se encuentra entre los países evaluados
en PISA (Programme for International Student Assessment) con
la mayor variación entre escuelas respecto del rendimiento
estudiantil, y la mayor parte de dicha variación se explica por el
entorno socioeconómico de los estudiantes (PISA, 2010). El
mismo resultado se produjo TIMSS (Trends in International
Mathematics and Science Study) del año 2003, cuando Chile
obtuvo una de las mayores diferencias en resultados de
aprendizajes entre estudiantes de hogares de mayores recursos
y hogares de escasos recursos socioeconómicos. Estos
resultados son indicio de un sistema educativo muy segregado.
Enseña Chile pretende reducir
desigualdades educativas al reclutar a
graduados universitarios destacados para
enseñar en escuelas vulnerables
Enseña Chile (ECh), el primer programa en América Latina
basado en el modelo de Teach for America, tiene el objetivo
de construir un “movimiento para eliminar la desigualdad
educacional atrayendo a los líderes futuros más
prometedores del país a esta iniciativa” (Recart,
Copyright © IDB 2012
Banco Interamericano de Desarrollo
1300 New York Avenue, N.W.
Washington, DC 20577 USA
La información y las opiniones que se presentan en estas publicaciones son
exclusivamente de los autores y no expresan ni implican el aval del Banco
Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que
representan. Este documento puede reproducirse libremente.
2009). Para lograr esta meta, el programa ECh busca atraer capital humano de la más alta calidad
para asignarlo durante dos años en las escuelas urbanas y rurales más vulnerables de Chile. ECh sigue
un proceso de selección riguroso que permite identificar a los egresados universitarios con
competencias para convertirse no solo en buenos docentes sino que también en líderes y
emprendedores sociales. La hipótesis detrás de este programa consiste en que cuando se ubica a
profesionales altamente motivados y con capacidad de liderazgo en las aulas y se les ofrece
capacitación intensiva y apoyo continuo, sus alumnos se involucran y motivan más y además mejoran
sus resultados de aprendizaje. En 2010, en su segundo año de operaciones, el programa ECh asignó
62 docentes a 37 escuelas de primaria y secundaria que atienden a un alto porcentaje de alumnos
provenientes de hogares con necesidades básicas insatisfechas.
Diseño de evaluación de Enseña Chile (ECh)
La evaluación de ECh involucró la aplicación de una batería de pruebas y cuestionarios (a
alumnos, docentes y padres), con el fin de medir cambios en los resultados de aprendizaje en
lenguaje y matemáticas, en las habilidades socioemocionales e intelectuales, y recolectar datos
sobre el contexto socioeconómico de alumnos y docentes. En 2010, el Banco Interamericano de
Desarrollo en conjunto con sus socios de Enseña Chile, del Centro de Políticas Públicas (PP-UC) de la
Pontificia Universidad Católica de Chile, del Centro de Medición (MIDE-UC) de la misma universidad y
de Grupo Educativo, decidieron mejorar el diseño de la evaluación del programa ECh al enfocarse
únicamente en el primer año del nivel secundario (en Chile, enseñanza media) para el cual se disponía
de la totalidad de las pruebas.1 Adicionalmente, en la ronda de evaluación de 2010 se aumentó
considerablemente el tamaño del grupo de comparación. Otra mejora consistió en que el grupo de
comparación al nivel de la escuela fue elegido aleatoriamente. Estas mejoras resultaron en una
muestra total (tanto de participantes del programa ECh y del grupo de comparación) de 4.618
alumnos en primer año de educación secundaria, 117 docentes y 57 escuelas.
Sin embargo, la asignación de los docentes ECh a las escuelas y a las aulas al interior de las
escuelas no se realizó de forma aleatoria. En consecuencia, para generar una muestra de
comparación, este análisis se basa en el método de propensity score matching (PSM), también
conocido como método de emparejamiento. En particular, el PSM empareja a partir de sus
características observables (tales como el contexto socioeconómico, y las características del hogar y
de la escuela) a alumnos que participaron en el programa con aquellos que no participaron.2
Medición de resultados de aprendizaje en matemáticas y lenguaje
Con el objetivo de medir los logros de aprendizaje se aplicaron las Pruebas SEPA (Sistema de
Evaluación de Progreso del Aprendizaje), que corresponden a pruebas estandarizadas que
permite el cómputo de valor agregado. La prueba de lenguaje mide el aprendizaje en las áreas
de lectura, comprensión de texto, y comunicación. La prueba de matemáticas incluye ítems de
evaluación para las áreas de números y operaciones, álgebra, y geometría. En la línea base, tanto
las pruebas de lenguaje como de matemáticas miden el conocimiento que los alumnos debieran haber
adquirido al terminar el octavo grado. En el seguimiento, las pruebas miden el conocimiento que los
alumnos debieran haber adquirido durante el primer año de educación secundaria. Los puntajes en la
línea base tanto para alumnos beneficiados por el programa ECh como para alumnos del grupo de
comparación son inferiores a la media nacional, lo que indica que el programa ECh está dirigido a
escuelas de bajo desempeño.
1 La información se recogió en dos ocasiones durante el año académico; la línea de base fue levantada en mayo de 2010 y la medición
de seguimiento en noviembre del mismo año.
2 El puntaje de propensión se calcula usando un modelo Probit donde la variable dependiente es una variable dicotómica que indica si
el alumno participó en el programa o no. Después de calcular el modelo de probabilidad a nivel alumno, se establece la probabilidad
de que cada alumno participe en el programa ECh, seleccionando a alumnos de comparación según la técnica del vecino más cercano.
2
Docentes de Enseña Chile están asociados con mayores
aprendizajes en lenguaje y matemáticas
Ser docente ECh está significativamente
relacionado con mayores puntajes en las
pruebas de lenguaje y matemáticas. Usando
diferentes
modelos
para
controlar
por
características observables y por deserción
muestral, se encuentra que los alumnos de
docentes ECh, obtuvieron durante un año
lectivo 6,2 puntos más en lenguaje y 3,1 puntos
más en matemáticas en relación a los alumnos
del grupo de comparación. Se trata de efectos
de tamaño considerable, que representan 3/4 y
1/3
de
una
desviación
estándar
respectivamente.3
Los alumnos que poseen un docente ECh
obtienen puntajes significativamente más
altos en las tres subsecciones de la prueba
de lenguaje (lectura, comprensión y
comunicación) que los alumnos que
poseen docentes tradicionales. La sección
de lectura de la prueba suma 1/4 de
desviación
estándar,
la
sección
de
comprensión suma alrededor de 1/3 de
desviación estándar y la sección de
comunicación suma otro 1/5 de desviación
estándar; lo cual se traduce en un impacto
global de 3/4 de desviación estándar como
se informó anteriormente.
En el caso de matemáticas, los resultados
sugieren que existe una relación positiva entre tener docentes ECh y el mejoramiento del
aprendizaje de los alumnos en la sección de números y operaciones, aunque los alumnos
obtienen puntajes similares en álgebra y en geometría que aquellos con docentes tradicionales.
La sección de números y operaciones de la prueba aporta 1/4 de una desviación estándar, la sección
de álgebra suma solo 1/13 de desviación estándar, mientras que la sección de geometría suma un
1/11 de desviación estándar. Estos resultados sugieren que los docentes del programa ECh no son
más efectivos que los docentes tradicionales en la enseñanza de álgebra y de geometría, las cuales
podrían requerir de conocimientos disciplinares altamente especializados para ser enseñadas de
manera eficaz.
Las habilidades pedagógicas de los docentes y su experiencia pueden desempeñar roles
diferentes dependiendo de la materia que enseñan. En promedio, los alumnos que reciben clases
de docentes del programa ECh obtienen 6,2 puntos más en lenguaje en comparación a los alumnos
3 En lenguaje, el puntaje en la línea de base fue de 175,6 puntos y la desviación estándar fue de 8,81; mientras que en matemáticas
el puntaje en la línea de base fue de 174,3 puntos y la desviación estándar fue de 8,56.
3
con docentes tradicionales. Cuando se agrega la experiencia docente como una variable de control 4, la
diferencia en el puntaje de la prueba de lenguaje entre los alumnos que forman parte del programa
ECh y aquellos que no aumenta a 7,4 puntos al final del año escolar. Esto significa que cuando se
comparan dos docentes novatos,
uno que se ha formado de manera
tradicional en un instituto de
formación docente, mientras que el
otro ha sido reclutado por el
programa ECh pero que no ha
recibido instrucción formal aparte
de la ofrecida por el propio
programa a través de un Instituto de
Verano de 4 semanas de duración,
el docente de ECh se asocia con
incluso
mayores
logros
de
aprendizaje en lenguaje. Por el
contrario, en matemáticas, cuando
se toma en cuenta la experiencia
docente, la diferencia de puntajes
entre los alumnos beneficiados por
el programa ECh y los alumnos del
grupo de comparación se reduce de
3,1 a 0,9 puntos. Como resultado,
los docentes ECh no parecen producir un efecto en los logros de aprendizaje de matemáticas mas allá
de los que produce un docente formado de manera tradicional con el mismo nivel de experiencia. La
otra implicancia interesante radica en que la experiencia docente parece tener un efecto menor en
matemáticas que en lenguaje.
Comentarios finales y perspectivas
Chile y otros países de América Latina se enfrentan al desafío de reducir las desigualdades en los
resultados de aprendizaje. Las organizaciones de la sociedad civil pueden ayudar en esta ardua tarea,
como sucede en el caso de Enseña Chile. Esta nota muestra que los docentes ECh están asociados a
mayores aprendizajes en sus estudiantes, particularmente en lenguaje, en un período relativamente
corto de tiempo, aunque aún hace falta determinar si estas asociaciones perdurarán. Adicionalmente,
es necesario evaluar a mayor escala el método de ECh de incorporar a los salones de clases a
profesionales altamente calificados con escasa formación pedagógica. Sin embargo, el programa
parecería constituir una vía prometedora para reduccir algunas de las brechas educativas existentes.
Referencias
MIDE-UC (2009). Escalas MIDE-UC para evaluación del Programa Enseña Chile. Santiago, Chile:
Pontificia Universidad Católica de Chile.
MIDE-UC (2011). Informe Final: Desarrollo y Aplicación de Instrumentos Levantamiento y Digitación de
Datos Evaluación de Impacto de Enseña Chile 2010. Santiago, Chile: Pontificia Universidad Católica de
Chile.
Acerca de los autores
Mariana Alfonso y Marina Bassi son especialistas en la División de Educación del Banco
Interamericano de Desarrollo (BID). Christian Borja es consultor para la División de Educación del
BID.
4 La experiencia del docente se incluye con una variable dicotómica igual a 1 si el docente poseía experiencia docente antes de
participar en el programa ECh o si el docente tradicional afirma tener al menos un año de experiencia como docente.
4