INTRODUCCIÓN Un Buen Comienzo (UBC) es un programa de

Ernesto Treviño (Centro de Políticas Comparadas de Educación, Universidad Diego Portales),
Francisca Romo (Centro de Políticas Comparadas de Educación, Universidad Diego Portales), Felipe
Godoy (Centro de Políticas Comparadas de Educación, Universidad Diego Portales)
"Evaluación
del programa Un Buen Comienzo: programa de mejora de la educación preescolar en
INTRODUCCIÓN
Chile"
Un Buen Comienzo (UBC) es un programa de desarrollo profesional docente para educadoras y
técnicos de párvulos que busca mejorar el desarrollo de los niños vulnerables que asisten a la
educación preescolar en cuatro ámbitos: lenguaje y socioemocional, salud y trabajo con familia.
UBC comenzó a implementarse en 2008 como un programa de intervención cuyo impacto fue
evaluado a partir de un diseño experimental (randomized controlled trial). Durante esa etapa, el
diseño impidió realizar cambios a la intervención para no alterar el experimento y sesgar las
estimaciones de resultados. La implementación fue realizada en 32 escuelas de intervención durante
dos años, y se evaluó a igual número de establecimientos como contrafactual. La implementación se
hizo por cohortes partiendo en 2008 y finalizando en 2011, con la participación de seis comunas de la
Región Metropolitana, y alcanzó a alrededor de 2000 niños de prekinder y kínder. Los resultados de
esta experiencia muestran un impacto moderado y decreciente con el tiempo en la calidad de las
interacciones pedagógicas, y ausencia de impacto significativo en los aprendizajes de los niños. A
continuación, en los siguientes gráficos, se muestran el impacto en interacciones pedagógicas (¡Error!
No se encuentra el origen de la referencia.), el impacto en el desarrollo del lenguaje (¡Error! No se
encuentra el origen de la referencia.) y en desarrollo socioemocional (¡Error! No se encuentra el
origen de la referencia.), luego de dos años de intervención.
1
0.376*
0.432*
0,8
0,8
0,6
0,6
0,4
0.056
0.113
1
1
0,2
0
0,079
0,4
0,09
0,2
0
-0,2
-0,2
-0,4
-0,4
-0,6
-0,6
-0,8
-0,8
0,5
-0,07
Vocabulario
-0,03
Escritura
emergente
-0,06
-0,1
Habilidades
matemáticas
emergentes
-1
-1
GGráfico 2: Impacto en desarrollo del lenguaje, luego de
Gráfico 1: Impacto en Interacciones, luego de 22 años
0,161
0
Comportamiento
pro-social
-0,5
Atención, control
de impulsos y
reducción de
comportamiento
agresivo
-1
Gráfico
3:
Impacto
en
desarrollo
socioemocional, luego de 2 años de
intervención.
años de intervención
Significancia estadística: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001
1
Los resultados de este experimento están determinados por el ausentismo de los niños, quienes en
promedio no asisten a clases el 22.7% de los días escolares. Al estudiar los resultados según el quintil
de ausentismo, los resultados del primer quintil (con menos ausentismo) muestran resultados
positivos y significativos de UBC en identificación de letras y palabras y escritura emergente (Arbour,
et al. 2013).
La reflexión a partir de los resultados del experimento llevo a ajustar el modelo inicial para promover
la sustentabilidad y escalabilidad a la intervención. Así, se diseñó e implementó una segunda versión
del programa, adoptando la metodología de mejora continua y potenciando el trabajo con los
equipos directivos. El modelo de mejora continua se implementó por primera vez el año 2011 en la
Sexta Región de Chile, en las comunas de Rancagua, Codegua y Chimbarongo. El siguiente trabajo
describe el diseño y los resultados de esta versión del programa.
EL MODELO DE MEJORA CONTINUA
La Mejora Continua en UBC tiene dos pilares principales: la colaboración entre distintos actores, y el
proceso de mejoramiento cíclico en base a la recolección y trabajo con evidencia empírica. El primer
pilar se basa en la propuesta del Institute for Healthcare Improvement (IHI), y el segundo, en el
modelo Datawise, desarrollado por la Escuela de Graduados en Educación de la Universidad de
Harvard. A continuación se describen brevemente ambos pilares.
El modelo de IHI.
El modelo de IHI se basa en la generación de instancias colaborativas y una metodología para la
mejora. Las instancias colaborativas se entienden como una estructura para el aprendizaje en la que
participan diversas entidades que comparten sus experiencias, logros y dificultades para lograr
objetivos comunes. En el caso de Un Buen Comienzo, se convocó al trabajo colaborativo a las
escuelas participantes del proyecto, autoridades del nivel local y central, y expertos en las temáticas.
La colaboración contempla un primer momento donde los expertos definen los temas centrales de
trabajo (en este caso, los cuatro ejes centrales del programa), luego se define la carta de navegación
Ž͞ŚĂƌƚĞƌ͕͟ĞŶůĂƋƵĞƐĞdefine los objetivos del programa, y los conductores tanto primarios como
secundarios que orientan las acciones del proyecto que permitirán alcanzar esos objetivos. Esta carta
2
de navegación resume lo que se espera realizar con la iniciativa de mejoramiento, y responde a las
tres preguntas básicas del modelo: ¿Qué intentamos realizar?; ¿Cómo sabremos que un cambio es
una mejora? , ¿Qué cambios nos llevarán hacia el mejoramiento?
Además, el modelo de colaboración está compuesto por una serie de sesiones de aprendizaje con
períodos de acción entre cada una. En ellas, participan los equipos que lideran el proceso de mejora
en cada escuela quienes, a través de presentaciones plenarias, pequeñas discusiones de grupo y
reuniones de equipo, tienen la oportunidad de: dar a conocer la carta de navegación (primera
sesión); conocer los resultados de las pruebas en terreno; recopilar nueva información sobre el tema
y la mejora de procesos de los colegas y expertos; compartir información con otras escuelas;
desarrollar planes de mejora detallados para su organización.
Los períodos de acción entre sesiones de aprendizaje son parte fundamental del programa. Durante
éstos, los equipos trabajan en sus respectivas salas de clase, realizando pruebas de cambio y
recogiendo datos para evaluar si ha habido mejora. De acá se desprende el segundo componente
clave del modelo IHI: las pruebas de cambio y el ciclo de mejora PHEA (Planificar-Hacer-EstudiarActuar).
Para desarrollar su trabajo, los equipos utilizan el ciclo de mejora PHEA (Planificar-Hacer-EstudiarActuar) desarrollado por Associates in Process Improvement (Langley et al. 2009). Este ciclo se
caracteriza por trabajar con objetivos específicos, medibles a través del tiempo y por definir cambios
claros que resultarán en la mejora esperada. Por último, estos deben ser evaluados a través de una
serie de pruebas de cambio, que permiten a los equipos aprender a aplicar una idea de cambio en sus
propias salas (IHI 2003, Langley et al. 2009).
Los equipos de sala llevan a cabo estas pruebas de cambio se llevan a cabo de manera cíclica con la
siguiente secuencia: a) planifican la prueba de cambio, tomando en cuenta las características
culturales y organizacionales propias; b) monitorean el proceso con mediciones y estudian los
resultados para determinar cómo es posible mejorar; c) en base a lo aprendido actúan para
implementar los cambios de manera permanente o ajustar la intervención. Este proceso continúa
refinando los cambios en cada nuevo ciclo.
3
El Modelo Datawise.
Datawise es un modelo que permite organizar el trabajo de mejora educativa, mediante la toma de
decisiones basada en evidencia. Consta de tres grandes fases, cada una con sus pasos más específicos
y abordables:
1) Preparación: la comunidad debe prepararse para el trabajo con datos.
2) Indagación: se recolectan datos de la escuela, y se destaca la necesidad de analizarlos de
manera profunda para detectar y enfrentar los posibles problemas. El análisis debe ir más allá
de una primera impresión que califique a los resultados de positivos o negativos. Es
indispensable que los equipos busquen comprender los mecanismos subyacentes a los
resultados. Para esto, es necesario el involucramiento activo de los docentes y equipos
directivos, la utilización constante de observaciones de aula, y el análisis de los trabajos y
tareas de los niños. En otras palabras, se trata del análisis conjunto de la comunidad de todos
los datos que entreguen pistas para entender los resultados obtenidos.
3) Actuar: en ella se desarrolla un plan de mejora, se planifica cómo se evaluará ese plan, para
luego actuar y volver a evaluar.
METODOLOGÍA
Método.
La intervención de la mejora continua (más adaptable a los contextos, aunque con mayor prescripción
en la dosis y exigencia en la implementación) y la forma de selección de las escuelas (ausencia de
aleatorización), impiden evaluar el impacto de UBC en versión mejora continua a través de un diseño
experimental, como en la primera versión del programa.
Dado lo anterior, el contrafactual se construyó a partir de las salas del grupo de control de la primera
versión, todas ubicadas en la Región Metropolitana, por lo que fue necesario implementar una
estrategia de pareo (matching). Específicamente se usó la estimación de ponderadores por
probabilidad inversa (inverse probability weighted estimators) (Imbens & Wooldridge, 2008), técnica
4
que pondera cada caso por su probabilidad de participación en el programa1. Los ponderadores se
utilizan al estimar los resultados mediante un modelo de regresión por mínimos cuadrados
ordinarios, con errores estándares robustos (Khandker, Koolwal & Samad, 2010), para dar cuenta de
que los niños en una misma escuela no son independientes entre sí.
Muestra, unidad de análisis y variables de interés
Muestra
La tabla 1 resume la información de la muestra y las variables de interés utilizada en el estudio.
N muestral
Comunas
Variables de interés
Variables de Contexto
Grupo de intervención
Grupo de control
361 niños, 27 salas, 26 escuelas
Rancagua,
Chimbarongo,
Codegua (VI REGIÓN)
843 niños, 38 salas, 27 escuelas
Cohorte 1: Peñalolén
Cohorte 2: Maipú y Lo Prado
Cohorte 3: Estación Central,
Pudahuel y San Ramón.
(REGIÓN METROPOLITANA)
Variables de sala.
Variables resultado nivel niño
Previsión de Salud (Dummy set)
Vocabulario sobre dibujos (WM)
Apoyo emocional CLASS
Situación laboral de la madre
Id. letras y palabras (WM)
Organización de la sala CLASS.
Madre ha estado en la sala o no
Dictado (WM)
Apoyo Pedagógico CLASS.
Educ. de la madre (Dummy set)
Comprensión de textos (WM)
Comportamiento externalizante
Comportamiento pro-social
Atención
Tabla 1: Resumen de la muestra y las variables de interés del estudio.
Para medir los resultados en desarrollo del lenguaje, se utilizó la batería Woodcock- Muñoz
(Woodcock, Muñoz, Ruef & Alvarado, 2005). A su vez, para medir desarrollo socioemocional, se
diseñó un cuestionario socioemocional para ser contestado por la educadora de cada niño
(Yoshikawa et al, 2012).
Los datos de interacciones de aula fueron recogidos a partir del instrumento CLASS (Pre-K), The
Classroom Assessment Scoring System (Pianta, La Paro & Hamre, 2008). Este instrumento consiste en
una rúbrica que califica con puntajes de 1 a 7, interacciones pedagógicas entre el educador y los
estudiantes a partir de tres grandes dominios: Apoyo Emocional, Organización de la Sala y Apoyo
Pedagógico.
1
Por razones de espacio, se omitirán de esta propuesta todas las fórmulas, tanto de los ponderadores como del
modelo de regresión utilizado, pero serán expuestos el día de la presentación en caso de ser necesario.
5
Los datos de variables de contexto fueron recogidos a través de un Cuestionario para padres y
apoderados, diseñado específicamente para la evaluación de impacto de la primera versión de Un
Buen Comienzo (Yoshikawa et al., 2012), y luego adaptado para la versión de Mejora Continua. Todas
las variables se detallan en la Tabla 1.
RESULTADOS
A continuación se presentan los tres tipos de resultados obtenidos: calidad de interacciones
pedagógicas, desarrollo del lenguaje y desarrollo socioemocional.
Resultados en la calidad de las interacciones de aula.
Luego de dos años de intervención, el programa logra impactos de gran tamaño en los tres dominios
de CLASS, alcanzando impactos promedio de una desviación estándar (gráfico4). Vale la pena
remarcar los importantes avances logrados por el modelo de mejora continua en términos de
interacciones pedagógicas, ya que esto da cuenta de que un modelo menos prescriptivo y más coresponsable es más efectivo en mejorar las prácticas.
2,00
1,50
1,00
1,00
1,06**
1,12**
0,50
0,98**
1,00
0,43**
0,50
0,28~
0,00
-1,00
-0,17
-0,12
-0,50
0,50
-0,50
0,00
0,38 *
0,11
0,00
Apoyo Organización
Apoyo
Emocional
del Aula Pedagógico
-0,22
-1,00
-0,50
-1,50
-2,00
Gráfico 4. Calidad de las interacciones de
aula después de dos años de
intervención. Elaboración propia.
-1,00
Gráficos 5. Resultados en Desarrollo
socioemocional después de dos años de
intervención. Elaboración propia.
Gráficos 6. Resultados en Desarrollo del
Lenguaje después de dos años de
intervención. Elaboración propia.
Significancia estadística: ~ = .10, * = 0.05, ** = 0.01, *** = 0.001
Resultados en el desarrollo de los niños: Lenguaje y Socioemocional.
Los resultados expuestos controlan por la línea de base y los puntajes de base de CLASS de los tres
dominios de interés (Apoyo emocional, Organización del aula y Apoyo Pedagógico). En el gráfico 6 se
observa que el programa tuvo impacto positivo en la dimensión de Identificación de Letras y
Palabras, no así en las otras tres dimensiones evaluadas. Incluso, en Escritura emergente y
Comprensión se encuentra un efecto contrario al esperado, aunque no es estadísticamente
6
significativo. Los resultados estandarizados muestran que el avance en la dimensión mencionada es
de 0,38 desviaciones estándar, mientras que los otros efectos, no significativos, no alcanzan a superar
el 18% de una desviación estándar.
Los resultados del gráfico 5 muestran que en general el programa fue más efectivo en el desarrollo
ƐŽĐŝŽĞŵŽĐŝŽŶĂů ĚĞ ůŽƐ ŶŝŹŽƐ͕ ƉĂƌƚŝĐƵůĂƌŵĞŶƚĞ ĞŶ ůĂƐ ĚŝŵĞŶƐŝŽŶĞƐ ĚĞ ͞ŽŵƉŽƌƚĂŵŝĞŶƚŽ ƉƌŽ-ƐŽĐŝĂů͟
;Ϭ͕ϰϯĚĞƐǀŝĂĐŝŽŶĞƐĞƐƚĄŶĚĂƌͿLJ͞ƚĞŶĐŝſŶ͟;Ϭ͕ϮϴĚĞƐǀŝĂĐŝŽŶĞƐĞƐƚĄŶĚĂƌͿ͘ŶĞůĐĂƐŽĚĞ͞ƚĞŶĐŝſŶ͕͟ůŽƐ
resultados deben verse con más mesura, ya que al controlar por las variables de interacciones de
aula, el efecto sólo es significativo al 10%.
CONCLUSIONES Y DISCUSIÓN
Los resultados muestran que la versión de Mejora Continua de UBC tuvo grandes impactos en la
calidad de la enseñanza de las educadoras en todos los dominios: emocional, organizacional y
pedagógico. Pero esto no necesariamente se traspasó de igual manera a los resultados de
aprendizajes de los niños/as.
En el caso del desarrollo socioemocional, se encuentra impacto positivo y significativo en
comportamiento pro-social y atención. Esto quiere decir que al finalizar kínder, los niños
participantes del programa tienden a interactuar más frecuentemente de manera positiva con otros
niños/as, cooperar en las actividades y juegos y ayudar al resto de sus compañeros. Así también, son
más capaces de seguir atentamente indicaciones y concentrarse en las actividades de la escuela.
En el caso del desarrollo del lenguaje, los resultados se encuentran en la dirección correcta, pero no
están en todas las áreas. Solo en identificación de letras y palabras se encuentra un efecto
significativo y robusto atribuible al programa, no así en vocabulario, comprensión de textos y
escritura emergente. Sin embargo, aún es necesario realizar estudios de moderación de los efectos
según el nivel de asistencia de los estudiantes.
Algunas posibles explicaciones para estos resultados son, en primer lugar, metodológicas. En el caso
de comprensión de textos, la prueba utilizada mide comprensión de textos y no comprensión oral,
que es en lo que se centra fundamentalmente el programa, de acuerdo a la edad de los niños/as.
También existen explicaciones y sugerencias respecto de la propia intervención. Por un lado, es
7
necesario aumentar la dosis de la enseñanza de vocabulario, la cual debe ser constante y en diversos
contextos, no solo en la actividad específica de vocabulario. Por otro, es necesario fijar la atención en
la relación entre desarrollo del lenguaje y desarrollo socioemocional y cognitivo. Los resultados
mostraron avances en el comportamiento pro-social y atención, pero no necesariamente en las
funciones cognitivas y ejecutivas de base del lenguaje, como la memoria trabajo, flexibilidad
cognitiva, etc. Es posible que este sea el primer paso por donde se deba partir, para tener efectos en
las habilidades de lenguaje más complejas, como la comprensión.
Ahora bien, ¿Qué aprendemos sobre los modelos de desarrollo profesional docente a partir de estos
resultados? En primer lugar, es necesario considerar los bajos niveles de apoyo pedagógico con que
parten las educadoras de párvulos. Si bien los resultados mostraron un avance significativo del grupo
UBC en comparación al grupo de control, ambos se encuentran en niveles bajos de calidad, lo que
puede explicar que los resultados de los niños/as no sean los esperados. Este es uno de los desafíos
más importantes para los programas de desarrollo profesional docente y que deben ser considerados
a la hora del diseño e implementación de políticas en este ámbito.
En segundo lugar, si bien ambos modelos mostraron algún resultado positivo, el modelo de Mejora
Continua fue considerablemente más efectivo que la primera versión. Una propuesta como esta,
donde las educadoras se responsabilizan de elegir estrategias y probar cambios dentro de un marco
estructurado como lo es la toma de decisiones basada en evidencia, es mucho más atractiva y
motivante para el cuerpo docente. En otras palabras, la apuesta por un programa que genera
capacidades en sus docentes, más que instaurar propuestas ͞Ă ƉƌƵĞďĂ͟ ĚĞ ĞůůŽƐ͕ ƉƵĞĚĞ ůůĞǀĂƌ a
mejores resultados.
Por todo esto, al momento de elegir modelos de mejoramiento profesional docente, es necesario
preguntarse qué tipo de sistema escolar queremos como sociedad, uno que dé resultados en el corto
plazo, pero con la constante amenaza de su poca sustentabilidad en el tiempo; o uno con resultados
sustentables, que requiere más trabajo para su instauración, pero que permite formar profesionales
que son capaces de tomar sus propias decisiones pedagógicas, a los cuales la sociedad puede confiar
a sus estudiantes.
8
REFERENCIAS
Arbour, M.C., et al. (2013). Testing for moderation of impact of the UB preschool intervention by
student absenteeism. Unpublished manuscript. Harvard University.
Imbens, G. M., & Wooldridge, J. M. (2008). Recent developments in the econometrics of program
evaluation (No. w14251). National Bureau of Economic Research.
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2010). Handbook on impact evaluation:
quantitative methods and practices. World Bank Publications.
Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). The Classroom Assessment Manual, pre-K.
Baltimore, MD: Brookes
Woodcock, R. W., Muñoz-Sandoval, A. F., Ruef, M., & Alvarado, C. G. (2005). Woodcock Muñoz
Language Survey ʹ Revised. Itasca, IL: Riverside Publishing.
Yoshikawa et al. (2012). Un Buen Comienzo: Post-test Impact report of an Iniciative to Improve the
Quality of Preschool Education in Chile. Harvard Graduate School Of Education and Centro de
Políticas Comparadas de Educación, Internal Draft.
9