Evaluación de Impacto del Liceo Jubilar

Evaluación de Impacto de un Centro Educativo Gratuito y Auto-gestionado en un
Barrio de Contexto Socio-Económico Desfavorable de Montevideo
Ana Inés Balsa a
Alejandro Cid b
Departamento de Economía y
Centro de Investigaciones Aplicadas: Pobreza, Familia y Educación
Universidad de Montevideo
13 de mayo de 2011
Resumen
Esta investigación evalúa el impacto socio-académico de una de las pocas experiencias de
liceos gratuitos y auto-gestionados en una zona de alta pobreza en Uruguay: el Liceo
Jubilar. La metodología de evaluación es experimental aleatoria. El estudio explota el
hecho de que el Liceo Jubilar tiene una lista de aspirantes mayor a la de los cupos que
puede cubrir y define la selección por sorteo. El estudio realiza un seguimiento y compara a
lo largo del tiempo a los jóvenes que fueron sorteados para ingresar al centro educativo y a
aquellos que no ingresaron. A un año de haberse iniciado la intervención, encontramos
amplias diferencias a favor de Jubilar en las tasas de promoción y permanencia en el
sistema educativo. La intervención tiene un marcado efecto positivo, además, sobre las
expectativas de los jóvenes de alcanzar estudios terciarios. Los alumnos de Jubilar están
más horas en el centro educativo, faltan menos y viven más cerca del liceo. Las
percepciones de los estudiantes sobre el clima del centro educativo (seguridad, actitud de
los educadores, clima entre los estudiantes) son favorables a Jubilar y lo mismo sucede con
las percepciones de los padres; resalta el resultado de que dos de cada tres padres con hijos
en liceos públicos enviaría a su hijo a otro centro educativo si tuviera la posibilidad de
elegir.
a
[email protected]; [email protected]
Agradecemos a Giorgina Piani y María Noel Domínguez, por su incondicional apoyo técnico y coordinación
del trabajo de campo; a Nicolás González, un gran soporte como asistente de investigación; al equipo técnico
del Liceo Jubilar (Gonzalo Aemilius, Florencia Sienra y Dolores Buján) que hizo posible la investigación y
colaboró sustancialmente en el proceso; y a Valeria Angenscheidt, Eugenia Rivas y María Eugenia Roca por
sus aportes en distintas instancias. Agradecemos al Centro de Investigaciones Aplicadas de la Universidad de
Montevideo por financiar el proyecto y a los participantes de la investigación por su buena disposición a
realizar las pruebas y a contestar las encuestas. Los autores son los únicos responsables de las opiniones
vertidas en el documento.
1
1. Introducción
La educación pública en Uruguay sufre una crisis profunda. El porcentaje de
jóvenes que culmina la educación secundaria se encuentra entre los más bajos de América
Latina (CEPAL 2005): solo uno de cada tres uruguayos de 22 años logra completar 12 años
de educación, muy por debajo de los estándares en Chile, Argentina y Brasil. Las tasas de
repetición son alarmantes, llegando a promediar el 40% en ciclo básico en los liceos
públicos de Montevideo. La mitad de la población de 15 años no alcanza los niveles de
suficiencia mínima en lectura y matemática, comportamiento que se extiende a tres de cada
cuatro adolescentes en el caso de jóvenes en el quintil más bajo de ingresos (Ministerio de
Educación, 2009).
El Liceo Jubilar es el único centro educativo secundario gratuito de gestión
autónoma en Uruguay. Se encuentra ubicado en la cuenca de Casavalle, Montevideo, y
ofrece educación media básica (1 º, 2 º y 3er año de liceo) a 175 estudiantes. Casavalle es
uno de los barrios más pobres de Montevideo, con una tasa de pobreza de casi 75% entre
los adolescentes (Encuesta Continua de Hogares, 2009). A la edad de 18 años solo el 40%
de los jóvenes en el barrio ha logrado culminar el ciclo básico de educación media y a la
edad de 22 años sólo el 8% ha terminado la educación secundaria. Jubilar es un centro
educativo de tiempo completo. Además de los cursos reglamentarios exigidos por la
Administración Nacional de Educación Pública (ANEP), los estudiantes están obligados a
elegir entre varios talleres educativos y recreativos. Los estudiantes pasan en promedio 9
horas por día en el centro educativo y el año escolar es de 44 semanas, 6 semanas más largo
que en la educación pública. El modelo educativo es altamente personalizado y centrado en
la disciplina. La institución realiza además un trabajo estrecho con las familias y la
comunidad. Además de comprometer a los padres a participar en actividades del centro
educativo (limpieza del liceo, ayuda con las comidas, acompañamiento en actividades o
paseos), el liceo ofrece cursos de informática, cocina y deportes para adultos en la
comunidad.
Jubilar se financia casi exclusivamente con donaciones privadas. Los padres están
obligados a contribuir económicamente dentro de sus posibilidades, pero estos aportes son
poco significativos. En los últimos años no han habido deserciones del sistema educativo
2
entre los alumnos de Jubilar y las tasas de repetición no alcanzan al 2% de los estudiantes,
cifras destacables cuando se analizan en el contexto de una tasa de repetición de casi 40%
en el ciclo básico en los liceos de Montevideo y tasas de abandono del 18% (MEC 2009).
El objetivo de esta investigación es evaluar el impacto socio-académico del Liceo
Jubilar sobre los adolescentes que ingresaron a 1ero de liceo en la institución en los años
2010 y 2011. En particular, se evalúan resultados académicos (deserción escolar y
calificaciones en matemáticas y lenguaje), se indaga acerca de los recursos invertidos en los
jóvenes y sobre el modelo de enseñanza-aprendizaje, y se analizan las expectativas y
percepciones de los estudiantes y sus padres sobre el centro educativo. Nuestra evaluación
de impacto se basa en la asignación al azar de dos cohortes de jóvenes de 12 años de edad
(N = 241) que se postularon para ingresar al Liceo Jubilar al finalizar sexto grado de
primaria en 2009 y 2010. La investigación explota el excedente de aspirantes sobre los
cupos disponibles y la consecuente selección de tipo aleatoria. La primer cohorte (N = 101)
fue entrevistada en octubre de 2009 y sometida a una selección aleatoria en diciembre, tres
meses antes de comenzar el año lectivo. La segunda cohorte (N=140) fue entrevistada en
noviembre de 2010 y sometida a una selección al azar en diciembre del mismo año. El
grupo de seleccionados de la segunda cohorte ingresó a Jubilar en marzo de 2011. La
investigación plantea hacer un seguimiento anual de las dos cohortes hasta que los
estudiantes completen el ciclo básico de educación media. El presente informe reporta los
resultados del primer año de seguimiento a la cohorte 1.
Esta es una de las primeras investigaciones en el ramo de la educación en Uruguay
que mide el impacto de un centro educativo mediante un experimento aleatorio, lo que
permite identificar efectos causales del tratamiento, libres de sesgos metodológicos. A
través de esta investigación se busca contribuir al debate nacional sobre estrategias
educativas que mejoren las oportunidades y los resultados académicos de los adolescentes
en zonas socioeconómicas desfavorecidas. El estudio tiene particular relevancia en el actual
contexto de cuestionamiento de la estructura centralizada y relativamente poco flexible de
la educación pública tradicional en nuestro país. Muchas de las iniciativas bajo discusión en
este momento, que revitalizan el concepto de centros educativos autónomos con mayor
capacidad de adaptación a los cambios y a las realidades sociales, se materializan en este
3
liceo. En este sentido, el caso bajo estudio ejemplifica y muestra resultados concretos de
una combinación de políticas educativas basadas en la autonomía de gestión, la
intervención con el medio (familia y comunidad), la focalización en el estudiante como eje
del sistema y la disciplina. Creemos que la investigación va a proporcionar a políticos y
tomadores de decisiones información valiosa que contribuya al proceso de mejora de los
centros educativos de nuestro país y que permita expandir las oportunidades de un amplio
sector de nuestra población.
2. Metodología
Como señalamos en la introducción, la deserción promedio y la tasa de repetición
son más bajas en el Liceo Jubilar que en los liceos públicos de Montevideo. Esta simple
comparación de medias captura no solo el efecto de tratamiento de Jubilar, sino también las
diferencias en las características de base de las poblaciones comparadas (sesgo de
selección). Por ejemplo, si en los liceos públicos se inscriben estudiantes de mayor nivel
socioeconómico que en Jubilar, el no tomar en cuenta estas diferencias de base impregnaría
de un sesgo negativo las estimaciones de impacto del liceo. Por otra parte, los estudiantes
que se postulan para ingresar a Jubilar probablemente superen a otros jóvenes de la zona en
términos de su motivación, la percepción del valor de la educación, y el apoyo familiar.
Estas últimas características podrían sesgar las estimaciones de impacto hacia arriba (sesgo
positivo) si el sesgo de selección no se trata adecuadamente. Mientras que algunas de las
variables que caracterizan a cada grupo pueden observarse con relativa facilidad (es decir,
el contexto socio-económico, estructura familiar, el nivel educativo de la familia y la
ocupación), otras características tales como el compromiso de los padres con la educación o
la motivación de los estudiantes son más difíciles de observar. En este sentido, la
comparación de medias ajustada por características observables, basadas en el análisis de
regresión o “propensity score” no soluciona totalmente el problema de sesgo de selección.
Para evitar este problema, la presente investigación explota el hecho de que la lista
de espera para ingresar al Liceo Jubilar supera en número la de los cupos disponibles y la
selección se realiza por sorteo. Esta regla de asignación asegura que el grupo de jóvenes
que ingresa a Jubilar (el grupo bajo tratamiento) es similar en múltiples características al
4
momento de la asignación al grupo que no sale sorteado para ingresar al liceo (grupo de
control). En ausencia de selección, el impacto de Jubilar se estima comparando
directamente los resultados del grupo de tratamiento y del grupo de control a lo largo del
tiempo. Para alcanzar un tamaño de muestra suficiente, el proyecto sigue a dos cohortes
consecutivas de solicitantes: aquellos que se postularon para entrar a Jubilar en el 2010 y
los que se postularon para ingresar en el 2011.
a) Recolección de datos
Respecto de la primera cohorte, en setiembre de 2009 el liceo Jubilar hizo un
llamado a inscripciones para cursar 1er año de enseñanza media básica en el liceo durante
el siguiente año. El liceo contaba con 70 plazas (dos clases de 35 alumnos). Se recibieron
solicitudes de 172 estudiantes, de las cuales 43 fueron rechazadas porque no cumplían con
criterios básicos fijados por la institución. Estos criterios incluían no superar la edad
apropiada para el curso en más de 1 año, vivir en el barrio Casavalle y que el ingreso
familiar se encontrara por debajo de la línea de la pobreza. De las restantes 129 solicitudes,
28 fueron automáticamente seleccionadas para entrar en el liceo, en su mayoría porque eran
hermanos de estudiantes o exalumnos del liceo. Esto dejó una lista de espera de 101
candidatos, los cuales fueron sorteados en diciembre de 2009 para cubrir la cuota de 43
lugares. Este grupo de 101 candidatos constituye nuestra primer cohorte.
El segundo grupo fue seleccionado entre el conjunto de estudiantes que aplicaron
para ingresar a 1er año de enseñanza media en Jubilar en el 2011. Se anotaron 247 jóvenes,
de los cuales 25 fueron aceptados directamente por ser hermanos de alumnos o exalumnos
y 82 fueron excluidos del proceso de selección por exceso de edad, ingresos familiares por
encima del umbral de pobreza o no residencia en Casavalle. De los 140 estudiantes
restantes se seleccionaron 45 al azar para cubrir las plazas disponibles. La combinación de
los dos grupos aumentó el tamaño de la muestra a 88 tratados y 153 controles, y de este
modo mejora la probabilidad de detectar estadísticamente los efectos de interés. En ambos
casos el sorteo consistió en una aleatorización estratificada por género, por nivel de ingreso
del hogar (alto o bajo) y por resultado de la prueba de ingreso a Jubilar (aceptable o no
aceptable).
Antes de llevar a cabo las loterías, el equipo de investigación de la Universidad de
Montevideo encuestó a los solicitantes. Las encuestas se realizaron en el Liceo Jubilar
5
durante tres sábados consecutivos en noviembre de 2009 y en tres turnos de un solo sábado
en noviembre de 2010. La modalidad de la encuesta fue de auto-administración con la
supervisión del personal del equipo de investigación. El cuestionario indagaba acerca de
aspectos demográficos, rendimiento académico, expectativas académicas, conductas
riesgosas y hábitos. Se administró además una encuesta a los padres o referentes familiares,
en la cual se realizaron preguntas acerca de la estructura familiar, educación, ingresos y
ocupación de los padres, entre otras características socioeconómicas. Esta encuesta fue
implementada por el personal del equipo de Jubilar durante las entrevistas de pre-ingreso a
las familias.
Los datos que presentamos a continuación, así como el análisis que se presenta en
este trabajo, se circunscriben al seguimiento de la primera cohorte, la única para la cual
tenemos datos de seguimiento a la fecha. Si bien el tamaño de la muestra es pequeño, como
veremos a continuación, permite identificar efectos del tratamiento con significación
estadística suficiente.
La Tabla 1 muestra, para la línea de base (2009), las características principales del
grupo de jóvenes en quien se enfoca esta investigación (los sometidos a sorteo), las de los
jóvenes excluidos del proceso de selección por no reunir prerrequisitos básicos, y las de los
estudiantes que ingresaron directamente a Jubilar sin pasar por un sorteo (por ser hermanos
de alumnos o ex-alumnos). Además de analizar las diferencias observables entre estos
grupos, se comparan las características de contexto del hogar de los postulantes con datos
representativos de los hogares del país con hijos menores de 18 años obtenidos de la
Encuesta Continua de Hogares del INE de 2009.
La columna (1) muestra que la edad promedio de los estudiantes que participaron en
la selección aleatoria era de 12 años en diciembre de 2009. La fracción de las niñas supera
ligeramente la de los niños. El setenta por ciento asistía a la escuela pública mientras que el
resto estaba matriculado en escuelas privadas, en la mayoría de los casos altamente
subvencionados o directamente gratis. Casi el 40% mostró resultados académicos pobres en
las pruebas de ingreso realizadas por Jubilar. La mitad de los niños dicen ser católicos; un
7% manifiesta ser de otras religiones y el resto reporta no profesar ninguna religión. Más
del 50% de los niños vivían con su madre y su padre al momento de la encuesta inicial,
6
cerca del 20% vivía solo con la madre, y el resto con madre y padrastro o con otros
parientes. Solo un 5% de los jefes de familia reporta no trabajar. El ingreso promedio anual
del hogar es de $ 12,100 pesos uruguayos (precios corrientes del 2010), lo que representa
unos US$ 600. Una alta proporción de los hogares eran receptores de beneficios sociales
tales como la Tarjeta Alimentaria del MIDES.
La columna (2) muestra los valores promedio para los jóvenes que quedaron
excluidos del proceso de selección y la columna (5) muestra las diferencias entre este grupo
y los que fueron sujetos a sorteo. Cabe señalar que no disponemos de encuestas para todos
los jóvenes descalificados a priori, por lo que los datos que comparamos en esta tabla
corresponden a una sub-muestra para la que sí hay datos (34 encuestas de 43 jóvenes en
esta categoría). La tabla muestra que los excluidos del proceso de selección eran en
promedio medio año mayores que los que participaron de la lotería, tenían menos
probabilidades de ser alumnos buenos o excelentes en la escuela de acuerdo a la nota de
promoción auto-reportada para 5to año, su probabilidad de haber repetido algún año era 5
veces más alta que la del grupo sujeto a la lotería y el resultado en la prueba de pre-ingreso
a Jubilar fue en promedio 10% inferior. Se observa también una menor probabilidad de
profesar la fe católica, aunque esta diferencia no surge en principio de los criterios de
exclusión. Además, estos jóvenes muestran ingresos medios familiares más altos.
La columna (3) presenta las mismas variables para aquellos que ingresaron al liceo
sin pasar por la selección aleatoria. Cuando se los compara con el grupo sujeto a la lotería
(ver diferencias en columna (6)), estos alumnos muestran un mejor desempeño en la prueba
de ingreso a Jubilar pero no se ven diferencias estadísticamente significativas en el resto de
las variables. 1
La columna (4) muestra valores promedio de las variables de contexto del hogar
para los hogares con hijos menores de 18 años relevados en la Encuesta Continua de
Hogares (ECH) del Instituto Nacional de Estadísticas del año 2009. Observamos que las
familias cuyos hijos participan en el sorteo de Jubilar tienen menos educación e ingreso que
el promedio de las familias uruguayas con hijos menores. El porcentaje de jefes de hogar
que no terminó primaria es de 30% en Jubilar frente a 6% en la ECH. El ingreso del hogar,
1
Hay que tener en cuenta que estos estudiantes ya tienen o han tenido hermanos o hermanas en el liceo, por
lo que el efecto del tratamiento puede haber empezado a tener efecto en sus familias previamente.
7
por su parte, es menos de la mitad entre las familias de Jubilar: éstas reportan en promedio
un ingreso de $12,000 mensual, frente a una media de $31,000 para los hogares con hijos
menores en Uruguay. Estos niveles de ingreso ubican a las familias de Jubilar en el 15%
inferior de la distribución del ingreso del país. También se verifica en los hogares de los
aspirantes a Jubilar un menor acceso a activos de consumo fijo. Por otra parte, el porcentaje
de jefes del hogar que declara trabajar es mayor para las familias de Jubilar que en la
Encuesta de Hogares (95% versus 81%).
La Tabla 2 compara las medias de variables clave para el grupo de tratamiento y
control. Teniendo en cuenta que la selección se realizó en base a un sorteo, no deberíamos
encontrar diferencias estadísticamente significativas entre ambos grupos. Esto se verifica en
la columna (4), donde se reportan los resultados de las pruebas-t y pruebas-z que comparan
las medias entre ambos grupos. Las pruebas demuestran que los dos grupos bajo estudio,
los jóvenes que ingresaron a Jubilar en marzo de 2010 (el grupo de tratamiento) y los
solicitantes que no fueron seleccionados (el grupo de control), no difieren
significativamente en las características de base. Hay una leve diferencia en el indicador de
bienes duraderos del hogar a favor del grupo de tratamiento, aunque la diferencia es
estadísticamente significativa al 10% solamente.2
El seguimiento posterior al 1er año de tratamiento de la cohorte 1 se llevó a cabo en
noviembre-diciembre de 2010. Se realizaron visitas a los hogares de los jóvenes de Jubilar
y del grupo de control y se le realizó a cada joven una encuesta, en parte administrada por
el encuestador y en parte en modalidad de auto-administración en el caso de algunas
preguntas sensibles. El cuestionario incluía preguntas sobre los logros académicos del
joven, sus percepciones acerca del centro educativo, el uso del tiempo, valores, satisfacción
personal, expectativas, estado de salud y comportamientos riesgosos. Además, se realizó un
breve cuestionario a los padres que indagaba sobre sus percepciones acerca del clima del
centro educativo de su hijo/hija y sobre aspectos socio-demográficos. Para fomentar la
participación y garantizar la fidelidad futura de los participantes, a cada sujeto se le ofreció
una tarjeta de recarga de celular por un monto equivalente a 5 dólares. Para minimizar el
riesgo de futura pérdida de observaciones en la muestra, se actualizó en esta instancia la
información de contacto del adolescente, sus familiares más cercanos y algún vecino.
2
De todas formas controlamos por esta variable al estimar los efectos del tratamiento.
8
Además de la entrevista, los participantes fueron sometidos a una prueba
estandarizada de matemáticas e idioma español. Estas pruebas fueron adaptadas por las
autoridades de educación pública en el Uruguay de las pruebas PISA (Programa
Internacional de Evaluación de Estudiantes) y aplicadas a un subconjunto de los estudiantes
de 1er año de secundaria en los liceos públicos en 2009. Los estudiantes de Jubilar
realizaron la prueba en las propias instalaciones, mientras que a los estudiantes en el grupo
de control se les administró la prueba en un sitio proporcionado por el equipo de
investigación en la zona de Casavalle. Se ofrecieron cuatro fechas diferentes a los sujetos
de control entre noviembre y diciembre de 2010 para completar las pruebas. Como forma
de incentivar la asistencia a la prueba, a estos jóvenes se les otorgó una recarga de teléfono
celular equivalente a $ 100 pesos uruguayos de 2010 (US$ 5) y se les brindó transporte
desde sus domicilios. Todas las pruebas fueron calificadas por maestros independientes.
Dos adolecentes no pudieron asistir a estas sesiones de evaluación y se les administró la
prueba en sus casas. Seis adolescentes del grupo de control rechazaron realizar la prueba y
tres de estos mismos adolescentes rechazaron también las encuestas.
Adicionalmente, la primera cohorte de adolescentes fue contactada por teléfono a
fines de marzo de 2011 para indagar sobre el rendimiento académico final (aprobación o
deserción) del estudiante para el año 2010. El cronograma completo de la intervención
durante los primeros dos años de seguimiento se resume en el siguiente cuadro. La
intervención prevé encuestar a los jóvenes participantes en sus hogares y aplicarles pruebas
de matemática e Idioma Español al culminar el primer año y tercer año de la intervención.
En el segundo año se prevé realizar llamadas telefónicas breves de actualización.
9
Figura 1. Cronograma de la medición de impacto
Seguimiento 1er año
Cohorte 1. Entrevista en el
hogar. Pruebas académicas
Encuesta línea de base
Cohorte 1 y entrevistas a
los padres
Nov 2009
Seguimiento 1er año
Cohorte 2.Entrevista en el
hogar. Pruebas académicas
Seguimiento 3er año
C1. Entrevista en el
hogar. Pruebas
académicas.
Nov/Dec 2011
Marzo 2013
Seguimiento 3er año
C2. Entrevista en el
hogar. Pruebas
académicas.
Encuesta línea de base
Cohorte 2 y entrevistas a
los padres
Nov/Dec 2010
Marzo 2014
Marzo 2012. Llamadas
actualización Cohorte 2.
Marzo 2011. Llamadas
actualización Cohorte 1
b) Tamaño de la muestra.
Como se ha mencionado anteriormente, la primera cohorte en el estudio se compone de 101
participantes, 43 seleccionados al azar para entrar al liceo Jubilar y 58 en el grupo control.
La segunda cohorte consta de 45 individuos en el grupo de tratamiento y 95 en el grupo de
control, un total de 140 individuos. Previo a la implementación del estudio, realizamos
algunos cálculos sobre el poder estadístico del tamaño muestral. Por ejemplo, supongamos
que el resultado de interés es la tasa de promoción y los individuos del grupo de control
alcanzan una tasa de promoción del 70% (el promedio de la tasa de promoción en los liceos
públicos), mientras que la promoción en Jubilar es del 99% (la tasa promedio actual). Dada
una muestra de 101 sujetos (Cohorte 1), podríamos detectar esta diferencia con un poder
estadístico del 99%. Si la tasa de promoción en el grupo de control fuera del 80%, el poder
estadístico de la muestra sería del 87%. Esto significa que dentro de cada cohorte hay alta
probabilidad de detectar efectos causales cuando las diferencias entre los dos grupos son de
una magnitud importante; la probabilidad disminuye cuando las diferencias son pequeñas.
Con la agrupación de las dos cohortes (n = 241, 88 en el grupo de tratamiento y 153 en el
grupo control) las probabilidades de detectar diferencias estadísticamente significativas
aumentan. Por ejemplo, una diferencia de 15 puntos porcentuales en las tasas de promoción
10
entre los dos grupos (99% y 85% en Jubilar y el grupo control, respectivamente) se puede
detectar con un poder estadístico de 99,2%.
c) Evaluación de Impacto
Como ya señalamos, el análisis en este trabajo compara los resultados a fines del
primer año de ciclo básico de enseñanza media para los individuos tratados versus los
individuos en el grupo de control de la Cohorte 1. Esperamos contar a principios del 2012
con datos para la Cohorte 2, lo que permitiría una evaluación más completa del impacto del
1er año de tratamiento.
Los principales resultados académicos a ser comparados entre los grupos de
tratamiento y control son la tasa de deserción escolar, la tasa de repetición y los resultados
de la prueba de matemática e idioma español. Un conjunto adicional de resultados de
interés son las expectativas académicas de los jóvenes, sus percepciones sobre el centro
educativo, el uso del tiempo, sus valores, así como las percepciones de los padres sobre el
centro educativo.
Para estimar el efecto promedio del tratamiento lo más simple es realizar una
regresión de cada resultado de interés en una variable dicotómica indicativa del estado de
tratamiento, es decir una variable que toma el valor 1 en caso de que el joven recibe el
tratamiento y 0 en caso contrario. En la primera cohorte, uno de los postulantes
inicialmente seleccionados para entrar a Jubilar desistió de asistir al centro educativo y dos
jóvenes del grupo de control que no habían salido seleccionados en el sorteo terminaron
asistiendo. De este modo, el grupo de los individuos que finalmente fue tratado difiere
ligeramente de los inicialmente seleccionados para ser tratados (grupo bajo intención de
tratamiento). En este contexto, una regresión simple estimada por mínimos cuadrados
ordinarios como la que se plantea arriba puede introducir un sesgo en la estimación de
impacto si la diferencia entre la intención de tratamiento y el tratamiento no es aleatoria.
Para evitar este problema, realizamos una estimación por variables instrumentales,
utilizando la intención de tratamiento como instrumento de la participación efectiva en el
tratamiento. El estadístico F de la primera etapa es mayor a 700, cumpliendo ampliamente
los requisitos de precisión de un buen instrumento. Además, ajustamos las regresiones por
género del joven, un índice de bienes duraderos del hogar y la educación de los padres
11
medidos antes del comienzo de la intervención.3 Aunque estas características están
equilibradas entre ambos grupos (es decir, no están relacionados de forma sistemática con
el tratamiento), su inclusión ayuda a reducir la varianza residual y por lo tanto a mejorar la
precisión de la estimación del efecto del tratamiento. Calculamos errores estándar
heteroscedásticos y, debido al tamaño reducido de la muestra, ajustamos los errores por un
factor de corrección de muestras finitas. Finalmente, para analizar la sensibilidad de los
resultados a variaciones en la metodología comparamos los resultados anteriores con
estimaciones por variables instrumentales sin ajustar por variables en la línea base y con
estimaciones por mínimos cuadrados ordinarios.
Una de las preocupaciones que surge al realizar experimentos aleatorios es la
posibilidad de contaminación entre los individuos en el grupo de tratamiento y control. El
hecho de que los jóvenes de ambos grupos vivan en el mismo barrio justifica preguntarse si
Jubilar no tiene también un efecto indirecto sobre los jóvenes del control a través de lazos
de amistad con sus estudiantes. Si bien un efecto de este tipo jugaría a favor de la
investigación (las diferencias encontradas serían menores a las que se encontrarían en la
ausencias de contaminación), creemos que es poco probable que se de este efecto. Debido
al horario extendido del liceo y su cultura diferente, la mayoría de los estudiantes de Jubilar
se termina vinculando entre sus pares del liceo. Uno podría preguntarse también si los que
ingresan a Jubilar no vienen ya con algún efecto de derrame positivo previo debido a la
participación de hermanos mayores en el liceo. Con respecto a este tema, los alumnos con
hermanos en Jubilar fueron aceptados automáticamente en el liceo y por lo tanto no
participaron en la aleatorización y en el grupo sujeto a medición en este análisis. Esta
estrategia minimiza los riesgos de contaminación al asegurar que ningún individuo en el
grupo de tratamiento experimentaba efectos de derrame a través de sus hermanos.
En el primer año de seguimiento nuestra investigación solo se concentra en
resultados a nivel de los postulantes y no mide potenciales efectos de derrame sobre su
familia y la comunidad. El potencial efecto del liceo Jubilar sobre los padres y familiares de
los involucrados, a través de cambios en su situación laboral, educación, embarazos
3
Para uno de los estudiantes carecemos de información sobre la educación de los padres, por lo que la
regresión omite esta observación. De todas maneras, repetimos la regresión sin controles y los resultados
difieren muy levemente. También corrimos variaciones incluyendo datos de la prueba de preingreso a Jubilar,
pero la inclusión de esta variable no cambiaba en forma importante la precisión y reducía el número de
observaciones disponibles.
12
precoces y conductas riesgosas, se evaluará durante el seguimiento que se realizará en el 3er
año del proyecto, a través de un cuestionario aplicado a un adulto referente en el hogar.
d) Costo-efectividad
El análisis de costo-efectividad del programa facilita la comparación de los costos
de oportunidad incrementales asociados con el impacto del programa. El costo de
oportunidad de Jubilar incluye todos los costos en recursos humanos comprados y donados,
el costo de la infraestructura, el costo de suministros y materiales, y otros gastos diversos
(como la electricidad, agua, internet, seguros). Además de asignar un valor al trabajo
voluntario y los recursos donados, la estimación requiere distinguir el porcentaje de
recursos en Jubilar dedicados exclusivamente al programa de enseñanza media, ya que hay
otros programas en marcha en la institución, como el liceo para adultos, el espacio de
acompañamiento y permanencia a egresados, talleres comunitarios, etc. Con estas
consideraciones, las autoridades del liceo pusieron a disposición nuestra una estimación de
costo por estudiante y año académico, la cual se compara con el mismo costo unitario de
enseñanza pública de Ciclo Básico que reporta ANEP.
3. Resultados
La Tabla 3 muestra los resultados de haber cursado 1er año en el Liceo Jubilar sobre
los resultados académicos de los jóvenes que participaron del estudio. La estimación es por
variables instrumentales utilizando como instrumento la intención de tratamiento, y
ajustando por sexo, índice de bienes duraderos del hogar y educación de los padres. Cada
columna representa un resultado académico diferente. Las primeras dos filas muestran los
valores promedios de cada una de esas variables de desempeño académico para el grupo de
control y para el grupo de tratamiento respectivamente luego de ajustar por sexo, bienes
duraderos y educación de los padres. La tercer fila muestra la diferencia entre los dos
grupos o el efecto promedio del tratamiento y la cuarta fila reporta los errores estándar de
dicha diferencia, cuya estimación toma en cuenta la potencial heteroscedasticidad de los
errores y el hecho de que estamos trabajando con una muestra chica. La última fila indica el
número de observaciones con el que se contó para la estimación. De las 101 observaciones
originales, una se perdió desde el inicio por rechazo de los padres a participar de la
13
investigación. Para las 100 restantes tenemos el 100% de datos de promoción, 4 datos
faltantes de deserción (por rechazos a realizar las encuestas) y 9 datos faltantes de las
pruebas (también por rechazo o imposibilidad de realizarlas).4 Adicionalmente, una
observación se pierde en las regresiones al faltar el dato sobre educación de los padres.
Estos primeros resultados muestran que la intervención redujo el riesgo de deserción
del primer año de ciclo básico en 10 puntos porcentuales, una disminución de 100% con
respecto al grupo control. En otros términos, 1 de cada 10 adolecentes del grupo de control
había abandonado 1er año a fines del 2010, mientras que la tasa de abandono fue cero en
Jubilar. Al indagar sobre los motivos de deserción, la mayoría de los desertores contestó
que se debía a razones de inseguridad dentro del centro educativo o durante el traslado
hacia o desde el centro educativo. La mayor parte de los desertores fueron mujeres.
Pero la diferencia más importante en el desempeño académico se verificó en las
tasas de repetición. El 21% de los jóvenes en el grupo de control no pasó a 2do año de ciclo
básico frente al 3% en el Liceo Jubilar. La diferencia de 19 puntos porcentuales es
estadísticamente significativa a un p<0,01. Si bien parte de la diferencia se debe a la
deserción previamente mencionada, se detectan mejores resultados de promoción para
Jubilar aún cuando no se considera a los que abandonaron el curso. Por otra parte, no se
encuentran diferencias estadísticamente significativas en el porcentaje que culminó el año
sin llevarse materias a febrero o sin repetir, ni tampoco en los resultados de las pruebas
PISA de matemática e idioma español. El resultado de la prueba de matemática fue pobre
para los estudiantes de ambos grupos. El grupo de control respondió correctamente 5,95
preguntas de un total de 22 y los resultados en Jubilar fueron ligeramente superiores en
magnitud (6,17 preguntas correctas), pero la diferencia no es estadísticamente significativa.
Algo similar sucede con los resultados de idioma español, que son ligeramente superiores
en Jubilar, pero sin llegar a marcar diferencias estadísticamente significativas. También es
mayor en Jubilar el número de jóvenes que no se llevó materias a febrero ni repitió o el
porcentaje que asiste al liceo en 2011, pero al igual que en los casos anteriores las errores
estándar son grandes y no hay poder estadístico suficiente para detectar diferencias. Un
dato interesante es que varios de los que habían desertado durante el 2010 volvieron a
reinscribirse en el liceo en 2011. Esto explica por qué la diferencia en la asistencia a
4
Más adelante comentamos sobre el sesgo potencial generado por la mortalidad de la muestra.
14
comienzos del 2011 es bastante menor a la diferencia en la deserción del 2010. Cabe
señalar que estamos trabajando con una muestra pequeña y que es factible que ese sea el
motivo por el cual no se detectan diferencias estadísticamente significativas a nivel de las
pruebas académicas y de las variables de culminación con éxito del curso y asistencia en
2011. Sin embargo, tampoco podemos descartar que el tratamiento no esté teniendo un
efecto importante a nivel de aprendizajes..
La Tabla 4 muestra las diferencias en la intensidad de recursos y otras variables de
estilo educativo entre Jubilar y la alternativa pública. En primer lugar, los integrantes del
grupo de tratamiento muestran una menor propensión a ausentarse de clase durante el año
que sus contrapartes en el grupo control. Aunque la diferencia no es estadísticamente
significativa en valor absoluto, hay que considerar que el año lectivo en Jubilar empieza
aproximadamente un mes antes que en los liceos públicos, por lo que en relación a los días
de clase recibidos la diferencia es más importante. Por otra parte, los estudiantes de Jubilar
tienen un mayor número de suspensiones durante el año. Esta diferencia es estadísticamente
significativa, pero poco importante en magnitud (en promedio 1,9 suspensiones por año en
el grupo de control frente a 2 en el grupo de tratamiento). La diferencia, sin embargo, arroja
luz sobre un aspecto clave en el enfoque pedagógico de Jubilar: la disciplina.
Todos los estudiantes en Jubilar creen tener el material suficiente para estudiar
frente al 87% en la alternativa pública. Los estudiantes en Jubilar pasan 3,5 horas más por
día en el liceo que los sujetos de control (cuyo promedio es de 5,3). Este horario
prolongado se asocia con menos tiempo de sueño, menos tiempo en la calle y también
menos tiempo ayudando en las tareas domésticas. Los estudiantes que asisten a Jubilar
tienen un menor tiempo de traslado desde su casa al liceo que los estudiantes del grupo de
control. Esto se asocia con la política de Jubilar de excluir a los solicitantes que no viven en
Casavalle y con la insuficiente disponibilidad de opciones de liceos públicos en el barrio. A
pesar de que en la mayoría de las dimensiones los estudiantes de Jubilar parecerían recibir
mayor inversión en recursos educativos, las clases son más grandes que en los liceos
públicos. El tamaño promedio es de 35 alumnos por clase frente a 26 en promedio en los
liceos públicos a los que asisten los jóvenes de control.
Los efectos de la intervención sobre las expectativas y los valores de los jóvenes se
presentan en la Tabla 5. Los estudiantes en Jubilar tienen mayores expectativas académicas
15
que los que asisten a la educación pública. Asistir a Jubilar aumenta las expectativas de
terminar la universidad en 35 puntos porcentuales en relación a un porcentaje de referencia
de 24% para los individuos en el control. Prácticamente todos los estudiantes en Jubilar
creen que tener éxito en la vida es importante. Esta creencia supera en 12 puntos
porcentuales la posición media que tiene al respecto el grupo de control. Más del 60% de
los sujetos de la intervención también cree que ayudar a otros a salir de la pobreza es muy
importante en la vida, frente a 49% en el grupo de control. Este último efecto, sin embargo,
no es estadísticamente significativo.
La percepción de los estudiantes y sus padres sobre el clima escolar también es
favorable a la intervención, como se muestra en las Tablas 6 y 7, respectivamente. Casi
todos los estudiantes en Jubilar se sienten felices en el liceo, sienten que los profesores y
educadores son justos con los estudiantes y se sienten seguros en el centro educativo. Estas
percepciones están 15 puntos porcentuales por encima de las de los individuos de control.
Las diferencias son aún mayores en las percepciones acerca de la disciplina, el respeto y la
resolución de conflictos. Sólo la mitad de los jóvenes en el grupo de control cree que los
estudiantes de su liceo respetan a los profesores y al personal en general, y que el ambiente
del centro educativo es disciplinado. La cifra es del 93% en Jubilar. Además, sólo el 29%
de los adolecentes de control cree que los estudiantes en su liceo pueden resolver los
conflictos sin peleas, ofensas, o amenazas, mientras que la percepción es del 81% entre los
estudiantes de Jubilar. No hay diferencias estadísticamente significativas entre ambos
grupos en lo que tiene que ver con sentimientos de discriminación, integración con
compañeros, dificultad con el liceo o percepción de compromiso de los docentes.
En cuanto a las percepciones de los padres (ver Tabla 7), todos los padres de los
jóvenes en Jubilar creen que sus hijos están seguros en el centro educativo y que el liceo es
una fuente de apoyo cuando se encuentran en problemas. En el grupo de control las cifras
son respectivamente de 65% y 44%. Todos los padres en Jubilar deben comprometerse a
ayudar de alguna manera en las actividades del liceo, mientras que sólo 6 de cada 10 padres
en la enseñanza pública informa haber colaborado con el centro educativo. Setenta y tres
por ciento de los padres con hijos en la enseñanza pública considera que su hijo o hija
aprendería más si los profesores faltaran menos. Ningún padre de Jubilar piensa de esta
manera. El dato quizás más llamativo es que 61% de los padres de adolescentes en el grupo
16
de control enviaría a sus hijos a otro centro educativo si tuviera la oportunidad de hacerlo.
Ningún padre en Jubilar piensa en cambiar a sus hijos a otro liceo. La nota promedio que
los padres dan a Jubilar, en una escala de 1 a 12, es de 11,5. La calificación promedio del
centro educativo por parte de los padres de los jóvenes que asisten a la enseñanza pública
es, por su parte, de 8,3. Por último, menos de 4 de cada diez padres de los niños en
enseñanza pública esperan que sus hijos terminen la Universidad, mientras que la cifra es
del 64% entre los adultos con hijos en Jubilar. Todos los resultados reportados son
estadísticamente diferentes de cero con un nivel de confianza de al menos 95%.5
Mortandad de la muestra. Las distintas instancias de seguimiento tuvieron variados
grados de respuesta. Cuatro jóvenes del grupo de control no respondieron a la encuesta en
los hogares que se llevó a cabo en noviembre. Nueve participantes del estudio (1 de Jubilar
y 8 del grupo de control) no realizaron las pruebas de matemática e idioma español . Por
otra parte, los datos de promoción se obtuvieron para el 100% de los participantes (a través
de llamadas telefónicas, visitas y registros del liceo Jubilar).6 Para indagar si la tasa de no
respuesta estaba asociada en alguna medida con el rendimiento académico previo del
estudiante, realizamos regresiones de las probabilidades de no respuesta sobre el sexo del
joven, el índice de bienes duraderos del hogar, el resultado que el estudiante se había
sacado en la prueba de ingreso a Jubilar y la educación de los padres. Ser mujer es la única
de estas variables que aumenta la probabilidad de rechazar la realización de las pruebas. En
cuanto a los rechazos de las 4 encuestas, éstos se asocian a un mejor resultado en las
pruebas de ingreso a Jubilar medidas en la línea de base. Esto alerta sobre un posible sesgo
de sobreestimación de algunos de los efectos, aunque dudamos que cuatro casos afecten
sustancialmente los resultados. De todas formas, los principales resultados sobre deserción
y repetición se obtienen para el total de la muestra.
Sensibilidad de los resultados. Como fue mencionado, re-estimamos el impacto del
liceo Jubilar utilizando métodos alternativos: mínimos cuadrados ordinarios, con y sin
errores robustos, y variables instrumentales sin ajustar por los controles en la línea de base
(género, educación de los padres y activos duraderos del hogar). Los diferentes métodos
producen diferencias muy leves en los efectos estimados, que no cambian en absoluto las
5
Cabe señalar que en el caso de las expectativas y percepciones, la presencia de error de medición puede estar
sesgando los resultados hacia 0. Este potencial problema metodológico refuerza los resultados encontrados.
6
Los 9 jóvenes que no realizaron la prueba incluían a 3 que no respondieron la encuesta.
17
conclusiones previas. Los autores pueden poner estas tablas a disposición del lector en caso
de interés.
4. Discusión
Jubilar ejemplifica el caso de un centro educativo que ofrece educación gratuita pero con
normas, métodos y capacidad de gestión propias. En algunos aspectos comparte
características con los llamados centros educativos independientes o de carta orgánica
propia que se han desarrollado con relativo éxito en países como Suecia, Nueva Zelanda,
los Países Bajos, Canadá, Inglaterra y los Estados Unidos. Estos centros se financian en
base a fondos públicos pero están exentos del cumplimiento de las normas programáticas,
metodológicas y de gestión exigidas a las escuelas tradicionales. A cambio, deben
comprometerse al cumplimiento de ciertas metas y a la rendición de cuentas sobre los
logros de los estudiantes. Resultados de distintas investigaciones muestran que estos
centros educativos han tenido efectos positivos en el rendimiento académico de los
estudiantes, y en particular en jóvenes con desventajas a nivel socioeconómico
(Abdulkadiroglu et al (2009), Angrist et al (2002), Hoxby y Rockoff (2005), Hoxby y
Murarka (2009), Hsieh y Urquiola (2006), Dobbie y Fryer (2009)).
Si bien los colegios independientes abarcan a un conjunto muy amplio y diferente
de programas, buena parte de los méritos atribuidos a estos centros se basan en su carácter
autónomo y flexible. Chang y Mehan (2011) subrayan que el compromiso del personal
docente y administrativo con los objetivos de la institución, expresado a través de un
lenguaje común, expectativas comunes y formas de interacción comunes, sientan las bases
para el desarrollo académico de los estudiantes y para el crecimiento profesional de los
docentes. Rutherford (2006) destaca el empoderamiento de los maestros que se observa en
muchos de estos centros, a través de mayores grados de decisión en los contenidos de los
programas, más liderazgo en los procesos educativos y más inversión en el desarrollo
profesional. Booker y colegas (2007) sostienen que los centros independientes mejoran el
rendimiento de los estudiantes mediante la adaptación de sus programas al contexto y a las
características particulares de los estudiantes. La capacidad de innovación y de exploración
de enfoques pedagógicos nuevos, el mayor involucramiento de los padres y familias, la
18
participación comunitaria a través de ayuda financiera y voluntariado, y la mayor presión
para alcanzar objetivos y rendir cuentas a la comunidad también han sido señalados como
impulsores de mayores logros y de satisfacción con el centro educativo (Bifulco y Ladd
2005, Manno et al. 1998).
Muchos de estos atributos se materializan en el Liceo Jubilar, tal como surge de un
estudio reciente que analizó las percepciones de docentes y directivos acerca de la
contribución al cambio y la innovación en cuarenta centros educativos uruguayos (Sarasola,
Assandri, Podestá y Troncoso 2010). El estudio midió seis dimensiones de la cultura
organizacional de cada centro: (1) colegialidad, que tiene que ver con la interacción entre
los docentes como consecuencia de las necesidades formales de la comunidad (discusión de
programas, métodos, evaluación del aprendizaje, y estrategias); (2) visión compartida, que
capta si los integrantes comparten los mismos propósitos y tienen una visión común acerca
de los objetivos del centro; (3) planificación compartida, que recoge si los docentes
participan en programas para alcanzar las metas comunes y evaluar su consecución; (4)
colaboración, que mide los vínculos de apoyo y confianza en la práctica cotidiana entre los
miembros de la organización; (5) profesorado que aprende, dimensión que percibe si los
profesores tienen una actitud reflexiva y abierta a los cambios y si están comprometidos
con su propio aprendizaje y crecimiento profesional; y (6) liderazgo transformacional, que
recoge la percepción sobre el grado en que el equipo directivo apoya las innovaciones,
facilita los procesos de mejora y genera compromiso en los docentes.
Los indicadores de cultura organizacional relevados para el Liceo Jubilar fueron
mayores al promedio en prácticamente todas las dimensiones. En particular, se destacan los
altos niveles de liderazgo transformacional y de colaboración entre colegas en la
institución, dimensiones que superan en más de media desviación estándar los promedios
de otros centros. El informe reporta que “el sentimiento mayoritario en Jubilar con respecto
al equipo directivo es que, en general, apoya el mantenimiento de innovaciones, con lo que
genera compromiso en los docentes.” Asimismo, se señala “una actitud mayoritaria de
apoyo mutuo, que supone el planteamiento de problemas y la búsqueda compartida de
soluciones”.
Además de los factores de cultura organizacional que describen el relacionamiento
entre docentes y directivos del centro, Jubilar se diferencia de otros centros educativos de
19
enseñanza secundaria por su mayor carga horaria, un fuerte énfasis en la disciplina, un
enfoque integral del individuo y una fuerte interacción con las familias de los estudiantes.
En lo que respecta al horario, los estudiantes pasan en promedio 9 horas por día en el centro
educativo (3,5 horas más que los estudiantes en la enseñanza pública) y el año escolar es 6
semanas más largo que en la educación pública. Es posible que parte de los resultados
observados respondan al extendido año académico. En una investigación reciente para los
Estados Unidos, Hoxby y Murarka (2009) encuentran una fuerte asociación entre la
extensión del año académico y los mejores resultados. También el horario extendido ha
demostrado tener resultados significativos en nuestro país a nivel de primaria. Las tasas de
repetición han caído sistemáticamente en las escuelas de tiempo completo desde 1993 hasta
el presente (Buzzetti y Curti 2010).
El seguimiento del estudiante en Jubilar es individualizado e integral. A través de
talleres vespertinos de psicopedagogía, lectura y matemática, así como de un equipo de
seguimiento integrado por psicólogos y asistentes sociales, los estudiantes reciben apoyo
específico tanto en aspectos académicos como familiares y psicosociales. Una amplia
variedad de otros talleres (informática, comunicación, deportes, manualidades, teatro,
música, cocina, costura) y actividades extra-curriculares (campamentos, salidas)
contribuyen a estimular intereses, fortalecer capacidades de trabajo y trabajar valores. El
involucramiento de las familias en las actividades del liceo forma parte de la propuesta
educativa. Cada familia debe participar en al menos una comisión (desayuno o almuerzo,
acompañamiento de los estudiantes en las salidas, limpieza) a lo largo del año. Se espera
que haya en el hogar un adulto responsable del desempeño académico y la evolución del
estudiante, con el cual se intenta mantener una comunicación fluida. Además, se ofrecen
talleres abiertos en el liceo para miembros de las familias y adultos de la comunidad en
general (informática, gimnasia, cocina). La disciplina y el enfoque religioso completan la
propuesta pedagógica. Si bien se imparte la educación desde una filosofía cristianocatólica, se permite en los estudiantes una total libertad de cultos.
Dos elementos adicionales hacen al funcionamiento y desempeño del Liceo Jubilar.
Uno es el intercambio de los estudiantes de Jubilar con adolescentes y adultos de otros
contextos sociales a través de la interacción con voluntarios en el liceo7, salidas8 y
7
En el 2010 había 68 voluntarios en el liceo.
20
competencias deportivas. El otro es la necesidad permanente de rendir cuentas acerca de los
resultados académicos y el manejo financiero a donantes y colaboradores. El primer
elemento busca balancear el hecho de que la aproximación educativa del liceo está
altamente focalizada en un segmento de la población. Esta focalización es la que permite
atender satisfactoriamente problemáticas específicas del contexto que viven los alumnos,
pero genera como contrapartida una potencial segregación. Para evitarlo, el liceo busca en
forma activa instancias de interacción e intercambio social.
La evaluación de resultados analizada en este informe, a un año del ingreso de los
estudiantes a Jubilar, muestra un fuerte impacto del liceo principalmente en la retención de
los estudiantes en el sistema educativo y en el acompañamiento y apoyo para que éstos
promuevan el curso. No se perciben diferencias estadísticamente significativas, por otra
parte, en el aprendizaje, medido a través de pruebas de Idioma Español y Matemática. Es
posible que un año sea aún un lapso breve para producir modificaciones de esta índole.
Este resultado está en sintonía con los resultados encontrados para centros educativos
similares en Estados Unidos, que demuestran que los resultados se empiezan a ver luego de
transcurridos los primeros años (Booker et al. 2007, Lavertu and Witte 2009).
La contracara de la mayor retención y esfuerzo se encuentra en la satisfacción que
expresan alumnos y sus familiares con el liceo: los jóvenes en Jubilar se sienten más felices
y más seguros que sus pares en el centro educativo. Pero la mayor diferencia respecto del
clima educativo se observa en las percepciones de respeto y disciplina y de resolución de
conflictos de los estudiantes. Llama la atención el alto grado de violencia con que los
estudiantes asistiendo a la educación pública perciben las relaciones con sus pares. Solo
uno de cada cuatro estudiantes en el grupo de control cree que los estudiantes en sus liceos
resuelven conflictos sin peleas, insultos o amenazas. La violencia también es protagonista a
la hora de entender el comportamiento de los desertores del sistema educativo: ya fue
comentado previamente que la mayoría de los desertores son mujeres que justifican su
abandono por problemas de inseguridad y violencia en las proximidades del centro
educativo o en el camino desde el centro educativo a sus casas. En este sentido, la relativa
8
En 2010 seis alumnos de Jubilar viajaron a España luego de ganar una competencia internacional de
periodismo estudiantil.
21
cercanía de Jubilar de las casas de sus alumnos y el ambiente de cohesión que se respira
internamente operarían como factores de protección y retención.
Un resultado interesante es el cambio que produce el tratamiento en las expectativas
de los estudiantes. Recordemos que partimos de dos grupos de estudiantes similares en sus
características académicas, familiares y socio-económicas, y al año de la intervención las
expectativas de culminar la universidad de los alumnos de Jubilar más que duplican las de
los estudiantes en el grupo de control. Un cambio similar ocurre en las expectativas de sus
padres, lo que sugiere que el liceo contribuye a reactivar la confianza en el joven y
revaloriza la apuesta de la familia en una educación para sus hijos.
Finalmente, resalta entre los padres de los jóvenes que asisten a la enseñanza
pública el alto porcentaje (67%) que responde que mandaría a su hijo/a otro liceo si pudiera
elegir (frente a 3% en Jubilar). Esta respuesta refleja un alto nivel de insatisfacción con el
sistema educativo tradicional y una clara diferencia de oportunidades con respecto a otros
estratos de la sociedad que tienen la capacidad de elegir.
En lo que tiene que ver con los costos, el presupuesto de funcionamiento de Jubilar
era en 2010 de US$ 1400 por año por alumno, aunque si se cuantifican las donaciones en
especie (libros, alimentación, etc.) y el trabajo de voluntarios en los talleres vespertinos, la
cifra se duplica. Los datos disponibles para ANEP muestran que en 2008 el gasto de
funcionamiento de ciclo básico de enseñanza secundaria era de US$ 1279 por alumno por
año, lo que llevado a precios del 2010 sería de aproximadamente US$ 1470. Hoy en día un
centro juvenil (que sería la contraparte de las actividades vespertinas del Liceo Jubilar)
recibe del INAU aproximadamente US$ 1300 al año. Esto significa que el presupuesto del
liceo Jubilar estaría en el orden de lo que el Estado gasta hoy por un joven en situación de
pobreza asistiendo al liceo público y a un Centro Juvenil en convenio con INAU.
5. Conclusiones
Existe unanimidad en la sociedad uruguaya respecto de la necesidad urgente de
mejorar la educación pública, revertir el deterioro del capital humano del país y fomentar la
igualdad de oportunidades. Nuestro objetivo a través de este estudio es contribuir a este
debate mostrando los logros de un centro educativo gratuito de gestión privada en
22
Casavalle, uno de los barrios más pobres de Montevideo. Nuestra evaluación realiza el
seguimiento a lo largo del tiempo y compara dos grupos de estudiantes de 1er año de
secundaria que fueron asignados al azar para asistir a este liceo de gestión privada. Dadas
las altas tasas de pobreza de los adolescentes en el país y los pobres resultados académicos
registrados en la población uruguaya, creemos que este modelo puede arrojar luz sobre
estrategias exitosas a ser replicadas parcial o totalmente en otras poblaciones del país.
Entre los aspectos organizativos y pedagógicos de la institución, se destacan su
autonomía y flexibilidad para adaptarse al entorno y mantener un cuadro de docentes y
administrativos con metas y lenguajes similares; la disciplina y cohesión que se respira
entre los estudiantes; la alta inversión en horas dentro del centro educativo; y el trabajo
estrecho con las familias. Como señal de la alta calidad educativa, en marzo de 2011 el
Liceo Jubilar recibió la certificación del Proyecto de Calidad Integrado de la Fundación
Horreum (España) en convenio con la Universidad de Duesto y aplicado en Uruguay por la
Universidad Católica. 9
La literatura internacional que ha evaluado centros independientes del estilo de
Jubilar ha atribuido las mejoras en los rendimientos de los estudiantes a dos grandes
dimensiones: la autonomía de gestión por un lado y los efectos de la competencia por otro.
Creemos que esta disyuntiva no es pertinente en el contexto de la presente evaluación, ya
que Jubilar es el primer liceo de este tipo que se instala en Uruguay. Por ser único, el liceo
no compite por alumnos (y por financiamiento) con otros centros educativos, por lo que
podemos aislar en este caso sus resultados de los de las fuerzas de la competencia. Con esto
no queremos decir que la competencia no pueda ser un factor potencial de promoción de la
excelencia educativa en otros contextos, sino que los resultados que presentamos aquí
solamente pueden ser fruto de una gestión independiente que ha sabido combinar
adecuadamente los insumos y amoldarse a los requerimientos y realidades de sus
estudiantes.
La validez externa de la presente evaluación de impacto se limita a familias
parecidas a las que inscriben a sus hijos en Jubilar y que cumplen con mínimos criterios de
9
Esta certificación surge a partir de un modelo de intervención en centros que tiene por objetivo facilitar el
cambio desde una cultura burocrático-formal a una cultura transformacional, centrada en el crecimiento
profesional y humano de las personas que lo constituyen.
23
inclusión. En otras palabras, las conclusiones de este estudio sólo son extrapolables a
adolescentes procedentes de familias de contexto socio-económico desfavorable (por
debajo de la línea de la pobreza), sin rezagos previos de más de 1 año en el sistema
educativo y con una motivación que los lleva a buscar alternativas educativas superiores
para sus hijos. A pesar de esta selectividad consideramos que son muchas las familias
uruguayas en estas condiciones, y que el modelo presentado tiene potencial de impacto aún
en poblaciones diferentes (jóvenes rezagados o de mayores niveles de ingresos). 10
Creemos que el modelo presentado es altamente pertinente en el marco de la actual
discusión sobre la educación secundaria en nuestro país y del relativo consenso que
parecería existir en torno al concepto de forjar centros educativos más autónomos o
descentralizados. La experiencia del Liceo Jubilar puede ofrecer herramientas ricas a estos
nuevos centros, y en particular a los centros orientados a poblaciones de contexto
socioeconómico crítico. Pero más allá de realzar los atributos positivos de un centro
educativo en particular, este trabajo es una alerta roja sobre las enormes oportunidades que
se están perdiendo decenas de miles de niños, niñas y adolescentes uruguayas y sobre la
necesidad urgente de ofrecer alternativas que les permitan un mayor desarrollo de su
potencial y les den herramientas mínimas para salir de la pobreza.
10
El número de adolescentes (jóvenes entre 13 y 17 años) en situación de pobreza en Uruguay es de
aproximadamente 80000. A la fecha (2011) hay 71 centros juveniles en convenio con el INAU que atienden a
4200 jóvenes. La extensión del financiamiento a centros educativos formales de gestión privada que
demuestren estar alcanzando resultados favorables parecería ser un camino prometedor para mejorar las
oportunidades educativas y humanas de los niños, niñas y adolescentes uruguayos en situación de pobreza.
24
Bibliografía
Abdulkadiroglu A., Angrist J., Dynarski S., Kane T.J., and Pathak P. 2009. Accountability
and Flexibility in Public Schools: Evidence from Boston´s Charters and Pilots. NBER
Working Paper 15549. www.nber.org/papers/w15549.
Angrist, J., Bettinger, E., Bloom, E., King, E. and Kremer, M. 2002. Vouchers for Private
Schooling in Columbia: Evidence from a Randomized Natural Experiment. American
Economic Review, 92(5): 1535-1558
Booker K., Gilpatric, S.M., Gronberg, T., Jansen, D. 2007. The Impact of Charter School
Attendance on Student Performance. Journal of Public Economics 91: 849–876
Bifulco, R. & Ladd, H.F. (2005). Institutional Change and Coproduction of Public
Services: The Effect of Charter Schools on Parental Involvement. Journal of Public
Administration Research and Theory, 16, 553–576.
Booker, K., Gilpatric, S.M., Gronberg, T. & Jansen, D. (2007). The impact of charter
school attendance on student performance. Journal of Public Economics, 91, 849–876.
Buzzetti, I., Curti, V. (2010). Autonomía: El tiempo y el Espacio Pedagógicos para La
Escuela del Siglo XXI. Administración Nacional de Educación Pública, Consejo de
Educación Inicial y Primaria.
Chang, G.C. & Mehan, H. B. (2011). Is it wrong for us to want good things? The origins of
Gompers Charter Middle School. Journal of Educational Change, 12, 47–70.
Dobbie, W. & Fryer Jr, R. G. (2009). Are High Quality Schools Enough to Close the
Achievement Gap? Evidence from a Social Experiment in Harlem. NBER Working Paper,
No. 15473.
Hoxby, C.M. & Murarka, S. 2009. Charter Schools in New York City: Who Enrolls and
How They Affect Their Students' Achievement. NBER Working Paper, No. 14852
Hoxby, C. M. & Rocko, J. 2005. The Impact of Charter Schools on Student Achievement.
Harvard Institute of Economic Research Working Paper Series
Hsieh, C.T. & Urquiola, M (2006), “The effects of generalized school choice on
achievement and stratification: Evidence from Chile’s voucher program,” Journal of Public
economics 90, 1477-1503.
Lavertu S., Witte J. 2009. “The Impact of Milwaukee Charter Schools on Student
Achievement”. Issues in Government Studies 23.
Manno B.V., Finn C.E.Jr., Bierlein L.A., Vanourek G. 1998. How Charter Schools Are
Different: Lessons and Implications from a National Study. Phi Delta Kappan, Vol. 79.
25
Sarasola, M., Assandri, V., Podestá, M. y Troncoso, P. (2010).La cultura organizacional en
Centros Educativos de Uruguay. Fundación Horreum, Gobierno Vasco y Universidad
Católica Dámaso Antonio Larrañaga, Uruguay.
Rutherford, C. (2006). Teacher leadership and organizational structure. The implications of
restructured leadership in an Edison school. Journal of Educational Change, 7, 59–76.
26
Variables
Tabla 1. Tabla de medias por submuestras.
Aspirantes
Aspirantes sujetos
Aspirantes
elegidos a
a sorteo
excluidos a priori
priori
(1)
(2)
(3)
Familias c/
hijos
ECH09
Dif (2)-(1) Dif (3)-(1)
(4)
(5)
(6)
Características demográficas
Edad
Varón
12,259
12,708
12,215
N=95
N=33
N=26
0,450
0,512
0,577
0,510
N=100
N=43
N=26
N=33.939
0,733
0,621
0,714
0,783
N=86
N=29
N=21
N=33.939
0,707
0,719
0,692
N=99
N=32
N=26
0,313
0,382
0,308
N=99
N=34
N=26
0,460
0,235
0,423
N=100
N=34
N=26
0,440
0,618
0,500
N=100
N=34
N=26
0,100
0,147
0,077
N=100
N=34
N=26
0,170
0,349
0,077
N=100
N=43
N=26
4,802
4,421
5,680
N=96
N=38
N=25
0,396
0,526
0,200
N=96
N=38
N=25
0,500
0,176
0,423
N=98
N=34
N=26
0,071
0,088
0,115
N=98
N=34
N=26
4,460
4,412
5,231
4,157
N=100
N=34
N=26
N=18.648
0,560
0,676
0,577
0.629
N=100
N=34
N=26
N=18.648
0,190
0,176
0,154
0.367
N=100
N=34
N=26
N=18.648
0,571
0,600
0,654
0,568
N=98
N=15
N=26
N=18.648
0,567
0,467
0,577
0,630
N=99
N=15
N=26
N=18.648
0,131
0,133
0,115
0,312
N=99
N=15
N=26
N=18.648
0,949
0,933
0,885
0,810
N=99
N=15
N=26
N=18.648
12.108
15.331
10.821
31.482
N=100
N=43
N=26
N=18.648
0,319
0,306
0,292
0,383
N=100
N=34
N=26
N=18.648
0,495
0,467
0,615
0,613
N=99
N=15
N=26
N=18.648
0,449***
-0,045
0,062
0,127
-0,112
-0,018
0,012
-0,015
0,069
-0,005
-0,225**
-0,037
0,178**
0,060
0,047
-0,023
0,179***
-0,093
-0,381*
0,878***
0,130*
-0,196**
-0,324***
-0,077
0,017
0,044
-0,048
0,771**
0,116
0,017
-0,014
-0,036
0,029
0,082
-0,100
0,010
0,002
-0,016
-0,016
-0,065
3.222***
-1.288
-0,013
-0,027
-0,028
0,120
Indicadores académicos
Asistió a centro preescolar
Asistió a escuela pública
Asistió a club de niños (si escuela
pública)
Alumno bueno a excelente
Alumno regular
Alumno malo
Repitió algún año
Resultado prueba Jubilar
Menos de 4 en la prueba de Jubilar
Religión
Católico
Otras religiones
Contexto del hogar
Total de personas en la casa
Vive con madre y padre
Vive solo con la madre o el padre
Propietario
Educación padres: solo terminó primaria
Educación padres: terminó liceo
Jefe del hogar trabaja
Ingreso del hogar según encuesta
Indice de bienes duraderos
Recibe transferencias del gobierno
* estadísticamente diferente de cero al 10%; ** estadísticamente diferente de cero al 5%; *** estadísticamente diferente de cero al 1%
27
Tabla 2. Comparación de medias en características de la línea de base. Grupo sometido a la aleatorización
Variable
Tratamiento+Control
Tratamiento (1)
Control (2)
Características demográficas
12.259
12.286
12.239
Edad
Varon
N=95
N=42
N=53
0.450
0.432
0.464
N=100
N=44
N=56
0.733
0.750
0.717
N=86
N=40
N=46
0.707
0.705
0.709
N=99
N=44
N=55
0.313
0.318
0.309
N=99
N=44
N=55
0.460
0.523
0.411
N=100
N=44
N=56
0.440
0.386
0.482
N=100
N=44
N=56
0.100
0.091
0.107
N=100
N=44
N=56
0.170
0.159
0.179
N=100
N=44
N=56
4.802
4.884
4.736
N=96
N=43
N=53
0.400
0.372
0.415
N=96
N=43
N=53
0.500
0.568
0.444
N=98
N=44
N=54
0.071
0.091
0.056
N=98
N=44
N=54
4.460
4.455
4.464
N=100
N=44
N=56
0.560
0.568
0.554
N=100
N=44
N=56
0.190
0.159
0.214
N=100
N=44
N=56
0.571
0.605
0.545
N=98
N=43
N=55
0.567
0.614
0.527
N=99
N=44
N=55
0.131
0.136
0.127
N=99
N=44
N=55
0.949
0.932
0.964
N=99
N=44
N=55
12,108
11,516
12,574
N=100
N=44
N=56
0.319
0.345
0.299
N=100
N=44
N=56
0.495
0.477
0.509
N=99
N=44
N=55
Dif (1)-(2)
0.047
-0.032
Indicadores académicos
Asistió a centro preescolar
Asistió a escuela pública
Asistió a club de niños si fue a la escuela pública
Alumno bueno a excelente
Alumno regular
Alumno malo
Repitió algún año
Resultado prueba Jubilar
Menos de 4 en la prueba de Jubilar
0.033
-0.005
0.009
0.112
-0.096
-0.016
-0.019
0.148
-0.043
Religión
Católico
Otras religiones
0.124
0.035
Contexto del hogar
Total de personas en la casa
Vive con madre y padre
Vive solo con la madre
Propietario
Educación padres: terminó primaria solamente
Educación padres: terminó liceo
Jefe del hogar trabaja
Ingreso del hogar según encuesta
Indice de bienes duraderos
Recibe transferencias del gobierno
* estadísticamente diferente de cero al 10%; ** estadísticamente diferente de cero al 5%;*** estadísticamente diferente de cero al 1%
28
-0.010
0.015
-0.055
0.059
0.087
0.009
-0.032
-1,058
0,047 *
-0.032
Tabla 3: Efectos del tratamiento sobre el desempeño académico
#
Estimación por variables instrumentales
Valores medios por grupo
y diferencias
Grupo de control
Grupo de tratamiento
Diferencia
Error estándar
N
#
Desertó en
2010
Repitió 1er
año
No se llevó
materias a
febrero ni
repitió
Asiste 2011
Resultado
PISA
matemática
(max=22)
Resultado
PISA Idioma
Español
(máximo=3)
(1)
(2)
(3)
(4)
(5)
(6)
0.10
0.00
0.21
0.03
0.51
0.63
0.96
1.00
5.89
6.25
1.63
1.80
-0.104**
(0.047)
95
-0.185***
(0.061)
99
0.115
(0.102)
99
0.046
(0.033)
99
0.360
(0.668)
90
0.162
(0.139)
90
Regresiones controlan por sexo, índice de bienes duraderos del hogar y educación de los padres
* p<0.1, ** p<.05, *** p<.01
Resultados Académicos
25%
20%
15%
10%
5%
0%
Desertó en 2010
Repitió 1er año
Grupo de control
Grupo de tratamiento
29
Tabla 4: Efectos del tratamiento sobre los recursos educativos
Estimación por variables instrumentales
Valores medios por grupo
y diferencias
Grupo de control
Grupo de tratamiento
Diferencia
Error estándar
N
#
Días que
faltó al
liceo
Suspensiones
en el año
(1)
(2)
8.98
6.72
1.85
1.98
-2.260
(1.424)
90
0.133***
(0.047)
90
Tamaño de
la clase
Cree tener el
material
Horas/día en
suficiente
el centro
para estudiar educativo
Horas/día que
Horas/día
ayuda en
destinadas a Horas/día en tareas del
dormir
la calle
hogar
Minutos en
llegar al
centro
educativo
(3)
(4)
(6)
(9)
(5)
26.01
34.99
8.978***
(1.367)
85
0.86
1.00
0.147**
(0.060)
90
5.28
8.75
3.474***
(0.346)
95
(8)
8.54
7.96
0.63
0.16
0.89
0.46
19.20
11.17
-0.574**
(0.220)
95
-0.471***
(0.143)
95
-0.431***
(0.160)
95
-8.032***
(2.596)
90
# Regresiones controlan por sexo, índice de bienes duraderos del hogar y educación de los padres
* p<0.1, ** p<.05, *** p<.01
Recursos
25
20
15
10
5
0
Horas/día en centro Días que faltó al Minutos en llegar al
educativo
liceo
liceo
Grupo de control
Grupo de tratamiento
30
(7)
Tabla 5: Efectos del tratamiento sobre las expectativas y valores
del estudiante
Estimación por variables instrumentales
Valores medios por
grupo y diferencias
Grupo de control
Grupo de tratamiento
Diferencia
Error estándar
Espera
completar la
universidad
#
Ayudar a
Tener éxito otros a salir
en la vida es de pobreza
muy
es muy
importante
imp.
(1)
(2)
(3)
0.24
0.59
0.84
0.96
0.49
0.64
0.116*
(0.060)
95
0.153
(0.109)
95
0.348***
(0.104)
99
N
# Regresiones controlan por sexo, índice de bienes duraderos del hogar
y educación de los padres; * p<0.1, ** p<.05, *** p<.01
Expectativas
1.20
1.00
0.80
0.60
0.40
0.20
0.00
Espera completar la
universidad
Tener éxito en la vida esAyudar a otros a salir de
muy importante
pobreza es muy imp.
Grupo de control
Grupo de tratamiento
31
Tabla 6: Efectos del tratamiento sobre las expectativas y valores del estudiante
Estimación por variables instrumentales
Valores medios por
grupo y diferencias
Grupo de control
Grupo de tratamiento
Diferencia
Error estándar
Se siente
feliz de
estar en
ese liceo
#
Se siente
Siente que
seguro en el hay respeto
liceo
y disciplina
Estudiantes Se siente
resuelven
a gusto
conflictos sin
con
peleas,
otros
insultos o
estudianamenazas
tes
Siente
que los
profesores son
justos
Habla con
educadores sobre
preocupaciones
Profesores
comprometidos
con
aprendizaje
Se siente
discriminado
Cree que lo
El liceo se le que aprende
hace difícil no le será útil
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
(11)
0.84
0.99
0.85
1.00
0.52
0.93
0.29
0.81
0.94
0.98
0.86
1.01
0.93
1.00
0.98
1.00
0.15
0.08
0.29
0.21
0.02
0.00
0.076*
(0.042)
90
0.023
(0.022)
90
-0.067
(0.068)
90
-0.078
(0.097)
90
-0.021
(0.020)
90
0.143**
(0.065)
90
0.148***
(0.052)
90
0.407***
(0.082)
90
0.527***
(0.090)
90
0.043 0.156***
(0.047) (0.058)
90
90
N
# Regresiones controlan por sexo, índice de bienes duraderos del hogar y educación de los padres
* p<0.1, ** p<.05, *** p<.01
Percepción clima educativo (estudiante)
100%
80%
60%
40%
20%
0%
Se siente feliz de Se siente seguro
estar en ese liceo
en el liceo
Grupo de control
Siente que hay
respeto y
disciplina
Grupo de tratamiento
32
Estudiantes
resuelven
conflictos sin
peleas, insultos o
amenazas
Tabla 7: Efectos del tratamiento sobre las percepciones de los padres acerca del clima del centro educativo
Estimación por variables instrumentales
Valores medios por
grupo y diferencias
Hijo
Hijo seguro encuentra
en el centro apoyo y
educativo
motiva-ción
(1)
0.65
1.00
Grupo de tratamiento
0.353***
Diferencia
(0.082)
Error estándar
90
N
Grupo de control
#
Hijo es
discriminado en
el liceo
Hijo
aprendería
más si
profesores
no faltaran
Liceo es
lugar de
referencia
ante
problemas
Si pudiera
elegir,
mandaría al
hijo a otro
liceo
Padres
colaboran
con
actividades
del liceo
Nota del
centro
educativo
(del 1 al 12)
Padres
esperan que
hijo culmine
universidad
Padres
esperan
que hijo
culmine
6to
Padres no
creen que
hijo
llegue a
6to
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
(11)
0.91
1.00
0.094*
(0.048)
87
0.07
0.05
-0.019
(0.054)
89
0.73
0.01
-0.724***
(0.082)
84
0.44
1.00
0.566***
(0.076)
88
0.67
0.03
-0.645***
(0.088)
90
0.60
1.00
0.417***
(0.083)
90
8.09
11.48
3.391***
(0.405)
90
0.37
0.64
0.270**
(0.114)
91
0.35
0.22
-0.136
(0.105)
91
0.27
0.14
-0.134
(0.090)
91
# Regresiones controlan por sexo, índice de bienes duraderos del hogar y educación de los padres
* p<0.1, ** p<.05, *** p<.01
Percepciones de los padres
100%
80%
60%
40%
20%
0%
Mi hijo está Liceo es lugar Espero que mi
Mi hijo
Si pudiera
seguro en el de referencia hijo culmine la aprendería
elegir,
centro
ante
universidad
más si
mandaría a mi
educativo
problemas
profesores no hijo a otro
faltaran
liceo
Grupo de control
Grupo de tratamiento
33