Las Limitaciones de Incentivos Salariales para

3
Las Limitaciones de Incentivos Salariales
para Profesores Basados en Comparaciones
Inter-Cohortes: El Caso del Programa SNED
Martin Carnoy / Iliana Brodziak
Andrés Molinas / Miguel Socías
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
1
Introducción
Desde 1996 en adelante, el gobierno de Chile ha implementado un sistema de bono
salarial llamado SNED que premia con recursos adicionales a las escuelas que logran el
más alto desempeño de sus estudiantes, según región, nivel socioeconómico de los
estudiantes y otras condiciones de aprendizaje.
El presente estudio responde a dos grandes interrogantes respecto al SNED: ¿Qué es lo
que efectivamente está premiando y cuáles son los efectos que produce en las escuelas?
Utilizando el SIMCE de 4º básico de 1996 y 8º básico del 2000, el estudio muestra que
para obtener una mayor cantidad de premios SNED, es preferible que una escuela suba su
puntaje inicial en 4º básico a que parta más bajo ese año y logre un mayor valor agregado
entre 4º y 8º básico. Las escuelas con mayor valor agregado durante el período son
justamente aquellas que partieron con puntajes más bajos en el SIMCE de 4º básico y que
obtienen una menor cantidad de premios SNED 2.
Desarrollo
La gran mayoría de los analistas de políticas educacionales aceptan la noción que algunos
profesores y colegios son más capaces de producir aprendizajes de calidad para sus
alumnos que otros, y que el elemento clave para este mejor “aprendizaje” es un mejor
trabajo de enseñanza por parte de los profesores. Sin embrago, muy pocos sistemas de
educación a nivel internacional basan los salarios de los profesores en alguna medida de
calidad del trabajo docente. A los profesores se les paga generalmente de acuerdo a sus
1
Documento publicado en Education Finance and Policy, 2007, Volume 2, Issue 3, MIT
Press, Cambridge, USA.
2
Los autores le agradecen el apoyo a Cristian Cox del Ministerio de Educación de Chile
por su ayuda y apoyo. Gracias a la ayuda de los revisores anónimos, quienes hicieron
muchas sugerencias útiles. Los problemas que restan en el documento son
responsabilidad de los autores.
1
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
niveles de educación y años de servicio, independiente de los resultados académicos de
sus alumnos. La excelencia docente se suele compensar a través de premios, y la eventual
posibilidad de enseñar en escuelas con mejores condiciones laborales, es decir,
generalmente escuelas con un nivel socio-económico más alto de sus alumnos, pero
raramente a través de compensaciones económicas.
Este sistema de compensación ineficiente ha sido objeto de duras críticas,
especialmente en Estados Unidos (por ejemplo, ver Hanushek, 2006). Las líneas
de argumentación de estas críticas son básicamente dos. Primero, estructuras de salarios
no basadas en desempeño atraen profesionales con relativamente bajos niveles de talento
a la profesión docente. Segundo, estas estructuras salariales mantienen niveles de
esfuerzo sub-óptimos, o por debajo de lo que se observaría si a docentes exitosos se les
pagara relativamente más. Un ejemplo del primer punto es que dada la demanda por
habilidades en el mercado laboral, es relativamente más difícil contratar para cargos
docentes a profesionales con formación universitaria en matemática y ciencias si es que
estos profesionales están sujetos a la misma escala salarial que profesores de otras
disciplinas. Un ejemplo del segundo punto es que si profesores que se esfuerzan de
sobremanera (por orgullo profesional, u otro motivo) por sacar adelante a sus alumnos se
les paga exactamente lo mismo que al resto, desde un punto de vista de políticas públicas
no se está apoyando dicho tipo de comportamiento, desincentivando este nivel de
esfuerzo en el profesorado.
2
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Los argumentos anteriores han sido lo suficientemente persuasivos para estimular
en Estados Unidos y otros países un número de esquemas salariales para profesores
basados en desempeño. Estos esquemas generalmente han tratado de re solver el segundo
tipo de crítica, es decir, el del esfuerzo laboral. En Estados Unidos, compensaciones por
mérito profesional eran relativamente comunes a comienzos del siglo 20, pero después
tendieron a desaparecer (Murnane y Cohen, 1986), y recientement e están de nuevo en
boga (Ballou, 2001). Muchos distritos de colegios en Estados Unidos seleccionan
profesores “mentores” sobre la base de calidad de la enseñanza, y les pagan un monto
extra. El estado de Carolina de Sur empezó a mediados de los ochentas un programa de
bonos con el objeto de compensar a todos los profesores de colegios que lograran mejoras
de desempeño significativas en las pruebas del estado (Ladd, 1999). Luego de este caso,
otros estados también introdujeron políticas similares, pero recientemente han tendido a
basar las compensaciones en el desempeño individual de profesores. 3
Otros países también han implementado políticas de incentivo, pero generalmente
a nivel nacional. En México se implementó en los noventas un programa voluntario,
llamado Carrera Magisterial, en el cual profesores evaluaban a sus símiles, los que
podían optar a mayores salarios aprobando ciertas evaluaciones (Santibañez, 2002).
Inglaterra y Gales, y Nueva Zelanda trataron de implementar un sistema nacional de
33
Además de Carolina del Sur, a principios de los noventa, Georgia, Indiana, Texas, Kentucky,
Carolina del Norte, y Tennessee han instituido algún tipo de programa de desempeño en las
escuelas. También lo hizo el distrito de escuelas de Dallas (Ladd, 1999). Más recientemente, en
el distrito escolar de Denver y en otras ciudades se ha adoptado un sistema de incentivos de
salarios individual para maestros basados en el aprovechamiento escolar de los estudiantes. Ver:
http://www.stateline.org/live/ViewPage.action?siteNodeId=136&languageId=1&contentId=9334
6; y http://www.tasb.org/services/hr_services/hrx/vol12/no3/denver's_new_pay_sys.html.
3
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
salario de profesores basado en desempeño en los noventas, pero con un éxito muy
limitado (Gordon y Whitty, 1997). Y de particular interés para este estudio, Chile
comenzó en 1996 un sistema de bonos, llamado Sistema Nacional de Evaluación de
Desempeño de los Establecimientos Educacionales Subvencionados (SNED), en el cual
profesores de escuelas ubicadas en diferentes grupos socio -económicos que lograran el
mayor progreso en cada provincia en el test nacional bi -anual, SIMCE, reciben salario
extra (Mizala y Romaguera, 2000; 2002). 4
Figlio y Kenny (2006) afirman que países, estados y distritos implementaron en
un principio estos sistemas de incentivos basados en desempeño de profesores con
“básicamente ninguna evidencia sobre su efectividad potencial” (p.2). Sin e mbargo, en
los últimos diez años han habido un sinnúmero de intentos por estimar los efectos de
estos sistemas en el desempeño académico de los alumnos. Hace diez años, Helen Ladd
evaluó el sistema de compensación financiera del distrito de colegios de Dal las
analizando el progreso académico de los alumnos (a nivel individual) en la prueba de
Evaluación de Habilidades Académicas de Texas . En esta evaluación, Ladd comparó la
tasa de aprobación en este test de los colegios en Dallas con colegios de otros cinco
distritos sin incentivos monetarios (Ladd, 1999). Los resultados de este estudio mostraron
que la tasa de aprobación en séptimo básico era significativamente más alta en Dallas que
4
A principios de los noventa, Chile también incrementó los salarios de los maestros en todo el
país, triplicando casi el salario de los maestros de primaria y de secundaria en términos reales
entre 1990 y 2003 (González, 2001). La evidencia ha mostrado que en consecuencia hubo un
aumento significativo del promedio de puntajes de las pruebas de estudiantes admitidos a las
escuelas de educación de las universidades chilenas relativo a los estudiantes admitidos en otras
escuelas. (OECD, 2004).
4
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
en los otros distritos, pero no se encontraron diferencias para tercero b ásico. En otro
estudio, Lavy (2002) utilizó datos de Israel para comparar (utilizando “matching”) el
desempeño académico de colegios con incentivos financieros con colegios en
comunidades similares sin incentivos. Este análisis encontró un efecto positivo de este
tipo de incentivos en los puntajes de alumnos en pruebas académicas. En un segundo
estudio, Lavy (2005) utilizó un análisis de regresión en discontinuidad (RD) para
comprobar si alumnos de enseñanza media en colegios Israelíes con bajo rendimiento
académico (es decir, con menos del 45% de aprobación en el examen final de enseñanza
media) y que fueron “correctamente” asignados al programa – en el cual profesores
podían competir por importantes bonos según el progreso académico de sus alumnos –
mostraron un mejor rendimiento académico que colegios que fueron “erróneamente”
permitidos a participar en el programa. Lavy también evaluó si los alumnos en estos
colegios “correctamente” asignados al programa mostraron un mejor desempeño que
alumnos en colegios levemente por sobre el corte del 45%. El autor encontró que estos
sistemas de incentivo individual para profesores generaron que “más alumnos tomaran el
examen final … y se incrementara la tasa de aprobación, así como el puntaje promedio de
los alumnos que de todas formas – con o sin programa – habrían tomado el examen.”
(Lavy, 2005, p.20). También encontró evidencia que el progreso académico de los
alumnos estaba relacionado con los cambios en las técnicas de enseñanza y al mayor
nivel de esfuerzo de los profesores que participaron del programa de incentivos. Glewwe,
Ilias, y Kremer (2003) evaluaron un experimento en Kenya en el que todos los profesores
5
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
entre cuarto y octavo básico en colegios con el mejor rendimiento escolar recibieron el
mismo bono. Los resultados del estudio mostraron que los alumnos en los colegios que
recibieron estos bonos tenían puntajes relativamente más altos en el corto plazo, pero que
en el largo plazo no se observaron diferencias en el progreso académico. Esto sugiere que
profesores en el programa tendieron a usar más tiempo con los alumnos “enseñando
específicamente para la prueba”, sin llevar a cabo actividades que apoyaran el
aprendizaje de los alumnos de manera más profunda.
Recientemente, Figlio y Kenny (2006) enviaron cuestionarios sobre la existencia
de programas de incentivos para profesores en establecimientos de enseñanza media
seleccionados en la Encuesta Nacional Educacional Longitudinal (National Educational
Longitudinal Survey, NELS) de 1998, 1990 y 1992, y anal izaron sus resultados en las
pruebas de cuarto medio de NELS. Controlando por otras variables, como los puntajes
de los alumnos en octavo básico, el nivel socio-económico de los alumnos, y los recursos
de los establecimientos educacionales, los resultados indicaron que alumnos aprendieron
marginalmente más en colegios con incentivos financieros. Sin embargo, no fue posible
identificar a partir de estos datos si es que el mejor desempeño era resultado de los
incentivos para profesores, o si simplemente mejores colegios tuvieron una mayor
tendencia a participar en este tipo de programas.
La literatura indica que un sistema de incentivos para profesores bien diseñado
puede tener un efecto positivo en el desempeño académico de los alumnos. Pero como
Glewwe, Ilias, y Kremer (2003) sugieren, no todos los sistemas de incentivos generan
6
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
impactos positivos de largo plazo. En este estudio analizamos la relación entre
desempeño académico de los alumnos e incentivos salariales para profesores en el
contexto del programa nacional SNED de Chile. Dado que todos los colegios en Chile
estuvieron expuestos a este programa durante el período de análisis (1996 -2000), existen
importantes limitaciones metodológicas para evaluar el efecto de estos incentivos en el
desempeño de los estudiantes, dada la ausencia de un grupo de control como tal. 5 Nuestro
objetivo central, sin embargo, no es cuantificar el impacto de este tipo de programas en el
desempeño académico de estudiantes en colegios chilenos, sino mostrar las limitaciones
de un sistema en el que la asignación de premios se basa en datos inter-cohortes, en lugar
del incremento o mejora en los puntajes intra-cohortes.
El caso chileno no es particularmente atractivo para testear el impacto de estos
programas en el desempeño de los alumnos, pero sí provee una buena oportunidad para
comparar cómo premios docentes basados en un conjunto de resultados académicos de
alumnos se relacionan con otro set considerado una mejor medida del verdadero progreso
del aprendizaje de los alumnos, y por ende, de la productividad de los profesores. Dado el
atraso que se observó en 1998 en el testeo bi-anual de Chile, fuimos capaces de comparar
el rendimiento relativo de cada establecimiento escolar en los premios SNED (basados en
los criterios oficiales del SNED de crecimiento inter-cohortes en las evaluaciones de
5
Uno de nuestros revisores lo puso de esta manera “…mientras que existen escuelas que
presumiblemente son tan malas que creen que no hay ninguna oportunidad de obtener un premio,
también hay algunas que no ganaron pero que quizás modificaron su comportamiento con la
esperanza de ganar –en otras palabras el programa pudo inducir que tanto escuelas perdedoras
como ganadoras incrementaran su esfuerzo, por lo cual es muy difícil identificar el efecto
verdadero”.
7
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
cuarto y octavo básico en un período de dos años entre pruebas) con el crecimiento en
los puntajes intra-cohortes entre cuarto a octavo básico, lo cual es considerado una
medida más apropiada para determinar incentivos salariales. Los resultados de este
estudio comparativo – del éxito de los colegios en el SNED y sus crecimientos en los
puntajes intra-cohortes – sugieren que cuando sistemas de incentivos financieros para
profesores no se basan en las medidas ideales de desempeño, los resultados para el
aprendizaje de los alumnos también pueden ser sub-óptimos.
El SNED
El SNED se implementó por primera vez en Chile en 1996, como parte de una
filosofía general de promover a través de incentivos de mercado el aprendizaje de los
alumnos.6
El principal objetivo [del SNED] es coadyuvar en el mejoramiento de la calidad de la
educación que provee el sistema educativo chileno, parcialmente financiado con
recursos públicos, que otorga incentivos y reconocimientos a maestros de las escuelas
de alto rendimiento (Gobierno de Chile, Ministerio de Educación, 2004, p.6).
El SNED es particularmente interesante por las políticas de mercado introducidas
en Chile durante el gobierno militar, que establecieron en 1981 un sistema de subsidio a
la oferta por alumno atendido (generalmente conocido como un sistema de “voucher”).
Este sistema entrega el mismo nivel de financiamiento por alumno a colegios
6
Mizala y Romaguera (2002) argumentan que un sistema de libre selección de escuelas basado
en subvenciones a los alumnos genera incentivos a la demanda de la educación, mientras que
“[e]l SNED es un complemento importante del actual sistema educativo porque introduce un
incentivo a la oferta que está asociado directamente a los docentes”
p. 12.
8
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
municipalizados y privados subvencionados (Carnoy, 1998). Co n la llegada de la
democracia en 1990, la proporción de alumnos en colegios privados subvencionados
había subido de un 14% a un 34%, con otro 8% de los alumnos en colegios privados
pagados. El gobierno de la Concertación mantuvo el sistema de voucher cuand o asumió
el poder en 1990, permitiendo incluso a colegios privados subvencionados cobrar
matrícula y seleccionar a los alumnos (según el Artículo 23, de 1996). El número de
alumnos en colegios subvencionados creció lenta pero sostenidamente durante los
siguientes 14 años, llegando a 38% de los alumnos entre preescolar y 4 medio en colegios
privados subvencionados, y otro 9% en colegios privados pagados. Los colegios privados
subvencionados tienen básicamente completa libertad para contratar y despedir
profesores, y en un menor grado, fijar sueldos, ya que pueden contratar profesores de
medio tiempo. Profesores en estos establecimientos privados pagados son en promedio
mucho más jóvenes que los profesores que trabajan en establecimientos públicos
(McEwan y Carnoy, 2000).
De acuerdo a la teoría de mercado, un sistema de incentivos económicos para
profesores en un país con una proporción de colegios privados relativamente alta debiera
aumentar el nivel de esfuerzo de los docentes, aún cuando este sistema asigne los
incentivos a colegios y no a profesores de modo individual. Esto, porque administradores
de colegios privados debieran tener más herramientas que directores de escuelas públicas
para ejercer presión sobre sus docentes para que éstos aumenten su esfue rzo y mejoren
los puntajes de sus alumnos. Es más, el sistema de elección de establecimientos escolares
9
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
combinado con el sistema de financiamiento por alumno debiera proveer – al menos a
nivel teórico – un ambiente propicio a la competencia, de modo que es tablecimientos
públicos y privados se esfuercen en atraer alumnos. En este contexto, un sistema de
incentivos salariales para profesores basado en el desempeño académico de los alumnos
debiera, al menos en parte, tener algún efecto en el aprendizaje de éstos, incluso en
escuelas públicas.
Los premios SNED se otorgan cada año a los colegios que obtuvieron los mejores
resultados en cada una de las categorías o grupos socio -económicos preestablecida en
cada provincia, hasta que el número de alumnos en estos colegios premiados llega al 25%
del total de alumnos en cada provincia. La clasificación del SNED se calcula a través de
una serie de medidas que comparan los colegios ubicados en un mismo “grupo
homogéneo” de cada región. Estos grupos se establecen a travé s del nivel socioeconómico7 del establecimiento, si el colegio es rural o urbano, y el nivel de enseñanza
impartido (es decir, básico, medio, o enseñanza especial). Sólo colegios públicos y
privados subvencionados pueden participar en el SNED. Del 2000 al 2001, el número de
“grupos homogéneos” fluctuó entre 5 y 11 por región (Mizala y Romaguera, 2002, p. 15).
El objetivo del SNED es incentivar a los profesores de todos los colegios a alcanzar el
máximo nivel de desempeño académico posible, y seguir mejoran do este rendimiento en
el tiempo sin forzar la deserción escolar de alumnos de bajo rendimiento.
7
La categorización por grupo socio-económico se basa en el promedio del ingreso familiar en
cada escuela, el nivel promedio de ecuación de los padres, y el índice de vulnerabilidad de los
alumnos de cada escuela construido por la institución que provee los almuerzos escolares
(JUNAEB).
10
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Una vez que los colegios son asignados a sus “grupos” en sus respectivas
regiones, su clasificación en el SNED depende de una serie de elementos:

El puntaje en el último SIMCE de cuarto y octavo básico para colegios de
enseñanza básica, segundo medio para colegios de enseñanza media y puntajes en
los tres cursos para colegios que tienen educación básica y media (algunos
colegios privados) (37%);

La diferencia en el puntaje promedio entre los últimos dos SIMCE en cuarto
básico , octavo básico , y segundo medio (28%);

Un puntaje obtenido por una serie de actividades llevadas a cabo en los colegios
(6%);

Un puntaje otorgado por el Ministro de Educación que depend e de las condiciones
de trabajo en los colegios (2%);

Un puntaje que refleja la igualdad de oportunidades en cada colegio, el cual
incluye la tasa de aprobación entre cursos, la tasa de retención (el inverso de la
tasa de deserción escolar), las prácticas de expulsión, etc. (22%); y

Un puntaje por la participación de padres y profesores en el colegio (5%).
Al igual que en muchos sistemas de evaluación, el SNED es lo suficientemente
complejo como para que directores de establecimientos educacionales que qui eran
maximizar sus posibilidades de obtener un premio probablemente traten de obtener el
mayor puntaje posible en todos los cursos evaluados en el SIMCE. Esta estrategia
11
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
abordaría los dos primeros elementos del sistema de evaluación, los que representan do s
tercios del puntaje total. Durante el primer año en que se entregaron bonos por el SNED
(1996-97), una escuela de educación básica típica habría tenido un incentivo adicional de
poner mayor esfuerzo en obtener un buen resultado en el SIMCE de cuarto bás ico en
1996, pero no así en el SIMCE de octavo básico en 1995 (la ley fue aprobada en 1995,
pero durante ese año los colegios no estaban preparados para responder a ella
adecuadamente).8 Los premios se otorgaron nuevamente en 1998-99, basados esta vez en
los resultados SIMCE de octavo básico de 1997 y cuarto básico de 1996 para colegios
de educación básica, incluyendo los cambios o incrementos en los puntajes entre 1995 1997 y 1994-1996, dado que el test para cuarto básico de 1998 fue postergado para 19 99.
Durante 2000-01, el premio se basó en el SIMCE de cuarto básico de 1999, octavo
básico del 2000, y la diferencia entre los puntajes de 1996 -1999 para cuarto básico y
entre 1997-2000 para octavo básico en cada colegio.
Teóricamente, los colegios de educación básica con altos puntajes SIMCE en cuarto
y octavo básico y con razonable incremento en sus puntajes en el tiempo deberían haber
recibido más bonos en cada “grupo homogéneo” de cada región que aquellos colegios
con mal desempeño académico. Dado que el SNED hace algunos ajustes por el nivel
socioeconómico promedio de los estudiantes en cada colegio, y si es el colegio es urbano
o rural, no es una sorpresa que los premios estén relativamente bien distribuidos entre
8
Es importante recalcar que en el primer año que se otorgó el SNED (1996-97), hubo un mayor
número de escuelas que lo obtuvieron pero un menor número de profesores (2,274/30,600) que en
los años subsecuentes (1,832/31,400 en 1998-99 y 1,699/32,600 en 2000-01). Ver OCDE, 2004,
Cuadro 9.
12
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
colegios públicos y subvencionados, y entre urbanos y rurales (Mizala y Romaguera,
2002). Los datos muestran que durante 1996-2000 más de la mitad de todos los colegios
recibieron al menos un premio por desempeño. Los premios constan aproximadamente
entre $400 y $500 dólares anuales por profesor en cada colegio seleccionado (lo que
representa alrededor de un 5% de su salario anual). Pero dado que tanto colegios (entre
1.600 y 2.200, dependiendo del año) y profesores (alrededor de 30.000) reciben bonos
todos los años, el costo total de la política es relativamente elevada. El gobierno asignó a
esta política $12.5 millones de dólares en 1996-97, $13.5 millones de dólares en 1998-99
y $16.5 millones de dólares en 2000-2001.9 Desde ese entonces, el gasto en el SNED ha
aumentado a $18.51 millones en 2004-05.10 La mayoría de los ganadores del SNED
obtuvieron solo un premio en un período de cuatro años, lo que sugiere que el tamaño de
este incentivo es mucho menor en relación al salario total de los profesores durante este
tiempo.
Además, el impacto de los premios SNED en términos de incentivos monetarios se
vio probablemente atenuado por la política simultánea del gobierno de aumentar de
manera global los salarios de los profesores a comienzos de los noventas. En términos
reales, el salario base docente en colegios municipales aumentó en promedio en un 8.4%
anual entre 1990 y el 2000. Cabe mencionar que esta tasa de crecimiento salarial fue
9
Las cifras en dólares americanos se estimaron de Mizala y Romaguera, 2002, Cuadro 4. En
dicho cuadro, los pesos chilenos son en pesos del año 2000. Nosotros los convertimos en dólares
usando el cambio de julio 2000 de 514 pesos chilenos por dólar.
10
Ver Gobierno de Chile, Ministerio de Educación, 2004, Cuadro 1. Se utilizó la tasa cambiaria
de Julio 2004 de 640 pesos chilenos por dólar.
13
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
menor a fines de la década de los noventas, alrededor de un 3.9% anual entre 1996 -2000.
Por otra parte, el salario mínimo en colegios privados subvencionados se incrementó en
una tasa mucho menor durante los noventas, pero su crecimiento en el período 1996 -2000
fue muy similar a la observada en colegios municipalizados, alrededor de un 3.9% anual
(OCDE, 2004, Figura 6). El objetivo principal del componente SNED fue hacer que al
menos una parte de las remuneraciones docentes dependiera del desempeño académico
escolar, pero la política global de aumentar los salarios a todos los profesores complica la
evaluación de los efectos de los incentivos en el nivel de esfuerzo de los profesores, dado
que éstos ahora recibirían aumentos significativos de salarios aún cuando sus colegios no
ganasen el premio SNED. Por ejemplo, el aumento monetario real (en pesos del 2001) del
salario mensual fue de $22.500 en el 2001. Para los profesores que ganaron el SNED, su
aumento de salario fue muy similar, $23,000 en pesos del 2003, durante el año que
ganaron el SNED (OCDE , 2004, p. 51). Por ende, el premio SNED por profesor fue
aproximadamente del mismo monto al aumento regular del salario docente, con la
diferencia que todos los profesores recibían este aumento salarial independiente de ganar
o no el SNED. Además, el efecto del SNED también se diluyó aún más dado que dicho
premio se entregaba sólo cada dos años.
Aquellos colegios que se adjudican el SNED están obligados a distribuir el 90% de
esos recursos entre todos sus profesores. El otro 10% también se asigna a profesores, pero
sólo a aquellos que sean considerados particularmente excepcionales por sus colegas y el
director del establecimiento. De este modo, los profesores debieran tener un incentivo de
14
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
mejorar el rendimiento académico en sus colegios, al menos aquel relacionado y medible
por el SIMCE. Y dado que los salarios promedios en colegios privados subvencionados
son en términos generales menores a los que se observan en colegios municipalizados,
esto sugiere que el SNED representa un incentivo monetario mayor (en términos
proporcionales) para que profesores de colegios subvenc ionados mejoren el rendimiento
de sus alumnos.11
Entregar bonos a colegios dependiendo de sus puntajes de cuarto básico en un
determinado año, como por ejemplo, 1996, sus puntajes de octavo básico en otro año,
como 1997, y el aumento en los puntajes de alumnos en cuarto y octavo básico durante
los dos últimos años bien puede generar incentivos para mejorar la enseñanza de los
alumnos en cuarto básico en 1996, octavo básico en 1997, y futuros alumnos en estos
cursos específicos.12 Sin embargo, este sistema no asegura que existan los incentivos
11
Cualquier esquema de incentivos que premia a casi todos los maestras de la escuela por los
esfuerzos de los maestros de uno o dos grados (en este caso de cuarto y octavo grados) es
vulnerable a parasitar (free riding). Ya que el SIMCE sólo evalúa las materias de matemáticas y
Castellano, el problema de parasitar es mucho más grande, ya que en el octavo grado no todos los
maestros son responsables por la mejora que pudiese ocurrir de generación en generación. Las
escuelas que puedan reasignar recursos de maestros y cursos que no están involucrados en la
evaluación (reduciendo de esta manera el problema de parasitismo, ya que los maestros fuera de
la valoración cederán recursos hacia aquellos maestros que si lo estén) podrían ser más exitosas
en obtener un bono salarial para todos los maestros, pero no ayudarían a los estudiantes de la
escuela a mejorar su aprendizaje global así como su progreso de grado a grado.
12
La evidencia muestra que el SNED si ha coadyuvado a la mejora del desempeño académico en
una sub-muestra de escuelas chilenas que justo lograron el puntaje de corte para obtener un
premio en la ronda previa o que estuvieron muy cerca de lograrlo (Mizala y Romaguera, 2005).
Mizala y Romaguera argumentan que los maestros y administradores en dichas escuelas estarían
motivados para llevar a cabo un mayor esfuerzo para obtener un premio SNED en la siguiente
ronda, mientras que escuelas que tuvieron un puntaje muy bajo, tienen muy pocas probabilidades
de obtener un premio SNED que impacte el esfuerzo de los maestros. En cambio, en escuelas de
puntajes altos existe la premisa de que están haciendo las cosas bien y que no tienen que realizar
un esfuerzo adicional.
15
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
necesarios para promover las mejores prácticas pedagógicas para aquellos alumnos entre
primero y tercero básico, quinto y séptimo básico, y de enseñanza media. 13 Incluso para
aquellos colegios que son capaces de incentivar a sus profesores para mejorar el
rendimiento de los alumnos en cuarto básico, no es claro que puedan traspasar este mayor
esfuerzo a los otros cursos, principalmente por dos razones: el SNED no provee
incentivos para aumentos de puntajes intra-cohortes, y las habilidades organizacionales
que se requieren para mejorar los puntajes en una evaluación específica en un momento
del tiempo pueden no ser las mismas que aquellas que se requieren para mejorar el
aprendizaje de manera sostenida durante un período de tres a cuatro años.
Por ende, premiar colegios por sus puntajes en el SIMCE en cuarto y octavo
básico en un año determinado puede inducir a que éstos traten de mejorar el rendimiento
escolar en esos cursos, sin producir una mejoría absoluta en el aprendizaje de todos los
alumnos. En el Cuadro 1 mostramos trayectorias de rendimiento escolar para tres
13
Existen varios problemas asociados por utilizar las mejoras intra-cohorte en el tiempo para
medir el desempeño de la escuela. Por ejemplo, Mizala, Romaguera, y Urquiola (2006)
mostraron recientemente que el promedio de los puntajes del SIMCE entre los grupos de clase
socioeconómico fluctúan entre cohorte y cohorte de tal manera que el ranking de las escuelas
varía de evaluación en evaluación al azar. Sin embargo, pequeñas variaciones en las cohortes
podrían, para muchas escuelas en Chile, influenciar si obtienen un premio SNED mucho más que
el esfuerzo de los maestros. Lo anterior introduce una gran proporción de “error” (factores
extraños no asociados con el esfuerzo de los maestros que puede influenciar el nivel del puntaje
de las pruebas en un grado en particular en un año en particular). Thomas Kane y Douglas Staiger
han mostrado que las escuelas pequeñas tienden a tener mayor variación en las evaluaciones entre
cohortes en un cierto grado porque unos pocos estudiantes que tengan un muy buen desempeño –
o muy bajo- de un año a otro tienen un mayor impacto en escuelas pequeñas que en las grandes
(Kane y Staiger, 2001; ver también Rothstein, 2004, para un resumen de otros problemas). Es
interesante resaltar que el tamaño promedio de las escuelas que obtuvieron premios SNED
parecería haber aumentado entre el primer premio en 1996 y el tercer premio
en 2000 (OCDE, 2004, Cuadro 9).
16
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
colegios hipotéticos, una vez que hemos controlado por las características socio económicas de sus alumnos. Al colegio 1 le va relativamente bien en cuarto y octavo
básico, pero tiene trayectorias negativas entre cuarto y séptimo básico. El colegio 2
muestra una tendencia al alza del rendimiento de sus alumnos entre cuarto y octavo
básico, pero dado que parte de un nivel inicial bajo en tercero básico su rend imiento
relativo en cuarto básico es cuestionable, y su rendimiento en octavo básico es muy
similar al del colegio 1. El colegio 3 parte con un rendimiento elevado y experimenta
aumentos en los puntajes entre cuarto y octavo básico relativamente menores, terminando
sin embargo con un rendimiento en octavo básico por sobre los otros dos
establecimientos. En el contexto del sistema del SNED, el colegio 1 tiene altas
posibilidades de obtener un premio, al igual que el colegio 3. Sin embargo, es menos
probable que este sistema de incentivos premie al colegio 2, aún cuando éste sea capaz de
lograr aumentos sostenidos en el rendimiento de los alumnos, mostrando la mayor
diferencia entre el rendimiento de sus alumnos en cuarto y octavo básico. Si el objetivo
principal del SNED es premiar por el rendimiento absoluto alcanzado en octavo básico, el
sistema actual funciona. Si el espíritu es incentivar la mejora del rendimiento de los
alumnos en el tiempo, es decir, premiar por aumentos en los puntajes intra -cohortes, el
actual sistema no es probablemente el mejor.
[Cuadro 1 aquí]
Uno de los mayores obstáculos para desarrollar un programa de remuneraciones
docentes con un componente de incentivos por rendimiento basados en aumentos en los
17
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
puntajes intra-cohortes es el sistema de evaluación que existe en Chile. Los alumnos son
evaluados cada dos años en cuarto y octavo básico, y luego en segundo medio. Alumnos
en cuarto básico son testeados en años pares (es decir, 2002, 2004, etc.), mientras que
alumnos en octavo básico son evaluados en años impares. Este esquema de evaluación
imposibilita comparar los puntajes los alumnos en cuarto básico con los puntajes de estos
mismos alumnos en octavo básico cuatro años más tarde. Muchos estados en Estados
Unidos evalúan ahora a sus alumnos en la mayoría de los cursos todos los años. Esto abre
la posibilidad para estimar trayectorias de desempeño académico para cada alumno en el
estado, si es que se asignan números únicos para identificar a cada alumno a través del
tiempo. Más y más estados han empezado a desarrollar este tipo de bases de datos
longitudinales a nivel de alumno, a pesar que el número total sea aún bastante limitado
(un ejemplo de cómo utilizar este tipo de datos para estimar efectos de los profesores en
el rendimiento académico de los alumnos en Texas, ver Rivkin, Hanushek, y Kain, 2005;
en Carolina del Norte, ver Clotfelder, Ladd, y Vigdor, 2007).
Sin embargo, gracias a una anomalía en el esquema de testeo chileno, 14 es posible
comparar los resultados del SIMCE de los alumnos en octavo básico en el 2000 con
aquellos en cuarto básico en el mismo colegio en 1996. El hecho que posibilita este
análisis es que la evaluación de octavo básico de 1999 se postergó un año, y se realizó en
14
De acuerdo a Lorena Meckes (correspondencia personal), la coordinadora del SIMCE dentro
del Ministerio Chileno de Educación, la evaluación de cuarto grado no se administró en 1998 ya
que aplicar la prueba para octavo y décimo grado del SIMCE en 1995 fue tan costosa para el
ministerio, que se decidió solamente administrar la prueba del décimo grado en 1998 y retrasar el
SIMCE de cuarto grado para 1999.
18
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
15
el 2000.
Esto permite estimar el aumento en el rendimiento intra-cohortes para cada
colegio durante un período en que se llevaron a cabo tres premiaciones SNED. El
objetivo explícito del SNED es mejorar el aprendizaje de los alumnos, y un buen
estimador de este aprendizaje son aumentos en el rendimiento intra-cohortes que se
observa en cada colegio. Es por ello que es sumamente interesante analizar si es que
efectivamente el actual sistema de entrega de premios basado en puntajes inter-cohortes
también premia a aquellos colegios que muestran los mayores aumentos en los puntajes
durante los últimos cuatro años de educación básica. Es importante recalcar que usar
puntajes agregados a nivel de colegio tiene importantes limitaciones, aún cuando se
utilicen aumentos intra-cohortes. Más adelante analizamos estos problemas, que de hecho
restringen inferencias de carácter causal que podamos hacer a partir de nuestros análisis.
Aún así, nuestro estudio sugiere que los programas de incentivos que utilizan niveles
absolutos de rendimiento y aumentos inter-cohortes en los puntajes en cursos específicos,
pueden no recompensar establecimientos educacionales que han sido capaces de generar
15
Esto nos hace cuestionar el porqué el Ministerio de Educación chileno no ha calendarizado las
evaluaciones para poder estimar las diferencias en el desempeño entre grados. Por ejemplo, el
MOE podría evaluar cuarto, octavo y décimo grado dos veces al año dentro del mismo año
calendario. Esto proveería regularmente el incremento en el rendimiento por alumno por intracohorte, y el costo adicional se podría minimizar al administrar la prueba de cuarto y octavo
grado en el mismo día. Un número de entrevistas con funcionarios de MOE en 2003 indicaron
que el “propósito” original del SIMCE es estimar el nivel de desempeño de los estudiantes por
escuela sin comparar los cambios intra-cohorte en el tiempo, evaluando a los estudiantes en
cuarto grado en años pares alternados y a los de octavo grado en años impares alternados servía
dicho propósito. La calendarización de las pruebas continuó de esta manera aún cuando las
evaluaciones se utilizaron para otros fines, incluyendo como una medida del “esfuerzo” de los
maestros al otorgar bonos salariales a las escuelas con los desempeños más elevados(OCDE,
2004, pp. 89-95). El reporte de la OCDE de 2004 sobre la educación en Chile recomienda un
nuevo enfoque en medir las diferencias de rendimiento intra-cohorte, y el MOE gradualmente
está cambiando el calendario de evaluaciones para dar respuesta a dicha recomendación.
19
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
los mayores aumentos en los puntajes de alumnos de cohortes específicos a medida que
éstos pasan a cursos más altos.
Datos y Metodología
Como mencionamos anteriormente, Chile, como muchos otros países, tiende a
medir mejoras en el desempeño educacional utilizando aumentos en los puntajes intercohortes. Sin embargo, esta no es necesariamente la manera óptima de medir la mejoras
en el aprendizaje de los alumnos o la calidad de la educación. Muchos analistas
consideran que aumentos de puntajes intra-cohortes constituyen una mejor medida (ver,
por ejemplo, la discusión sobre el desempeño de “charter schools” en Estados Unidos en
Carnoy et. al., 2005). Bajo este enfoque, los colegios que destacan por sus mejoras en el
rendimiento escolar de sus alumnos son aquellos que, para un mismo cohorte de alumnos,
logran los mayores aumentos de los puntajes entre curso y curso. Es por ello, que nuestro
mayor interés radica en analizar si es que los premios SNED están positivamente
correlacionados con mejoras en el rendimiento intra-cohortes entre cuarto y octavo
básico.
La desventaja de modelar esta correlación es que el programa SNED no asigna
premios sobre la base de aumentos en el aprendizaje por cohortes de sus alumnos. Por lo
tanto, este programa de incentivos no le entrega a los colegios una indicación clara y
directa que éstos serán recompensados por los aumentos en los puntajes que logren sus
alumnos entre cuarto y octavo básico. Al mismo tiempo, es esperable que el Ministerio de
Educación desee que los incentivos monetarios del SNED tengan este efecto, dado que
20
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
las mejoras en el aprendizaje que logran los alumnos a medida que pasan de un curso a
otro constituyen una medida más directa (que los aumentos inter-cohortes) del efecto que
tiene el esfuerzo del colegio (y no las diferencias entre un cohorte de alumnos y otro) en
el desempeño académico de sus alumnos.
La ventaja de modelar esta correlación es que dado que el SNED no asigna
premios sobre la base de aumentos intra-cohortes, estos premios no son endógenos a
estos aumentos.16 Sin embargo, bajo nuestro esquema también podríamos enfrentar
problemas de endogeneidad si es que factores o variables que no observamos afectan
ambos elementos al mismo tiempo: la probabilidad de un colegio de obtener un premio
SNED y sus aumentos de puntajes intra-cohortes. Esta posibilidad se ve reflejada en el
hecho que el número de premios SNED está altamente co rrelacionado con los puntajes
bases de los cohortes en cuarto básico en 1996 – en otras palabras, con el nivel inicial de
desempeño de los alumnos. Si algún factor que no observamos causa que un colegio
tenga un alto puntaje inicial, y por lo tanto, un menor aumento intra-cohorte en el tiempo,
cualquier inferencia que hagamos respecto a la relación entre el número de premios
SNED y aumentos de puntajes intra-cohortes sería sesgada. Gran parte de nuestro análisis
se enfoca a este problema, a través del cual tratamos de entender la relación entre los
premios SNED y los aumentos intra-cohortes en los puntajes. A pesar que no es posible
16
En su análisis sobre si los premios SNED han tenido una influencia positiva en el aumento del
puntaje que los estudiantes obtienen, Mizala y Romaguera (2005) tuvieron que lidiar con el
problema de la endogeneidad, ya que la variable “causal” (un premio SNED) se basa en el valor
de la variable dependiente (el incremento en el tiempo de los puntajes de cuarto y octavo grado).
Mizala y Romaguera utilizan un modelo de efectos fijos de las escuelas para eliminar el probable
sesgo de sus estimadores. Estos resultados sugieren que el SNED puede tener una influencia
positiva para las escuelas que obtienen puntajes medios para que mejoren su desempeño.
21
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
resolver este problema por completo, sí es posible aprender importantes lecciones sobre
las limitaciones que tiene diseñar un sistema de incentivos para docentes basado en
mejoras de puntajes intra-cohortes.
Una manera de expresar la relación entre premios SNED y aumentos de puntajes
es usar los aumentos de puntajes entre cuarto y octavo básico como variable dependiente,
y el número de premios SNED adjudicados por cada colegio como variable independiente
– si los premios SNED están asociados con mejoras académicas de los alumnos, mientras
más dinero se haya adjudicado un colegio, mayor debiera ser el aumento en los puntajes
de los alumnos de dicho establecimiento escolar.
También podemos modelar esta relación asumiendo que la “variable latente” en el
programa SNED – una variable con la que los diseñadores de esta política no contaban en
1995 (cuando el SNED fue aprobado), pero que q uerían inferir a través de su esquema de
clasificación escolar – era la curva de aprendizaje de los cohortes de alumnos en un
mismo colegio. En dicho caso, podemos formular la pregunta de la siguiente manera:
¿tenían los colegios con grandes mejoras en sus puntajes, durante los últimos cuatro años
de enseñanza básica, una mayor probabilidad de adjudicarse un premio SNED en el
período 1996-2000?
Es decir, si los diseñadores de este sistema hubiesen usado
aumentos intra-cohortes, ¿habríamos observado el mismo patrón de premios adjudicados
que el que observamos bajo el sistema actual? Este segundo modelo toma el número de
premios SNED durante el período 1996-2000 (entre 0 y 3) como variable dependiente, y
el aumento de los puntajes entre cuarto y octavo básico del cohorte de alumnos que
22
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
estaban en cuarto básico en 1996 y octavo básico en el 2000 como variable
independiente. A pesar que hay que ser cuidadosos de no concluir demasiado a partir de
una sola medida (probablemente inexacta) de los aumentos intra -cohortes, estimar este
modelo puede sugerir importantes características sobre la relación de mejoras académicas
y el patrón actual de premios SNED.
En Chile, muchos colegios (especialmente privados, pero también algunos
públicos) puede exigir que sus alumnos abandonen el establecimiento escolar. Así que
también tenemos que estar conscientes que colegios pueden tratar implícitamente de
mejorar sus aumentos de puntajes intra-cohortes reduciendo el número de alumnos de
mal rendimiento académico en los cursos más altos. El sistema de clasificación del SNED
otorga menos puntos a los colegios que llevan a cabo este tipo de prácticas, lo cual es
capturado a través de una mayor tasa de deserción o retención escolar, de modo que
colegios que tienen un mayor número de pre mios SNED podrían tener aumentos
relativamente menores en sus puntajes entre cuarto y octavo básico simplemente porque
retienen en el tiempo un mayor número de alumnos que experimentan menores aumentos
en su rendimiento. Una manera de resolver este problema es estimar promedios
agregados de aumentos individuales de alumnos a nivel de colegio. Desafortunadamente,
el SIMCE no registró puntajes individuales de alumnos antes de 1997. Así que dado que
los datos de los cuartos básicos del SIMCE en 1996 sólo están disponibles a nivel de
escuela, no es posible llevar a cabo este tipo de estimación. Sin embargo, sí es posible
estimar el número de alumnos en cuarto básico en 1996 y en octavo básico en el 2000. La
23
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
proporción entre el número de alumnos en octavo y cuart o básico es una tasa de
“pérdida” de alumnos, a pesar de que ésta no tome en cuenta el movimiento de alumnos
entre colegios, lo cual probablemente beneficia a mejores escuelas que son capaces de
atraer a los mejores alumnos de los colegios de menor rendimi ento académico. De este
modo, si este movimiento entre colegios existiese, tendería a sesgar hacia arriba la
relación entre el número de premios SNED y el aumento intra-cohorte.
Aumentos intra-cohortes también pueden ser afectados por un “efecto techo”.
Colegios con puntajes relativamente altos en cuarto básico en 1996 también pueden tener
puntajes relativamente altos en octavo básico en el 2000, pero su aumento relativo puede
ser bajo ya que están cerca del máximo posible en ambas evaluaciones. Colegios co n
estudiantes de rendimiento relativamente bajo en cuarto básico en 1996 tienen amplio
espacio para mejorar su rendimiento en el test de octavo básico en el 2000.
Colegios con rendimientos relativamente altos en cuarto básico en 1996 también
enfrentan mayor dificultad para mantener ese buen rendimiento relativo en octavo básico
en el 2000 por la posible regresión a la media. Colegios que tuvieron un rendimiento
relativamente bajo en 1996 pueden haber tenido un año particularmente malo, y no
porque intrínsicamente sean malos colegios. Es muy probable que estos establecimientos
tengan aumentos relativamente altos en sus puntajes entre cuarto y octavo básico a
medida que vuelvan a mostrar su verdadero desempeño académico promedio. Sin
embargo, estos colegios pueden ser penalizados por el sistema de clasificación del SNED
si es que muestran puntajes relativamente bajos en el marco general en ambos años, a
24
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
pesar de haber experimentado un aumento sustancial en su rendimiento. En nuestros
análisis estudiamos estos efectos controlando por el puntaje inicial en cuarto básico en
1996, e interpretamos el conjunto complejo de posibilidades que resultan cuando
introducimos este tipo de variable en nuestras regresiones.
También podemos comprobar si es que algún patrón parti cular de premios está
asociado con aumentos mayores de puntajes intra-cohortes entre cuarto y octavo básico.
Por ejemplo, colegios que recibieron un premio en 1998-99, especialmente por sus
aumentos inter-cohortes en octavo básico, también pueden haber exp erimentado mayores
aumentos en sus puntajes intra-cohortes.
El Modelo 1 estima el aumento intra-cohorte promedio en Matemáticas y
Castellano (medido a través de la diferencia en los puntajes en términos de CNE (curva
normal equivalente)
17
como función de los números de premios SNED (o variables
dicotómicas para varias combinaciones de premios SNED), el tipo de colegio de
enseñanza básica, el promedio del indicador de vulnerabilidad (representante ( proxy) del
nivel socio-económico de los alumnos), si es que el colegio es rural o urbano, la región en
la que se encuentra el colegio, la razón entre el número de alumnos que tomaron la
prueba en octavo básico en el 2000 y el número de alumnos que la tomaron en cuarto
básico en dicho colegio en 1996, y el puntaje promedio de cuarto básico del colegio en
17
Las pruebas del SIMCE de cuarto y octavo grado tienen diferentes escalas (la de cuarto grado
esta basada en una escala de 100 puntos mientras que la de octavo en una escala de 350 puntos).
Las preguntas de cada evaluación se basan en la currícula de cada grado. Para poder hacer estas
dos evaluaciones “comparables” los convertimos a puntajes equivalentes de la curva normal
(CNE). Los CNE reflejan en donde cada estudiante cae dentro de la curva normal indicando cuál
es la posición del estudiante relativa a todos los estudiantes que tomaron la misma prueba.
25
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
1996. A través de esta última variable controlamos por regresión a la media, pero la
desventaja de ésta es que se encuentra altamente correlacionada con el número de
premios SNED. Dada esta correlación, hay buenos ar gumentos para no incluir los
puntajes de cuarto básico en el modelo, especialmente porque una característica particular
de los colegios con altos puntajes en cuarto básico en 1996 es que tienden a tener más
premios SNED y además experimentar menores aumentos de puntajes intra-cohortes.
Para esta estimación usamos mínimos cuadrados ordinarios (MICO).
En el modelo 2 estimamos un modelo logístico ordenado de la relación entre
premios SNED otorgados a colegios de enseñanza básica entre 1996 -2000 y el aumento
intra-cohorte entre cuarto y octavo básico, medido una vez más por la diferencia en los
puntajes de CNE. El modelo logístico ordenado es similar a un logístico multinomial
excepto que el primero intenta estimar los valores “latentes” de la variable ordinal. Por
esto, aunque la variable dependiente sea el número de premios recibidos por los colegios,
el modelo logístico ordenado no supone que “valor” de la distancia entre 0 y 1 premio sea
necesariamente la misma que el valor de la distancia entre 1 y 2, o entre 2 y 3 premios.
Nuestro modelo estima la probabilidad de premios SNED como función del aumento
intra-cohorte promedio entre 1996-2000 en matemática y Castellano, el índice de
vulnerabilidad social del colegio, si es que el colegio es rural o urbano, la ra zón entre los
alumnos que tomaron el test en octavo básico en el 2000 y cuarto básico en 1996, y el
puntaje promedio de los cuartos básicos en 1996. También incluimos una serie de
variables dicotómicas por región, a pesar que los premios SNED sean otorgado s para
26
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
cada región, y por lo tanto debieran ser independientes de la región en la que se
encuentran los colegios.
También estimamos otros dos conjuntos de modelos que intentan analizar la
relación entre premios SNED y aumentos intra-cohortes para colegios con estudiantes de
diferentes niveles socio-económicos. En el primero de estos modelos dividimos colegios
en terciles dependiendo de su índice de vulnerabilidad. Premios SNED se otorgan
conscientemente dentro de una cierta categoría de vulnerabilidad soc ial de modo de
permitir que el nivel de puntajes en el SIMCE fluctúe dependiendo del nivel socio económico de los alumnos. La idea es proveer los incentivos necesarios para que colegios
de bajo y alto rendimiento mejoren sus puntajes. A través de este mod elo se busca
analizar la relación entre premios SNED y aumentos intra-cohortes para diferentes grupos
socio-económicos. Especialmente en áreas urbanas, donde existe una considerable
elección de colegios, padres más motivados pueden decidir enviar a sus hij os a colegios
privados subvencionados (en lugar de colegios públicos), y padres con más recursos
financieros (y tal vez con mayor motivación aún) pueden decidir enviar a sus hijos a
colegios subvencionados que cobran matrícula.
¿Existe una relación entre premios SNED y mayores aumentos de puntajes intracohortes en colegios de alto o bajo nivel socio-económico? ¿Tienen estos premios un
mayor impacto en aumentos intra-cohortes en colegios privados o públicos? Este tipo de
análisis tiende a comparar colegios similares entre ellos, al menos en términos de los
recursos que las familias de los estudiantes proveen. En ese sentido, podemos obtener
27
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
estimadores menos sesgados de la relación entre número de premios SNED y aumentos
intra-cohortes.
Modelo 1
CNEdiffj = f (NSNEDj, TSj, Vj, Rj, Nj, Dj, Región, SIMCE96 j)
Modelo 2
Prob (0, 1, 2, 3 premios) j = g (GSj, TSj, Vj, Rj, Nj, Dj, Región, SIMCE96 j)
En donde:
CNEdiffj = Curva Normal Equivalente (CNE) del SIMCE de octavo básico en el 2000 del
colegio j menos la CNE del SIMCE de cuarto básico en 1996 del colegio j;
NSNEDj = Variables dicotómicas que indican el número de premios SNED recibidos por
el colegio j, o un conjunto de variables dicotómicas que identifican ocho posible
combinaciones de premios SNED. En ambos casos, la variable omitida son cero premios
SNED;
TSj = Variable dicotómica que indica el tipo de colegio del establecimiento j, en el que
los colegios subvencionados que cobran matrícula corresponden al grupo omitido en la
regresión;18
Vj = Promedio del índice de vulnerabilidad social del colegio j;
18
Las escuelas públicas municipales se dividen en dos categorías: Corporación Municipal
y las del Departamento de Administración de Educación Municipal (DAEM). Las escuelas
privadas se dividen en subvencionadas y pagadas. Las escuelas privadas pagadas (que no reciben
vouchers) no califican para los premios SNED, por lo que fueron eliminados de la muestra. Los
restantes tres categorías de escuelas (corporativas, DAEM, privadas subvencionadas) se dividen
en aquellas escuelas que aceptan pagos de matrícula y las que no. En la base de datos del SIMCE
que se utiliza solamente hay siete escuelas municipales corporativas y ocho DAEM municipales
que aceptan pagos de matrícula. Pero el número de escuelas subvencionadas privadas que
aceptan dichos pagos es mayor que aquellas que no lo hacen.
28
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Rj = Variable dicotómica que indica si el colegio j es rural;
Nj = Razón entre el número de alumnos en octavo básico en el 2000 y el número de
alumnos en cuarto básico en 1996 en el colegio j;
Dj = El número de estudiantes de cuarto básico que tomaron el SIMCE en 1996 (como
proxy del tamaño del colegio);
Regionj = Variable dicotómica que indica la región en la que se encuentra el colegio j. La
Región Metropolitana es la región omitida en la regresión;
SIMCE96j = Es el promedio del los puntajes del SIMCE de cuarto básico del colegio j en
1996.
Los datos utilizados en estos modelos provienen de diferentes fuentes: los
resultados del SIMCE de cuarto básico de 1996 y octavo básico del 2000, así como los
datos del SNED que indican los premios recibidos por cada colegio entre 1996 y el 2000
– un cuarto bono fue entregado en el año 2002-03, pero éste no fue incluido en nuestros
análisis – fueron obtenidos del Ministerio de Educación de Chile (MINEDUC).
Dado que el SIMCE de cuarto y octavo básico utilizan una escala diferente,
generamos un puntaje CNE para cada prueba (los CNE tienen un promedio de 50). Por
ello, el aumento intra-cohortes de los puntajes de matemática (CNE M) y Castellano
(CNEC) corresponde a la diferencia entre ambos tests.
Mizala y Romaguera (2002, Tabla 6) estiman que más de 9.000 colegios
estuvieron involucrados en el SNED durante el período 1996 -2000 (ver Tabla 1). Las
autoras no especifican el tipo de colegios que están incluidos en estos 9.000 casos, per o la
29
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
lista que recibimos del Ministerio de Educación incluye colegios de educación media,
escuelas técnicas, escuelas especiales, y párvulos. De acuerdo a Mizala y Romaguera,
43% de estos colegios recibieron al menos un premio SNED durante este período.
La base de datos de colegios para los que tenemos aumentos de puntajes intra cohortes de cuarto a octavo básico, y para los cuales también contamos con información
sobre premios SNED, es igual a 4.300 colegios. De la lista SNED de 9.400 colegios,
alrededor de 1.000 pueden ser identificados rápidamente como colegios de enseñanza
media, párvulos, o colegios especiales. Muchas escuelas rurales no cuentan con octavo
básico, por lo que no tienen aumentos de puntajes entre estos cursos. De los 4.300
colegios de educación básica también eliminamos alrededor de 400 colegios privados
pagados, dado que éstos no pueden acceder a premios SNED. Por lo tanto, nuestra base
de datos representa un subconjunto del total de colegios de Chile, alrededor del 60% de
los colegios de educación básica del país, y una proporción mucho más alta de colegios
que cuentan con cursos hasta octavo básico.
Podemos comparar la proporción de colegios que recibieron un cierto número de
premios SNED entre 1996-2000 en nuestra muestra con los de Mizala y Romaguera
(Tabla 1). Esta comparación sugiere que una menor proporción de colegios en nuestra
base de datos no recibió premio alguno en relación a los resultados de Mizala y
Romaguera, probablemente porque eliminamos muchas escuelas rurales (sin octa vo
básico) y colegios de educación media. Tenemos una proporción más alta de colegios que
se adjudicaron dicho premio dos o tres veces, probablemente por la misma razón.
30
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
[Tabla 1 aquí]
La Tabla 2 muestra la distribución de nuestra población de colegios por tipo de
establecimiento escolar – colegio público, colegio privado subvencionado (aquellos que
aceptan o no pagos de matrícula) y colegios privados pagados, los cuales no pueden
participar en el SNED (excluimos a estos colegios de nuestros análisis).
[Tabla 2 aquí]
El promedio de los puntajes de cuarto y octavo básico del SIMCE varían por tipo
de colegio y número de premios SNED adjudicados. La Tabla 3a muestra el promedio del
puntaje bruto, pero los resultados son muy similares al utilizar puntajes CNE. L a
desviación estándar de los puntajes brutos en cada uno de los tests en cuarto básico
(matemática y Castellano) es de 7,5 puntos, y de 18 puntos en octavo básico. Colegios
que recibieron tres premios SNED entre 1996-2000 están 1,2 desviaciones estándar sobre
el promedio general de cuarto y octavo básico de 1996, y casi 2 desviaciones estándar
sobre los colegios que no recibieron premio alguno. Las diferencias de puntajes entre
escuelas que recibieron numerosos premios o ninguno para establecimientos de un mismo
tipo son menos pronunciadas, principalmente porque los premios se asignan tomando en
cuenta – al menos en parte – la clase social de los alumnos. Estudiantes de colegios
públicos tienden a ser de niveles socioeconómicos menos privilegiados que estudi antes
de colegios subvencionados, especialmente aquellos que cobran matrícula. La Tabla 3b
muestra el promedio de los puntajes CNE por tipo de colegio y la Tabla 3c por terciles
socioeconómicos y puntajes de cuartos básicos en 1996. Se observa un patrón co nsistente
31
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
de menores aumentos intra-cohortes de colegios de mejor rendimiento (es decir, mayor
nivel socioeconómico y de un tercil de cuarto básico en 1996 más alto). Escuelas
privados subvencionados tienden a tener generalmente aumentos intra -cohortes similares
o mayores a los de colegios públicos. Y finalmente, esta tabla también indica que la
relación inversa entre el promedio de cuarto básico en 1996 y el aumento intra -cohorte es
mucho más débil para colegios privados subvencionados que cobran matrícula (y que
además tienen promedios más altos) que para otros colegios subvencionados o públicos.
Esto sugiere que podríamos encontrar una relación más bien débil entre aumentos intra cohortes y premios SNED si es que colegios con puntajes iniciales más altos tienden a
obtener un mayor número de premios. 19
[Tabla 3 aquí]
Resultados
Los resultados de las regresiones MICO que estiman los aumentos intra cohortes promedio de los colegios como función del número de premios SNED y otras
variables se presentan en las Tablas 4a y 4b. El aumento en los puntajes está expresado
en términos del cambio en el CNE de cada colegio. La primera regresión (1) incluye solo
variables dicotómicas por el número de premios SNED, siendo cero premios el grupo de
19
El sesgo causado por el efecto techo es menos aparente. Para las escuelas que obtienen los
puntajes más altos (cobran colegiatura y subvencionadas), la diferencia entre cuarto y octavo
grado es casi la misma que para escuelas que obtienen puntajes bajos. Las escuelas públicas que
obtuvieron puntajes altos en la prueba de cuarto grado en 1996 tienen una diferencia menor entre
el puntaje de cuarto y octavo grado, dicha diferencia es menor que para escuelas públicas que
tuvieron un desempeño bajo en dicha prueba. Pensamos que la información de las escuelas
privadas sugiera que el efecto de techo es menor en las escuelas públicas que una regresión hacia
la media, pero por el otro lado, escuelas privadas pueden correr a los alumnos de bajo desempeño.
32
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
referencia. La regresión (2) agrega variables de control por el tipo de establecimiento y
región, mientras que la regresión (3) también incluye el índice de vulnerabilidad
promedio del colegio, si es que el colegio es rural, una variable proxy de
deserción/expulsión escolar (la razón entre el número de alumnos que tomó el SIMCE en
octavo básico en el 2000 y el número de alumnos que tomó este test en cuarto básico en
1996), y un proxy del tamaño del colegio (número total de alumnos de cuarto básico que
tomaron el SIMCE en 1996). 20 La regresión (4) agrega el puntaje CNE del colegio en la
prueba de cuarto básico en 1996. La regresión (5) utiliza variables dicotómicas para cada
combinación de premios SNED en lugar del número de premios, y finalmente la
regresión (6) agrega a esta última el puntaje CNE de cuarto básico del colegio en el
SIMCE de 1996.21
Cuando no controlamos por el nivel del test de cuarto básico (es decir, regresiones
(1) a (3)), la relación entre premios SNED y aumentos de puntaje de colegios es negativa
y altamente robusta. Colegios que recibieron dos premios SNED obtuvieron un aumento
intra-cohorte del puntaje de matemática de alrededor de 3% más bajo que colegios que no
20
Aún si los premios SNED se administraron en cada región, se incluyen una variable dicotómica
para cada región para corregir cualquier “efecto regional”.
21
Este es un problema común de hacer inferencias de funciones de producción que tienen a la
variable dependiente las diferencias en el puntaje de evaluaciones (Rogosa, 2001). En California
por ejemplo, cuando se toma como variable independiente el nivel socioeconómico de los
estudiantes de la escuela y las diferencias de los puntajes de año con año como dependiente, los
coeficientes del nivel socioeconómico son negativos, pero al incluir el puntaje inicial se vuelven
positivos. Hay una correlación muy grande entre el nivel socioeconómico y el puntaje inicial.
Rogosa (2003) argumenta que los alumnos de nivel socioeconómico bajo realizar una mejoría
más grande en el tiempo, por lo que el coeficiente positivo del nivel socioeconómico conduce a
conclusiones erróneas. Al haber riesgo de multicolinearidad, se calculó el factor de inflación de la
varianza (VIF variance inflation factor) para las ecuaciones estimadas en los cuadros 4ª y 4b –
ninguno de los valores VIF fueron mayores a 4.
33
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
recibieron ningún premio, y alrededor de 2% más bajo que colegios con un premio
SNED. Dado que una desviación estándar del CNE de matemática es alrededor de 0.05,
el tamaño del efecto de más premios SNED en el aumento del puntaje de matemática es
alto. Por ello, aquellos colegios que recibieron premios SNED durante este período
también son los que, en promedio, experimentaron el menor aumento de sus puntajes
intra-cohortes.
Sin embargo, al controlar por el nivel de rendimiento de los alumnos de cuarto
básico de 1996, el número de premios SNED recibidos por colegio está ahora
correlacionado positivamente con el aumento de los puntajes de los alumnos entre cuarto
y octavo básico (regresión (4)). En el puntaje promedio de matemática de cuarto básico
(63%), colegios con un premio SNED experimentaron un aumento intra -cohorte de 0.7%
más alto que colegios que no recibieron premio alguno. Este tipo de estimación ayuda a
controlar por la regresión a la media y el efecto techo, pero su debilidad radica en que el
número de premios SNED está altamente correlacionado con el nivel inicial del puntaje
del colegio en cuarto básico.
Cuando identificamos las posibles combinaciones de premios SNED, pero no
incluimos los puntajes de cuarto básico de 1996 como variable de control, aquellos
colegios que fueron premiados en 1996 muestran un mayor aumento intra -cohorte
promedio que los colegios no fueron premiados dicho año. Sin embargo, todos los
colegios que fueron premiados después de 1996 mostraron aumentos menores en sus
puntajes intra-cohortes que los colegios sin premios. Cuando estimamos el efecto de los
34
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
premios SNED para colegios con puntajes similares en cuarto básico en 1996, el hecho
de obtener un premio en 1998-99 parece tener poca relación con el aumento del puntaje,
y aquellos colegios con tres premios parecen tener aumentos relativos mucho mayores al
resto.
Una vez que controlamos por los puntajes de cuarto básico de 1996, obtener uno o
dos premios en cualquier año tiene un efecto positivo similar en los aumentos de puntajes
intra-cohortes. Sin embargo, colegios con un puntajes similares en cuarto básico en 1996
y que obtuvieron tres premios tendieron a tener aumentos intra-cohortes mucho más
altos. En términos de aumentos absolutos, el hecho de obtener ese primer premio (1996)
está asociado con mayores aumentos de puntajes que el impacto que tuvo haber obtenido
este premio en años posteriores. Este es un resultado muy interesante. Indica que colegios
que recibieron el premio SNED en 1996 también experimentaron mayores aumentos
intra-cohortes. Este resultado es independiente de controlar por el nivel inicial de
puntajes de cuarto básico en 1996. Sugiere que había más colegios en 1996 -97 que tenían
un alto puntaje en cuarto básico en 1996 y también con mayores aumentos de puntajes
intra-cohortes entre cuarto y octavo básico. Sin embargo, esta relación no se observa para
otros años. Como se menciona anteriormente, entre 1996 -97 y 1998-99 el número de
colegios que recibieron premios SNED aumentó en aproximadamente 450 (25%), pero no
así el número de profesores premiados. ¿Habían muchos colegios pequeños entre los
premiados en 1996-97 que eran muy sensibles a fluctuaciones de cohorte, de modo que
35
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
no recibieron este premio en años siguientes, pero que sí fueron capaces de generar
aumentos de puntajes intra-cohortes para ese cohorte en particular?
[Tablas 4a y 4b aquí]
Las Tablas 5a (matemática) y 5b (Castellano) muestran los resultados del Modelo
2, el logit ordenado del número de premios SNED recibidos por los colegios entre 1996 2000 como función del aumento de puntaje intra -cohorte y otras variables. Las
regresiones logit usan estimadores de máxima verosimilitud, y en estas tablas mostramos
los efectos marginales de los coeficientes.
Como en el Modelo 1, los resultados del Modelo 2 indican que colegios con
mayores aumentos intra-cohortes en sus puntajes CNE entre cuarto y octavo básico
tienden a tener menos premios SNED durante el período 1996-2000 que colegios con
menores aumentos. La relación entre aumentos de puntaje y probabilidad de obtener un
número más alto de premios SNED se mantiene prácticamente constante cuando se
agregan variables dicotómica por regiones, el índice de vulnerabilidad social, y si el
colegio es rural o urbano. Los premios SNED debieran ser “independientes” de la región,
el nivel socio-económico de sus alumnos, y si es rural o urbano, dado que estos pre mios
se asignan a colegios “dentro” de cada una de estas categorías. El coeficiente del aumento
intra-cohorte cae levemente (algo más en matemática que en Castellano) cuando
36
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
incluimos la razón del número de estudiantes testeados en octavo y cuarto básico e n la
regresión.22
La regresión logística estima la probabilidad de un colegio de obtener, por
ejemplo, dos premios SNED si es que su aumento intra-cohorte entre cuarto y octavo
básico está un punto sobre la media del aumento intra-cohorte de todos los colegios en la
muestra.23 Para ambos, Matemáticas y Castellano, la probabilidad de no haber obtenido
algún premio entre 1996 y el 2000 es alrededor de 3% más alto para colegios con un
aumento intra-cohorte de 1% mayor a la del resto, controlando por otras caract erísticas de
los establecimientos. Y la probabilidad de obtener dos premios durante este período es
1% más baja por cada 1% de incremento en el aumento de puntajes intra -cohortes. En
términos del tamaño del efecto, un incremento de una desviación estándar en el aumento
intra-cohorte (es decir, cinco puntos) está asociado con un aumento de 15% de la
probabilidad de no obtener premio alguno, y una caída en un 5% en la probabilidad de
obtener dos premios.
22
Los coeficientes estimados de las variables de control se deben interpretar con cuidado, ya que
la regresión incluye la diferencia entre los puntajes de cuarto y octavo grado. Por ejemplo, si se
tiene el mismo diferencial de intra-cohorte, las escuelas municipales y privadas subvencionadas
que no aceptan pagos de matrícula tendrán probablemente menos premios SNED que las escuelas
privadas subvencionadas que si aceptan los pagos, aún cuando se controle por el índice de
vulnerabilidad. Mizala y Romaguera (2002) reportan que en el área metropolitana de Santiago,
las escuelas de mayor índice socioeconómico son más proclives de haber recibido un premio
SNED que aquellas de bajo nivel socioeconómico, pero, de acuerdo a nuestros resultados, esto
parece ocurrir por el agrupamiento de los estudiantes de nivel socioeconómico alto en las escuelas
privadas subvencionadas que si aceptan pagos de matrícula. Las escuelas privadas
subvencionadas que no aceptan dichos pagos obtienen menos premios SNED que las escuelas
públicas DAEM, cuando se controla por el promedio del nivel socioeconómica y por la diferencia
en el rendimiento escolar por cohorte entre escuelas.
23
La media de la diferencia de rendimiento es de 1.2 puntos de CNE para Matemáticas y de 0.2
para Castellano.
37
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuando controlamos por el promedio del colegio en cua rto básico en 1996, un
mayor aumento intra-cohorte entre cuarto y octavo básico está asociado con un aumento
en la probabilidad de obtener un premio SNED. Este coeficiente positivo asociado al
aumento intra-cohorte se traduce en una caída de un 10% en la probabilidad de no haber
recibido algún premio SNED cuando este aumento intra-cohorte sube en una desviación
estándar, para colegios con un puntaje en cuarto básico en 1996 igual al promedio. Con
un incremento de una desviación estándar en el aumento intra -cohorte, un colegio
aumenta su probabilidad de recibir dos premios en un 5%. Sin embargo, controlando por
todas las demás variables, un aumento de una desviación estándar en el promedio de
cuarto básico en 1996 (lo que a su vez habría incrementado signific ativamente la
probabilidad de los alumnos de experimentar reducidos aumentos intra -cohortes al
alcanzar octavo básico) reduce en un 42% la probabilidad de no obtener algún premio y
aumenta en un 21% la probabilidad de obtener dos premios SNED durantes este período.
Una razón que justifica esto es que colegios en que alumnos experimentaron gran
progreso entre cuarto y octavo básico tendían a tener puntajes promedios en cuarto básico
en 1996 más bajos. Colegios en el tercil más bajo de puntajes de cuarto básico en 1996
tuvieron un aumento intra-cohorte promedio entre cuarto y octavo básico igual a 5 puntos
CNE (desde 55 CNE a 60 CNE), mientras que colegios en el tercil más alto tuvieron un
aumento intra-cohorte promedio igual a 2 puntos CNE (desde 69 CNE a 67 CNE). Sin
embargo, los colegios con puntajes más altos en cuarto básico en 1996 tendieron a
obtener más premios SNED.
38
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
[Tablas 5a y 5b aquí]
La asignación de premios SNED se basa en puntajes del SIMCE ajustados por
nivel socio-económico de los alumnos de los colegios. Y esto implica que escuelas que
atienden alumnos de niveles socio-económicos más bajos obtienen más premios SNED
que colegios que atienden alumnos de nivel socio-económico medio, y un número similar
que colegios con alumnos de estratos altos, a pesar de tener puntajes más bajos que estos
últimos.24 Es más, escuelas de niveles socio-económicos más bajos tienen un aumento
intra-cohorte promedio algo más elevado que colegios de estratos sociales más altos
(Tabla 3c). Es así como la relación entre aumentos intra-cohortes y número de premios
SNED debiera favorecer colegios de niveles socio-económicos más bajos. Sin embargo,
los resultados de las regresiones MICO y logit sugieren lo opuesto, a pesar que las
diferencias no son grandes, a excepción de unos pocos colegios que recibieron tres
premios. La Tabla 6 muestra que colegios de estratos sociales más bajos que recibieron
uno o tres premios SNED tendieron a experimentar menores aumentos intra -cohortes en
matemática que colegios sin premios, y que esta relación es más fuerte para este nivel
24
El número de escuelas que obtuvieron premios SNED según el nivel socioeconómico de los
estudiantes es el siguiente:
Número de premios
Nivel Socioeconómico de los estudiantes inscritos en el sistema
SNED
educativo.
Tercil más bajo
Tercil mediano
Tercil superior
0
613
657
539
1
363
380
376
2
232
192
254
3
72
51
108
Aún el grupo de menor nivel socioeconómico, más de la mitad de las escuelas (52 por ciento)
obtuvieron al menos un premio SNED. Dicho porcentaje aumenta casi a 57 por ciento para el
grupo del nivel socioeconómico superior.
39
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
25
socio-económico que para niveles medios y, sobre todo, altos.
Colegios del tercil socio-
económico más bajo que recibieron un premio SNED experimentaron un aumento intra cohortes promedio de 1.5 puntos por debajo de lo que experimentaron colegios sin
premios en ese mismo grupo social. En el grupo de colegios de nivel socio -económico
más alto las diferencias no fueron significativas.
Cuando definimos la variable SNED usando el año específico de cada premio,
observamos que los aumentos intra-cohortes asociados a los colegios que recibieron el
premio en 1996 (Tabla 5a) están concentrados en el tercil de mayor nivel socio económico. Esto sugiere que existe un grupo de colegios de estrato social alto que
tuvieron un desempeño lo suficientemente alto en cuarto grado en 1996 para calificar
para dicho premio, y que además fueron capaces de generar aumentos relativamente altos
entre 1996-2000. Los colegios de nivel socio-económico bajo y medio que fueron
premiados en 1996 también experimentaron cambios positivos en su desempeño entre
cuarto y octavo básico, pero mucho menores.
El otro resultado interesante que se extrae al definir los premios en base a su año
de obtención es que aquellos colegios que recibieron un premio en 2000 -2001 fueron
aquellos con grandes caídas en el cambio de desempeño intra-cohorte entre 1996-2000, y
fueron aquellos con la mayor correlación con el nivel inicial del SIMCE de cuarto básico
en 1996. Esto fue particularmente cierto para los colegios en el terc il socio-económico
25
El índice de inflación de la varianza (VIF) para el nivel socioeconómico bajo y medio excede
los 10 puntos cuando se incluye las variables dicotómicas del tipo de escuela. Por lo tanto se
omitieron dichas variables y los valores VIF cayeron, para todas las regresiones, por debajo de
2.2.
40
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
bajo y medio. Así, los colegios que obtuvieron el premio SNED en el 2000 -2001 (o
cualquier combinación de premios que incluyó el de dicho año) son colegios con un
promedio de cuarto básico en 1996 alto (y también mayores puntajes en octa vo básico en
el 2000) en comparación a los otros colegios del mismo grupo socioeconómico, pero que
experimentaron un cambio en el desempeño intra-cohorte negativo entre cuarto y octavo
básico.
La Tabla 7 muestra el mismo resultado basado en una regresión l ogística
ordenada: en todos los grupos socio-económicos, aquellos con los mayores aumentos
intra-cohortes en matemáticas entre cuarto y octavo básico fueron los que obtuvieron una
menor cantidad de premios, pero el coeficiente negativo del tercil más alto es alrededor
de la mitad del de los otros dos terciles. Una posible conclusión es que en colegios de alto
nivel socio-económico hay una menor inconsistencia entre recibir premios SNED y
experimentar aumentos intra-cohortes en matemática (y Castellano). Es decir, estos
colegios en el tercil más alto pueden ser capaces de tener altos promedios en cuarto
básico en 1996 y además generar mejoras importantes en el desempeño académico de sus
alumnos entre cuarto y octavo básico. Otra posible conclusión es que el a justar por clase
social puede distribuir premios SNED de manera más equitativa entre colegios, pero que
esto no está relacionado positivamente a la probabilidad de que colegios (especialmente
los de nivel socioeconómico más bajo) con más premios SNED tengan también mayores
aumentos intra-cohortes. Los resultados para Castellano son muy similares.
41
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Una segunda manera de analizar la relación entre premios SNED y aumentos
intra-cohortes es por tipo de establecimiento educacional. Dado que los resultados para
Matemáticas y Castellano son tan similares, presentamos otra vez solamente los
resultados de Matemáticas (Tabla 8 con los resultados MICO y Tabla 9 con los resultados
del modelo logístico ordenado). Estos resultados sugieren que el número de premios
SNED está correlacionado de manera negativa con los aumentos intra-cohortes tanto para
colegios públicos como para los subvencionados, pero que esta relación negativa es más
débil para estos últimos (la mayoría de los colegios públicos son DAEM), y que esta
relación es aún más débil para aquellos colegios subvencionados que cobran matrícula.
Estos resultados son consistentes con el análisis por grupo socioeconómico que
mostramos en las Tablas 6 y 7, por buenas razones: grupos socioeconómicos en Chile
están altamente estratificados por tipo de colegio (OCDE , 2004). Esto dificulta de
sobremanera separar el efecto del tipo de colegio del efecto del grupo socio -económico
de sus alumnos.
Así, a pesar que incluso en colegios subvencionados con matrícula un mayor
número de premios SNED esté asociado a un menor aumento intra -cohorte, estos
colegios tienden a ganar más premios y experimentar mayores aumentos intra -cohortes
que colegios públicos. Queda abierta la pregunta si esto es resultado de una mayor
efectividad escolar por parte de los primeros, o si simplemente refleja el mayor nivel de
recursos familiares (monetarios y no-monetarios) disponibles para alumnos de estos
colegios. Una vez que controlamos por el puntaje inicial de cuarto básico, la relación
42
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
entre premios SNED y aumentos intra-cohortes es más positiva y fuerte en colegios
subvencionados, sugiriendo dos posibles alternativas: 1) que estos establecimientos –
especialmente aquellos que cobran matrícula – tal vez tienen una mayor capacidad de
comenzar desde un punto inicial más alto en cuarto básico, y experimentar aumentos
inter-cohortes (recompensados por el SNED) e intra-cohortes más altos (Tabla 8), o 2)
que estos colegios simplemente pueden alcanzar estos objetivos con menor dificultad
dado el nivel socio-económico más alto de sus alumnos. 26 Estas conclusiones varían algo
dependiendo del año del premio, pero el patrón general tiende a ser consistente. La
regresión logit por tipo de colegio confirma estas relaciones (Tabla 9). A pesar que el
coeficiente del puntaje de cuarto básico en 1996 es más o menos el mismo para los
diferentes tipos de colegio, el número de premios SNED está menos correlacionado a este
aumento “relativo” de puntajes en colegios subvencionados con matrícula, sugiriendo
otra vez que estos colegios (que generalmente atienden a estudiantes de mayor nivel
socio-económico) fueron más capaces de ganar premios SNED y generar aumentos intra cohortes que otros establecimientos educacionales.
Conclusiones o recomendaciones
El Gobierno de Chile ha otorgado desde 1996 bonos a profesores dependiendo del
rendimiento de los colegios, usando para ello una compleja fórmula que combina el
promedio del puntaje SIMCE de los alumnos y los aumentos inter-cohorte entre un año
26
Sin embargo, pueden hacer eso al castigar a los estudiantes de menor rendimiento escolar y
remplazarlos con estudiantes con mayor rendimiento que atraen de escuelas públicas del quinto al
octavo grado.
43
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
del test y otro. Este sistema de incentivos fue diseñado usando un esquema de pruebas
previamente existente y creado con otros propósitos en mente. En este estudio
comparamos una situación real con una hipotética: por una parte, el programa SNED ha
entregado bonos a profesores sobre la base del rendimiento de sus colegios en el SIMCE
de cuarto y octavo básico y los aumentos inter-cohortes en estos tests; por otra parte,
tenemos información respecto al rendimiento de colegios usando una medida alternativa
de desempeño académico, los aumentos intra-cohortes de los puntajes entre cuarto básico
en 1996 y octavo básico en el 2000. Resulta difícil imaginar cómo habrían reaccionado
los colegios ante un sistema de incentivos que hubiese premiado aumentos intra -cohortes
en lugar de los utilizados bajo el SNED, dado que existe poca evidencia empírica que
profesores responden sistemáticamente a los incentivos inter-cohortes de cuarto y octavo
básico del SNED, y que los resultados en estos tests dependen más de variaciones de
cohortes y fluctuaciones aleatorias que del nivel de esfuerzo de los profesores (Mizala,
Romaguera, y Urquiola, 2006).
A pesar de ello, nuestros resultados entregan algunas conclusiones interesantes
sobre los colegios que recibieron premios SNED y los que experimentaron los mayores
aumentos intra-cohortes, y cómo estos dos se relacionan entre ellos.
Mostramos como a fines de los noventas , colegios que recibieron premios
monetarios por “buen rendimiento” bajo el programa SNED tendían a tener puntajes
promedios SIMCE en cuarto básico en 1996 relativamente altos (y seguramente también
en el SIMCE de cuarto básico de 1999, a pesar que no analizamos en detalle esos datos).
44
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
En promedio, estos no fueron los colegios que experimentaron los mayores aumentos
intra-cohortes a medida que sus alumnos avanzaban de cuarto básico en 1996 a octavo
básico en el 2000. Sin embargo, una excepción la constituyen aquellos colegios que
fueron premiados específicamente en 1996 (el primer año en que se entregaron premios),
los que sí tuvieron aumentos intra-cohortes mayores al resto. Dado que el “ruido”
proveniente de las características de cada cohorte parece ser un factor importante en el
rendimiento de los colegios en el SIMCE, una explicación es que muchos de estos
colegios que recibieron este premio original pudieron haber tenido un “buen” cohorte en
cuarto básico ese año (recibiendo un promedio por ello), a pesar que el puntaje de cuarto
básico de ese año no está altamente correlacionado a la probabilidad de obtener el
premio. Este fue el cohorte para el cual pudimos medir aumentos de puntajes intracohortes, y para el cual encontramos una relación positiva entre premios otorgados a
dicho cohorte y sus aumentos de puntaje entre cuarto y octavo básico.
Al contrario, colegios que recibieron este premio en el 2000 también tenían altos
puntajes en cuarto básico en 1996, pero muchos de ellos experimentaron una caída en los
puntajes de los alumnos del cohorte entre cuarto básico en 1996 y octavo básico en el
2000. Parece ser que aquellos colegios de nivel socioeconómico bajo y medio con
puntajes relativamente altos en cuarto básico en 1996 y 1999 (y octavo básico en el 2000)
fueron los que experimentaron los menores aumentos intra-cohortes entre 1996-2000. No
podemos inferir si los colegios que recibieron el premio SNE D en el 2000 (o alguna
combinación de premios que incluye el premio en el 2000) fueron más exitosos en hacer
45
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
que sus alumnos de cuarto básico obtuvieran mayores puntajes en el SIMCE de 1996 y
1999, o si simplemente tuvieron la suerte de tener buenos alumno s en ese curso ese año.
Pero cualquiera sea el motivo, no fueron capaces de generar aumentos importantes en los
puntajes intra-cohortes.
Colegios subvencionados con pagos de matrícula fueron más capaces de ganar
premios SNED que otro tipo de colegios, a pesar que el puntaje total del SNED ajusta por
el nivel socio-económico de los alumnos. Estos colegios también fueron los que
mostraron los mayores puntajes promedio en cuarto y octavo básico, mientras que sus
aumentos intra-cohortes entre cuarto y octavo básico fueron similares a los de colegios
públicos y algo por debajo de colegios subvencionados sin matrícula. 27 Aún así, la
relación negativa entre premios SNED y aumentos intra-cohortes fue más débil para
colegios subvencionados con matrícula que para el re sto. Para la categoría de colegios
orientados a educar alumnos de clases sociales más altas, aumentos intra -cohortes y la
probabilidad de ser premiado en el SNED estaban más alineados que en aquellos colegios
que atienden a alumnos de niveles socio-económicos bajo y medio.
Es posible que colegios de alto nivel socio-económico, ya sean públicos o
subvencionados, son más capaces de generar aumentos intra -cohortes, a pesar que no
tenemos evidencia empírica de ello – todas nuestras estimaciones sugieren que,
27
El promedio de los puntajes de octavo grado del SIMCE 2000 están correlacionados con los
puntajes de cuarto grado de 1996. Sin embargo, la correlación es mucho más baja en escuelas
públicas que en las privadas subvencionadas, particularmente baja para aquellas escuelas privadas
subvencionadas que aceptan pagos de matrícula. Los puntajes de cuarto grado predicen el 27 por
ciento de la varianza del puntaje de octavo grado entre las escuelas públicas DAEM, y el 55 por
ciento de la varianza de escuelas privadas subvencionadas que con matrícula.
46
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
controlando por otras variables, colegios de estratos más altos muestran menores
aumentos intra-cohortes dentro de cada tipo de establecimiento escolar. Y además es
posible que también estemos ante la presencia de regresión a la media – que algunos
colegios que obtuvieron altos puntajes en cuarto básico en 1996 tuvieron un día
particularmente exitoso en dicho test.
Nuestros resultados no debieran ser interpretados para argumentar que el SNED
falla en proveer incentivos para que los colegios mejoren su desempe ño. Más bien,
genera las siguientes preguntas: 1) ¿qué es lo que recompensa realmente el SNED, dado
que aparentemente hay mucho ruido inter-cohorte?, 2) ¿qué comportamiento por parte de
los colegios promueve el SNED?, y 3) ¿genera este tipo de incentivos l os resultados
educacionales deseados, especialmente en colegios con alumnos de bajo nivel socio económico y bajo rendimiento académico?
Dados nuestros resultados, un colegio que quisiese maximizar su probabilidad de
obtener más premios SNED debiera aumentar cada dos años los puntajes de sus alumnos
en cuarto y octavo básico (años pares para cuarto, y años impares para octavo básico),
más que enfocarse en la tarea más difícil de ayudar a sus alumnos a mejorar su
desempeño académico entre cuarto y octavo básico (ver Tabla 10). Esto es lógico, ya que
el SNED no menciona aumentos intra-cohortes y no existe una manera sistemática de
medirlos usando la prueba SIMCE. Colegios públicos y aquellos colegios
subvencionados que atienden a alumnos de niveles socio -económicos más bajos (es decir,
aquellos que no cobran matrícula) también pueden haber sido mucho más exitosos en
47
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
mejorar los resultados de sus alumnos en cuarto que en octavo básico. Esto también es de
esperar, dado el material pedagógico más complejo que se testea en el SIMCE de octavo
básico. También sería mucho más difícil influir los resultados de octavo básico si los
colegios no han enfocado sus esfuerzos en generar aumentos intra -cohortes entre cuarto y
octavo básico. De acuerdo a un reciente estudio de la OCDE (OCDE , 2004), profesores
de cursos más altos en Chile (quinto a octavo básico) están relativamente menos
capacitados que profesores de cursos más bajos de enseñar el currículum de matemática y
Castellano de sus respectivos cursos, particularmente del nuevo currículumn introducido
a fines de los noventas . Nuestros resultados son consistentes con la noción que la gran
mayoría de los colegios son mucho más capaces de responder para mejorar los puntajes
de cuarto básico, que de incrementar el aumento de los puntajes entre cuarto y octavo
básico. Los colegios más capaces de generar ambos son los que atienden a alumnos de
alto nivel socio-económico y que cobran matrícula.
En este estudio hemos llevado a cabo nuestro análisis de aumentos intra-cohortes
entre cuarto y octavo básico de 1996 al 2000. Otros cohortes de cuarto a octavo básico
pueden haber tenido otro patrón de rendimiento, y la relación entre aumentos intra cohortes y premios SNED también puede haber variado considerablemente.
Lamentablemente no hay manera de testear esta variación en Chile con los datos
existentes. Sin embargo, nuestro análisis más limitado sugiere que este sistema de
incentivos puede estar recompensando a profesores en muchos colegios con los menores
aumentos intra-cohortes. Si estos aumentos intra-cohortes son un indicador importante de
48
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
la productividad de los profesores y colegios, el sistema de evaluación debiera tomar en
cuenta estos aumentos, y el sistema de incentivos debiera ser modificado de manera de
recompensarlos.
49
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Referencias y citas
Ballou, Dale (2001). “Pay for Performance in Public and Private Schools,” Economics of
Education Review, 20: 51-61.
Carnoy, Martin (1998). “National Voucher Plans in Chile and Sweden: Did Privatization
Reforms Make for Better Education?” Comparative Education Review, 42,3: 309-337.
Carnoy, Martin, Rebecca Jacobsen, Larry Mishel, y Richard Rothstein (2005). The
Charter School Dustup of 2004. New York: Teachers’ College Press and the Economics
Policy Institute.
Clotfelter, Charles, Helen Ladd, y Jacob Vigdor (2007). “How and Why Do Teachers
Matter for Student Achievement?” Cambridge, MA: National Bureau of Economic
Research, Working Paper 12828.
Figlio, David y Lawrence Kenny (2006). “Individual Teacher Incentives and Student
Performance.” Cambridge, MA: National Bureau of Economic Research, Working Paper
12627.
Glewwe, Paul, Nauman Ilias, y Michael Kremer (2003). “Teacher Incentives.”
Cambridge, MA: National Bureau of Economic Research, Working Paper 9671
Gobierno de Chile, Ministerio de Educación (2004). Hacia la Excelencia Académica:
SNED 2004-2005. Santiago: Ministerio de Educación.
González, Pablo (2001). Estructura Institucional, Recursos, y Gestion en el Sistema
Escolar Chileno. Santiago: Ministerio de Educacion.
Gordon, Liz y Geoff Whitty (1997). “Giving the 'Hidden Hand' a Helping Hand? The
rhetoric and reality of neoliberal education reform in England and New Zealand.”
Comparative Education, 33,3: 453-457.
Hanushek, Eric (2006). “Teacher Compensation,” in Paul Peterson (ed.), Reformi ng
Education in Florida. Stanford, CA: Hoover Institution Press: 149 -163.
Kane, Thomas y Douglas Staiger (2001). “Improving School Accountability Measures.”
Cambridge, MA: NBER Working Paper W8156.
Ladd, Helen (1999). “The Dallas School Accountability and Incentive Program: An
Evaluation of Its Impacts on Student Outcomes.” Economics of Education Review, 18: 116.
Lavy, Victor (2002). “Evaluating the Effect of Teachers’ Group Performance Incentives
on Pupil Achievement.” Journal of Political Economy, 110: 1286-1317.
Lavy, Victor (2005). “Performance Pay and Teachers’ Effort, Productivity and Grading
Ethics.” Jerusalem: Hebrew University (June).
50
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
McEwan, Patrick y Martin Carnoy (2000). “The Effectiveness and Efficiency of Private
Schools in Chile’s Voucher System.” Educational Evaluation and Policy Analysis, 22, 3
(fall).
Mizala, Alejandra y Pilar Romaguera (2000), “Sistemas de incentivos en educación y la
experiencia del SNED en Chile”, Documento de Trabajo N° 82, Centro de Economía
Aplicada, Depto. de Ingeniería Industrial, U. de Chile.
Mizala, Alejandra and Pilar Romaguera. 2002. Evaluacion del Desempeno e Incentivos
en la Educacion Chilena. Cuadernos de Economía, Año 39, Nº 118,
Mizala, Alejandra y Pilar Romaguera (2005). “Teacher Salary Structure and Incentives in
Chile.” In Vegas, Emiliana (ed). Incentives to Improve Teaching: Lessons from Latin
America. Washington, D.C.: The World Bank.
Mizala, Alejandra, Pilar Romoguera, y Miguel Urquiola (2006). “Socioeconomic status
or noise? Tradeoffs in the generation of school quality information.” New York, NY:
Columbia University (mimeo).
Murnane, Richard y David Cohen (1986). “Merit Pay and the Evaluation Problem: Why
Most Merit Pay Plans Fail and a Few Survive.” Harvard Educational Review, 56: 1-17.
Organization for Economic Cooperation and Development (2003). Reviews of National
Policies for Education: Chile. Paris: OCDE .
Rivkin Steven G., Eric Hanushek, y John Kain (2005). “Teachers, Schools, and
Academic Achievement.” Econometrica, 73,2: 417-458.
Rogosa, David R. (2001). Year 2000 Update: Interpretive Notes for the Academic
Performance Index. October 2001. California Department of Education website:
http://www.cde.ca.gov/ta/ac/ap/researchreports.asp. Downloaded March 6, 2007.
Rogosa, David. 2003. “Student Progress in California Charter Schools, 1999 -2002.”
Stanford, CA: Stanford University, June. Unpublished paperhttp://www stat.stanford.edu/%7Erag/api/charter9902.pdf; downloaded March 6, 2 007.
Rothstein, Richard (2004). Class and Schools. New York: Teachers College Press.
Santibanez, Lucrecia (2002). Why we should care if teachers get A's : impact on student
achievement in Mexico. Unpublished Ph.D. dissertation, Stanford University School o f
Education.
51
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Autores
Martin Carnoy
Profesor de Educación y Economía de la Universidad de Stanford
Iliana Brodziak
Estudiante de postgrado de la Escuela de Educación de Stanford
Andrés Molina
Graduado recientemente de la Escuela de Educación y ahora trabaja en el Ministerio de
Educación de Chile
Miguel Socías
Investigador asociado del Instituto de Investigación de América de Palo Alto
52
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Anexos
Cuadro 1. Chile: Proporción de escuelas que recibieron SNED entre 1996 y 2000,
población total y muestra del estudio.
Número de premios
Población total de escuelas
Muestra del estudio
0
57.1
47.1
1
27.3
28.3
2
11.7
17.6
3
3.9
6.0
Total
9,247
3,848
Fuente: Mizala y Romaguera, 2002, cuadro 6; estimaciones propias para la muestra del
estudio.
Cuadro 2. Chile: Tipo de escuelas de la muestra del estudio
Tipo de escuela
Frecuencia
Corporación Municipal (pública), sin pagos 697
de matrícula
DAEM (pública), sin pagos de matrícula
1,854
Porcentaje
16.3
Privada Subvencionada, sin
matrícula
Privada Subvencionada, con
matrícula
Corporación Municipal, con
matrícula
DAEM, con pagos de matrícula
43,4
pagos
de 532
12.5
pagos
de 754
17.7
pagos
de 7
0.2
8
0.2
Privada con pagos de matrícula
419
9.8
Total
4,271
100.0
Fuente:
Estimaciones
propias
53
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 3a. Chile: Media de los puntajes de 1996 Absoluto para cuarto y 2000 octavo grado,
por frecuencia del número de SNED obtenidos y por tipo de escuela
Escuelas
DAEM Escuelas
Privada
Privada
Total
Corporación
Subvencionada, sin Subvencionada, con
Municipal
pagos de matrícula pagos de matrícula
No. de Puntaje No. de Puntaje No. de Puntaje No. de Puntaje No. de Puntaje
SNEDS Medio Escuelas Medio Escuelas Medio Escuelas Medio Escuelas Medio
Cuarto Grado Matemáticas
63.7
372
62.8
858
61.3
278
69.5
301
63.9
0
68.0
194
67.0
569
68.5
141
74.3
215
68.8
1
72.6
102
73.0
318
73.2
94
79.2
164
74.5
2
73.6
29
76.5
109
78.9
19
82.1
74
78.1
3
68.0
697
1854
532
754
Cuarto Grado Castellano
64.1
372
63.3
858
62.0
278
70.6
301
64.5
0
68.7
194
67.3
569
69.3
141
75.7
215
69.4
1
72.4
102
72.5
318
73.6
94
80.6
164
74.6
2
74.4
29
76.1
109
78.7
19
82.7
74
78.2
3
68.3
697
1854
532
754
Octavo Grado Matemáticas
229.6
372
230.9
858
228.5
278
247.0
301
233.0
0
236.2
194
237.7
569
244.9
141
261.0
215
242.8
1
243.8
102
243.3
318
249.8
94
272.0
164
251.2
2
250.8
29
252.9
109
266.4
19
279.9
74
262.4
3
240.8
697
1854
532
754
Octavo Grado Castellano
229.5
372
230.5
858
229.1
278
248.2
301
233.0
0
236.8
194
237.1
569
245.6
141
261.4
215
242.6
1
244.2
102
241.6
318
250.4
94
271.4
164
250.4
2
249.9
29
250.7
109
261.8
19
281.3
74
261.3
3
240.6
697
1854
532
754
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data de los premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
54
………………………………………………………………………………………………
No. de
Escuelas
1809
1119
678
231
3837
1809
1119
678
231
3837
1809
1119
678
231
3837
1809
1119
678
231
3837
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 3b. Chile: Media de los puntajes en equivalentes de la curva normal de cuarto grado
1996 y octavo grado 2000, por tipo de escuela (desviación estándar entre paréntesis)
Escuelas
DAEM Escuelas
Privada
Privada
Total
Corporación
Subvencionada, sin Subvencionada, con
Municipal
pagos de matrícula
pagos de matrícula
Puntaje
medio
4O
Puntaje
medio
8O
Puntaje
medio
4O
Puntaje
medio
8O
Puntaje
medio
4O
Puntaje
medio
8O
Puntaje
medio
4O
Puntaje
medio
8O
Puntaje
medio
4O
61.7
60.9
62.1
60.6
62.6
66.2
67.3
61.9
(5.1)
(3.5)
(6.1)
(3.8)
(7.0)
(5.2)
(6.4)
(6.1)
(6.5)
62.6
62.7
62.6
62.9
62.6
63.7
69.4
68.7
63.9
(5.5)
(3.4)
(6.3)
(3.7)
(7.7)
(5.4)
(7.4)
(6.0)
(7.2)
Matemáticas 60.8
Castellano
Cuadro 3c. Chile: Media de los puntajes en equivalentes de la curva normal de cuarto grado
1996 y octavo grado 2000, por nivel socioeconómico de la escuela y por puntaje inicial de la
prueba de 1996 (desviación estándar entre paréntesis)
Tercil
inferior Tercil medio del Tercil
superior
del
SES
por SES por escuela
del
SES
por
escuela
escuela
Puntaje
medio 4O
Puntaje
medio 8O
Puntaje
medio 4O
Puntaje
medio 8O
Puntaje
medio 4O
Puntaje
medio 8O
61.2
60.7
61.8
65.9
66.2
(6.5)
(3.8)
(5.1)
(3.4)
(5.7)
(5.6)
60.5
61.9
62.3
62.9
68.9
67.6
(6.4)
(3.5)
(5.5)
(3.6)
(6.6)
(5.6)
Matemáticas 59.2
Castellano
Tercil
inferior Tercil medio del Tercil
superior
del puntaje por puntaje
por del puntaje por
escuelas
escuelas
escuelas
Puntaje
medio 4O
Puntaje
medio 8O
Puntaje
medio 4O
Puntaje
medio 8O
Puntaje
medio 4O
Puntaje
medio 8O
65.0
61.7
62.5
69.0
66.8
(3.3)
(3.0)
(1.5)
(3.1)
(3.8)
(5.6)
56.4
60.8
63.5
63.3
71.8
68.2
(3.3)
(2.8)
(1.6)
(3.0)
(4.7)
(5.4)
Matemáticas 60.0
Castellano
55
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
56
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 4a. Chile: Coeficientes estimados por mínimos cuadrados ordinarios del promedio del
aumento en el puntaje de matemáticas por colegios de cuarto a octavo grado, 1996-2000,
como función de la frecuencia de premios SNED
Variable
SNED 1
SNED 2
SNED 3
(1)
1.19**
(0.18)
3.28**
(0.21)
3.60**
(0.33)
Corporación pública, sin pagos de matrícula
Pública DAEM, sin pagos de matrícula
Privada subvencionada, sin pagos de matrícula
(2)
-1.18**
(0.18)
(3)
-1.07**
(0.18)
(4)
0.73**
(0.14)
-3.31**
(0.21)
-3.19**
(0.21)
1.03**
(0.17)
-3.50**
(0.33)
-3.29**
(0.32)
2.37**
(0.26)
-0.46~
(0.25)
-0.25
(0.23)
0.24
(0.28)
-1.32**
(0.27)
-1.39**
(0.25)
-0.42
(0.29)
0.03**
(0.00)
0.04
(0.26)
-2.09**
(0.20)
-0.004*
(0.002)
-2.71**
(0.20)
-2.63**
(0.19)
-1.87**
(0.22)
-0.03**
(0.00)
1.10**
(0.20)
-1.20**
(0.15)
0.004*
(0.002)
Índice de vulnerabilidad
Rural
Razón número alumnos octavo / cuarto grado
Tamaño de la escuela
SNED 1 1996
SNED 1 1998
SNED 1 2000
SNED 2 96 y 98
SNED 2 98 y 00
SNED 2 96 y 00
SNED 3
Constante
Observaciones
(6)
-1.22**
(0.27)
-1.28**
(0.25)
-0.36
(0.28)
0.03**
(0.00)
0.14
(0.26)
-2.03**
(0.20)
-0.005*
(0.001)
0.69**
(0.23)
-2.60**
(0.32)
-2.18**
(0.24)
-1.95**
(0.29)
-4.58**
(0.27)
-1.97**
(0.51)
-3.29**
(0.32)
-2.72**
(0.21)
-2.63**
(0.19)
-1.87**
(0.22)
-0.03**
(0.00)
1.09**
(0.20)
-1.21**
(0.15)
0.005*
(0.001)
0.81**
(0.18)
0.46+
(0.25)
0.77**
(0.19)
1.10**
(0.23)
0.97**
(0.24)
0.88*
(0.40)
2.35**
(0.27)
-0.64**
(0.01)
-0.64**
(0.01)
1996 cuarto grado puntaje de mate SIMCE
Incluye variables dicotómicas de región
(5)
NO
2.36**
SI
2.50**
SI
4.40**
SI
43.59**
SI
4.32**
SI
43.43**
3835
3835
3823
3823
3823
3823
57
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
0.07
0.08
0.13
0.51
0.17
0.51
R2 ajustada
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación. Nota: ** = coeficientes estimados
estadísticamente significativos al nivel de 1%; * = coeficientes estimados estadísticamente significativos al
nivel de 5 %; + coeficientes estimados estadísticamente significativos al nivel de 10 %.
58
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 4b. Chile: Coeficientes estimados por mínimos cuadrados ordinarios del promedio del
aumento en el puntaje de Castellano por colegios de cuarto a octavo grado, 1996-2000, como
función de la frecuencia de premios SNED
Variable
SNED 1
SNED 2
SNED 3
(1)
(2)
(3)
(4)
-1.51**
(0.18)
-3.78**
(0.21)
-4.36**
(0.33)
-1.45**
(0.18)
-3.72**
(0.21)
-4.10**
(0.33)
0.53**
(0.25)
0.96**
(0.23)
1.23**
(0.28)
-1.31**
(0.17)
-3.61**
(0.21)
-3.85**
(0.32)
-0.86**
(0.27)
-0.81**
(0.25)
0.15
(0.28)
0.05**
(0.00)
-0.50+
(0.26)
-1.90**
(0.20)
-0.005*
(0.002)
0.68**
(0.13)
0.85**
(0.16)
2.10**
(0.25)
-2.64**
(0.19)
-2.53**
(0.18)
-1.66**
(0.20)
-0.03**
(0.00)
0.89**
(0.18)
-1.31**
(0.14)
0.005**
(0.001)
SI
-0.64**
(0.01)
SI
2.61**
Corporación pública, sin pagos de matrícula
Pública DAEM, sin pagos de matrícula
Privada
subvencionada,
sin
pagos
de
matrícula
Índice de vulnerabilidad
Rural
Razón número alumnos octavo /cuarto grado
Tamaño de la escuela
(5)
(6)
-0.78**
(0.26)
-0.70**
(0.25)
0.21
(0.28)
0.05**
(0.00)
-0.39
(0.25)
-1.84**
(0.19)
-0.005*
(0.001)
0.61**
(0.23)
-3.27**
(0.31)
-2.35**
(0.24)
-2.42**
(0.28)
-5.04**
(0.27)
-2.01**
(0.50)
-3.85**
(0.31)
SI
-2.64**
(0.19)
-2.52**
(0.18)
-1.65**
(0.20)
-0.03**
(0.00)
0.88**
(0.18)
-1.31**
(0.14)
0.005*
(0.001)
0.85**
(0.18)
0.15
(0.23)
0.73**
(0.18)
0.95**
(0.21)
0.69**
(0.22)
0.82*
(0.37)
2.04**
(0.25)
-0.63**
(0.01)
SI
43.78**
2.53**
43.38**
SNED 1 1996
SNED 1 1998
SNED 1 2000
SNED 2 96 y 98
SNED 2 98 y 00
SNED 2 96 y 00
SNED 3
1996 cuarto grado puntaje de castellano SIMCE
Incluye variables dicotómicas de región
Constante
Observaciones
R2 ajustada
NO
SI
1.55**
3835
3835
3823
3823
3823
3823
0.10
0.19
0.19
0.59
0.23
0.59
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
59
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Nota: ** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente significativos al
nivel
de
10%.
60
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 5a. Chile: Estimados del modelo ordenado logístico del número de premios SNED
como función del aumento en puntajes promedio de matemáticas de cuarto a octavo grado,
1996-2000
Variables
(1)
(2)
(3)
Diferencial del puntaje de
cuarto a octavo grado, 19962000 (mate)
-0.11**
-0.11**
0.08**
Corporación
sin
-0.68**
-0.71**
0.20
Pública DAEM, sin pagos de
-0.35**
-0.48**
0.35**
-0.49**
-0.57**
0.12
Índice de vulnerabilidad
-0.00+
0.02**
Rural
0.56**
0.04
Razón número alumnos octavo
/cuarto grado
0.07
0.10
Tamaño de la escuela
0.001
-0.001
pública,
pagos de matrícula
matrícula
Privada
subvencionada,
sin
pagos de matrícula
Puntaje matemáticas de cuarto
grado 1996 SIMCE
0.26**
Incluye variables dicotómicas
de región
NO
SI
SI
Observaciones
3835
3823
3823
0.014
0.020
0.142
2
Pseudo R
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: ** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5 %; + coeficientes estimados estadísticamente significativos al
nivel
de
10
%.
61
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 5b. Chile: estimados del modelo ordenado logístico del número de premios SNED
como función del aumento en puntajes promedio de castellano de cuarto a octavo grado,
1996-2000
Variables
(1)
(2)
(3)
-0.12**
-0.12**
0.08**
-0.54**
-0.64**
0.29*
-0.40**
0.47**
-0.48**
0.18
Índice de vulnerabilidad
-0.00
0.02**
Rural
0.50**
-0.02
Razón número alumnos octavo /cuarto
grado
0.05
0.19**
Tamaño de la escuela
0.00
-0.00+
Diferencial del puntaje de cuarto
octavo grado, 1996-2000 (cast.)
a
Corporación pública, sin pagos de
matrícula
Pública
DAEM,
sin
pagos
de -0.21*
matrícula
Privada subvencionada, sin pagos de
-0.35**
matrícula
Puntaje castellano de cuarto
1996 SIMCE
grado
0.25**
Incluye variables dicotómicas de región
NO
SI
SI
Observaciones
3835
3823
3823
0.013
0.019
0.144
2
Pseudo R
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: ** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente significativos al
nivel
de
10%.
62
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 6. Chile: Coeficientes estimados por mínimos cuadrados ordinarios de la ganancia del
puntaje promedio de matemáticas de las escuelas (CNE) de cuarto a octavo grado, 1996-2000,
en función del número de premios SNED, por el nivel socioeconómico de la escuela (terciles:
inferior, medio y superior)
Variables
SNED 1
SNED 2
SNED 3
Nivel inferior de SES
Nivel medio de SES
Nivel superior de SES
(1)
(1)
(1)
(2)
-1.47***
(2)
-1.31***
-0.35
-0.25
-0.26
-4.87***
(2)
-0.29
-3.38***
-1.31***
SNED 1 1996
0.59
0.60+
1.15***
SNED 1 1998
-0.46
-0.34
-0.4
SNED 1 2000
-3.83***
-2.57***
SNED 2 96 y 98
-0.66
-0.46
-0.5
SNED 2 98 y 00
-2.81***
-2.70***
-1.05***
SNED 2 96 y 00
-0.49
-0.35
-0.4
SNED 3
-2.65***
-2.48***
Rural, razón num.
SI
Estudiante octavo /
cuarto grado, tamaño
de la escuela
-1.32***
-0.73
SI
SI
SI
SI
SI
Var. dicotómicas de SI
región
SI
SI
SI
SI
SI
Observaciones
1279
1279
1276
1276
1268
1268
0.17
0.23
0.19
0.21
0.05
0.06
2
R ajustada
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: ** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente significativos al
nivel de 10%.
63
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 7. Chile: Estimados del modelo ordenado logístico del número de premios SNED como
función del aumento en puntajes promedio de matemáticas de cuarto a octavo grado, 19962000, por nivel socioeconómico de la escuela (terciles: inferior, medio y superior)
Variables
Nivel inferior de Nivel
SES
SES
medio
de Nivel
SES
Diferencial del puntaje de
cuarto a octavo grado, 19962000 (mate)
-0.12**
-0.14**
-0.05**
Rural
0.57**
0.27
-0.40
Razón número alumnos octavo / 0.01
cuarto grado
0.10
-0.11
Índice de vulnerabilidad y
tamaño de la escuela incluidos
SI
SI
SI
Incluye variables dicotómicas
de región
SI
SI
SI
Observaciones
1279
1276
1268
superior
de
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: ** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes
estimados estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente
significativos
al
nivel
de
10%.
64
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 8. Chile: : Coeficientes estimados por mínimos cuadrados ordinarios de la ganancia
del puntaje promedio de matemáticas de las escuelas (CNE) de cuarto a octavo grado, 19962000, en función del número de premios SNED, por el tipo de escuela
Variable
Corporación
Pública DAEM, sin Privada
Privada
pública, sin pagos pagos de matrícula subvencionada,
sin subvencionada,
de matrícula
pagos de matrícula
pagos de matrícula
(1)
(2)
(1)
(2)
(1)
(2)
(1)
(2)
SNED 1
-1.36**
0.38
-1.27**
0.57**
-1.00+
1.53**
-0.43
0.80*
SNED 2
-2.91**
0.80**
-4.23**
0.77**
-3.22**
1.42**
-1.42**
1.01*
SNED 3
-1.84*
2.54**
-4.83**
2.03**
-2.61*
3.44**
-1.47*
1.92**
Razón número
alumnos octavo /
cuarto grado
Puntaje mate de
cuarto
grado
1996 SIMCE
-1.92**
-0.72*
-2.36**
-1.00**
-1.55**
-0.93*
-1.97**
-1.69**
Incluye variables
dicotómicas de
región
SI
SI
SI
SI
SI
SI
SI
SI
Rural, tamaño de
la escuela, índice
de vulnerabilidad
SI
SI
SI
SI
SI
SI
SI
SI
Constante
4.39**
41.54**
5.26**
44.52**
5.19**
38.17**
3.71**
25.88**
Observaciones
696
696
1851
1851
527
527
749
749
0.11
0.56
0.17
0.65
0.10
0.49
0.03
0.20
R
2
-0.68**
-0.73**
-0.61**
-0.37**
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: La ecuación (1) no incluye el puntaje promedio de la escuela de matemáticas de 1996, y la ecuación
(2) si lo incluye.
** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente significativos al
nivel
de
10%.
65
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 9. Chile: estimados del modelo ordenado logístico del número de premios SNED como
función del aumento en puntajes promedio de matemáticas de cuarto a octavo grado, 19962000, por tipo de escuela
Variable
Corporación
Pública DAEM, sin Privada
Privada
pública, sin pagos de pagos de matrícula subvencionada, sin subvencionada,
matrícula
pagos de matrícula pagos de matrícula
(1)
(2)
(1)
(2)
(1)
(2)
(1)
(2)
Diferencial
del
puntaje de cuarto a
octavo grado, 19962000 (mate)
-0.12**
0.11**
-0.13**
0.09**
-0.09**
0.11**
-0.05**
0.07**
Razón
número
alumnos octavo /
cuarto grado
Puntaje mate de
cuarto grado 1996
SIMCE
0.02
-0.08
0.12
0.16
-0.16
-0.08
0.12
0.18
Incluye
variables
dicotómicas
de
región
SI
SI
SI
SI
SI
SI
SI
SI
Rural, tamaño de la
escuela, índice de
vulnerabilidad
SI
SI
SI
SI
SI
SI
SI
SI
Observaciones
696
696
1851
1851
527
527
749
749
0.29**
0.27**
0.28**
0.24**
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: La ecuación (1) no incluye el puntaje promedio de la escuela de matemáticas de 1996, y la ecuación
(2) si lo incluye.
** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente significativos al
nivel
de
10%.
66
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Cuadro 10. Chile: Aumento en la probabilidad de recibir 0,1,2 o 3 premios SNED asociada con
el incremento de una desviación estándar de la ganancia del puntaje promedio de matemáticas
de las escuelas (CNE) de cuarto a octavo grado, 1996-2000, o del incremento en una
desviación estándar del puntaje (CNE) de matemáticas inicial del SIMCE
Variable
y Corporación
Pública DAEM, sin Privada
Privada
número
de pública, sin pagos pagos de matrícula subvencionada, sin subvencionada,
premios SNED
de matrícula
pagos de matrícula pagos de matrícula
(1)
Escuelas con una
D.S. superior de
mate en cuarto
grado SIMCE 1996
0 SNED
1 SNED
2 SNED
3 SNED
(2)
(1)
(2)
(1)
(2)
(1)
(2)
-0.36**
-0.32**
-0.35**
-0.28**
0.18**
0.13**
0.18**
0.04**
0.14**
0.16**
0.15**
0.24**
0.03**
0.04**
0.02**
0.06**
Escuelas con una
D.S. superior en el
diferencial
del
puntaje de cuarto a
octavo grado, 19962000 (mate)
0 SNED
1 SNED
2 SNED
3 SNED
0.14**
-0.14**
0.11**
-0.11**
0.11**
-0.14**
0.06**
-0.08**
-0.06**
0.07**
-0.04**
0.04**
-0.04**
0.07**
-0.06*
0.01*
-0.06**
0.05**
-0.06**
0.05**
-0.06**
0.06**
-0.04**
0.05**
-0.02**
0.01**
-0.02**
0.01**
-0.01**
0.01**
-0.02**
0.02**
Fuentes: SIMCE cuarto grado 1996, SIMCE octavo grado 2000, data del número de premios SNED por
escuela, 1996, 1998-99, y 2000 del Ministerio de Educación.
Nota: La ecuación (1) no incluye el puntaje promedio de la escuela de matemáticas de 1996, y la ecuación
(2) si lo incluye.
** = coeficientes estimados estadísticamente significativos al nivel de 1%; * = coeficientes estimados
estadísticamente significativos al nivel de 5%; + coeficientes estimados estadísticamente significativos al
nivel
de
10%.
67
………………………………………………………………………………………………
Limitaciones de incentivos salariales para profesores, M. Carnoy, I. Brodziak, A. Molina y M. Socías
………………………………………………………………………………………………………………………………………………
.
Figura
Figura1.
1.Chile:
Chile: Trayectorias
Trayectorias hipotéticas
hipot éticasde
delos
lospuntajes
puntajes estandarizados
estandarizados
Tercero a octavo grados
Tercero a Octavo Grados
0.15
Escuela 3
0.1
Escuela 2
0.05
0
Escuela 1
-0.05
Puntaje de la prueba estandarizado
-0.1
Tercer
Cuarto
Quinto
Escuela 1
Sexto
Grados
Escuela 2
Séptimo
Octavo
Escuela 3
68
………………………………………………………………………………………………