Resultados de eficiencia en educación aplicando Análisis

Resultados de eficiencia en educación aplicando Análisis
Envolvente de Datos (DEA)
Contenido
Introducción ............................................................................................................................. 2
1.
Eficiencia en educación primaria ...................................................................................... 3
1.a. Variables de Insumo (Input) .......................................................................................... 4
1.b. Variable de resultados ................................................................................................... 5
1.c. Eficiencia del Gasto utilizando metodología DEA. ......................................................... 6
2.
Eficiencia en educación secundaria .................................................................................. 8
2.1.a. Variable de Insumo (input) para comparación con otros países ................................. 8
2.1.b. Variables de Resultado (output) para comparación con otros países ......................... 9
2.1.c. Eficiencia del Gasto utilizando metodología DEA para comparación con otros países 9
Anexo ..................................................................................................................................... 10
Introducción
Las estimaciones de eficiencia que se presentan en este sitio, se construyen utilizando dos
tipos de variables: una de esfuerzo o gasto (input) y otra de resultado de (output). El modelo
supone que cada unidad de producción utiliza los inputs para generar determinado nivel de
output a partir de una función de producción desconocida (es una estimación no paramétrica),
y aquéllas unidades que requieren mayor cantidad de inputs para lograr un nivel equivalente
de outputs son las menos eficientes, y viceversa.
Los trabajos aplicados a la eficiencia en educación – realizados en otros países -han
considerado tanto unidades de producción micro (escuelas o liceos) como macro (países), lo
cual responde muchas veces a restricciones de información.
En cuanto a las variables que se utilizan en la literatura aplicada, el listado es amplio. Para el
análisis de costo, el más utilizado es el gasto por estudiante. Para medir la calidad de la
educación se utilizan los resultados de exámenes estandarizados, exámenes PISA o exámenes
nacionales con las mismas características, y también los índices de alfabetización.
Por otro lado la tasa de matriculación es un indicador ampliamente utilizado para medir la
cobertura del sistema educativo. Los ratios maestro alumno, deserción escolar, tasas de
repetición y horas trabajadas por maestro, también son indicadores que se utilizan
frecuentemente.
Para Uruguay se construyeron indicadores de eficiencia aplicando la metodología de Análisis
Envolvente de Datos (Data Envelopment Analysis - DEA) tanto para las escuelas, como liceos y
para comparar el país con otros de la región. Esta técnica se ha utilizado en estudios
académicos para analizar la eficiencia de la educación, en particular, Santin y Sicilia1 aplican
esta metodología a partir de los resultados de las pruebas PISA del 2009).
El modelo DEA ha sido utilizado frecuentemente para la medición de la eficiencia en diversas
áreas de gasto público, debido fundamentalmente a la flexibilidad que otorga frente al
desconocimiento de la función de producción real que está detrás de los servicios públicos
descentralizados, al carácter multidimensional del output o al desconocimiento sobre los
precios de los servicios (Santín y Sicilia).
La técnica consiste en obtener, mediante un ejercicio de optimización lineal, una envolvente
que incluya a todas las unidades eficientes, junto con sus combinaciones lineales. La frontera
se calcula a partir de distintas combinaciones de insumos y resultados correspondientes a la
totalidad de Unidades consideradas. Esta metodología evalúa cuál es la relación de insumos /
resultados alcanzada por las Unidades más eficientes, comparando dicha relación con la que
1
Santín D y Sicilia G (2009) La medición de la eficiencia educativa en Uruguay. ¿Cuáles son sus determinantes?
Departamento de Economía Aplicada VI. Facultad de Ciencias Económicas y Empresariales Universidad Complutense
de Madrid.
presenta cada una de las otras Unidades. Por tanto, el índice de eficiencia estimado para cada
unidad es una medida relativa entre 0 y 1.
En los apartados siguientes, se resumen las variables que fueron utilizadas para la construcción
de los indicadores de eficiencia.
1. Eficiencia en educación primaria
En primer lugar, desde el punto de vista de las variables de insumos, no se encuentran en
Uruguay variables monetarias de gasto educativo (gastos de personal, de bienes o de servicios
y de inversiones en infraestructura) a nivel de escuelas. Por este motivo, la estimación de
eficiencia para este tipo de unidades de producción se hace tomando como variable de input
una estimación de la cantidad de horas maestro que insume cada alumno matriculado en la
escuela.
Cabe señalar que en este estudio se excluyen las escuelas rurales. Para las escuelas urbanas, la
base proporcionada por ANEP diferencia cuatro tipos, que son las incluidas en el cálculo:
Tipo de escuela
Cantidad de horas
Nº escuelas
7,5
170
Programa Aprender
4
271
Urbana Común
4
366
Práctica
4
127
Tiempo Completo
Total
934
Por el lado de los resultados, existe información detallada a nivel de escuelas (exámenes de
rendimiento académico) pero esta información presenta limitaciones, particularmente en
relación a la falta de estandarización de las condiciones en las cuales se administran los
exámenes. Por lo tanto se decidió tomar la aprobación de cursos (1- tasa de repetición) como
variable de resultado, sin perjuicio de informar que en algunas publicaciones se hace
referencia a la existencia de “pase social”.
Las variables de insumos, resultados y eficiencia se presentan agrupadas por departamento,
contexto y tipo de escuela. A continuación se presentan los componentes del cálculo y el
indicador de eficiencia para los tres criterios de agrupación.
1.a. Variables de Insumo (Input)
A partir de información de ANEP, se calcula el ratio de cantidad de horas de maestro por
alumno2 para el año 2012 como:
(Cantidad de maestros) X (horas diarias de clase) / (matrícula a diciembre)
Este cálculo da como resultado una variable que indica cuántas horas diarias de maestro
adopta valores entre 0,11 y 0,88. El primer caso corresponde a una escuela de tipo Aprender
(cuatro horas de clase), que tiene 13 maestros y clases promedio de 36 alumnos. El segundo
caso, que representaría a la escuela con mayor “input” corresponde a una institución de
tiempo completo, con 6 maestros y clases promedio de 8,5 alumnos.
Horas de maestro por alumno, promedios por departamento
0,30
0,25
0,20
0,15
0,10
0,05
maldonado
canelones
colonia
paysand·
san josÚ
cerro largo
rivera
montevideo
rÝo negro
artigas
salto
tacuaremb¾
rocha
soriano
durazno
flores
florida
treinta y tres
lavalleja
0,00
Fuente ANEP
Horas de maestro por alumno. Promedios por contexto socioeconómico
0,25
0,20
0,15
0,10
0,05
0,00
quintil 1
quintil 2
quintil 3
quintil 4
quintil 5
Fuente ANEP
2
En el Anexo se presentan los resultados de estimar la eficiencia con la variable de input “alumnos por
maestro”. En el portal del CEF sin embargo se decidió publicar los resultados que surgen de utilizar la
variable horas de maestro por alumno, por lo tanto en el cuerpo de este documento se refiere a esta
variable.
Horas de maestro por alumno. Promedio por tipo de escuela
0,40
0,30
0,20
0,10
0,00
Tiempo
Completo
Programa
Aprender*
Urbana
Común
Práctica
Fuente ANEP
1.b. Variable de resultados
La variable de resultado debe reflejar una escala tal que a mayor valor, mejor
resultado, recordando lo mencionado precedentemente, que en el cálculo DEA se
utiliza la variables (1-tasa de repetición). A continuación se muestran para cada
categoría de agrupación los valores promedio de repetición de la escuela en 2012,
utilizados para la construcción de dicha variable.
Tasa de repetición promedio por departamento
0,09
0,08
0,07
0,06
0,05
0,04
0,03
0,02
0,01
Fuente ANEP
maldonado
canelones
colonia
paysand·
san josÚ
cerro largo
montevideo
rivera
rÝo negro
artigas
salto
tacuaremb¾
rocha
soriano
durazno
flores
florida
treinta y tres
lavalleja
0,00
Tasa de repetición promedio por contexto socioeconómico
0,09
0,08
0,07
0,06
0,05
0,04
0,03
0,02
0,01
0,00
quintil 1
quintil 2
quintil 3
quintil 4
quintil 5
Fuente ANEP
Tasa de repetición promedio por tipo de escuela
0,09
0,08
0,07
0,06
0,05
0,04
0,03
0,02
0,01
0,00
Tiempo Completo
Programa Aprender*
Urbana Común
Práctica
* Atención Prioritaria en Entornos con Dificultades Estructurales Relativas
Fuente ANEP
1.c. Eficiencia del Gasto utilizando metodología DEA.
En los siguientes gráficos se muestran los resultados de aplicar DEA a los datos de input y
output detallados en los puntos 1.a y 1.b. Dicho procedimiento dio como resultado una
variable que adopta valores entre 0 y 1, según la lejanía o cercanía de cada escuela a la
frontera de eficiencia que estima el modelo. Los resultados por escuela se promedian según
departamento, contexto y tipo de escuela.
Eficiencia promedio de las escuelas agrupadas por departamento
0,70
0,60
0,50
0,40
0,30
0,20
0,10
maldonado
canelones
colonia
paysand·
san josÚ
cerro largo
montevideo
rivera
rÝo negro
artigas
salto
tacuaremb¾
rocha
soriano
durazno
flores
florida
treinta y tres
lavalleja
0,00
Fuente: Elaboración propia
Eficiencia promedio de las escuelas agrupadas por contexto socioeconómico
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
quintil 1
quintil 2
quintil 3
quintil 4
quintil 5
Fuente: Elaboración propia
Eficiencia promedio de las escuelas agrupadas por tipo de escuela
0,80
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
Tiempo
Completo
Programa
Aprender*
Urbana
Común
Práctica
* Atención Prioritaria en Entornos con Dificultades Estructurales Relativas
Fuente: Elaboración propia
2.
Eficiencia en educación secundaria3
Para el caso de secundaria, hasta el momento solamente se presentan datos comparables con
otros países, utilizando los puntajes PISA como variable de resultado. En este último caso, la
variable de input o esfuerzo es el gasto en educación pública como porcentaje del PIB, y la
variable de resultado el puntaje de las pruebas PISA (idiomas, matemática y ciencias) de cada
país en igual año (2009)4.
2.1.a. Variable de Insumo (input) para comparación con otros países
Para la comparación con otros países se considera el Gasto Público en Educación en
instituciones educativas públicas, administración, y transferencias netas de subsidios a
entidades privadas. Se realiza la salvedad de que estos valores dejan fuera el gasto que
realizan los hogares en la educación privada. La variable de gasto que se utiliza en el cálculo
resulta de un promedio de los tres años anteriores a la prueba de PISA respectiva, por lo tanto
se muestra el gasto promedio de los años 2009-2011 y los resultados de las pruebas de 2012
Gasto en Educación como % del PIB por países (Año 2009-2011)
7
6
5
4
3
2
1
0
Argentina
Brasil
México
Costa
Rica
Colombia Uruguay
Chile
Perú
Fuente: CEPAL
3
No se encontró información sobre insumos para el cálculo de eficiencia de la educación secundaria,
que permitiera agrupar luego los resultados a nivel de departamento ni contexto. Por este motivo no se
estima eficiencia a nivel de liceos como se hizo en el caso de escuelas. Solamente existen datos
representativos a nivel de dichos grupos sobre para resultados, los que se presentan en los cuadros del
portal del sitio.
4
Vale señalar que la variable de gasto en educación como porcentaje del PIB ha sido criticada en la
literatura como aproximación del esfuerzo del país, ya que es muy sensible al nivel de remuneraciones
docentes. Sin embargo, en este trabajo se decidió utilizar esta información en lugar de por ejemplo
cantidad promedio de alumnos por profesor, ya que el valor promedio para el país de esta variable
según las fuentes internacionales dista de reflejar, al menos para el caso uruguayo, los datos conocidos
en las bases de ANEP. En efecto, este indicador da para Uruguay un valor de 11 alumnos por profesor en
2010, mientras la cantidad de alumnos por clase es de aproximadamente 27 según cifras de ANEP. Por
lo tanto, la variable de alumnos por maestro utilizada para comparaciones internacionales podría estar
reflejando otros aspectos relacionados a forma de organización del sistema y no necesariamente
esfuerzos.
2.1.b. Variables de Resultado (output) para comparación con otros países
Se considera el promedio de puntaje en pruebas PISA de lectura, matemáticas y ciencias. En el
gráfico siguiente se muestran los resultados individualmente.
Puntajes promedio del país en pruebas PISA Año 2012
500
450
400
350
300
250
Lectura
200
Matemáticas
150
Ciencia
100
50
0
Fuente: OCDE
2.1.c. Eficiencia del Gasto utilizando metodología DEA para comparación con otros países
El indicador final al que se arriba con la técnica DEA muestra la eficiencia relativa de cada país
con respecto al más eficiente (que adopta el valor 1) dentro de la muestra. En este caso, el país
más eficiente resulta el de menor gasto. Aunque los resultados de prueba PISA a los que llega
también son más bajos que el resto de los países analizados, el problema de optimización traza
la frontera de eficiencia sobre este punto, a partir de los valores de insumos y resultados de
todos los países.
Año 2012
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
Argentina Brasil
Costa
Rica
Fuente: Elaboración propia
México Colombia Uruguay
Chile
Perú
Anexo
Resultados de la eficiencia utilizando una variable alternativa de insumos: cantidad de
alumnos por maestro.
Variables de Insumo:
Maestro por alumno, promedios por departamento. Año 2012
25
20
15
10
5
0
Fuente ANEP
Una explicación, parcial, del incremento que se constata en los insumos por departamento,
podría ser la recepción de alumnos por razones de migración interna, los cuales concurren a
escuelas cuyos alumnos por grupo se incrementan en forma diferencial al resto; el proceso
inverso se da en los departamentos donde el saldo migratorio es negativo. Por ejemplo, el
departamento de Maldonado es el que más personas recibió entre los dos últimos censos.
Maestro por alumno. Promedios por contexto socioeconómico. Año 2012
25
25
24
24
23
23
22
22
21
21
quintil 1
Fuente ANEP
quintil 2
quintil 3
quintil 4
quintil 5
Eficiencia:
Eficiencia promedio por departamento. Año 2012
0,7
0,6
0,5
0,4
0,3
0,2
0,1
lavallej
treinta
florida
soriano
tacuarem
durazno
rocha
flores
río negr
artigas
colonia
rivera
montevid
san josé
cerro la
paysandú
salto
canelone
maldonad
0,0
-0,1
Fuente: Elaboración propia
Eficiencia promedio por contexto. Año 2012
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
Quintil 1
Quintil 2
Quintil 3
Fuente: Elaboración propia
Quintil 4
Quintil 5